KR101023334B1 - 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법 - Google Patents

자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법 Download PDF

Info

Publication number
KR101023334B1
KR101023334B1 KR1020090048589A KR20090048589A KR101023334B1 KR 101023334 B1 KR101023334 B1 KR 101023334B1 KR 1020090048589 A KR1020090048589 A KR 1020090048589A KR 20090048589 A KR20090048589 A KR 20090048589A KR 101023334 B1 KR101023334 B1 KR 101023334B1
Authority
KR
South Korea
Prior art keywords
image
guide
camera module
vehicle
steering angle
Prior art date
Application number
KR1020090048589A
Other languages
English (en)
Other versions
KR20100129965A (ko
Inventor
전해진
이문도
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020090048589A priority Critical patent/KR101023334B1/ko
Priority to US12/461,166 priority patent/US8405724B2/en
Publication of KR20100129965A publication Critical patent/KR20100129965A/ko
Application granted granted Critical
Publication of KR101023334B1 publication Critical patent/KR101023334B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image

Abstract

본 발명은 자동차에 장착되는 카메라 모듈 및 이를 이용한 주차 안내선 표시방법에 관한 것이다.
본 발명에 따른 카메라 모듈은, 차량 핸들의 조향 각도별로 구분된 차량의 주행 궤적에 대한 안내선 이미지가 저장되는 메모리; 전방 또는 후방의 영상이 촬상되고, 상기 메모리에 저장된 안내선 이미지와 촬상된 영상의 합성 이미지에 대한 영상 신호를 생성하는 이미지센서; 상기 차량 핸들의 조향 각도 정보를 송신받고, 조향 각도에 해당하는 상기 안내선 이미지를 추출하여 상기 이미지센서의 이미지 합성을 제어하는 제어부(CAN MCU); 및 상기 이미지센서에서 합성된 영상 신호를 출력 신호로 변환하여 직렬 버스 네트워크를 통해 영상 표시부로 송신하는 영상출력 앰프;를 포함한다.
카메라 모듈, 메모리, 이미지센서, 안내선 이미지, 합성, 통신부

Description

자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법{Automobile camera module and method to indicate a moving guide line}
본 발명은 자동차에 장착되는 카메라 모듈 및 이를 이용한 주차 안내선 표시방법에 관한 것으로서, 보다 자세하게는 차량의 후진시 핸들의 조향 각도에 따라 구분되어 저장된 안내선 이미지와 후방의 촬영 영상을 오버레이(overlay)시켜 디스플레이됨으로써, 자동차 후방 상황에 대한 명확한 주차선이 형성됨에 의해서 용이한 차량 주차가 이루어질 수 있도록 한 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법에 관한 것이다.
최근의 자동차 개발 추세는 기본적인 주행 성능과 더불러 안정성과 다양한 편의성을 제공하고 있으며, 차체 내부 또는 외부에 다수의 센서를 채용하여 차량 주변의 외부 환경을 차량 내에서 감지할 수 있도록 하고 있다.
이 중에서도 차량의 전방 또는 후방에 카메라를 탑재하여 촬영된 외부 이미지를 차량 내의 모니터를 통해 디스플레이함으로써, 골목길 진입시나 후방 주차시 촬영된 외부 영상이 촬영되어 제공됨에 따라 차량 주행 중에 발생될 수 있는 안전사고를 미연에 방지할 수 있도록 한다.
특히, 차량의 후방 주차시 차량 내, 외부에 장착된 사이드 미러(side mirror)와 룸 미러(room mirror)를 주로 이용하고 있으나, 사이드 미러나 룸 미러를 통해서는 운전자가 인지할 수 없는 사각지대가 존재하고, 차량 후방 근거리의 장애물 확인이 어려운 문제점이 있다.
이때, 차량의 후방에 장착된 카메라를 통해 촬영된 영상이 모니터에 디스플레이됨에 따라 모니터 영상을 보조 수단으로 하여 용이한 차량의 후진 및 후방 주차가 이루어지도록 하는 기술이 개발되고 있다.
그러나, 차량의 후방을 촬영하는 카메라로부터 제공되는 단순한 영상만으로는 차량의 궤적을 예측하기가 어렵고, 후방 장애물과의 거리 등에 관한 정보를 제공하지 못하고 있으며, 촬영된 후방 장애물이 실제 거리보다 멀게 보이는 착시 현상을 유발하게 되는 문제점이 있다.
이러한 문제점을 개선하기 위하여 최근에는 고급 차량을 위주로 카메라 촬영 영상에 차량의 이동 궤적이 촬영 영상에 추가되어 표시됨으로써, 차량의 진행 방향을 예측할 수 있어 초보 운전자 또는 고령의 운전자도 용이하게 후방 주차가 가능할 수 있도록 한다.
그러나, 이와 같은 차량이 이동 궤적이 표시되는 후방 영상 제공 방식은 카카메라의 장착 위치에 따라 서로 다른 화각으로 표시되기 때문에 촬영 영상에 표시되는 차량의 이동 궤적을 화각의 변화시마다 중앙 처리 장치(CPU)를 통해 새롭게 설정해야 하는 문제점이 있다.
또한, 차량에 장착된 카메라를 통해 촬영된 영상에 추가되는 차량의 예상 이동 궤적은 주로 후방으로 갈수록 좁아지는 직선 형태로만 표시되기 때문에 다양한 각도로 후진하는 실제 차량의 이동 궤적을 표시하기에는 부족함이 있었다.
그리고, 차량에 장착된 카메라를 통해 촬영된 영상에 후방의 이동 궤적을 추가하기 위해서는 차량의 이동 범위가 계산된 이동 궤적을 별도의 궤적 생성 장치를 통해 생성하고, 생성된 이동 궤적을 카메라를 통해 촬영된 영상에 병합하여 출력하기 위한 별도의 중앙 처리 장치(CPU)가 필요함에 따라 장치 구성이 복잡하고 제조 비용이 증가하게 되는 문제점이 있다.
따라서, 본 발명은 종래 자동차용 카메라 장치에서 제기되고 있는 상기 제반 단점과 문제점을 해결하기 위하여 창안된 것으로서, 카메라를 통해 촬영된 영상과 핸들의 조향 각도에 따라 구분되어 메모리에 저장된 안내선 이미지가 이미지센서 자체에서 합성되고, 핸들의 조향 각도에 따라 변화되는 안내선 이미지와 합성된 후방 영상이 차량 내의 모니터를 통해 출력되도록 함으로써, 차량의 후방 상황이 용이하게 파악될 수 있도록 한 자동차용 카메라 모듈 및 이를 이용한 주차 안내 표시방법이 제공됨에 발명의 목적이 있다.
또한, 본 발명의 다른 목적은 차량에 장착된 카메라의 화각에 따라 촬영되는 영상에 의해서 변동될 수 있는 안내선 이미지를 미리 메모리에 저장하고, 저장된 안내선 이미지가 촬영 영상에 오버레이되어 출력되도록 함으로써, 아내선 이미지 생성과 합성을 위한 별도의 이미지 생성장치 없이 카메라의 화각에 따라 기 설정된 안내선 이미지만의 합성으로 차량의 후방 주행 궤적이 표시되도록 한 자동차용 카메라 모듈 및 이를 이용한 주차 안내 표시방법이 제공됨에 있다.
본 발명의 상기 목적은, 차량 핸들의 조향 각도별로 구분된 차량의 주행 궤적에 대한 안내선 이미지가 저장되는 메모리; 전방 또는 후방의 영상이 촬상되고, 상기 메모리에 저장된 안내선 이미지와 촬상된 영상의 합성 이미지에 대한 영상 신 호를 생성하는 이미지센서; 상기 차량 핸들의 조향 각도 정보를 송신받고, 조향 각도에 해당하는 상기 안내선 이미지를 추출하여 상기 이미지센서의 이미지 합성을 제어하는 제어부(CAN MCU); 및 상기 이미지센서에서 합성된 영상 신호를 출력 신호로 변환하여 직렬 버스 네트워크를 통해 영상 표시부로 송신하는 영상출력 앰프;를 포함하는 자동차용 차메라 모듈이 제공됨에 의해서 달성된다.
또한, 본 발명의 자동차용 카메라 모듈은 자동차에 부착된 핸들의 조향 각도를 인식하여 차량의 조향 신호를 상기 제어부와 송, 수신하는 통신부를 더 포함할 수 있다.
상기 통신부는 CAN(Controller Area Network) 또는 RS232의 통신 방식으로 연결될 수 있다.
상기 메모리(EEPROM)는 플래쉬 메모리로 구성되며, 자동차의 주행 궤적이 표시된 안내선 이미지가 저장된다. 이때, 상기 안내선 이미지는 자동차 핸들의 조향 각도별로 구분되어 메모리에 저장되며, 핸들의 조향 각도에 따라 최대 200여개의 이미지가 비트맵(bitmap) 형태로 저장될 수 있다.
또한, 상기 메모리에 저장된 다수의 안내선 이미지는 상기 통신부를 통해 상기 제어부에 수신된 핸들의 조향 각도 정보에 의해 선택되고. 선택된 안내선 이미지는 상기 이미지센서에서 촬영된 이미지와 이미지센서 내에서 합성(overlay)되어 출력된다.
상기 이미지센서는 카메라 모듈에 장착된 렌즈부를 통해 차량의 전방 또는 후방의 외부 영상이 촬상되고, 촬상된 영상을 화상 신호로 변환하여 상기 영상출력 앰프를 통해 영상 표시부로 출력한다.
이때, 상기 이미지센서는 제어부를 통해 핸들의 조향 각도에 따라 선택된 안내선 이미지와 촬영 영상을 자체적으로 합성(overlab)하여 영상 표시부를 통해 출력 가능한 화상 신호로의 변환을 수행한다.
또한, 상기 제어부는 상기 통신부를 통해 수신된 핸들의 조향 각도 정보를 수신받아 해당 조향 각도에 대한 안내선 이미지를 추출하여 이미지센서에서의 합성을 제어함과 동시에 차량의 중심축을 중심으로 전방 회전 각도를 인식한다.
즉, 상기 제어부는 현재 차량의 전방 회전 각도를 인식하여 기준축으로 설정한 후, 상기 통신부를 통해 현재 기준축을 중심으로 좌, 우 회전된 핸들의 조향 각도 정보를 수신받게 된다.
상기 영상출력 앰프는 상기 이미지센서 및 영상 표시부와 전기적으로 연결되고, 상기 이미지센서에서 변환된 화상 신호를 NTSC(Nation Television System Committee) 또는 PAL(Phase Alternating Line) 방식의 외부 출력 신호로 변환하여 영상 표시부로 송신한다.
한편, 본 발명의 상기 목적은 자동차의 전방 또는 후방에 장착된 카메라 모듈을 통해 자동차의 외부 영상을 촬상하는 단계; 상기 카메라 모듈과 연결된 통신부를 통해 자동차 핸들의 조향 각도에 대한 조향 신호를 제어부에서 수신받는 단계; 상기 제어부에서 수신된 핸들의 조향 각도 정보에 의해 상기 카메라 모듈 내의 메모리에 저장된 다수의 안내선 이미지 중에서 조향 신호에 해당하는 안내선 이미 지를 선택하는 단계; 상기 제어부를 통해 선택된 안내선 이미지가 상기 카메라 모듈 내의 이미지센서로 전송되고, 상기 이미지센서를 통해 촬상된 외부 영상과 합성되는 단계; 및 상기 이미지센서에서 합성된 영상을 화상 신호로 변환하고, 상기 이미지센서와 연결된 영상출력 앰프를 통해 상기 카메라 모듈과 연결된 영상 표시부로 화상 신호를 출력하는 단계;를 포함하는 주차 안내선 표시방법이 제공됨에 의해서 달성된다.
상기 조향 신호를 수신받는 단계에서, 상기 제어부는 상기 통신부를 통해 자동차의 현재 전방 회전 각도를 수신받아 그 중심축을 기준축으로 설정하고, 상기 기준축을 중심으로 자동차 핸들의 조향 각도에 대한 정보를 통신부에서 수신받도록 한다.
상기 안내선 이미지와 외부 영상의 합성 단계에서, 상기 이미지센서는 상기 메모리에 저장된 안내선 이미지 중에서 핸들의 조향 각도 정보에 해당하는 안내선 이미지와 외부 영상을 이미지센서의 영상 합성부를 통해 일대일 대응되게 합성하고, 이를 비디오 엔코더를 통해 외부로 송출할 수 있다.
이때, 상기 카메라 모듈을 통해 촬영된 외부 영상은 상기 안내선 이미지의 합성 전에 이미지 프로세서를 통해 밝기와 색상이 조절되고, 렌즈 보상부를 통해 주변 밝기에 대한 영상의 이미지 보정 단계를 거쳐 선택된 안내선 이미지와 최종적으로 합성된다.
또한, 상기 영상 표시부로 화상 신호를 출력하는 단계에서, 상기 영상출력 앰프를 통해 출력되는 화상 신호는 NTSC(Nation Television System Committee) 또 는 PAL(Phase Alternating Line) 방식의 외부 출력 신호로 변환되어 외부 모니터를 통해 영상이 출력되도록 한다.
한편, 상기 안내선 이미지와 외부 영상의 합성 단계에서, 메모리에 저장되어 핸들의 조향 각도 정보에 의해 선택되는 안내선 이미지는 상기 통신부에 수신된 실제 조향 각도에 좌, 우 최대 조향각의 합을 안내선 이미지의 수로 나눈 결과값을 배수로 하는 정보를 상기 메모리에 저장된 안내선 이미지의 고유값과 매칭시켜 핸들의 조향 각도에 따른 해당 안내선 이미지를 선택할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법은, 카메라를 통해 촬영된 영상과 핸들의 조향 각도에 따라 구분되어 메모리에 저장된 안내선 이미지가 이미지센서 자체에서 합성되어 외부 모니터를 통해 출력되도록 함으로써, 이미지 합성과 출력이 카메라 모듈만의 간단한 시스템 구성으로 가능함과 아울러 제작 비용을 절감할 수 있으며, 차량 장착시 장착 부위를 최소화할 수 있어 설치가 용이하고 설치 비용이 절감되는 이점이 있다.
또한, 본 발명의 자동차용 카메라 모듈 및 주차 안내선 표시방법은 카메라 모듈의 화각을 자동차의 설치 위치에 따라 간단히 조작하고, 카메라 모듈을 통신부에 연결하는 조치만으로 차량의 후방 주차 안내선 표시가 가능하도록 한 장점이 있다.
본 발명에 따른 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법의 상기 목적에 대한 기술적 구성을 비롯한 작용효과에 관한 사항은 본 발명의 바람직한 실시예가 도시된 도면을 참조한 아래의 상세한 설명에 의해서 명확하게 이해될 것이다.
먼저, 도 1은 본 발명의 실시예에 따른 자동차용 카메라 모듈의 구성도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 자동차용 카메라 모듈(100)은 자동차 핸들의 조향 각도별로 구분된 다수의 안내선 이미지가 저장된 메모리(110)와, 외부 영상을 촬상하고 메모리(110)에 저장된 조향 각도별 안내선 이미지를 합성하는 이미지센서(120)와, 안내선 이미지가 합성된 영상을 외부로 송출하는 영상출력 앰프(130)로 구성될 수 있다.
또한, 상기 카메라 모듈(100)은 이미지센서(120)를 통해 합성될 안내선 이미지를 핸들의 조향 각도에 따라 선택하고, 이미지센서(120)에서의 일대일 합성을 제어하는 제어부(140)를 더 포함하여 구성된다.
상기 메모리(110)는 카메라 모듈(100) 내에 설치되어 상기 이미지센서(120)에 메모리(110)의 저장 정보를 송신한다. 이때, 상기 메모리(110)는 플래쉬 메모리로 구성될 수 있으며, 자동차 핸들의 조향 각도별로 구분된 후방 주행 궤적에 대한 다양한 형태의 안내선 이미지가 저장된다.
상기 안내선 이미지는 자동차의 후방 영상을 기준으로 자동차의 후방 주행 궤적을 대표적인 조향 각도별로 구분하여 저장될 수 있으며, 차량 바퀴가 정위치에 위치하도록 하는 위치를 0°로 하여 좌, 우 조향 각도로 세분하여 각각 100여개씩, 총 200여개의 안내선 이미지가 비트맵(bitmap) 형태로 저장될 수 있다.
상기 메모리(110)와 정보(data) 수신이 가능한 이미지센서(120)는 전방 또는 후방, 특히 후방의 영상이 주로 촬상되며, 상기 메모리(110)에서 수신된 특정 안내선 이미지와 촬상된 후방 영상을 자체적으로 합성(overlab)하여 안내선 이미지가 표시된 영상을 출력한다.
이때, 상기 이미지센서(120)에서 후방 촬상 영상과 합성되는 안내선 이미지는 자동차의 핸들 조향 각도에 따라 선택된 특정 안내선 이미지가 합성되며, 여기서 핸들의 조향 각도에 따른 안내선 이미지의 선택 방법에 대해서는 하기에서 좀 더 구체적으로 설명한다.
상기 이미지센서(120)는 카메라 모듈(100)에 장착된 렌즈부(도면 미도시)를 통해 촬영된 후방 영상을 화상 신호로 변환하고, 변환된 화상 신호는 이미지센서(120)와 전기적으로 연결된 영상출력 앰프(130)를 통해 외부 모니터로 구성된 영상 표시부(200)로 전송된다.
이때, 상기 이미지센서(120)는 후방 촬영 영상에 합성될 안내선 이미지를 메모리(110)로부터 전송받아 화상의 색 정보(RGB) 혼합에 의한 화상 합성이 이루어지게 된다.
상기 이미지센서(120)에서의 후방 촬영 영상과 안내선 이미지의 합성에 관해 서는 하기에서 좀 더 자세하게 설명하기로 한다.
한편, 상기 이미지센서(120)에 송신되는 안내선 이미지는 제어부(140)를 통해 핸들의 조향 각도별로 선택되고, 상기 제어부(140)를 통해 선택된 안내선 이미지의 이미지센서(120)를 통한 합성을 제어한다.
상기 제어부(140)는 CAN MCU로 구성될 수 있으며, 이미지센서(110)와 I2C 통신을 통해 데이터 송수신이 가능하게 연결될 수 있다.
상기 제어부(140)는 카메라 모듈(100)과 CAN 등의 통신 방식을 통해 통신부(210)와 연결되어 제어부(140)가 필요한 차량의 제어 신호, 즉 차량의 핸들 조향각에 대한 정보를 수신한다.
이때, 상기 통신부(210)는 CAN 2.0 또는 RS232 규약의 통신 방식이 사용될 수 있으며, 주로 영상 처리용 데이터의 송, 수신이 이루어져야 함에 따라 지속적인 데이터 송, 수신이 가능한 CAN 통신 방식이 사용된다.
여기서, CAN 통신 방식은 차량과 같이 시스템 내에 다수의 센서나 기동 장치가 필요한 경우, 각 주변장치의 고유한 식별자를 사용하여 주변 장치의 통신 정보를 네트워크 내에 있는 모든 노드들에게 동시에 전달하고 개개의 노드들은 이 식별자에 기반하여 해당 정보를 처리할 것인지의 여부를 결정하여 데이터 전송의 끊김없는 지속적인 데이터 전송과 수신이 가능하도록 한 통신 방식을 일컫는다.
상기 통신부(210)에 수신된 핸들의 조향 각도 정보는 CAN을 통해 카메라 모듈(100) 내에 장착된 제어부(140)에 수신되고, 제어부(140)는 해당 조향 각도 정보에 대한 안내선 이미지를 메모리(110)로부터 추출한다.
그리고, 상기 메모리(110)에서 추출된 안내선 이미지의 정보가 이미지센서(120)에 수신되면, 상기 제어부(140)는 이미지센서(120)를 통해 촬상되는 영상 정보와 안내선 이미지 정보를 일대일로 매칭시켜 합성을 제어한다.
이때, 상기 제어부(140)는 통신부(210)를 통해 수신되는 핸들의 조향 각도 정보와 더불어 자동차의 중심축에 대한 전방 회전 각도를 인식하여 기준축으로 설정한다.
즉, 현재 자동차의 중심축을 기준으로 차량의 전방 회전 각도를 기준축으로 삼아 이 후 핸들의 좌, 우 조향 각도에 따라 예측된 해당 안내선 이미지를 메모리(110)에서 추출할 수 있도록 하고, 해당 안내선 이미지를 후방 촬영 영상에 중첩시켜 출력될 수 있도록 한다.
또한, 상기 이미지센서(120)에서 합성된 안내선 이미지 표시 영상은 영상출력 앰프(130)를 통해 외부 출력 신호로 변환되어 외부 모니터로 송신된다.
이때, 상기 영상출력 앰프(130)는 이미지센서(120)에서 변환된 화상 신호를 NTSC(Nation Television System Committee) 또는 PAL(Phase Alternating Line) 방식의 외부 출력 신호로 변환하여 외부 모티터로 송신하도록 한다.
이와 같이 구성된 본 실시예의 카메라 모듈(100)은 이미지센서(120)를 통해 촬상된 외부 영상에 상기 이미지센서(120)와 동일 모듈 내에 설치되어 핸들의 조향 각도별로 메모리(110)에 저장된 안내선 이미지를 이미지센서(120) 자체에서 이미지 정보의 중첩에 의해 합성시켜 외부 모니터에 안내선 이미지가 표시된 외부 영상이 출력될 수 있도록 한 것이다.
한편, 도 2는 본 발명의 실시예의 따른 카메라 모듈의 메모리에 저장된 안내선 이미지의 조향 각도별 매칭 구성도이다.
도시된 바와 같이, 도 2는 본 실시예의 카메라 모듈을 통한 촬영 영상과 안내선 이미지의 합성시 실제 조향 각도에 따라 선택될 수 있는 메모리(110)의 안내선 이미지들이다.
상기 메모리(110)는 앞서 설명한 바와 같이 핸들의 조향각 0°를 기준으로 좌, 우측 조향 각도에 따라 세분화된 200여개의 안내선 이미지가 저장된다.
상기 카메라 모듈(100) 내의 제어부(140)에는 통신부(210)를 통해 현재 자동차의 기준축을 중심으로 핸들의 조향 각도 정보가 수신되고, 상기 제어부(140)에 수신된 조향 각도 정보를 통해 핸들의 조향 각도에 대한 해당 안내선 이미지가 선택된다.
이때, 상기 제어부(140)는 I2C 통신을 통해 핸들의 조향 각도에 대한 안내선 이미지의 선택 정보를 이미지센서(120)에 전송하게 되고, 상기 이미지센서(120)는 제어부(140)의 조향 신호에 의해 메모리(110)로부터 해당 조향 각도에 대한 안내선 이미지를 선택하여 호출한다.
상기 메모리(110)는 SPI 통신을 통해 이미지센서(120)에 호출된 안내선 이미지 정보를 송신하고, 이미지센서(120)는 픽셀 정보를 조합하여 촬영 영상과 안내선 이미지를 합성한다.
이와 같이, 상기 이미지센서(120)에서 합성되는 안내선 이미지의 선택 과정을 예를 들어 좀 더 자세하게 살펴보면 다음과 같다.
통신부()를 통해 입력된 핸들의 조향 각도에서 좌측 최대 각도가 θLMax이고 우측 최대 각도를 θRMax라 하고, 메모리(110)에 저장된 안내선 이미지의 수가 2n+1개가 있다면, 자동차의 핸들 조향 각도에 따른 구분은
θLMax = {θL1, θL2, … θLMax-1, θLMax}로 구분되고, θRMax = {θR1, θR2, … θRMax-1, θRMax}로 구분될 수 있다.
또한, 메모리(110)에 저장된 좌측 안내선 이미지의 수는 ImLN = {IML(n), ImL(n-1), ImL(n-2),… ImL1, 0}으로 표시되고, 메모리(110)에 저장된 우측 안내선 이미지의 수는 ImRN = {0, IMR(1), Imr(2), … ImR(n-1), ImR(n)}으로 표시될 수 있다.
상기 메모리(110)에 저장된 좌, 우측 조향 각도에 따른 안내선 이미지는 아래의 수학식 1에 의한 결과값(a)을 각 조향 각도에 곱하여 실제 조향 각도에 해당하는 안내선 이미지를 선택할 수 있다.
Figure 112009033312342-pat00001
따라서, 상기 수학식 1을 통해 선택될 수 있는 안내선 이미지는 아래 도시된 도 2와 같이 선택될 수 있을 것이다.
다음, 도 3은 본 발명의 따른 실시예의 카메라 모듈에 적용되는 이미지센서 의 구성도이다.
도 3을 통해 상기 이미지센서(120)에서의 후방 촬영 영상과 메모리(110)에서 추출된 안내선 이미지의 합성 과정에 대하여 좀 더 자세하게 설명한다.
도시된 바와 같이, 이미지센서(120)는 외부 영상 정보를 수광하는 수광 에어리어(121)와, 이미지의 밝기와 색상 조절을 수행하는 이미지 프로세서(122)와 렌즈 주변의 밝기를 보상하는 렌즈 보상부(123) 및 수광 에어리어(121)의 픽셀 정보에 대하여 안내선 이미지를 합성하는 이미지 합성부(124)로 구성된다.
상기 수광 에어리어(121)는 외부 모니터의 크기와 해상도를 고려하여 통상 VGA(640×480)급으로 구성될 수 있으며, 수광 에어리어(121)에 저장되는 외부 영상의 이미지는 이미지 프로세서(122)를 통해 밝기와 색상이 조절될 수 있도록 한다.
또한, 수광 에어리어(121)를 통해 영상이 촬상될 수 있도록 외부 광이 입사되는 렌즈부(도면 미도시)는 렌즈부를 통해 입사되는 광이 렌즈 보상부(123)를 통해 렌즈 주변의 밝기가 보상되어 선명한 영상이 촬상될 수 있도록 한다.
한편, 수광 에어리어(121)를 통한 촬상 영상의 보정과 렌즈 보상이 완료되면 앞서 설명한 바와 같이 제어부(121)의 조향 각도 정보 인식에 의해 메모리(110)로부터 조향 각도에 따른 해당 안내선 이미지가 추출되고, 상기 이미지 합성부(124)를 통해 수광 에어리어(121)에서 촬상된 외부 영상과 해당 안내선 이미지를 각 픽셀 정보의 일대일 중첩에 의해 합성한다.
이 후, 이미지 합성부(124)에서 합성된 안내선 표시 영상은 비디오 엔코더(125)를 통해 영상출력 앰프(130)로 전송되고, 영상출력 앰프(130)에서 출력 신 호로 변환되어 외부 모니터에 영상 출력이 이루어지게 된다.
여기서, 상기 이미지 합성부(124)를 통한 이미지 합성 과정을 간략히 살펴보면, 예를 들어 수광 에어리어(121)를 통해 생성된 640×480 픽셀의 영상 정보에서 i 번째 픽셀의 RGB 정보와 메모리(110)의 i번째 안내선 이미지의 색 정보를 합성한다.
즉, i번째 영상 정보의 R, G, B 데이터를 Ri image, Gi image, Bi image라 하고, i번째 안내선 이미지의 색 정보의 R, G, B 데이터를 Ri line, Gi line, Bi line라 하면, 아래의 수학식 2를 통해 색 정보의 중첩에 의해 촬상 영상에 안내선 이미지가 합성된다.
Figure 112009033312342-pat00002
(0 < t < 1)
여기서, t는 안내선 이미지의 투명도를 결정하는 것으로, t가 커지면 안내선 이미지의 색상이 짙어지고, t가 작으면 안내선 이미지의 색상이 옅어진다. 즉 t가 0의 값을 가지면 안내선은 영상에 표시되지 않게 된다.
한편, 상기의 구성을 갖는 카메라 모듈을 통해 수신된 정보에 의해서 후방 주행 궤적에 의한 주차 안내선을 표시할 수 있는 바,
먼저, 자동차의 전방 또는 후방, 주로 후방에 장착된 카메라 모듈(100)을 통해 자동차의 외부 영상을 촬상되고, 카메라 모듈을 통해 촬상된 영상은 이미지센서를 통해 밝기와 색상의 조정과 아울러 화상 신호로 변환된다.
상기 카메라 모듈(100)은 CAN 등으로 구성된 통신부(210)를 통해 자동차의 핸들 조향 각도 정보를 수신받는다. 상기 핸들 조향 각도 정보는 통신부(210)를 통해 카메라 모듈(100) 내의 제어부(140)에서 수신받게 되며, 상기 제어부(140)에 수신된 조향 각도 정보에 의해 메모리(110)에 저장된 안내선 이미지 중 수신된 조향 각도에 해당하는 안내선 이미지가 선택된다.
다음, 상기 제어부(140)에 의해 선택된 안내선 이미지는 상기 카메라 모듈 내의 이미지센서(120)로 전송되고, 상기 이미지센서(120)의 영상 합성부(124)를 통해 RGB의 색 정보 중첩에 의해 합성된다.
이 후, 상기 영상 합성부(124)를 통해 합성된 영상은 영상출력 앰프에서 화상출력이 가능한 출력 신호로 변환되어 외부 기기로 전송됨에 따라 외부 모티터를 통해 안내선이 표시된 영상의 출력이 가능하도록 한다.
이와 같이 안내선 이미지가 표시된 영상의 출력 과정에서, 상기 제어부(140)는 CAN을 통해 통신 가능하게 연결된 CAN MCU로 구성되며, 제어부(140)는 통신부(210)를 통해 자동차의 현재 전방 회전 각도를 수신받아 그 중심축을 기준축으로 설정하고, 상기 기준축을 중심으로 자동차 핸들의 조향 각도에 대한 정보를 통신부(210)에서 수신받는다.
즉, 현재 자동차의 중심축이 위치하고 있는 지점을 기준축으로 설정하고, 후방의 촬영된 영상에서 주차 궤적을 형성하기 위하여 핸들의 조향 각도를 입력받게 되는 것이다.
또한, 이미지센서(120)는 상기 메모리(110)에 저장된 안내선 이미지 중에서 핸들의 조향 각도 정보에 해당하는 안내선 이미지와 외부 영상을 영상 합성부(124)를 통해 픽셀 정보의 일대일 대응에 의해 영상 합성이 이루어지고, 합성된 영상은 비디오 엔코더(125)와 영상출력 앰프(130)을 통해 외부로 송출된다.
이상에서 설명한 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능할 것이나, 이러한 치환, 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 실시예에 따른 자동차용 카메라 모듈의 구성도.
도 2는 본 발명의 실시예의 따른 카메라 모듈의 메모리에 저장된 안내선 이미지의 조향 각도별 매칭 구성도.
도 3은 본 발명의 따른 실시예의 카메라 모듈에 적용되는 이미지센서의 구성도.
<도면의 주요 부분에 대한 부호의 설명>
100. 카메라 모듈 110. 메모리
120. 이미지센서 130. 영상출력 앰프
140. 제어부 200. 영상 표시부
210. 통신부

Claims (14)

  1. 차량 핸들의 조향 각도별로 구분된 차량의 주행 궤적에 대한 안내선 이미지가 저장되는 메모리;
    전방 또는 후방의 영상이 촬상되고, 상기 메모리에 저장된 안내선 이미지와 촬상된 영상의 합성 이미지에 대한 영상 신호를 생성하는 이미지센서;
    상기 차량에 부착된 핸들의 조향 각도를 인식하여 상기 차량의 조향 신호를 송, 수신하는 통신부;
    상기 차량 핸들의 조향 각도 정보를 상기 통신부로부터 무선으로 송신받고, 조향 각도에 해당하는 상기 안내선 이미지를 추출하여 상기 이미지센서의 이미지 합성을 제어하는 제어부(CAN MCU); 및
    상기 이미지센서에서 합성된 영상 신호를 출력 신호로 변환하여 직렬 버스 네트워크를 통해 영상 표시부로 송신하는 영상출력 앰프;
    를 포함하는 자동차용 카메라 모듈.
  2. 삭제
  3. 제1항에 있어서,
    상기 통신부는 CAN(Controller Area Network) 또는 RS232의 통신 방식으로 연결되는 자동차용 카메라 모듈.
  4. 제1항에 있어서,
    상기 메모리는, 플래쉬 메모리로 구성되며, 자동차 핸들의 좌, 우 조향 각도별로 구분된 안내선 이미지가 저장되고, 상기 핸들의 조향 각도에 따라 최대 200여개의 상기 안내선 이미지가 비트맵(bitmap) 형태로 저장되는 자동차용 카메라 모듈.
  5. 제1항에 있어서,
    상기 안내선 이미지는, 상기 통신부를 통해 상기 제어부에 수신된 핸들의 조향 각도 정보에 의해 선택되고, 선택된 상기 안내선 이미지는 상기 이미지센서에서 촬상된 영상과 합성되는 자동차용 카메라 모듈.
  6. 제1항에 있어서,
    상기 이미지센서는, 외부 영상 정보를 수광하는 수광 에어리어와, 영상의 밝 기와 색상 조절을 수행하는 이미지 프로세서와 렌즈 주변의 밝기를 보상하는 렌즈 보상부 및 상기 수광 에어리어의 픽셀 정보에 대하여 상기 안내선 이미지의 픽셀 정보를 대응시켜 합성하는 이미지 합성부로 구성된 자동차용 카메라 모듈.
  7. 제1항에 있어서,
    상기 제어부는, 상기 통신부를 통해 상기 핸들의 조향 각도 정보의 수신시 자동차의 중심축을 중심으로 전방 회전 각도를 인식하여 기준축으로 설정한 후, 상기 통신부를 통해 현재 기준축을 중심으로 좌, 우 회전된 핸들의 조향 각도 정보를 수신받는 자동차용 카메라 모듈.
  8. 제5항 또는 제7항에 있어서,
    상기 메모리에 저장된 좌, 우측 조향 각도에 따른 안내선 이미지는 좌, 우측 최대 조향각의 합을 상기 안내선 이미지의 수로 나눈 아래의 결과값(a)을 각 조향 각도에 곱하여 실제 조향 각도 범위 내에 해당하는 안내선 이미지가 선택되는 자동차용 카메라 모듈.
    Figure 112009033312342-pat00003
  9. 제1항에 있어서,
    상기 영상출력 앰프는, 상기 이미지센서 및 영상 표시부와 전기적으로 연결되고, 상기 이미지센서에서 변환된 화상 신호를 NTSC(Nation Television System Committee) 또는 PAL(Phase Alternating Line) 방식의 외부 출력 신호로 변환하여 상기 영상 표시부로 송신하는 자동차용 카메라 모듈.
  10. 자동차의 전방 또는 후방에 장착된 카메라 모듈을 통해 자동차의 외부 영상을 촬상하는 단계;
    상기 카메라 모듈과 연결된 통신부를 통해 자동차 핸들의 조향 각도에 대한 조향 신호를 제어부에서 수신받는 단계;
    상기 제어부에서 수신된 핸들의 조향 각도 정보에 의해 상기 카메라 모듈 내의 메모리에 저장된 다수의 안내선 이미지 중에서 조향 신호에 해당하는 안내선 이미지를 선택하는 단계;
    상기 제어부를 통해 선택된 안내선 이미지가 상기 카메라 모듈 내의 이미지센서로 전송되고, 상기 이미지센서를 통해 촬상된 외부 영상과 합성되는 단계; 및
    상기 이미지센서에서 합성된 영상을 화상 신호로 변환하고, 상기 이미지센서와 연결된 영상출력 앰프를 통해 상기 카메라 모듈과 연결된 영상 표시부로 화상 신호를 출력하는 단계;
    를 포함하며,
    상기 제어부는 상기 통신부를 통해 자동차의 현재 전방 회전 각도를 수신받아 그 중심축을 기준축으로 설정하고, 상기 기준축을 중심으로 자동차 핸들의 조향 각도에 대한 정보를 통신부에서 수신받는 주차 안내선 표시방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 안내선 이미지와 외부 영상의 합성 단계에서,
    상기 이미지센서는 상기 메모리에 저장된 안내선 이미지 중에서 핸들의 조향 각도 정보에 해당하는 안내선 이미지와 외부 영상을 상기 이미지센서의 영상 합성부를 통해 일대일 대응되게 합성하고, 이를 비디오 엔코더를 통해 외부로 송출하는 주차 안내선 표시방법.
  13. 제12항에 있어서,
    상기 안내선 이미지와 외부 영상의 합성 단계에서,
    상기 카메라 모듈을 통해 촬영된 외부 영상은 상기 안내선 이미지의 합성 전에 이미지 플로세서를 통해 밝기와 색상이 조절되고, 렌즈 보상부를 통해 주변 밝기에 대한 영상의 이미지 보정 단계를 거쳐 선택된 상기 안내선 이미지와 최종적으로 합성되는 주차 안내선 표시방법.
  14. 제10항에 있어서,
    상기 영상 표시부로 화상 신호를 출력하는 단계에서, 상기 영상출력 앰프를 통해 출력되는 화상 신호는 NTSC(Nation Television System Committee) 또는 PAL(Phase Alternating Line) 방식의 외부 출력 신호로 변환되어 상기 영상 표시부를 통해 영상이 출력되도록 한 주차 안내선 표시방법.
KR1020090048589A 2009-06-02 2009-06-02 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법 KR101023334B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090048589A KR101023334B1 (ko) 2009-06-02 2009-06-02 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법
US12/461,166 US8405724B2 (en) 2009-06-02 2009-08-03 Automobile camera module and method to indicate moving guide line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090048589A KR101023334B1 (ko) 2009-06-02 2009-06-02 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법

Publications (2)

Publication Number Publication Date
KR20100129965A KR20100129965A (ko) 2010-12-10
KR101023334B1 true KR101023334B1 (ko) 2011-03-22

Family

ID=43219771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090048589A KR101023334B1 (ko) 2009-06-02 2009-06-02 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법

Country Status (2)

Country Link
US (1) US8405724B2 (ko)
KR (1) KR101023334B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489272B1 (ko) 2014-03-17 2015-02-06 ㈜베이다스 신호발생 백업기능을 구비한 복수 이미지의 동기화 합성 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173091A1 (en) * 2010-12-29 2012-07-05 Caterpillar Inc. Monitoring system for a mobile machine
CN102529844A (zh) * 2010-12-31 2012-07-04 深圳市豪恩汽车电子装备有限公司 一种倒车辅助方法、系统及汽车
US10019841B2 (en) 2011-05-18 2018-07-10 Magna Electronics Inc. Driver assistance systems for vehicle
KR101288069B1 (ko) 2011-11-14 2013-07-18 현대모비스 주식회사 프로젝터를 이용한 주차 보조 시스템 및 그 방법
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
KR101353090B1 (ko) * 2012-05-30 2014-01-20 삼성전기주식회사 Ｏｓｄ 장치 및 ｏｓｄ 방법
KR101816572B1 (ko) * 2016-12-28 2018-02-21 엘지전자 주식회사 차량용 카메라 장치 및 차량
KR102333033B1 (ko) 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
KR102246660B1 (ko) * 2020-06-19 2021-05-03 현대모비스 주식회사 후방 카메라 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078566A (ja) 1998-08-31 2000-03-14 Aisin Seiki Co Ltd 駐車補助装置
JP2000313292A (ja) 1999-05-06 2000-11-14 Toyota Autom Loom Works Ltd 後退時の操舵支援装置
KR200345814Y1 (ko) * 2003-12-30 2004-03-27 주식회사 현대오토넷 차량의 후방 조망 시스템
KR100542805B1 (ko) * 2002-10-07 2006-01-11 야자키 소교 가부시키가이샤 주차 지원 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
JP4094325B2 (ja) * 2002-04-05 2008-06-04 松下電器産業株式会社 駐車運転支援装置
JP2005186813A (ja) * 2003-12-25 2005-07-14 Fuji Heavy Ind Ltd 車両用運転支援装置
JP3767610B2 (ja) 2004-04-12 2006-04-19 アイシン精機株式会社 駐車補助装置
JP2006050246A (ja) * 2004-08-04 2006-02-16 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
KR20070116199A (ko) 2007-03-19 2007-12-07 유승현 차량의 후진 주차 영상 보조 시스템 및 그 제어방법
US20100079582A1 (en) * 2008-10-01 2010-04-01 Dunsmore Clay A Method and System for Capturing and Using Automatic Focus Information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078566A (ja) 1998-08-31 2000-03-14 Aisin Seiki Co Ltd 駐車補助装置
JP2000313292A (ja) 1999-05-06 2000-11-14 Toyota Autom Loom Works Ltd 後退時の操舵支援装置
KR100542805B1 (ko) * 2002-10-07 2006-01-11 야자키 소교 가부시키가이샤 주차 지원 장치
KR200345814Y1 (ko) * 2003-12-30 2004-03-27 주식회사 현대오토넷 차량의 후방 조망 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489272B1 (ko) 2014-03-17 2015-02-06 ㈜베이다스 신호발생 백업기능을 구비한 복수 이미지의 동기화 합성 시스템

Also Published As

Publication number Publication date
US8405724B2 (en) 2013-03-26
US20100302368A1 (en) 2010-12-02
KR20100129965A (ko) 2010-12-10

Similar Documents

Publication Publication Date Title
KR101023334B1 (ko) 자동차용 카메라 모듈 및 이를 이용한 주차 안내선 표시방법
US10462372B2 (en) Imaging device, imaging system, and imaging method
KR102374013B1 (ko) 촬상 장치 및 전자 기기
US7697055B2 (en) Camera unit and apparatus for monitoring vehicle periphery
US7605856B2 (en) Camera unit and apparatus for monitoring vehicle periphery
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
JP2006311272A (ja) 車両用映像表示装置
US11465560B2 (en) Vehicular vision system that utilizes trailer camera
WO2010070920A1 (ja) 車両周囲画像生成装置
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
JP4579132B2 (ja) 車両／周囲画像提供装置
JP2008207627A (ja) 車載撮像システム、撮像装置及び表示制御装置
JP2011049735A (ja) 車両周辺画像提供装置
KR100899892B1 (ko) 자동차용 카메라 장치 및 안내선 표시방법
WO2022130888A1 (ja) 撮像装置
JP5195776B2 (ja) 車両周辺監視装置
EP3276939A1 (en) Image capturing device, image capturing system, and vehicle
JP2004312063A (ja) 撮像装置、画像表示システム及び画像表示方法
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN115866418A (zh) 图像处理系统、移动体、图像处理方法和存储介质
JP4007274B2 (ja) 車両前方暗視システム
CN108353124A (zh) 电子镜的电路
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
US20230007190A1 (en) Imaging apparatus and imaging system
JP7300624B2 (ja) 電子ミラーカメラシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee