KR100650121B1 - 이동체용 주위 감시 장치 - Google Patents

이동체용 주위 감시 장치 Download PDF

Info

Publication number
KR100650121B1
KR100650121B1 KR1020010062637A KR20010062637A KR100650121B1 KR 100650121 B1 KR100650121 B1 KR 100650121B1 KR 1020010062637 A KR1020010062637 A KR 1020010062637A KR 20010062637 A KR20010062637 A KR 20010062637A KR 100650121 B1 KR100650121 B1 KR 100650121B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
image data
display
omnidirectional
Prior art date
Application number
KR1020010062637A
Other languages
English (en)
Other versions
KR20020028853A (ko
Inventor
쿠마타키요시
카코노리토시
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26601909&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100650121(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20020028853A publication Critical patent/KR20020028853A/ko
Application granted granted Critical
Publication of KR100650121B1 publication Critical patent/KR100650121B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

이동체 둘레의 주위를 감시하도록 이동체 상에 탑재되는 주위 감시 시스템은 전방위 시각 시스템을 포함하고, 상기 전방위 시각 시스템은 주위의 전방위 시야 영역에 걸쳐 영상을 얻을 수 있고 상기 영상을 광학상으로 중심 사영 변환시킬 수 있는 광학계, 및 상기 광학계에 의해 얻어진 광학상을 화상 데이터로 변환시키기 위한 촬상 렌즈를 가진 화상부를 포함하는 적어도 하나의 전방위 시각 센서, 상기 화상 데이터를 파노라마 화상 데이터 및 투시 화상 데이터 중 적어도 하나로 변환시키기 위한 화상 처리수단, 상기 파노라마 화상 데이터에 대응하는 파노라마 화상 및 상기 투시 화상 데이터에 대응하는 투시 화상 중 하나를 표시하기 위한 표시부 및 상기 표시부를 제어하는 표시 제어부로 구성되는 전방위 시각 시스템을 포함한다.

Description

이동체용 주위 감시 장치{SURROUND SURVEILLANCE APPARATUS FOR MOBILE BODY}
도1a는 본 발명의 실시예 1에 따른 주위감시장치를 내장한 차량의 구성을 나타내는 평면도이다. 도1b는 도1a의 차량을 나타내는 측면도이다.
도1c는 본 발명의 실시예 1에 따른 주위감시장치를 내장한 차량의 변형 구조를 나타내는 평면도이다. 도1d는 도1c의 차량을 나타내는 측면도이다.
도2는 실시예 1에 따른 주위감시장치의 구성을 나타내는 블록도이다.
도3은 실시예 1에 따른 주위감시장치에서 사용된 광학계의 전형적인 구성을 나타낸다.
도4a는 실시예 1에 따른 주위감시장치에서 사용된 화상 처리부의 구조를 나타내는 블록도이다.
도4b는 실시예 1에 따른 주위감시장치에서 사용된 화상 변환부의 구성을 나타내는 블록도이다.
도5는 실시예 1에 따른 파노라마(360°) 화상 변환의 예를 나타낸다. 도5a는 입력 원형 화상을 나타낸다. 도5b는 파노라마 화상 변환을 거친 도넛형 화상을 나타낸다. 도5c는 직교 좌표로 변환된 파노라마 화상을 나타낸다.
도6은 실시예 1에 따른 주위감시장치에서의 투시 변환을 예시한다.
도7은 실시예 1에 따른 주위감시장치에서 표시부의 표시 스크린의 예를 나타낸다.
도8은 실시예 1에 따른 주위감시장치에서 표시부의 표시 스크린의 다른 예를 나타낸다.
도9a는 본 발명의 실시예 2에 따른 이동체용 주위감시장치를 포함하는 차량을 나타내는 평면도이다. 도9b는 도9a에 도시된 차량의 측면도이다.
도10은 실시예 2에 따른 주위감시장치에서 표시부의 표시 스크린의 일례를 나타낸다.
도11은 실시예 2에 따른 주위감시장치에서 표시부의 표시 스크린의 분할 영역을 나타낸다.
도12a는 본 발명의 실시예 3에 따른 주위감시장치를 내장한 차량의 구성을 나타내는 평면도이다. 도12b는 도12a의 차량을 나타내는 측면도이다.
도13은 실시예 3에 따른 주위감시장치의 구성을 나타내는 블록도이다.
본 발명은 이동체의 주위를 조사하기 위한 주위 감시 시스템에 관한 것이다. 즉, 본 발명은 인간 및 자동차, 기차 등과 같은 화물 운송을 위한 이동체의 주위를 조사하기 위한 주위감시장치에 관한 것이다.
최근, 교통사고의 증가는 주요 사회문제가 되고 있다. 특히, 복수의 도로가 교차하는 장소(T-교차로, 십자 교차로 등)에서 종종 많은 사고가 발생한다. 예컨대, 사람들은 자동차가 진행하는 도로로 돌진하며, 자동차는 다른 자동차와 정면 충돌 또는 추돌한다. 일반적으로 상기와 같은 사고는 운전자와 보행자 모두의 시야가 교차로 영역에 제한되며, 많은 운전자와 보행자들은 그들의 주위에 주의를 기울이지 않아 신속히 위험을 인식할 수 없기 때문이다. 따라서, 자동차 자체의 개선, 운전자의 주의 환기, 교통환경의 개선 및 유지 등이 매우 요구된다.
종래에는, 교통환경의 개선을 위한 목적으로, 운전자와 보행자들이 장애물 뒤에 있는 사각지대를 볼 수 있도록 교차로 영역의 적절한 위치에 거울이 설치된다. 그러나, 거울에 의해 커버될 수 있는 사각지대의 시야는 제한되고, 또한 충분한 수의 거울이 설치될 수 없었다.
최근, 버스와 일부 승객용 자동차와 같은 많은 대형 자동차들은, 특히 상기 자동차의 후방에 주위의 안전을 확인하기 위한 감시 시스템을 갖고 있다. 상기 시스템은 자동차의 후방에 설치된 감시 카메라 및 운전자 좌석 근처 또는 계기판에 제공된 모니터를 포함한다. 상기 모니터는 케이블을 통해 감시 카메라에 접속된다. 상기 감시 카메라에 의해 포착된 화상은 모니터에 표시된다. 그러나, 이러한 감시 시스템에서조차도, 운전자는 시각을 사용하여 자동차 양측의 안전을 확인해야 한다. 따라서, 장애물로 인해 사각지대가 존재하는 교차로 등에서, 운전자는 종종 신속히 위험을 인식할 수 없다. 또한, 상기 유형의 단일 카메라는 1방향에서만 장애물을 탐지하고 충돌을 예측할 수 있을 정도로 제한된 시야를 갖는다. 장애물의 존재 여부를 확인하고 광범위에 걸쳐 충돌 위험을 예견하기 위해, 특정 조작, 예컨대 카메라 앵글의 변경이 요구된다.
자동차용 종래의 주위 감시 시스템의 주목적은 1방향 감시이므로, 자동차 주위의 360°영역을 감시하기 위해서는 복수의 카메라가 요구된다; 즉, 자동차의 전후방과 좌우측 각각에 적어도 1개의 카메라를 제공하도록 4개 이상의 카메라를 제공할 필요가 있다.
또한, 고지대 영역, 고위도 영역, 겨울 등과 같이 주위 온도가, 일정 온도 또는 그 이하로 감소되는 장소 또는 시기에 자동차가 사용되는 경우, 자동차의 시동 후 일정 시간 동안 자동차의 창문 유리에 이슬이 형성된 후 동결될 수 있다. 이러한 이슬 또는 동결된 이슬, 또는 다른 요인은 창유리를 흐리게 하며, 운전자가 자동차의 내부로부터 외부를 바라보는 것을 어렵게 한다. 예컨대, 운전자가 도로 가장자리에 자동차를 주차할 때, 많은 경우 운전자의 자동차는 다른 자동차 또는 사람에게 근접해 있다. 상기 상황에서 운전자가 자동차의 운전을 개시할 때, 유리창의 포그가 충분히 제거되지 않거나 더운 공기에 의해 증발되지 않으면 운전자는 주위의 상황을 충분히 파악할 수 없다.
물론, 자동차를 이용하는 경우, 운전자는 자동차 주위의 안전을 확보하는데 요구되는 다양한 상황들에 직면한다. 예컨대, 운전을 개시할 때, 운전자는 전방뿐만 아니라 자동차의 좌우측 및 후방의 안전을 확인해야 한다. 당연히, 자동차가 우회전하거나 좌회전할 때, 또는 차고에 주차하거나 차고에서 나올 때, 운전자는 자동차 주위의 안전을 확인해야 한다. 그러나, 자동차의 외형과 구조로 인해, 사각지대, 즉 운전자가 자동차의 직후방 및/또는 주위을 볼 수 없는 영역이 존재하며, 운 전자가 이러한 사각지대의 안전을 확인하기는 어렵다. 그 결과, 상기 사각지대는 운전자에게 상당한 부담이 된다.
또한, 종래의 주위 감시 시스템을 사용하는 경우, 자동차 주위의 360°영역의 안전을 확인하기 위해 복수의 카메라를 제공할 필요가 있다. 상기의 경우, 운전자는 자동차 주위의 안전을 확인하기 위해, 카메라를 선택적으로 스위칭하거나, 상황에 따라 선택된 카메라의 방향을 전환해야 한다. 상기 조작은 운전자에게 상당한 부담이 된다.
또한, 자동차의 유리창이 흐릿하여 운전자가 내부로부터 외부를 보기 어려운 경우, 운전자는 시각을 사용하여 수동으로 주위의 안전을 확인할 수 있도록 자동차 내부의 온도를 증가시키고 유리창의 포그가 제거될 때까지 기다리거나, 유리창의 포그를 제거해야 한다. 상기의 경우, 운전자가 시각을 사용하여 수동으로 조작하는 대신 운전자를 도와 자동차 주위의 안전을 확인할 수 있는 수단이 있다면 운전자는 보다 확실한 방법으로 자동차를 시동할 수 있다.
본 발명의 일 양태에 따르면, 이동체 둘레의 주위를 감시하도록 이동체 상에 탑재되는 주위 감시 시스템은 전방위 시각 시스템을 포함하고, 상기 전방위 시각 시스템은 주위의 전방위 시야 영역에 걸쳐 영상을 얻을 수 있고 상기 영상을 광학상으로 중심 사영 변환시킬 수 있는 광학계, 및 상기 광학계에 의해 얻어진 광학상을 화상 데이터로 변환시키기 위한 촬상 렌즈를 가진 화상부를 포함하는 적어도 하나의 전방위 시각 센서, 상기 화상 데이터를 파노라마 화상 데이터 및 투시 화상 데이터 중 적어도 하나로 변환시키기 위한 화상 처리수단, 상기 파노라마 화상 데이터에 대응하는 파노라마 화상 및 상기 투시 화상 데이터에 대응하는 투시 화상 중 하나를 표시하기 위한 표시부 및 상기 표시부를 제어하는 표시 제어부를 포함한다. 상기 광학계는 2엽 쌍곡면 중 하나의 쌍곡면의 형상을 가진 쌍곡면 미러를 포함하고, 상기 쌍곡면 미러의 광축은 촬상 렌즈의 광축과 일치하며, 상기 촬상 렌즈의 주점은 상기 쌍곡면 미러의 초점들 중 하나에 배치된다. 상기 표시부는 이동체 및 그의 주위의 조감도적 화상으로부터 변환된 투시 화상을 표시한다.
본 발명의 일 실시예에서, 상기 전체의 이동체 및 그의 주위의 조감도적 화상이 화상 데이터로 변환되도록 상기 적어도 하나의 전방위 시각 센서가 배치된다.
본 발명의 일 실시예에서, 상기 표시부는 파노라마 화상 및 투시 화상을 동시에 또는 선택적으로 표시한다.
본 발명의 일 실시예에서, 상기 표시부는 이동체의 가장 가능성있는 이동 방향에 대해 반대 방향으로 나타내진 영상을 표시한다.
본 발명의 일 실시예에서, 상기 화상 처리수단은 광학계 둘레의 전방위 시야 영역내의 제 1 영역에 대응하는 화상 데이터를 제 1 투시 화상 데이터로 변환시킨다.
본 발명의 일 실시예에서, 상기 표시 제어부에 의한 제어에 반응하여, 화상 처리부는 상기 제 1 영역과 중첩되지 않는 광학계 둘레의 전방위 시야 영역 내의 제 2 영역에 대응하는 화상 데이터를 상기 제 1 투시 화상 데이터와 일치하지 않는 제 2 투시 화상 데이터로 변환시킨다.
본 발명의 일 실시예에서, 상기 제 2 영역은 상기 제 1 영역 상에서의 병진 이동 처리 및 줌-인/줌-아웃 처리 중 적어도 하나를 실행함에 의해 얻어진 영역과 동일하다.
본 발명의 일 실시예에서, 상기 광학계는 그의 광축이 이동체의 가장 가능성있는 이동 방향에 대해 수직하게 되도록 배치된다.
본 발명의 일 실시예에서, 상기 표시 제어부에 의한 제어에 반응하여, 상기 표시부는 이동체가 표시 화면상에 표시된 화상의 소정 위치에 보여지도록 상기 표시부의 표시 화면상에 상기 이동체를 나타내는 화상을 표시하게 된다.
이동체 및 그의 주위의 조감도적 투시 화상을 표시할 때, 상기 표시부는 상기 이동체가 표시 화면 상의 소정 위치에 나타나도록 화상을 표시함이 바람직하다.
본 발명에 따르면, 상기 표시부는 이동체 및 그의 주위의 조감도적 투시 화상을 표시한다. 이 경우에, 상기 표시부가 전체의 이동체 및 그의 주위의 조감도적 투시 화상을 표시할 때, 이동체의 조작자는 동시에 모든 방향으로의 상기 이동체의 주위를 점검할 수 있다.
전방위 시각 센서가 전체의 이동체 및 그의 주위의 조감도적 화상을 직접 화상 데이터로 변환시킬 수 있을 때, 상기 표시부는 전방위 시각 센서로부터 도출된 화상 데이터에서 변환된 전체의 이동체 및 그의 주위의 조감도적 투시 화상을 표시할 수 있다.
그러나, 일부 경우에, 전방위 시각 센서가 전체의 이동체 및 그의 주위의 조감도적 화상을 화상 데이터로 직접 변환시킬 수 없을 때가 있다. 예컨대, 전방위 시각 센서가 차량의 메인 바디(또는 루프) 보다 높은 위치에 위치할 때, 상기 전방위 시각 센서는 차량 바로 위의 위치에서 직접 본 전체의 차량 및 그의 주위의 조감도적 화상을 얻을 수 있다. 그러나, 상기 전방위 시각 센서가 차량의 루프 보다 낮은 위치에 위치할 때, 상기 전방위 시각 센서의 시야 중 일부가 차량에 의해 차단됨으로써 전체의 차량 및 그의 주위의 조감도적 화상이 얻어질 수 없다.
이 경우에, 복수의 전방위 시각 센서를 통해 얻어진 복수의 투시 화상이 전체의 차량 및 그의 주위의 단일의 조감도적 투시 화상을 표시하도록 결합될 수 있다. 이 구성에 의해, 차량 본체의 조작자는 동시에 모든 방향에서의 이동체의 주위를 점검할 수 있다.
이와 다르게, 차량 바로 위의 위치에서 사전에 캡쳐링(capturing)된 차량의 평면 화상(조감도적 화상)을 나타내는 차량 화상 데이터가 화상 처리수단의 기억부에 기억되며, 상기 기억부에 기억된 차량 화상 데이터는 전방위 시각 센서를 통해 얻어진 화상을 반전시켜 얻어진 투시 화상 데이터와 결합됨으로써, 상기 표시부에 의해 표시 화면의 소정 위치에 전체 차량을 나타내는 투시 화상을 표시할 수 있다.
이와 다르게, 컴퓨터 그래픽 소프트웨어를 이용하여 사전에 형성된 차량의 평면 화상(조감도적 화상)의 화상 데이터를 화상 처리수단의 기억부에 기억시킬 수 있고, 상기 사전에 형성된 화상 데이터는 전방위 시각 센서에서 도출된 화상을 변환시켜 얻어진 투시 화상 데이터와 결합됨으로써, 상기 표시부에 의해 표시 화면의 소정 위치에 전체 차량을 나타내는 결합된 화상을 표시할 수 있다.
이 방식으로, 전방위 시각 센서를 통해 얻어지는 이동체의 준비된 화상 및 상기 이동체와 그의 주위를 나타내는 투시 화상이 표시될 화상으로 결합될 수 있다. 이 결합된 화상으로부터, 이동체의 조작자는 이동체와 그 주위의 대상물 사이의 상대적인 거리를 즉각적으로 파악할 수 있게 된다. 이동체의 사전에 캡쳐링된 화상을 이용함에 의해, 상기 이동체의 조작자는 이동체 및 그 주위의 대상물 사이의 거리를 더욱 시각적으로 있는 그대로 즉각적으로 파악할 수 있게 된다.
본 발명의 일 실시예에서, 상기 표시부는 이동체의 가장 가능성있는 이동 방향에 대해 반대 방향으로 보여지는 화상 및 상기 이동체의 가장 가능성있는 이동 방향에 동일하거나 또는 반대 방향이 아닌 방향으로 보여지는 화상을 동시에 표시한다.
본 발명의 일 실시예에서, 상기 이동체는 차량이다.
본 발명의 일 실시예에서, 상기 차량은 차량의 가장 가능성있는 이동 방향 측에 제공된 제 1 범퍼 및 상기 가장 가능성있는 이동 방향 측에 대해 반대 측의 차량 부분 또는 측면에 제공되는 제 2 범퍼를 포함한다. 상기 적어도 하나의 전방위 시각 센서가 제 1 범퍼 상에 제공된 제 1 전방위 시각 센서 및 제 2 범퍼 상에 제공된 제 2 전방위 시각 센서를 포함한다.
본 발명의 일 실시예에서, 상기 제 1 전방위 시각 센서는 차량의 가장 가능성있는 이동 방향에 대해 제 1 범퍼의 우측 단부 및 좌측 단부 중 하나에 배치된다. 상기 제 2 전방위 시각 센서는 상기 제 1 전방위 시각 센서가 차량의 몸체에 대해 배치되어 있는 제 1 범퍼의 단부에 대해 대각위치인 제 2 범퍼의 일 단부 상에 배치된다.
본 발명의 일 실시예에서, 상기 표시부는 상기 제 1 전방위 시각 센서에서 도출된 제 1 투시 화상 및 상기 제 2 전방위 시각 센서에서 도출된 제 2 투시 화상을 결합하여 얻어진 화상을 표시한다.
본 발명의 일 실시예에서, 상기 화상 처리부는 이동체의 화상 데이터를 기억하는 기억부를 포함하고, 상기 화상 처리부는 상기 기억부에서의 이동체의 화상 데이터와 광학계에서 도출된 투시 화상 데이터를 결합하며, 상기 표시부는 상기 결합된 화상 데이터에 따라 이동체를 나타내는 화상을 포함하는 투시 화상을 표시한다.
본 발명의 일 실시예에서, 상기 이동체의 화상 데이터는 컴퓨터 그래픽 소프트웨어를 이용하여 형성된 화상 데이터이다.
본 발명의 일 실시예에서, 상기 이동체의 화상 데이터는 이동체의 화상을 캡쳐링하여 얻어진 화상 데이터이다.
본 발명의 일 실시예에서, 상기 전방위 시각 시스템은 이동체의 주위 온도를 측정하는 온도 측정부를 더 포함하고, 상기 온도 측정부에 의해 측정된 주위 온도가 소정 온도 이하일 때, 상기 표시부는 이동체가 이동 가능하게 된 후에 이동체 및 그의 주위의 조감도적 투시 화상을 표시한다.
본 발명의 일 실시예에서, 상기 표시부가 상기 제 1 전방위 시각 센서를 통해 얻어진 이동체 및 그의 주위의 조감도적 투시 화상의 표시 영역 및 상기 제 2 전방위 시각 센서를 통해 얻어진 이동체 및 그의 주위의 조감도적 투시 화상의 표시 영역 사이의 중첩 영역의 투시 화상을 표시할 때, 상기 표시부는 상기 제 1 전방위 시각 센서 및 제 2 전방위 시각 센서 중 하나에서 도출된 투시 화상을 표시 제어부에 의한 제어에 따라 표시한다.
또한, 이동체의 주위 온도가 소정 온도 보다 낮을 때, 상기 표시부는 이동체가 이동 가능하게 된 후에 이동체 및 그의 주위의 조감도적 화상을 표시한다. 이동체 및 그의 주위의 조감도적 화상을 얻도록, 전방위 시각 센서는 그의 시야각이 가장 가능성있는 이동 방향에 대해 수직하게 되도록 배치된다. 이동체가 차량인 경우, 전방위 시각 센서는 수평 평면에서 90°인 방향(수평 평면에 대해 하방으로 수직한 방향)으로부터 투시 화상을 얻을 수 있도록 배치된다. 이러한 전방위 시각 센서를 통해 얻어진 화상을 변환시켜 얻어진 투시 화상이 표시될 때, 이동체의 조작자는 상기 이동체 주위의 안전성을 즉각적으로 점검할 수 있다.
본 명세서에서는, 광학계에 의해 중심 투시 변환된 광학상을 광학계의 복수의 초점들 중 하나에서 본 광학계 주위의 화상으로 간주한다.
이하, 본 발명의 기능을 설명한다.
본 발명에 따르면, 전방위(omniazimuth) 시각 센서의 광학계는 그 주위의 화상에 대한 중심사영(central projection) 변환을 할 수 있다. 상기 광학계은, 예컨대 2개의 쌍곡면중 1면의 형태를 가지는 쌍곡면 거울을 포함한다. 상기 광학계에서, 쌍곡면 거울의 광축은 상기 전방위 시각 센서의 촬상부에 포함된 촬상 렌즈의 광축과 일치하며, 상기 촬상 렌즈의 주점(principal point)은 쌍곡면 거울의 초점 중 하나에 위치한다.
상기 광학계를 통해 얻어지는 광 화상은 촬상부에 의해 화상 데이터로 변환 되며, 상기 화상 데이터는 파노라마 화상 데이터와 투시 화상 데이터 중 적어도 1개로 변환된다.
표시부는 파노라마 화상 데이터에 따른 파노라마 화상과 투시 화상 데이터에 따른 투시 화상 중 적어도 1개를 표시한다.
상기 촬상부에 의해 얻어지는 광학상은 광학계의 초점 중 하나로부터 보여지는 화상로 간주된다. 따라서, 광학상은 극좌표를 직교좌표로 좌표변환을 행함으로써 파노라마 화상 또는 투시 화상로 변환될 수 있다.
표시될 화상의 선택 또는 표시될 화상 크기의 선택은 표시제어부에 의해 행해진다.
일 실시예에서, 전방위 시각 센서는 이동체와 그 주위의 투시 조감도적(perspective bird's-eye) 화상 데이터가 얻어질 수 있도록 위치된다. 이동체가 차량일 때, 일반적으로 상기 차량과 그 주위의 조감도적 화상은 수평면에 대해 90°가 되도록 전방위 시각 센서를 통해 얻어진 투시 화상의 시각 방향을 하향 이동시킴으로써 표시될 수 있다.
상기 구성에서, 표시부는 이동체와 그 주위의 조감도적 투시 화상을 표시할 수 있다.
그 결과, 운전자는 각각의 카메라가 1방향 감시용으로 설계된 종래의 차량 감시장치와는 달리 복수의 카메라들 중 하나를 선택하기 위해 스위칭하거나 카메라의 방향을 변경할 필요가 없다.
표시부는 이동체의 이동 가능성이 가장 높은 방향과 반대인 전방위 시각 센 서의 주위 영역내에 있는 영역의 투시 화상을 표시한다.
한편, 표시부는 표시제어부에 의한 제어에 응답하여, (수직 및/또는 수평의) 병진 이동 과정(틸트(tilt)/팬(pan) 프로세싱)과 확대/축소(zoom-in/zoom-out) 프로세싱 중 적어도 1개를 행함으로써 얻어지는 화상을 표시할 수 있다.
따라서, 상기 기능은 운전자가 자신의 차량과 인접 차량 또는 장애물간의 거리를 확인해야만 할 때: 예컨대, 특히 운전자가 차고에 주차하거나 차고에서 나올 때, 또는 운전자가 차량을 인접 차량 또는 장애물의 가장자리에 가능한 한 근접하도록 주차하거나 정차할 때 유용하다.
본 명세서에서, 상기 "확대/축소" 동작은 확대와 축소 동작 중 어느 하나를 가리킨다.
광학계의 광축이 이동체의 이동 가능성이 가장 높은 방향에 수직이 되도록 광학계가 위치할 때, 상기 광학계에 의해 포착된 화상을 변환함으로써 얻어지는 투시 화상은 이동체의 직상으로부터 보여지는 전체 이동체의 조감도적 화상이 될 수 있다. 상기의 경우, 예컨대 운전자는 차고에 주차하거나 차고에서 나올 때, 또는 인접 차량 또는 장애물의 가장자라에 가능한 한 근접하여 주차 또는 정차할 때, 자신의 차량과 인접 차량 또는 장애물간의 거리를 용이하게 확인할 수 있다. 상기 광학계의 광축이 수평면에 수직하지 않더라도, 상기 수평면에 하향으로 직교하도록 전방위 시각 센서를 통해 얻어지는 투시 화상의 시야 방향을 변경함으로써 소정의 화상을 얻을 수 있다.
또한, 표시부가 표시제어부에 의한 제어에 응답하여 이동체의 투시 화상을 표시할 때, 상기 투시 화상은 상기 이동체가 표시된 투시 화상의 소정 부위(예컨대, 표시된 투시 화상의 중심)에 나타나도록 시프트될 수 있다. 상기 경우, 이동체의 운전자는 그 주위를 용이하게 인식할 수 있다.
또한, 컴퓨터 그래픽 소프트웨어를 사용하여 미리 포착되거나 미리 생성된 이동체의 화상이 표시부의 표시 스크린의 소정 위치에 표시될 때, 상기 이동체의 조작자는 이동체와 그 주위의 물체(장애물 등)간의 거리 관계를 용이하게 인식할 수 있다.
또한, 표시부는 이동체의 이동 가능성이 가장 높은 방향과 반대인 방향에서 보여지는 화상과 상기 이동체의 이동 가능성이 가장 높은 방향과 일치하지 않거나 반대인 방향에서 보여지는 화상을 동시에 표시한다. 상기 구성으로, 운전자는 이동 가능성이 가장 높은 방향과 다른 방향에서 보여질 수 있는 영역을 용이하게 확인할 수 있다. 일반적으로, 이동체의 조작자는 이동 가능성이 가장 높은 방향을 향한다. 따라서, 이동 가능성이 가장 높은 방향과 다른 방향에서 보여질 수 있는 영역을 확인하는 것은 안전의 관점에서 중요하다.
예컨대, 상기 이동체가 차량일 때, 2개의 전방위 시각 센서 중 1개는 전방 범퍼에 위치하고 다른 하나는 후방 범퍼에 위치한다. 특히, 1개의 전방위 시각 센서는 차량의 전방 우측 구석과 전방 좌측 구석 중 어느 하나에 위치하고, 다른 하나는 상기 차량의 대각선 후방 구석에 위치할 때, 전체 이동체 주위의 약 360°시야를 가진 화상은 운전자의 사각지대에 있는 차량에 매우 근접한 영역의 근처에서 얻어질 수 있다.
또한, 상기 표시부는 차량의 전방 구석에 배치된 전방위 시각 센서로부터 얻어지는 차량 및 그 주위의 조감도적 투시 화상과 상기 차량의 대각선 후방 구석에 배치된 다른 전방위 시각 센서로부터 얻어지는 차량 및 그 주위의 조감도적 투시 화상을 결합함으로써 얻어지는 투시 화상을 표시한다. 상기 구성으로, 전체 차량 주위의 화상은 1개의 표시 스크린에 표시될 수 있다. 따라서, 운전자는 차량 주위의 안전을 용이하게 확인할 수 있다.
또한, 주위 온도가, 예컨대 고지대 영역, 고위도 영역에서, 겨울에 일정 온도 또는 그 이하로 감소되어 이동체의 조작자가 그 내부로부터 외부를 바라보는 데 있어서 어려움이 있는 경우(차량의 유리에 포그가 형성되는 경우), 표시부는 이동체가 이동하게 된 후 상기 이동체 및 그 주위의 조감도적 투시 화상을 표시하며, 이에 의해 이동체의 조작자는 이동체 주위의 안전을 용이하게 확인할 수 있다. 예컨대, 상기 이동체가 차량일 때, 상기 차량 주위의 화상은 수평면에 때해 90°가 되도록 전방위 시각 센서를 통해 얻어진 투시 화상의 시야 방향을 하방으로 이동시킴으로써 표시될 수 있다.
따라서, 이하 기술된 본 발명은 (1) 사용자의 부담을 줄이고 이동체 주위의 안전을 개선하기 위해 이동체 주위를 용이하게 관찰하기 위한 주위감시장치를 제공하며, (2) 이동체의 조작자가 상기 이동체가 움직인 후 그 주위의 상황을 신속히 파악할 수 있도록 하는 주위감시장치를 제공하는 장점이 있다.
본 발명의 상기 및 다른 장점들은 첨부 도면을 참조하여 이하 상세한 설명을 숙독하고 이해한 당업자에게 명백하게 될 것이다.
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
(제1 실시예)
도1a는 본 발명의 제1 실시예에 의한 주위감시장치(200)를 장착한 이동체(100)의 구조를 도시한 평면도이다. 도1b는 도1a의 이동체(100)를 도시한 측면도이다.
제1 실시예에서, 상기 이동체(100)의 특정예로서 차량을 설명한다.
제1 실시예에서, 상기 차량(100)은 이동체용 주위감시장치(200)를 장착한다. 도1a 및 도1b에 도시한 바와 같이, 상기 주위감시장치(200)는 전방위 시각 센서(210) 및 연산/제어부(220)를 포함한다. 상기 전방위 시각 센서(210)는 차량(100)의 루프상에 배치된다. 상기 연산/제어부(220)는, 예컨대, 차량(100)의 운전석 근처에 제공된다.
도1a 및 도1b에 도시된 전방위 시각 센서(210)는 통상 수평 방향으로 그 주위의 360°시야를 갖는 전방위 시야를 갖는다.
도1c는 본 발명의 제1 실시예에 의한 주위감시장치(200A)를 장착한 이동체(100A)의 구조를 도시한 평면도이다. 도1d는 도1c의 이동체(100A)를 도시한 측면도이다. 상기 차량(100A)은 이동체용 주위감시장치(200A)를 장착하고 있다. 도1c 및 도1d에 도시한 바와 같이, 상기 주위감시장치(200A)는 제1 전방위 시각 센서(210A), 제2 전방위 시각 센서(210B), 및 연산/제어부(220)를 포함한다. 제1 전방위 시각 센서(210A)는 차량(100A)의 앞쪽(차량(100A)의 전방측)에 배치되어 있 다. 상기 제2 전방위 시각 센서(210B)는 차량(100A)의 뒤쪽(차량(100A)의 후방측)에 배치되어 있다. 상기 연산/제어부(220)는 차량(100A)의 운전석 근처에 제공된다.
상기 차량(100A)은 프론트 범퍼(front bumper)(110) 및 리어 범퍼(rear bumper)(120)를 더 포함한다.
제1 실시예에서, 제1 전방위 시각 센서(210A)는 프론트 범퍼(110)의 중앙부분에 배치되고, 제2 전방위 시각 센서(210B)는 리어 범퍼(120)의 중앙부분에 배치된다. 제1 전방위 시각 센서(210A) 및 제2 전방위 시각 센서(210B) 각각은 통상 수평 방향으로 그 주위의 360°시야를 갖는 전방위 시야를 갖는다.
그러나, 제1 전방위 시각 센서(210A)의 시야의 절반(약 180°후방 시야각)은 차량(100A)에 의해 차단된다. 즉, 제1 전방위 시각 센서(210A)의 유효 시야는 180°전방 시야(차량(100A)의 좌측에서 우측까지)로 한정된다. 이와 유사하게, 제2 전방위 시각 센서(210B)의 시야의 절반(약 180°전방 시야)은 차량(100A)에 의해 차단된다. 즉, 제2 전방위 시각 센서(210B)의 유효 시야는 180°후방 시야(차량(100A)의 좌측에서 우측으로)로 한정된다.
도2는 제1 실시예에 의한 주위감시장치(200)의 구성을 나타낸 블록도이다.
상기 주위감시장치(200)는: 전방위 시각 센서(210)의 주위에서 얻어진 화상을 화상 데이터로 변환하기 위한 전방위 시각 센서(210); 및 전방위 시각 센서(210)에 의해 변환된 화상 데이터를 처리하고 처리된 화상 데이터에 대응하는 화상을 표시하기 위한 연산/제어부(220)를 포함한다. 도1c 및 도1d에 도시된 주위 감시장치(200A)는 2개의 전방위 시각 센서를 포함하는 것을 제외하고 주위감시장치(200)와 거의 기능이 동일하다. 또한, 도1c 및 도1d에 도시한 제1 전방위 시각 센서(210A) 및 제2 전방위 시각 센서(210B) 각각은 전방위 시각 센서(210)와 거의 기능이 동일하다.
전방위 시각 센서(210)는, 주위의 시야 영역을 갖는 화상을 얻고 상기 화상을 중심 사영 변환시킬 수 있는 광학계(212); 및 광학계(212)에 의해 얻어진 화상을 화상 데이터로 변환시키기 위한 촬상부(214)를 포함한다. 상기 촬상부(214)는, 촬상 렌즈(216); 중심 사영 변환된 광학상을 수신하기 위한 수광부(217); 및 상기 수광부(217)에 의해 수광된 광학상을 화상 데이터로 변환하기 위한 화상 데이터 발생부(218)를 포함한다.
연산/제어부(220)는, 촬상부(214)에 의해 변환된 화상 데이터를 적어도 하나의 파노라마 화상 데이터와 투시 화상 데이터로 변환하기 위한 화상 처리부(230); 상기 화상 처리부(230)로부터의 출력(236)을 표시하기 위한 표시부(240); 및 화상 처리부(230)로부터의 출력(238) 및/또는 외부로부터 공급된 입력(254)에 기초하여, 차량(100)(도1c, 도1d) 주위의 화상들 중에서의 선택 및 표시부(240)에 표시될 상기 선택된 화상의 사이즈를 제어하기 위한 표시 제어부(250)를 포함한다. 화상 처리부(230)는, 필요할 때 경보 발생부(260)가 경보를 발생시키기 위해, 경보 발생부(260)에 출력(262)을 출력한다. 상기 화상 처리부(230)는 화상 변환부(232), 출력 버퍼 메모리(234), 및 기억부(235)를 포함한다. 상기 표시부(240)는 파노라마 화상 데이터에 대응하는 파노라마 화상과 투시 화상 데이터에 대응하는 투시 화상 중 적어도 하나를 표시한다. 상기 기억부(235)는 화상 처리부(230)에서 행해진 화상 처리 프로세스를 위한 데이터를 기억한다. 예컨대, 상기 기억부(235)는 상기 차량(100) 또는 차량(100A) 상부의 우측 위치로부터 포착된 차량(100) 또는 차량(100A)의 조감도적(bird's-eye) 화상을 기억한다.
예컨대, 화상 처리부(230)는 차량(100)의 전방 말단의 엔진 구획 또는 차량(100)의 후방 말단의 수하물부에 배치될 수 있다. 상기 표시부(240) 및 표시제어부(250)는 운전석 근처의 전방 패널 내부 또는 옆에 배치될 수 있다.
이하, 상기 각각의 소자들에 대해 상세히 설명한다.
도3은 중심 사영 변환이 가능한 광학계(212)의 특정예를 나타낸다.
여기서, 상기 광학계(212)는 2개의 쌍곡면중 하나의 형상을 갖는 쌍곡면 미러(310)를 포함한다. 촬상 렌즈(216) 및 쌍곡면 미러(310)는 쌍곡면 미러(310)의 광축(z-축)(312)이 촬상부(214)에 포함된 촬상 렌즈(216)의 광축(314)과 동일하도록 배치된다. 상기 촬상 렌즈(216)의 제1 주점(215)은 쌍곡선 미러(310)의 초점들중 하나에 위치한다. 이와 같은 구조에서는, 중심 사영 변환이 가능하다. 즉, 촬상부(214)에 의해 얻어진 화상은 쌍곡면 미러(310)의 초점 ①로부터 보이는, 쌍곡면 미러(310) 주위의 화상에 대응한다. 이와 같은 구성을 갖는 상기 광학계(212)는, 예컨대, 일본국 공개특허공보 제94-295333호에 개시되어 있고, 상기 광학의 몇 가지 특징만을 이하에 설명한다.
도3에서, 쌍곡면 미러(310)는 z-축 주위의 쌍곡선 커브를 회전시킴으로써 얻어진 곡면들(2개의 쌍곡면)중 하나에 의해 정의된 본체의 철면(convex) 즉, Z>0인 경우 2개의 쌍곡면의 영역에 미러를 제공함으로써 형성될 수 있다. 상기 2개의 쌍곡면은 다음과 같이 정의될 수 있다:
Figure 112001026028407-pat00001
여기서, a 및 b는 쌍곡면의 형상을 정의하기 위한 상수이고, c는 쌍곡면의 초점을 정의하기 위한 상수이다. 이하, 상수 a, b, c를 일반적으로 "미러 상수"라 한다. 쌍곡면 미러(310)는 쌍곡선 커브를 회전시켜 얻어진 곡면을 갖기 때문에, 상기 쌍곡선의 회전축은 쌍곡면 미러(310)의 광축(312)과 동일하다.
쌍곡면 미러(310)는 2개의 초점(①,②)을 갖는다. 외부로부터 상기 초점들중 하나(이 경우, 초점①)로 이동하는 모든 광은 상기 쌍곡면 미러(310)에 의해 반사되어 다른 초점(이 경우, 초점②)에 도달한다. 상기 쌍곡면 미러(310) 및 촬상부(214)는 쌍곡면 미러의 광축(312)이 촬상부(4b)의 촬상 렌즈(216)의 광축(314)과 동일하도록 배치되고, 촬상 렌즈(216)의 제1 주점(215)은 초점②에 위치된다. 이와 같은 구성에 의해, 촬상부(214)에 의해 얻어진 화상은, 관측 방향에 관계없이 항상 쌍곡면 미러(310)의 초점①로부터 보이고 화상 데이터로 변환될 수 있는 화상에 대응한다. 이 경우, 쌍곡면 미러(310)내의 화상을 얻을 수 없다. 또한, 촬상부(214)는 임의의 사이즈를 갖기 때문에, 촬상부(214)는 쌍곡면 미러(310)의 초점 ①에 달하는 것으로부터 촬상부(214)에 의해 차단되는 광을 수광하지 않는다.
촬상부(214)는 비디오 카메라일 수 있다. 상기 촬상부(214)는 도3의 쌍곡면 미러(310)를 통해 얻어진 광학상을 CCD, CMOS 등의 고상 촬상 장치를 사용하여 화상 데이터로 변환시킨다. 상기 변환된 화상 데이터는 화상 처리부(230)에 전송된다.
도4a는 화상 처리부(230)의 구조를 나타낸 블록도이다.
화상 처리부(230)는 화상 변환부(232) 및 출력 버퍼 메모리(234)를 포함한다. 화상 변환부(232)는 A/D 컨버터(410), 입력 버퍼 메모리(420), CPU(430), 룩업 테이블(LUT)(440), 및 화상 변환 논리(450)를 포함한다. 화상 변환부(232)의 각 소자는 버스 라인(460)을 통해 출력 버퍼 메모리(234)에 접속되어 있다.
도4b는 화상 변환부(232)의 구조를 나타낸 블록도이다.
화상 변환부(232)는 촬상부(214)에 의해 얻어진 광학상을 변환하여 얻어진 화상 데이터를 수신한다. 상기 화상 데이터가 아날로그 신호이면, 아날로그 신호는 A/D 컨버터(410)에 의해 변환되고, 디지털 신호는 입력 버퍼 메모리(420)에 전송된다. 영상 데이터가 디지털 신호이면, 화상 데이터는 입력 버퍼 메모리(420)에 직접 전송된다.
화상 변환부(232)에서는, 필요할 때 입력 버퍼 메모리(420)로부터의 출력(화상 데이터)을 화상 처리한다. 예컨대, 화상 변환 논리(450)는 상기 화상 데이터를 적어도 하나의 파노라마 화상 데이터 및 투시 화상 데이터로 변환시키거나 또는 표시될 화상을 병진(수직/수평으로) 이동시키거나 확대/축소하기 위해 상기 LUT(440)를 사용한다. 화상 처리후, 상기 처리된 화상 데이터를 도4a에 도시된 출력 버퍼 메모리(234)에 입력한다. 처리시, 상기 소자들은 CPU(430)에 의해 제어된다. 상기 CPU(430)는 RISC(reduced instruction set computer) 또는 CISC(complex instruction set computer)일 수 있다.
상기 화상 변환 논리(450)에 의한 화상 변환의 원리에 대해 설명한다. 화상 변환은 파노라마(360°) 화상을 얻기 위한 파노라마 변환 및 투시 화상을 얻기 위한 투시 변환을 포함한다. 또한, 투시 화상은 수평으로 회전하며 전사(수평전사, 소위 "팬 운동")되고, 수직으로 회전하며 전사(수직 전사, 소위 "틸트 운동")될 수 있다. 본 명세서에서는, 수직 회전 전사를 "병진 전사"라 한다.
우선, 도5를 참조하여 파노라마(360°) 화상 변환에 대해 설명한다. 도5의 a부분을 참조하면, 화상(510)은 촬상부(214)에 의해 얻어진 원형 화상이다. 도5의 b부분은 파노라마 화상 변환이 행해진 도넛형 화상(515)을 나타낸다. 도5의 c부분은 상기 화상(510)을 직교 좌표로 변환함으로써 얻어진 파노라마 화상(520)을 나타낸다.
도5의 a부분은 화상(510)의 중심이 좌표의 원점(Xo,Yo)에 배치되는 극좌표 형식으로 포맷되는 입력 원형 화상(510)을 나타낸다. 상기 극좌표에서는, 화상(510)의 화소(P)를 P(r,θ)로 나타낸다. 도5의 c부분을 참조하면, 파노라마 화상(520)에서는, 화상(510)(도5의 a부분)의 화소(P)에 대응하는 점을 P2(x,y)로 나타낸다. 점 PO(ro,θo)을 기준점으로 사용하여, 도5의 a부분에 도시된 원형 화상(510)을 도5c의 c부분에 도시된 정사각 파노라마 화상(520)으로 변환시키면, 상기 변환은 다음 식에 의해 표현된다:
x = θ- θo
y = r - ro
상기 원형 화상의 중점이 4각 좌표계의 원점(Xo,Yo)에 위치하도록 상기 입력 원형 화상(510)(도5의 a부분)을 4각 좌표로 포맷시키면, 화상(510)의 점(P)은 (X,Y)로 표현된다. 따라서, x 및 y는 다음과 같이 표현된다:
Figure 112001026028407-pat00002
따라서,
Figure 112001026028407-pat00003
파노라마 화상의 팬/틸트 운동은 기준점 PO(ro,θo)의 위치를 다른 위치로 변경함으로써 실현될 수 있다. 팬 운동은 "θo"의 값을 변경함으로써 실현된다. 그러나, 제1 실시예에서, 상기 얻어진 화상이 변환 영역을 남기기 때문에 틸트 운동이 행해지지 않는다.
다음, 도6을 참조하여 투시 변환에 대해 설명한다. 투시 변환에서는, 3차원 공간의 점에 대응하는 촬상부(214)의 수광부(217)에 의해 얻어진 입력 광학상위의 점의 위치를 계산하고, 입력 광학상위의 점에서의 화상 정보를 투시 변환된 화상위의 상기 점에 할당하는 것에 의해, 직교 변환이 행해진다.
특히, 도6에 도시한 바와 같이, 3차원 공간의 점은 P3으로 표현되고, 그에 대응하는, 촬상부(214)의 수광부(217)의 수광면에 형성된 원형 화상 위에 있는 점은 R(r,θ)로 표현되며, 촬상 렌즈(216)의 초점 거리는 F이다. 상기 수광부(217)는 초점 거리(F)에 의해 촬상 렌즈(217)로부터 거리가 먼 위치에 배치된다. 또한, 쌍곡면 미러(310)의 미러 상수는 (a,b,c)이며, 도3에서의 a, b, c와 동일하다. 상기 파라미터들에 의해, 식(2)가 얻어진다:
Figure 112001026028407-pat00004
도6에서는, α는 초점 ①을 포함하는 수평면에 대해 물체점(점 P3)으로부터 초점①을 향해 이동하는 광의 입사각이고; β는 점 P3으로부터 나와서 상기 쌍곡면 미러(310)상의 점에서 반사하여 촬상 렌즈(216)로 들어가는 광의 입사각이다(각 β는 상기 촬상 렌즈(216)의 광축(314)에 대한 각이 아니라 광축(314)에 수직인 촬상 렌즈(216)의 표면에 대한 각이다). 대수 α, β,θ는 다음과 같이 표현된다.
Figure 112001026028407-pat00005
상기로부터 식(2)은 다음과 같이 표현된다:
Figure 112001026028407-pat00006
원형 화상(51)위의 점의 좌표는 4각 좌표 R(X,Y)로 변환된다. X, Y는 다음과 같이 표현된다:
Figure 112001026028407-pat00007
따라서, 상기 식으로부터:
Figure 112001026028407-pat00033
다음, 수평 회전 전사 및 수직 회전 전사에 대해 설명한다.
또, 도6을 참조하여, Z축(312) 둘레의 회전각 θ에 대응하는 위치의 3차원 공간에 위치되고 폭이 W, 높이가 h인 4각 화상 평면을 고려한다. 여기서, R은 쌍곡면 미러(310)의 면과 초점 ① 사이의 거리이고, φ는 디프레션각(입사각 α와 동일)인 상기 4각 화상 평면의 중심은 점 P3이다. 4각 화상 평면의 상부 우측 코너에 있는 점의 파라미터인 점 Q(tx, ty, tz)는 다음과 같이 표현된다:
Figure 112001026028407-pat00009
식(7), (8), (9)와 식(5), (6)을 결합함으로써, 다음과 같은 4각 화상 평면의 점 Q에 대응하는 촬상부(214)의 수광부(217)에 형성된 원형 화상의 점의 좌표(X,Y)를 얻을 수 있다:
Figure 112001026028407-pat00010
또한, 상기 4각 화상 평면이 각각 폭이 n이고 높이가 m인 화소로 분할된 투시 화상으로 변환된다고 가정하자. 식(7), (8), (9)에서, 파라미터 W는 W/n마다 W∼-W의 범위내에서 변경되고, 파라미터 h는 h/m마다 h∼-h의 범위내에서 변경됨으로써, 4각 화상 평면의 점들의 좌표가 얻어진다. 상기 얻어진 4각 화상 평면의 점들의 좌표에 따라, 4각 화상 평면의 점들에 대응하는 수광부(217)상에 형성된 원형 화상의 점들에서의 화상 데이터는 투시 화상으로 전사되어 표시부(240)(도 2)상에 표시된다.
다음, 투시 변환에서의 수평 회전 운동(팬 운동) 및 수직 회전 운동(틸트 운동)에 대해 설명한다. 우선, 상기 점 Q가 수평으로 회전운동(팬 운동)하고 있는 경우에 대해 설명한다. 수평 회전 운동 후에 얻어진 점의 좌표인 점 Q'(tx', ty' tz')은 다음과 같이 표현된다:
Figure 112001026028407-pat00011
Figure 112001026028407-pat00012
여기서, Δθ는 수평 운동각이다.
식(12), (13), (14)을 식(5), (6)과 결합함으로써, 점 Q'(tx', ty' tz')에 대응하는 수광부(217)에 형성된 원형 화상(510) 위의 점의 좌표(X,Y)를 얻을 수 있다. 이는 원형 화상(510)의 다른 점(점 Q 이외의)에도 적용된다. 식(12), (13), (14)에서, 파라미터 W는 W/n마다 W∼-W의 범위내에서 변경되고, 파라미터 h는 h/m마다 h∼-h의 범위내에서 변경됨으로써, 4각 화상 평면의 점들의 좌표가 얻어진다. 상기 얻어진 4각 화상 평면의 점들의 좌표에 따라, 상기 점 Q'(tx', ty' tz')에 대응하는 수광부(217)상에 형성된 원형 화상(510)의 점들에서의 화상 데이터는 투시 화상으로 전사되어 수평 회전 화상을 얻을 수 있다.
다음, 상기 점 Q가 수직으로 회전운동(틸트 운동)을 하고 있는 경우에 대해 설명한다. 수직 회전 운동 후에 얻어진 점의 좌표인 점 Q"(tx", ty" tz")은 다음과 같이 표현된다:
Figure 112001026028407-pat00013
여기서, Δφ는 수직 운동각이다.
식(15), (16), (17)을 식(5), (6)과 결합함으로써, 점 Q"(tx", ty" tz")에 대응하는 수광부(217)에 형성된 원형 화상(510) 위의 점의 좌표(X,Y)를 얻을 수 있 다. 이는 원형 화상의 다른 점에도 적용된다. 식(15), (16), (17)에서, 파라미터 W는 W/n마다 W∼-W의 범위내에서 변경되고, 파라미터 h는 h/m마다 h∼-h의 범위내에서 변경됨으로써, 4각 화상 평면의 점들의 좌표가 얻어진다. 상기 얻어진 4각 화상 평면의 점들의 좌표에 따라, 상기 점 Q"(tx", ty" tz")에 대응하는 수광부(217)상에 형성된 원형 화상의 점들에서의 화상 데이터는 투시 화상으로 전사되어 수직 회전 화상을 얻을 수 있다.
또한, 투시 화상에 대한 줌-인/줌-아웃 기능은 하나의 파라미터, 파라미터(R)에 의해 실현된다. 특히, 파라미터 W와 h가 고정되어 있는 동안, 식(4) 내지 (12)의 파라미터 R이 감소하면, 초점①로부터의 시야 범위가 감소되어, 광학계의 줌-아웃 동작에 의해 얻을 수 있는 줌-아웃 화상과 동일한 화상이 얻어진다. 파라미터 W와 h가 고정되어 있는 동안, 식(4) 내지 (12)의 파라미터 R이 증가하면, 초점①로부터의 시야 범위가 증가하여, 광학계의 줌-인 동작에 의해 얻을 수 있는 줌-인 화상과 동일한 화상이 얻어진다.
예컨대, 촬상부(214)의 광축(314)이 그라운드에 수직하도록, 전방위 시각 센서(210)가 차량(100)에 부착된 경우를 고려한다. 투시 화상의 시야 방향이 α = -90°가 되도록 수직 회전 전사에 의해 선택되면, 얻어진 사시도는 차량(100) 바로 위의 위치로부터 아래를 향해 보이는 차량(100)과 그 주위의 조감도이다. 이 경우, 상기와 같이 파라미터(R)를 감소시키는 것에 의해 시야 영역이 확대되어, 줌-아웃 시야를 얻을 수 있고, 반면 파라미터(R)를 증가시키는 것에 의해 줌-인 시야를 얻을 수 있다. 또한, 표시제어부(250)의 제어에 의해 줌-인 동작(예컨대, 키 동작)을 행함으로써, 도1a 및 도1b에 도시한 전방위 시각 센서(210) 주위의 일정 영역을 나타내고, 상기 차량(100)을 커버하는, 전체 차량(100) 바로 위의 위치로부터 아래를 향해 조감도가 보여진다.
본 명세서에서, "조감도"는 이동체(100) 위의 위치로부터 이동체(100)의 가장 가능성 있는 이동 방향에 수직인 방향에서 보여지는 도면이다.
또한, 본 명세서에서, "가장 가능성 있는 이동 방향"은 이동체(100)가 가장 높은 확률로 이동하는 방향이다. 일반적으로, 이동체(100)는 가장 가능성있는 이동 방향을 고려하여 설계된다. 또한, 이동체(100)의 오퍼레이터는 일반적으로 이동체(100)의 가장 가능성 있는 이동 방향을 향한다.
또한, 상기 예에서, 전방위 시각 센서(210)에 의해 얻어진 사시도는 초점①로부터 선택된 시야 방향에 수직한 평면 위에 있고(예컨대, 도6에서는, 초점①로부터 초점(P3)으로의 방향), 얻어진 사시도의 범위는 초점①로부터 선택된 시야 방향의 라인 주위의 평면 위에 동일하게 연장된다. 그러나, 본 발명에 따르면, 식(5) 및 (6)을 사용하는 것에 의해, 전방위 시각 센서(210)의 광학계에 의해 커버된 3차원 공간의 평면으로부터 임의의 사시도를 얻을 수 있어서, 이러한 사시도가 얻어지는 평면이 선택된 시야각에 관해 임의의 각을 형성할 수 있음이 명백하다. 예컨대, 상기 전방위 시각 센서(210)가 차량(100)의 지붕 위보다 일반적으로 사각 차량(100)의 코너에 위치하면, 상기 얻어진 사시도의 범위가 초점①로부터 선택된 시야 방향의 라인 주위에 동일하게 연장되기 때문에, 표시부(240)의 표시 스크린 상의 화상 표시는 표시부(240)의 표시 스크린의 중앙에 차량(100)을 나타낼 수 없 다.
이러한 경우, 상기 식 (15), (16) 및 (17)의 파라미터 W와 h의 가변 범위를 시프트 하는 것에 의해 차량(100)이 화상의 중앙에 나타나도록, 표시부(240)상의 화상 표시가 시프트될 수 있다. 예컨대, 차량(100)의 폭이 21w인 경우를 고려하자. 이 경우, 식 (15), (16) 및 (17)에서, 화상면의 범위는 (μ,ν)에 의해 수직 및 수평으로 시프트되며(여기서, 1w=√μ2+ν2), 즉 화상면의 범위가 "W ∼ -W (폭)"와 "h ∼ -h (높이)"로부터 "W+μ ∼ -W+μ"와 "h+ν ∼ -h+ν"로 각각 시프트되어, 이로써 차량(100)이 표시부(240)상에 표시되는 화상의 중앙에 나타난다. 이러한 처리는 상기 화상 처리부(230)의 변환 처리에서 파라미터 W와 h에 μ와 ν를 각각 부가함으로써 실현될 수 있다.
여기서 도2를 참조하면, 표시부(240)는 예컨대 음극선관, LCD, EL 등을 사용한 모니터이다. 표시부(240)는 화상 처리부(230)의 출력 버퍼 메모리(234)로부터 출력을 수신하여, 수신된 출력에 기초하여 화상을 표시한다. 이 화상 표시 동작 기간 동안, 마이크로컴퓨터를 포함한 표시제어부(250)는 표시부(240)상에 표시되는 화상(화상 처리부(230)에 의해 변환되는 파노라마 화상 및/또는 투시 화상)을 선택할 수 있고, 또는 표시되는 화상의 방향과 크기 등을 제어할 수 있다.
도7은 표시부(240)의 표시 스크린(710)을 도시한다.
도7에서, 표시 스크린(710)은: 제1 투시 화상 표시 윈도우(720); 제2 투시 화상 표시 윈도우(730); 제3 투시 화상 표시 윈도우(740); 및 파노라마 화상 표시 윈도우(750)를 포함한다. 상기 디폴트 상태에서, 제1 투시 화상 표시 윈도우(720) 는 차량(100)으로부터 전방 시야 투시 화상을 표시하고; 제2 투시 화상 표시 윈도우(730)는 차량(100)으로부터 좌측 시야 투시 화상을 표시하고; 제3 투시 화상 표시 윈도우(740)는 차량(100)으로부터 우측 시야 투시 화상을 표시한다. 파노라마 화상 표시 윈도우(750)는 차량(100) 주위 전체를 나타내는 파노라마 화상을 나타낸다.
표시 스크린(710)은: 제1 투시 화상 표시 윈도우(720)의 설명을 나타내는 제1 설명 표시 윈도우(725); 제2 투시 화상 표시 윈도우(730)의 설명을 나타내는 제2 설명 표시 윈도우(735); 제3 투시 화상 표시 윈도우(740)의 설명을 나타내는 제3 설명 표시 윈도우(745); 및 상기 파노라마 화상 표시 윈도우(750)의 설명을 나타내는 제4 설명 표시 윈도우(755)를 더 포함한다.
표시 스크린(710)은: 표시되는 투시 화상을 수직/수평으로 스크롤하는 방향키(760); 화상을 확대하는 확대키(770); 및 화상을 축소하는 축소키(780)를 더 포함한다.
제1 내지 제4 설명 표시 윈도우(725,735,745,755)는 각각 화상 표시 윈도우(720,730,740,750)를 활성화하는 스위치로서 기능한다. 사용자는 스위치로서 기능하는 상기 설명 표시 윈도우(윈도우(725,735,745,755))에 의해, 소망의 화상 표시 윈도우(윈도우(720,730,740,750))를 활성화시킴으로써, 사용자는 활성화된 윈도우에 표시되는 화상을 수직/수평으로 스크롤할 수 있고, 확대/축소할 수 있다. 또한, 상기 설명 표시 윈도우(윈도우(725,735,745,755))의 표시색의 변화에 의해, 화상 표시 윈도우(윈도우(720,730,740,750))가 활성화됐는지 안됐는지를 나타낼 수 있다. 사용자는 방향키(760), 확대키(770), 및 축소키(780)를 사용하여 각 투시 화상 표시 윈도우(720,730,740)에 표시되는 상기 화상을 병진(수직/수평으로) 스크롤할 수 있고, 또는 확대/축소할 수 있다. 사용자는 방향키(760)를 사용함으로써, 파노라마 화상 표시 윈도우(750)에 표시된 화상을 병진(수직/수평으로) 스크롤할 수 있고, 또는 확대/축소할 수 있다. 그러나, 파노라마 화상 표시 윈도우(750)에 표시된 화상은 확대되거나 또는 축소되지 않는다.
예컨대, 사용자가 제1 설명 표시 윈도우(725)를 터치하면, 신호가 표시 제어부(250)(도2)에 출력된다. 상기 터치에 응답하여, 표시제어부(250)는 제1 설명 표시 윈도우(725)의 표시색을 변화시키거나 또는 제1 설명 표시 윈도우(725)가 플릭커(flicker)되도록 하여, 제1 투시 화상 표시 윈도우(720)가 활성화됨을 나타낸다. 한편, 제1 투시 화상 표시 윈도우(720)가 활성화되어, 사용자는 방향키(760), 확대키(770), 및 축소키(780)를 사용하여 윈도우(720)에 표시되는 화상을 수직으로/수평으로 스크롤할 수 있고, 확대/축소할 수 있다. 특히, 신호는 방향키(760), 확대키(770), 및 축소키(780)로부터 표시제어부(250)를 통해 화상 처리부(230)(도2)의 화상변환부(232)에 보내진다. 방향키(760), 확대키(770), 및 축소키(780)로부터의 신호에 따라, 화상이 변환되고, 상기 변환된 화상이 표시부(240)(도2)에 전송되어, 표시부(240)의 스크린상에 표시된다.
표시 스크린(710)은 전방위 시각 센서 스위칭 키(790)를 더 포함한다.
예컨대, 운전자가 표시 스크린(710)상에 위치한 전방위 시각 센서 스위칭 키(790)를 사용하여, 운전자에 의한 스위칭 키(790)의 동작에 기초하여, 신호가 표 시제어부(250)로부터 화상 처리부(230)와 표시부(240)에 전송되어, 이로써 시각 센서가 선택되도록, 전방 전방위 시각 센서(도1c 및 도1d의 210A)와 후방 전방위 시각 센서(도1c 및 도1d의 210B) 사이에서 스위칭이 행해진다. 후방 전방위 시각 센서(210B)가 선택되면, 예컨대 후방 전방위 시각 센서(210B)로부터 얻어진 화상이 표시된다. 그 후, 예컨대 제1 투시 화상 표시 윈도우(720)가 투시 화상 표시 윈도우(720,730,740) 가운데서 선택되고, 윈도우(720)의 화상 표시가 방향키(760)에 의해 -90°까지 틸트되어, 차량(100A)의 후방 부분 바로 위의 위치로부터 보여지는 조감도적 화상이 상기와 같이 얻어진다. 이러한 조감도적 화상의 예를 도8에 도시한다.
도8은 표시부(240)의 표시 스크린(810)의 다른 예를 도시한다.
도8에 도시한 바와 같이, 표시 스크린(810)은 확대된 제1 투시 화상 표시 윈도우(830)만을 표시할 수 있다. 제1 설명 표시 윈도우(820)는 제1 투시 화상 표시 윈도우(830)가 차량(100A)의 후방 부분과 그 주위의 후방 조감도적 화상을 나타냄을 나타낸다. 이러한 조감도적 화상의 표시는 운전자가 자신 소유의 차량과 인접한 차량 또는 장애물 사이의 거리를 체크해야 할 때: 예컨대, 특히 운전자가 차고 또는 주차장에 차량을 주차시키거나 차고 또는 주차장으로부터 차량을 운전할 때, 또는 운전자가 차량을 인접한 차량 또는 장애물의 에지에 가능한 한 가까이 주차시키거나 정차시킬 때, 유용하다.
도8에 도시한 예에서, 전방위 시각 센서(210B)는 차량(100)의 코너에 위치한다(이러한 구성을 실시예 2에서 상세히 후술함). 이 경우, 전방위 시각 센서(210B) 의 시야의 약 4분의 1(약 90°)(도8의 영역(860))이 챠량(100)에 의해 차단된다. 즉, 전방위 시각 센서(850)의 시야는 약 270°이며, 이는 리어 범퍼(120)의 중앙 부분에 위치한 전방위 시각 센서(210B)(도1c 및 도1d 참조)가 갖는 약 180°의 후방 시야에 비해 넓다.
또한, 제2 투시 화상 표시 윈도우(730) 및 제3 투시 화상 표시 윈도우(740)(도7)상에 표시되는 각 화상은 360° 회전 가능한 범위 내의 임의의 각에 의해 수평으로 시프트될 수 있다. 예컨대, 제2 투시 화상 표시 윈도우(730) 또는 제3 투시 화상 표시 윈도우(740)상에 표시되는 화상이 90°만큼 수평으로 회전되면, 차량(100)의 전방 또는 후방 투시 화상을 얻을 수 있다. 또한, 표시 스크린상에 제공된 부가 스위치의 단일 동작에 의해, 표시 스크린이 표시 스크린(710)(도7)과 표시 스크린(810)(도8) 사이에서 절환될 수 있도록, 표시부(240)를 구성할 수 있다.
(실시예 2)
도9a는 본 발명의 실시예 2에 따라 이동체용 주위 감시 장치(1000)를 포함하는 차량(900)을 도시하는 평면도이다. 도9b는 차량(900)의 측면도이다.
실시예 2의 차량(900)과 실시예 1의 차량(100A) 사이의 차이점은 전방위 시각 센서(1010A)는 차량(900)의 전방 우측 코너상에 위치하고, 전방위 시각 센서(1010B)는 센서(1010A)에 대해 대각선 방향인 차량(900)의 후방 좌측 코너상에 위치한다는 점이다.
각 전방위 시각 센서(1010A,1010B)는 일반적으로 수평 방향으로 그 주위 360° 시야에 의한 전방위 시야를 갖는다. 그러나, 전방위 시각 센서(1010A)의 시야의 4분의 1(후방 시야의 좌측 절반(90°))은 차량(900)에 의해 차단된다. 즉, 전방위 시각 센서(1010A)의 유효 시야는 약 270°의 전방 시야에 한정된다. 유사하게, 전방위 시각 센서(1010B)의 시야의 4분의 1(전방 시야의 우측 절반(90°))은 차량(900)에 의해 차단된다. 즉, 전방위 시각 센서(1010B)의 유효 시야는 약 270° 후방 시야에 한정된다. 따라서, 이러한 2개의 전방위 시각 센서(1010A,1010B)에 의해, 전방위 시각 센서(1010A,1010B)가 차량(900)에 매우 근접한 영역인 실시예 1의 차량(100)의 사각 영역을 볼 수 있도록, 전체 차량(900) 주위의 약 360° 시야 화상이 얻어질 수 있다.
예컨대, 도7에 도시한 예를 참조하여, 운전자가 제1 투시 화상 표시 윈도우(720)를 선택하고, 방향키(760)를 사용하여, 차량(900)의 조감도적 화상을 나타내는 경우를 고려하자. 이 경우, 전방위 시각 센서(1010A)를 통해 얻어진 화상 데이터가 특수한 변환없이 사용되면, 차량(900)이 표시 스크린의 중앙에 표시될 수 없다. 이 실시예에 따르면, 이러한 일이 발생할 때, 차량(900)이 예컨대 도10에 도시한 표시 스크린의 소정의 위치(예컨대, 중앙)에 표시되도록, 전방위 시각 센서(1010A)를 통해 얻어진 화상 데이터가 실시예 1에 설명한 상기 변환 방법에 따라 변환될 수 있다.
도10은 실시예 2에 따른 전형적인 표시 스크린(1110)을 도시한다. 실시예 2에서, 화상 처리부(230) 또는 표시부(240)는 전방 우측 코너에 위치한 전방위 시각 센서(1010A)를 통해 얻어진 조감도적 화상과 상기 센서(1010A)에 대각선 방향인 좌측 후방 코너에 위치한 전방위 시각 센서(1010B)를 통해 얻어진 조감도적 화상을 합성할 수 있어서, 도10에 도시한 바와 같이 한 번에 표시 스크린(1110)상에 차량(900) 주위를 표시할 수 있다.
단, 전방위 시각 센서를 차량의 본체(또는 지붕)에 비해 높게 위치시키면, 차량 바로 위의 위치로부터 보이는 차량과 그 주위의 조감도적 화상을 얻을 수 있다. 그러나, 전방위 시각 센서를 차량의 본체(또는 지붕)에 비해 낮게 위치시키면, 전방위 시각 센서는 차량의 측면(들)을 나타내는 화상만을 얻을 수 있다. 이러한 경우, 전체 차량을 나타내는 조감도적 화상을 표시하기 위해, 상기 차량 바로 위의 위치로부터 미리 캡쳐되거나 또는 컴퓨터 그래픽 소프트웨어를 사용하는 것에 의해 미리 생성된 상기 차량과 그 주위의 평면 화상이 준비되고, 이 평면 화상은 표시 스크린상에 표시되는 화상 내의 소정의 위치에 수퍼임포즈 방법으로 표시되어, 전방위 시각 센서를 통해 얻어진 화상과 합성될 수 있다. 이러한 표시 기능에 의해, 차량의 운전자는 차량 주위를 쉽게 체크할 수 있다. 예컨대, 주차 장소에서, 차량의 운전자는 차량과 백색 라인 또는 장애물 사이의 거리를 쉽게 파악할 수 있다. 감
또한, 도11에 도시한 바와 같이, 차량(900)의 대각선 코너에 위치한 전방위 시각 센서(1010A,1010B)를 통해 얻어진 화상이 합성될 때, 양 센서(1010A,1010B)는 영역(1)과 영역(4)의 화상을 얻을 수 있다. 이러한 경우, 영역(1)(또는 영역(4))의 화상은 센서(1010A)로부터 얻은 화상과 센서(1010B)로부터 얻은 화상을 선택적으로 사용하는 것에 의해 표시된다. 그러나, 이러한 표시 방법이 사용되면, 센서 1010A와 1010B 사이의 시야각의 차이에 의해, 선택된 전방위 시각 센서로부터 얻은 화상 과 그 이외의 전방위 시각 센서로부터 얻은 화상 사이의 계면(예컨대, 영역 1 또는 4와 영역 2 또는 3 사이의 계면)에 시각적인 불연속이 야기된다. 이러한 시각적인 불연속은 상기 표시된 화상을 보는 차량(900)의 운전자에게 곤란함과 불편함이 야기한다.
이러한 문제점을 회피하기 위해, 표시제어부(250)에 접속된 표시 스크린상에 스위칭 키(790)가 제공된다. 스위칭 키(790)를 사용하는 운전자의 스위칭 동작에 응답하여, 표시제어부(250)에 신호가 전송된다. 스위칭 키(790)로부터의 신호에 따라, 운전자가 매우 주의를 기울이는 영역의 화상과 이 영역에 인접한 영역의 화상을 합성하도록, 센서 1010A와 1010B 중 일방이 영역 1 또는 4의 화상을 표시하기 위해 선택되어, 운전자에게 매끄럽게 합성된 표시 화상을 제공한다. 예컨대, 차량(900)의 운전자가 영역(1)과 영역(2) 사이의 영역에 비해 영역(1)과 영역(3) 사이의 영역에 보다 주의를 기울이면, 영역(1)과 영역(2) 사이의 계면에는 시각적인 불연속이 야기되는 반면, 표시되는 화상이 영역(1)과 영역(3) 사이의 계면에서는 시각적으로 매끄럽도록, 운전자는 스위칭 키(790)를 사용하여 센서(1010A)를 통해 얻어지는 영역(1)의 화상을 선택할 수 있다. 역으로, 영역(1)과 영역(3) 사이의 계면에는 시각적인 불연속이 야기되는 반면, 영역(1)과 영역(2) 사이의 계면에는 표시되는 화상이 시각적으로 매끄럽도록, 운전자는 스위칭 키(790)를 사용하여 센서(1010B)를 통해 얻어지는 영역(1)의 화상을 선택할 수 있다.
(실시예 3)
도12a는 본 발명의 실시예 3에 따른 주위 감시 장치(1300)를 내장한 차량(1200)의 구성을 도시하는 평면도이다. 도12b는 도12a의 차량을 도시하는 측면도이다.
도12a 및 도12b에 도시한 주위 감시 장치(1300)는 온도 측정부(270)가 주위 온도를 측정하기에 최적인 차량(1200)의 외부 표면상의 위치(예컨대, 지붕의 전방 부분)에 제공된다는 점에서, 주위 감시 장치(1000)와 상이하다.
도13은 실시예 3에 따라 주위 감시 장치(1300)의 구성을 도시하는 블록도이다. 주위 감시 장치(1300)는 장치(1300)의 산술/제어부(1320)가 온도 측정부(270)를 포함한다는 점에서, 도2의 주위 감시 장치(200)와 상이하다.
실시예 3에서는, 상기한 바와 같이, 온도 측정부(270)가 주위 온도를 측정하기에 최적인 차량(1200)의 외부 표면상의 위치(예컨대, 지붕의 전방 부분)에 제공된다. 온도 측정부(270)는 케이블을 통해 주위 감시 장치(1300)의 표시제어부(250)에 접속되어 있다. 차량(1200)의 엔진이 동작을 시작할 때, 온도 측정부(270)의 측정 결과가 소정의 온도 이하이면, 표시제어부(250)는 측정부(270)로부터의 출력(256)에 기초하여, 예컨대, 도10에 도시한 조감도적 화상과 같이, 단일 표시 스크린에 한번에 차량(1200)의 주위를 나타내는 화상을, 임의의 기간에 대해, 자동적으로 표시한다. 이러한 구성에 의해, 차량(1200)의 주위 온도가 소정의 온도 이하여서, 차량(1200)의 창문 유리에 안개가 끼고, 상기 안개낀 창문에 의해 운전자가 창문으로부터 보는 것이 금지되는 경우에도, 운전자는 차량(1200) 주위의 안전성을 쉽게 체크할 수 있다.
실시예 1 내지 3에서는, 전방위 시각 센서가 차량의 지붕 또는 범퍼상에 위 치하지만, 후드, 사이드 미러, 또는 차량의 그 이외의 장소에도 위치할 수 있다. 또한, 실시예 1 내지 3에서는, 차량과 같은 객차를 설명했다. 그러나, 본 발명은 이에 한정되지 않고, 버스 등과 같은 큰 차량과 화물용 차량에 적용할 수 있다. 특히, 본 발명은 많은 화물 차량에서, 차량의 후방 방향의 운전자의 시야가 화물 구획에 의해 차단되기 때문에, 화물용 차량에 유용하다. 또한, 본 발명은 비행기와 일반적인 이동 로봇에도 적용할 수 있다.
이상에서 상술한 바와 같이, 본 발명에 따르면, 전방위 시각 센서(들)가 예컨대 차량의 범퍼(들), 코너(들) 등에 위치함으로써, 운전자의 사각 영역이 쉽게 관찰될 수 있다. 이러한 시스템에 의해, 운전자는 종래의 차량 감시 장치처럼, 표시 장치상의 표시용 카메라 중 일방을 선택하기 위해, 복수의 카메라를 절환하거나, 또는 카메라의 방위를 변화시킬 필요가 없다. 따라서, 운전자가 운전을 개시할 때, 차량이 우측 또는 좌측으로 턴할 때, 또는 운전자가 차고 또는 주차장에 차량을 주차하거나 또는 차고 또는 주차장으로부터 차량을 운전할 때, 운전자가 차량 주위의 안전성을 체크하여, 안전한 운전을 실현할 수 있다.
또한, 운전자는 소망의 표시 화상을 선택하여, 표시 방향 또는 화상의 크기를 변화시킬 수 있다. 특히, 운전자가 차고 또는 주차장에 차량을 주차하거나 차고 또는 주차장으로부터 차량을 운전할 때, 또는 운전자가 차량을 인접한 차량 또는 장애물에 가능한 한 가까이 주차 또는 정차할 때, 조감도 표시로 표시를 절환하는 것에 의해, 차량 주위의 안전성을 쉽게 체크할 수 있어서(예컨대, 자기 소유의 차 량과 인접한 차량 또는 장애물 사이의 거리가 쉽게 체크될 수 있음), 이로써 접촉 사고(들) 등이 방지될 수 있다.
본 발명의 범위와 정신을 벗어나지 않고 당업자들에 의해 여러 가지 다른 변경이 용이하게 실시될 수 있을 것이다. 따라서, 첨부된 특허 청구의 범위는 본 명세서에서 기술된 내용으로 제한되는 것이 아니라, 더 넓게 해석되어야 한다.

Claims (19)

  1. 이동체의 주위를 감시하기 위한 이동체의 주위감시장치에 있어서,
    2엽 쌍곡면 중 한쪽의 쌍곡면 형상을 갖는 쌍곡면미러를 포함하고, 상기 쌍곡면미러의 광축이 촬상렌즈의 광축에 일치하고, 상기 촬상렌즈의 주점이 상기 쌍곡면미러의 초점들 중 어느 하나의 위치에 위치하고, 그 주위 영역의 영상을 광학상으로 중심사영변환하는 광학계;
    촬상렌즈를 갖고 상기 중심사영변환된 광학상을 화상 데이터로 변환하는 촬상부를 포함하는 적어도 하나의 전방위 시각 센서;
    촬상부의 화상 데이터를 극좌표로부터 직교좌표로의 좌표변환을 행하여 파노라마 화상 데이터 및 투시화상 데이터 중 적어도 하나를 얻는 화상처리부;
    상기 화상처리부에서 얻은 파노라마 화상데이터에 대응하는 파노라마 화상 및 투시화상 데이터에 대응하는 투시화상 중 적어도 하나를 표시하는 표시부;
    상기 표시부를 제어하는 표시 제어부; 및
    상기 이동체의 주위온도를 측정하는 온도측정부를 구비하고,
    상기 온도측정부가 측정한 주위온도가 소정 온도 이하인 경우, 상기 이동체가 이동가능상태로 되는 때에, 상기 표시부는, 상기 이동체 전체의 주위를 조망하는 투시 화상을 표시하는, 이동체 주위를 감시하기 위한 이동체의 주위 감시 시스템.
  2. 제 1 항에 있어서, 상기 이동체 및 그의 주위의 조감도적 화상이 화상 데이 터로 변환되도록 상기 적어도 하나의 전방위 시각 센서가 배치되는 주위 감시 시스템.
  3. 제 1 항에 있어서, 상기 표시부는 파노라마 화상 및 투시 화상을 동시에 또는 선택적으로 표시하는 주위 감시 시스템.
  4. 제 1 항에 있어서, 상기 표시부는 이동체의 가장 가능성있는 이동 방향에 대해 반대 방향으로 나타내진 영상을 표시하는 주위 감시 시스템.
  5. 제 1 항에 있어서, 상기 화상 처리수단은 광학계 주위의 전방위 시야 영역내의 제 1 영역에 대응하는 화상 데이터를 제 1 투시 화상 데이터로 변환시키는 주위 감시 시스템.
  6. 제 5 항에 있어서, 상기 표시 제어부에 의한 제어에 응답하여, 화상 처리부는 상기 제 1 영역과 중첩되지 않는 광학계 주위의 전방위 시야 영역 내의 제 2 영역에 대응하는 화상 데이터를 상기 제 1 투시 화상 데이터와 일치하지 않는 제 2 투시 화상 데이터로 변환시키는 주위 감시 시스템.
  7. 제 6 항에 있어서, 상기 제 2 영역은 상기 제 1 영역 상에서의 병진 이동 처리 및 줌-인/줌-아웃 처리 중 적어도 하나를 실행함에 의해 얻어진 영역과 동일한 주위 감시 시스템.
  8. 제 1 항에 있어서, 상기 광학계는 그의 광축이 이동체의 가장 가능성있는 이동 방향에 대해 수직하게 되도록 배치되는 주위 감시 시스템.
  9. 제 1 항에 있어서, 상기 표시 제어부에 의한 제어에 응답하여, 상기 표시부는 이동체가 표시 화면상에 표시된 화상의 소정 위치에 보여지도록 상기 표시부의 표시 화면상에 상기 이동체를 나타내는 화상을 표시하는 주위 감시 시스템.
  10. 제 1 항에 있어서, 상기 표시부는 이동체의 가장 가능성있는 이동 방향에 반대 방향으로 보여지는 화상 및 상기 이동체의 가장 가능성있는 이동 방향에 동일하거나 또는 반대 방향이 아닌 방향으로 보여지는 화상을 동시에 표시하는 주위 감시 시스템.
  11. 제 1 항에 있어서, 상기 이동체가 차량인 주위 감시 시스템.
  12. 제 11 항에 있어서, 상기 차량은 차량의 가장 가능성있는 이동 방향 측에 제공된 제 1 범퍼 및 상기 가장 가능성있는 이동 방향 측에 대해 반대 측의 차량 부분 또는 측면에 제공되는 제 2 범퍼를 포함하고,
    상기 적어도 하나의 전방위 시각 센서가 제 1 범퍼 상에 제공된 제 1 전방위 시각 센서 및 제 2 범퍼 상에 제공된 제 2 전방위 시각 센서를 포함하는 주위 감시 시스템.
  13. 제 12 항에 있어서, 상기 제 1 전방위 시각 센서는 차량의 가장 가능성있는 이동 방향에 대해 제 1 범퍼의 우측 단부 및 좌측 단부 중 하나에 배치되며,
    상기 제 2 전방위 시각 센서는 상기 제 1 전방위 시각 센서가 차량의 몸체에 대해 배치되어 있는 제 1 범퍼의 단부에 대해 대각위치인 제 2 범퍼의 일 단부 상에 배치되는 주위 감시 시스템.
  14. 제 13 항에 있어서, 상기 표시부는 상기 제 1 전방위 시각 센서에서 도출된 제 1 투시 화상 및 상기 제 2 전방위 시각 센서에서 도출된 제 2 투시 화상을 결합하여 얻어진 화상을 표시하는 주위 감시 시스템.
  15. 제 1 항에 있어서, 상기 화상 처리부는 이동체의 화상 데이터를 기억하는 기억부를 포함하고,
    상기 화상 처리부는 상기 기억부에서의 이동체의 화상 데이터와 광학계에서 도출된 투시 화상 데이터를 결합하며,
    상기 표시부는 상기 결합된 화상 데이터에 따라 이동체를 나타내는 화상을 포함하는 투시 화상을 표시하는 주위 감시 시스템.
  16. 제 15 항에 있어서, 상기 이동체의 화상 데이터는 컴퓨터 그래픽 소프트웨어를 이용하여 형성된 화상 데이터인 주위 감시 시스템.
  17. 제 15 항에 있어서, 상기 이동체의 화상 데이터는 이동체의 화상을 캡쳐링하여 얻어진 화상 데이터인 주위 감시 시스템.
  18. 제 1 항에 있어서, 상기 전방위 시각 시스템은 이동체의 주위 온도를 측정하는 온도 측정부를 더 포함하고,
    상기 온도 측정부에 의해 측정된 주위 온도가 소정 온도 이하일 때, 상기 표시부는 이동체가 이동 가능하게 된 후에 이동체 및 그의 주위의 조감도적 투시 화상을 표시하는 주위 감시 시스템.
  19. 제 13 항에 있어서, 상기 표시부가 상기 제 1 전방위 시각 센서를 통해 얻어진 이동체 및 그의 주위의 조감도적 투시 화상의 표시 영역 및 상기 제 2 전방위 시각 센서를 통해 얻어진 이동체 및 그의 주위의 조감도적 투시 화상의 표시 영역 사이의 중첩 영역의 투시 화상을 표시할 때, 상기 표시부는 상기 제 1 전방위 시각 센서 및 제 2 전방위 시각 센서 중 하나에서 도출된 투시 화상을 표시 제어부에 의한 제어에 따라 표시하는 주위 감시 시스템.
KR1020010062637A 2000-10-11 2001-10-11 이동체용 주위 감시 장치 KR100650121B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2000-00311206 2000-10-11
JP2000311206 2000-10-11
JPJP-P-2001-00310887 2001-10-09
JP2001310887A JP3773433B2 (ja) 2000-10-11 2001-10-09 移動体の周囲監視装置

Publications (2)

Publication Number Publication Date
KR20020028853A KR20020028853A (ko) 2002-04-17
KR100650121B1 true KR100650121B1 (ko) 2006-11-24

Family

ID=26601909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010062637A KR100650121B1 (ko) 2000-10-11 2001-10-11 이동체용 주위 감시 장치

Country Status (5)

Country Link
US (1) US7295229B2 (ko)
EP (1) EP1197937B2 (ko)
JP (1) JP3773433B2 (ko)
KR (1) KR100650121B1 (ko)
DE (1) DE60101440T3 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671340B1 (ko) 2016-03-15 2016-11-01 (주)헥스하이브 전방위 촬상용 렌즈 조립체
KR20170139975A (ko) 2016-06-10 2017-12-20 (주)헥스하이브 전방위 촬상용 영상 시스템 및 블랙박스

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US20030202110A1 (en) * 2002-04-30 2003-10-30 Owens James W. Arrangement of images
US20030227424A1 (en) * 2002-06-05 2003-12-11 Lynch Marvin L. Method and apparatus for in-vehicle traffic flow viewing
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
JP2004312638A (ja) 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US20050062845A1 (en) * 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
WO2005080134A1 (en) * 2004-02-20 2005-09-01 Sharp Kabushiki Kaisha Surroundings exhibiting system and surroundings exhibiting method
JP4661112B2 (ja) * 2004-07-09 2011-03-30 日産自動車株式会社 画像情報処理装置及び画像情報処理方法
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP2006054662A (ja) * 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
DE102004042281A1 (de) * 2004-09-01 2006-03-02 Daimlerchrysler Ag Hilfsvorrichtung für das Handhaben eines Fahrzeugs
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
DE102005006754A1 (de) * 2005-02-15 2006-08-17 Robert Bosch Gmbh Weitwinkeliges Kamera-Spiegel-System für Beobachtungszwecke
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
US8885045B2 (en) 2005-08-02 2014-11-11 Nissan Motor Co., Ltd. Device and method for monitoring vehicle surroundings
DE102006006850B4 (de) 2006-02-15 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausrichtung eines verschwenkbaren Fahrzeugsensors
US20070271028A1 (en) * 2006-05-18 2007-11-22 Zicheng Liu Method and Apparatus for Vehicle Safety Surveillance
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
JP4758481B2 (ja) * 2007-01-16 2011-08-31 パイオニア株式会社 車両用画像処理装置及び車両用画像処理プログラム
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
DE102007016956A1 (de) 2007-04-05 2008-10-09 Continental Teves Ag & Co. Ohg Fahrerassistenzsystem
US20080266397A1 (en) * 2007-04-25 2008-10-30 Navaratne Dombawela Accident witness
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102008061760A1 (de) 2008-12-12 2010-06-17 Daimler Ag Vorrichtung zur Überwachung einer Umgebung eines Fahrzeugs
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
FR2956364B1 (fr) * 2010-02-18 2016-01-29 Peugeot Citroen Automobiles Sa Dispositif d'aide aux manoeuvres d'un vehicule par affichage de points de vue fonction de la position de la tete du conducteur
DE102010015079A1 (de) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
WO2012061567A1 (en) 2010-11-04 2012-05-10 Magna Electronics Inc. Vehicular camera system with reduced number of pins and conduits
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
WO2012116043A1 (en) 2011-02-25 2012-08-30 Magna Electronics Inc. Vehicular camera with aligned housing members and electrical connection between aligned housing members
US20140218535A1 (en) 2011-09-21 2014-08-07 Magna Electronics Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US9264673B2 (en) 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
TWI457861B (zh) * 2011-12-19 2014-10-21 Transpac Corp 監控裝置及其方法
US9565342B2 (en) 2012-03-06 2017-02-07 Magna Electronics Inc. Vehicle camera with tolerance compensating connector
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9288446B2 (en) * 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법
US10057544B2 (en) 2013-03-04 2018-08-21 Magna Electronics Inc. Vehicle vision system camera with integrated physical layer components
US9834143B2 (en) * 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
CN105658479B (zh) * 2013-08-07 2018-08-31 奥迪股份公司 可视化系统、车辆以及用于操作可视化系统的方法
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
US9881220B2 (en) 2013-10-25 2018-01-30 Magna Electronics Inc. Vehicle vision system utilizing communication system
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
US9688199B2 (en) 2014-03-04 2017-06-27 Magna Electronics Inc. Vehicle alert system utilizing communication system
US9971947B2 (en) 2014-07-31 2018-05-15 Magna Electronics Inc. Vehicle vision system with camera power control
US9729636B2 (en) 2014-08-01 2017-08-08 Magna Electronics Inc. Smart road system for vehicles
US10356337B2 (en) 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
US9740945B2 (en) 2015-01-14 2017-08-22 Magna Electronics Inc. Driver assistance system for vehicle
US10032369B2 (en) 2015-01-15 2018-07-24 Magna Electronics Inc. Vehicle vision system with traffic monitoring and alert
JP6222137B2 (ja) * 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
US10298818B2 (en) 2015-03-23 2019-05-21 Magna Electronics Inc. Vehicle camera with enhanced imager and PCB assembly
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US11027654B2 (en) 2015-12-04 2021-06-08 Magna Electronics Inc. Vehicle vision system with compressed video transfer via DSRC link
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
US10380439B2 (en) 2016-09-06 2019-08-13 Magna Electronics Inc. Vehicle sensing system for detecting turn signal indicators
US10607094B2 (en) 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
CN107371001B (zh) * 2017-08-25 2018-07-20 北京中都格罗唯视物流有限公司 一种重型卡车实时监控系统
CN107396061B (zh) * 2017-08-25 2018-05-01 胡海明 重型卡车实时监控系统
US10933798B2 (en) 2017-09-22 2021-03-02 Magna Electronics Inc. Vehicle lighting control system with fog detection
US10682966B2 (en) 2017-11-16 2020-06-16 Magna Electronics Inc. Vehicle light/display control system using camera
US11417107B2 (en) 2018-02-19 2022-08-16 Magna Electronics Inc. Stationary vision system at vehicle roadway
DE102018206062A1 (de) * 2018-04-20 2019-10-24 Robert Bosch Gmbh Verfahren zur Steuerung eines Anzeigesystems
US11683911B2 (en) 2018-10-26 2023-06-20 Magna Electronics Inc. Vehicular sensing device with cooling feature
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
US11609304B2 (en) 2019-02-07 2023-03-21 Magna Electronics Inc. Vehicular front camera testing system
US11535158B2 (en) 2019-03-28 2022-12-27 Magna Electronics Inc. Vehicular camera with automatic lens defogging feature
US11135883B2 (en) 2019-05-13 2021-10-05 Magna Electronics Inc. Vehicular sensing system with ultrasonic sensor at trailer hitch
US11750905B2 (en) 2020-08-14 2023-09-05 Magna Electronics Inc. Vehicular camera with inductive lens heater
US11801795B2 (en) 2020-09-18 2023-10-31 Magna Electronics Inc. Vehicular camera with lens heater with connectors
US11749105B2 (en) 2020-10-01 2023-09-05 Magna Electronics Inc. Vehicular communication system with turn signal identification
CN112822359B (zh) * 2020-12-30 2022-03-25 山东大学 一种基于车载式钻爆洞隧道的全景成像系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295333A (ja) * 1993-04-07 1994-10-21 Sharp Corp 全方位視覚系
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4420238A (en) * 1982-04-19 1983-12-13 Felix Larry L Apparatus for enabling concealing surveillance by use of a camera in a vehicle
GB2185360B (en) * 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
JPH08167100A (ja) * 1994-12-12 1996-06-25 Hisaji Nakamura 操縦装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
EP1408693A1 (en) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US6477464B2 (en) * 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
JP3327255B2 (ja) 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6704048B1 (en) * 1998-08-27 2004-03-09 Polycom, Inc. Adaptive electronic zoom control
JP2000295604A (ja) * 1999-04-06 2000-10-20 Yazaki Corp 車両用後側方監視装置
JP3627914B2 (ja) * 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
US6422062B1 (en) * 2000-08-29 2002-07-23 Delphi Technologies, Inc. Integrated glass fog sensor unit
US6424273B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
US7697027B2 (en) * 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6521868B1 (en) * 2001-11-02 2003-02-18 Ford Global Technologies, Inc. Method and apparatus for heating a portion of a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295333A (ja) * 1993-04-07 1994-10-21 Sharp Corp 全方位視覚系
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671340B1 (ko) 2016-03-15 2016-11-01 (주)헥스하이브 전방위 촬상용 렌즈 조립체
KR20170139975A (ko) 2016-06-10 2017-12-20 (주)헥스하이브 전방위 촬상용 영상 시스템 및 블랙박스

Also Published As

Publication number Publication date
KR20020028853A (ko) 2002-04-17
JP3773433B2 (ja) 2006-05-10
DE60101440T3 (de) 2008-04-17
EP1197937B1 (en) 2003-12-10
US7295229B2 (en) 2007-11-13
DE60101440T2 (de) 2004-09-23
EP1197937B2 (en) 2007-08-01
US20020080017A1 (en) 2002-06-27
DE60101440D1 (de) 2004-01-22
JP2002218451A (ja) 2002-08-02
EP1197937A1 (en) 2002-04-17

Similar Documents

Publication Publication Date Title
KR100650121B1 (ko) 이동체용 주위 감시 장치
KR100486012B1 (ko) 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP3031013B2 (ja) 視覚情報提供装置
JP2005167638A (ja) 移動体周囲監視装置、移動体および画像変換方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP3753681B2 (ja) 監視システム
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
KR20020033816A (ko) 감시시스템
JP2003081014A (ja) 車両周辺監視装置
JP2002225629A (ja) 車両用監視装置
KR20110080985A (ko) 차량용 다시점 룸미러
JP2018182646A (ja) 画像表示装置
JP2006044596A (ja) 車両用表示装置
JP2011189775A (ja) 車両の後側方確認装置
JP2005193838A (ja) 車両周囲表示装置
JP6816928B2 (ja) 車両用表示装置
JP4211104B2 (ja) 多方向撮像装置、多方向撮像装置付き車載ランプ、衝突監視装置、前方向監視装置
US20200406819A1 (en) Driver-assisting system for an industrial vehicle
JP2003125396A (ja) 車両周囲表示装置、車両周囲表示方法及び車両周囲表示プログラム
JP2005086754A (ja) 車輌周辺視認装置
JP2019038372A (ja) 画像表示装置
JPH0222799Y2 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20040922

Effective date: 20060621

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101118

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee