KR100486012B1 - 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차 - Google Patents

이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차 Download PDF

Info

Publication number
KR100486012B1
KR100486012B1 KR10-2001-0028145A KR20010028145A KR100486012B1 KR 100486012 B1 KR100486012 B1 KR 100486012B1 KR 20010028145 A KR20010028145 A KR 20010028145A KR 100486012 B1 KR100486012 B1 KR 100486012B1
Authority
KR
South Korea
Prior art keywords
image
display
vehicle
image data
monitoring system
Prior art date
Application number
KR10-2001-0028145A
Other languages
English (en)
Other versions
KR20010107655A (ko
Inventor
쿠마타키요시
시게타토루
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18657663&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100486012(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20010107655A publication Critical patent/KR20010107655A/ko
Application granted granted Critical
Publication of KR100486012B1 publication Critical patent/KR100486012B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

이동체 주위를 검사하기 위해 이동체에 탑재된 주위감시시스템은 전방향 시각 시스템을 포함하며, 상기 전방향 시각 시스템은: 주위 360°의 시야영역의 영상을 얻을 수 있어, 상기 영상에 대한 중심사영의 변환이 가능한 광학계, 및 상기 광학계에 의해 얻어지는 광학상을 제 1 화상데이터로 변환하는 촬상부를 포함하는 적어도 하나의 전방향 시각 센서; 상기 제 1 화상데이터를 파노라마 화상 및/또는 투시화상에 대한 제 2 화상데이터로 변환하는 화상처리부; 상기 제 2 화상데이터에 기초하여 상기 파노라마 화상 및/또는 투시화상을 표시하는 표시부; 및 상기 파노라마 화상 및/또는 투시화상을 선택하여 제어하는 표시제어부를 구비하고 있다.

Description

이동체의 주위감시시스템, 및 이를 이용한 이동체, 자동차, 및 전차{SURROUND SURVEILLANCE SYSTEM FOR MOBILE BODY, AND MOBILE BODY, CAR, AND TRAIN USING THE SAME}
본 발명은 주위감시시스템에 관한 것으로, 특히, 사람이나 화물을 수송하는 자동차나 전차 등의 주위감시에 바람직하게 사용되는 이동체를 위한 주위감시시스템에 관한 것이다.
최근에는, 교통사고의 증가가 큰 사회문제로 되고 있다. 특히, 교차로 등에서, 때때로 각종 사고가 발생한다. 예컨대, 사람들은 차량들이 지나가는 거리로 뛰어들고, 차들은 다른 차의 앞이나 뒤에서 충돌한다. 일반적으로, 이들 교차로 지역에서의 사고는, 운전자 및 보행자의 시야가 한정되고, 대다수의 운전자와 보행자가 그들 주위에 충분한 주의를 기울이지 않고 위험을 신속하게 인식하지 못하기 때문에 발생된다. 따라서, 차량 자체의 개량 및 운전자의 주의, 도로환경의 정비 등이 높게 요구되고 있다.
종래부터, 도로환경의 정비를 위해, 운전자 및 보행자가 장애물 뒤의 사각지역을 볼 수 있도록 교차로 지역의 적절한 위치에 거울을 설치하고 있지만, 거울에 의해 커버되는 사각지역이 한정되어 있고, 또한, 거울이 충분히 설치되어 있지도 않다.
최근에는, 버스 등의 대형 차량이나 일부 승용차 등의 많은 차량이 주위, 특히 차량의 후방을 확인하는 감시 시스템을 갖는다. 상기 시스템은 차량의 후방에 설치된 감시 카메라, 및 운전석 근처 또는 대시보드상에 제공된 모니터를 포함한다. 상기 모니터는 케이블을 통해 감시 카메라에 접속되어 있다. 상기 감시시스템에 얻어진 화상은 모니터에 표시된다. 그러나, 이러한 감시 카메라의 경우에도, 주로 운전자의 시각에 의해 차량의 양측에서 안전을 확인해야 하기 때문에, 장애물에 의한 사각지역이 있는 교차로 등에서, 때때로 운전자는 위험을 재빨리 인식할 수 없다. 또한, 상기 종류의 카메라는 시야가 좁아서, 1방향에 대한 장해물의 유무나 충돌의 위험에 관해서만 확인할 수 있다. 따라서, 광범위하게 장해물의 유무나 충돌의 위험에 관해 확인하기 위해서는, 카메라의 각도를 변화시키는 등의 조작이 필요하다.
즉, 종래의 차량용 주위감시시스템의 주요 목적은 1방향의 감시이기 때문에, 차량 주위의 360°영역을 감시하기 위해서는 복수의 카메라가 필요하다. 즉 차량의 전후좌우 각각에 적어도 하나의 카메라가 제공되도록 4개 이상의 카메라를 제공할 필요가 있다.
또한, 차량의 실내의 앞 부분에 위치하는 운전석에서, 운전자가 모니터의 스크린을 용이하게 볼 수 있는 위치에 감시시스템의 모니터를 설치해야 하기 때문에, 그 위치는 한정된다.
최근에는, GPS(global position system) 등을 이용하여 지도상에 자기의 차량위치를 표시하는 차량위치 표시시스템(자동차 네비게이션 시스템)의 보급에 의해, 화상을 표시하는 표시장치를 구비한 차량이 증가하고 있다. 따라서, 차량이 감시카메라장치 및 자동차 네비게이션 시스템을 갖고 있으면, 감시카메라 시스템의 모니터 및 자동차 네비게이션 시스템의 표시장치가 큰 면적을 차지하게 된다. 이들은 따로 설치되어야 하기 때문에 운전석 주위의 공간이 더욱 좁게 된다. 많은 경우에, 운전자가 운전석에서 모니터의 스크린을 용이하게 볼 수 있는 위치에 모니터와 표시장치를 모두 설치하는 것은 불가능하다. 또한 동시에 두 개의 시스템을 조작하는 것도 어렵다.
물론, 차량을 사용하는 경우에는, 운전자가 차량 주위의 안전을 확보할 필요가 있다. 예컨대, 출발시에는 운전자가 차량의 전방뿐만 아니라 우측, 좌측 및 후방의 안전을 확인해야 한다. 당연히, 차량이 우회전 또는 좌회전시, 또는 운전자가 차고에 차량을 주차시키거나 차고에서 차량을 출고할 때는, 운전자가 차량 주위의 안전을 확인해야 한다. 그러나, 차량의 모양과 구조상, 운전자가 차량의 뒤 및/또는 주위를 직접 볼 수 없는 지역인 사각지역이 있어 안전을 확인하기 어렵다. 따라서, 이와 같은 사각지역은 운전자에게 있어서는 상당한 부담이 된다.
또한, 종래의 차량주위감시시스템을 사용하는 경우에는, 차량 주위의 360°영역에 대한 확인을 하기 위한 복수의 카메라를 제공할 필요가 있다. 이 경우, 운전자가 상황에 따라 선택적으로 카메라를 서로 바꾸고, 또는 선택된 카메라의 방향을 바꾸어 차량 주위의 안전을 확인할 필요가 있다. 이와 같은 조작은 운전자에게 대단히 큰 부담이 되고 있다.
본 발명의 일 양태에 의하면, 이동체 주위를 검사하기 위해 이동체에 탑재된 주위감시시스템은 전방향 시각 시스템을 포함하며, 상기 전방향 시각 시스템은: 주위 360°의 시야영역의 영상을 얻을 수 있어, 상기 영상에 대한 중심사영의 변환이 가능한 광학계, 및 상기 광학계에 의해 얻어지는 광학상을 제 1 화상데이터로 변환하는 촬상부를 포함하는 적어도 하나의 전방향 시각 센서; 상기 제 1 화상데이터를 파노라마 화상 및/또는 투시화상에 대한 제 2 화상데이터로 변환하는 화상처리부; 상기 제 2 화상데이터에 기초하여 상기 파노라마 화상 및/또는 투시화상을 표시하는 표시부; 및 상기 파노라마 화상 및/또는 투시화상을 선택하여 제어하는 표시제어부를 구비한다.
본 발명의 일 실시예에서, 상기 표시부는, 파노라마 화상과 투시화상을 동시에 표시하거나, 또는 파노라마 화상과 투시화상중 하나를 선택적으로 표시한다.
본 발명의 다른 실시예에서, 상기 표시부는, 상기 제 2 화상데이터의 360°의 시야영역 내의 적어도 전방, 좌측, 및 우측 시야의 투시화상데이터를 동시에 표시한다.
본 발명의 또 다른 실시예에서, 상기 표시제어부는 상기 표시수단에 의해 표시된 전방, 좌측 및 우측 시야의 투시화상들중 하나를 선택하고; 상기 화상 처리부는 표시제어부에 의해 선택된 투시화상에 대하여, 외부에서의 조작에 따라 상하좌우로의 이동 및 시야의 확대축소를 행하며; 상기 표시부는 이동되거나 확대/축소된 화상을 표시한다.
본 발명의 또 다른 실시예에서, 상기 표시부는 이동체의 위치화상을 표시하는 위치표시부를 포함하며; 상기 표시제어부는 이동체 주위화상과 이동체 위치화상 사이에서 표시부를 바꾼다.
본 발명의 또 다른 실시예에서, 상기 이동체가 자동차이다.
본 발명의 또 다른 실시예에서, 상기 전방향 시각 센서중 적어도 하나는 자동차의 루프상에 설치되어 있다.
본 발명의 또 다른 실시예에서, 적어도 하나의 전방향 시각 센서는 제 1 및 제 2 전방향 시각 센서를 포함하고; 상기 제 1 전방향 시각 센서는 자동차의 전방의 범퍼상에 설치되어 있으며; 상기 제 2 전방향 시각 센서는 자동차의 후방의 범퍼상에 설치되어 있다.
본 발명의 또 다른 실시예에서, 제 1 전방향 시각 센서는 전방 범퍼의 좌단부 또는 우단부에 설치되어 있으며; 제 2 전방향 시각 센서는 제 1 전방향 시각 센서에 대해 후방 범퍼와 대각위치에 설치되어 있다.
본 발명의 또 다른 실시예에서, 상기 이동체가 전차이다.
본 발명의 또 다른 실시예에서, 이동체와 이동체 주위의 물체 사이의 거리, 이동체에 대한 물체의 상대속도, 및 상기 전방향 시각 센서로부터의 화상신호와 상기 이동체의 속도신호에 기초하여 물체의 이동방향을 검출하는 수단; 및 상기 물체가 이동체 주위의 소정 영역에 가까이 갔을 때에 경보정보를 발하는 경보수단을 더 포함한다.
본 발명의 다른 양태에 의하면, 주위 360°의 시야영역의 영상을 얻을 수 있어, 상기 영상에 대한 중심사영의 변환이 가능한 광학계, 및 상기 광학계에 의해 얻어지는 광학상을 제 1 화상데이터로 변환하는 촬상부를 포함하는 전방향 시각 센서; 상기 제 1 화상데이터를 파노라마 화상 및/또는 투시화상에 대한 제 2 화상데이터로 변환하는 화상처리부; 상기 제 2 화상데이터에 기초하여 상기 파노라마 화상 및/또는 투시화상을 표시하는 표시부; 및 상기 파노라마 화상 및/또는 투시화상을 선택하여 제어하는 표시제어부를 구비한다.
본 발명의 또 다른 양태에 의하면, 이동체는 본 발명의 제 2 양태에 의한 주위감시시스템을 포함한다.
본 발명의 또 다른 양태에 의하면, 자동차는 본 발명의 제 2 양태에 의한 주위감시시스템을 포함한다.
본 발명의 또 다른 양태에 의하면, 전차는 본 발명의 제 2 양태에 의한 주위감시시스템을 포함한다.
본 명세서에 있어서, "중심사영의 변환이 가능하다"는 것은, 촬상장치가 광학계의 복수의 초점들중 하나로부터 보여지는 화상에 대응하는 화상을 얻을 수 있다는 것을 의미한다.
이하, 본 발명의 작용에 관해 설명한다.
본 발명에 의한 주위감시시스템은, 전방향 시각 센서의 일부로서, 이동체 주위의 360°시야영역의 영상을 얻을 수 있어, 상기 영상에 대해 중심사영의 변환이 가능한 광학계를 사용한다. 이와 같이 광학계에 의해 얻어진 광학상을 촬상부에 의해 제 1 화상데이터로 변환하여, 상기 제 1 데이터를 파노라마 화상이나 투시화상으로 변환함으로써, 제 2 화상데이터를 얻는다. 상기 제 2 화상 데이터는 표시부에 표시된다. 표시화상의 선택이나 선택된 화상의 사이즈는, 표시선택부에 의해 제어된다. 본 발명의 구성에 의해, 1방향의 감시만을 중시한 종래의 차량감시시스템과 같이, 운전자가 복수의 카메라를 바꾸거나, 카메라의 방향을 변경하지 않고 용이하게 주위의 확인을 하는 것이 가능하다.
예컨대 자동차의 경우, 루프상이나 전후의 범퍼상에 전방향 시각 센서를 설치함으로써, 운전자의 사각지역을 용이하게 확인할 수 있다. 또, 본 발명에 의한 주위감시시스템은 자동차뿐만 아니라 전차에도 유효하다.
표시부는 파노라마 화상과 투시화상을 동시에 표시하거나, 파노라마 화상과 투시화상중 하나를 선택적으로 표시할 수 있다. 또, 전방시야, 후방시야 및 좌우시야중, 적어도 전방시야의 투시화상데이터와 좌우시야의 투시화상데이터를 동시에 표시할 수 있다. 필요에 따라 표시부는 후방시야 투시화상을 표시한다. 또한, 표시제어부는 하나의 화상을 선택하여, 상기 선택된 화상을, 화상처리부에 의해 외부 키조작에 따라 상하좌우에의 이동(팬/틸트 동작) 및 화상의 확대축소를 행할 수 있다. 이와 같이, 표시될 화상을 선택할 수 있고, 상기 선택된 화상의 표시화상 및, 화상사이즈를 임의로 선택 및 제어할 수 있기 때문에, 운전자는 이동체 주위의 안전확인을 용이하게 행할 수 있다.
주위감시시스템은 GPS 등을 이용하여 지도화면상에 이동체의 위치(차량위치)를 표시하는 위치표시부를 더 포함한다. 상기 표시제어부는 이동체의 주위화상을 선택적으로 표시할 수 있고, 이동체의 위치표시를 행할 수 있기 때문에, 운전석의 스페이스가 좁게 되고, 조작이 번잡하게 되는 것을 막는 수 있어, 종래 시스템의 문제점을 피할 수 있다.
상기 주위감시시스템은 전방향 시각 센서로부터의 화상신호와 이동체의 속도신호에 기초하여 결정되는, 이동체 주위의 물체로부터의 거리, 이동체의 상대속도 및 이동체의 이동방향 등을 검출하는 수단을 더 포함한다. 상기 주위감시시스템은 그 물체가 이동체 주위의 소정 거리영역으로 가까이 갔을 때 경보정보를 발하는 수단을 더 포함한다. 상기 구성에 의해, 안전확인을 더욱 용이하게 행할 수 있다.
따라서, 상기한 발명은 (1) 운전자의 부담을 줄이고 이동체 주위의 안전을 향상시키기 위해 이동체의 주위를 용이하게 관찰하는 주위감시시스템을 제공하며 (2) 상기 주위감시시스템을 포함하는 이동체(차량, 전차 등)를 제공하는 이점을 가능하게 한다.
본 발명의 상기 및 다른 이점은 첨부 도면을 참조한 상세한 설명에 의해 당업자들에게 명백해질 것이다.
이하, 본 발명의 실시예에 관해, 도면을 참조하여 설명한다.
(실시예 1)
도1a는 본 발명의 실시예 1에 따른 이동체의 주위감시시스템을 구비한 차량(1)의 구성을 나타낸 평면도이고, 도1b는 상기 차량(1)의 측면도이다. 상기 차량(1)은 전방 범퍼(2), 후방 범퍼(3), 및 전방향 시각 센서(4)를 갖는다.
실시예 1에서는, 차량(1)의 루프(천장부)상에 전방향 시각 센서(4)를 설치하여, 보통 수평방향으로 차량(1) 주위의 360°시야 영역의 영상을 얻을 수 있다.
도2는 본 발명의 실시예 1에 따른 전방향 시각 시스템의 예로서, 이동체에서 사용되는 주위감시시스템(200)의 구성을 설명하기 위한 블록도이다.
상기 주위감시시스템(200)은 전방향 시각 센서(4), 화상 처리부(5), 표시부(6), 표시제어부(7), 경보 발생부(8), 및 차량위치 검출부(9)를 포함한다.
상기 전방향 시각 센서(4)는, 주위의 360°시야 영역의 영상을 얻을 수 있어, 그 영상에 대한 중심사영의 변환이 가능한 광학계(4a), 및 광학계(4a)에 의해 얻어지는 광학상을 화상데이터로 변환하는 촬상부(4b)를 포함한다.
또한, 화상 처리부(5)는 촬상수단(4b)에 의해 얻어진 화상데이터를 파노라마 화상이나 투시화상 등으로 변환하는 화상변환부(5a); 소정기간의 상이한 시간에 얻어진 영상 데이터를 비교함으로써, 전방향 시각 센서(4) 주위의 물체를 검출하는 동시에, 차량(1)의 속도를 나타내는 전방향 시각 센서(4)로부터의 상이한 영상 데이터와 속도신호 사이의 물체의 변화량에 기초하여, 물체로부터의 거리, 물체에 대한 상대속도, 물체의 이동 방향 등을 결정하는 화상비교/거리검출부(5b); 및 출력 버퍼 메모리(5c)를 포함한다.
차량위치 검출부(9)는 GPS 등을 이용하여 표시부(6)에 표시된 지도에 설치되어 있는 차량의 위치(즉, 차량(1)의 위치)를 검출한다. 표시부(6)는 영상 처리부(5)의 출력 및 차량위치 검출부(9)의 출력(6b)을 선택적으로 표시할 수 있다.
표시제어부(7)는 차량 주위의 영상들 사이에서의 선택 및 상기 선택된 영상의 사이즈를 제어한다. 또한, 상기 표시제어부(7)는 차량(1)(전방향 시각 센서(4)) 주위의 영상과 차량위치영상 사이의 절환을 제어하는 제어신호(7a)를 표시부(6)에 출력한다.
경보발생부(8)는 차량(1) 주위의 소정 영역에 물체가 접근할 때에 경보정보를 발생한다.
표시부(6)는, 운전자가 상기 표시부(6)의 화면을 용이하게 볼 수 있고, 상기 표시부를 용이하게 조작할 수 있는 위치, 즉, 운전석 앞 부분의 대시보드(dashboard)상에 운전자의 전방시야를 방해하지 않고, 운전자가 접근하기 쉬운 위치에 설치되는 것이 바람직하다. 그 밖의 수단(표시처리부(5), 표시제어부(7), 경보발생부(8), 차량위치 검출부(9))에 관해서는, 온도변화 및 진동이 적은 장소가 바람직하다. 예컨대, 차량의 후방에 있는 화물실(트렁크)에 위치되는 경우에는, 엔진으로부터 가능한 한 먼 위치가 바람직하다.
이하에, 상기 각 소자들에 관해, 도면을 참조하여 상세히 설명한다.
도3은 중심사영의 변환이 가능한 광학계(4a)의 예를 나타낸다. 여기서는, 2장의 쌍곡면중 하나의 쌍곡면 형상을 갖는 쌍곡면 미러(22)를 사용한다. 쌍곡면 미러(22)의 회전축은 촬상부(4)에 포함된 촬상렌즈의 광축과 동일하고, 촬상렌즈의 제 1 주점이 쌍곡면 미러(22)의 초점들 중 하나(외부 초점 ②)에 배치되어 있다. 이와 같은 구조에서는, 촬상부(4b)에 의해 얻어진 영상은 쌍곡면 미러(22)의 내부 초점 ①로부터 보여지는 영상에 대응한다. 이러한 광학계는, 예컨대 공개특허공보 제 94-295333호에 기재되어 있으므로, 특징점만을 이하에 설명한다.
도3에 있어서, 쌍곡면 미러(22)는, 쌍곡선을 Z축을 중심으로 하여 회전시켜 얻어지는 곡면(2장의 쌍곡면)중 하나(Z>0의 영역)에 의해 정의되는 곡면의 철부면에 미러를 형성한 것이다. 상기 2장의 쌍곡면은 다음과 같다:
여기서, a 및 b는 쌍곡면의 형상을 정의하는 정수이고, c는 초점의 위치를 정의하는 정수이다. 이하, 정수 a,b,c를 "미러 정수"라 총칭한다.
상기 쌍곡면 미러(22)는 2개의 초점 ①, ②를 갖는다. 외부로부터 초점 ①을 향하는 모든 광은 쌍곡면 미러(22)에 의해 반사되어, 초점 ②에 도달한다. 쌍곡면 미러(22)의 회전축과 촬상부(4b)의 촬상렌즈의 광축을 일치시키는 동시에, 촬상렌즈의 제1주점을 초점 ②에 배치하도록, 쌍곡선 미러(22) 및 촬상부(4b)를 배치한다. 상기 구성에 의해, 촬상부(4b)에 의해 얻어진 화상은 쌍곡선 미러(22)의 초점 ①로부터 보여지는 화상에 대응한다.
촬상부(4b)는 비디오 카메라 등일 수 있다. 도3의 쌍곡면 미러(22)를 통해 얻어지는 광학 화상을, CCD, CMOS 등의 고체촬상소자를 이용하여 화상데이터로 변환한다. 변환된 화상데이터는, 도4에 나타낸 화상처리부(5)의 제 1 입력 버퍼 메모리(11)에 입력된다. 또, 촬상부(4b)의 렌즈는, 렌즈의 제 1 주점이 초점 ②에 배치되어 있는 한, 흔히 사용되는 구면렌즈이거나 비구면렌즈일 수 있다.
도4는 화상 처리부(5)의 구성예를 나타낸 블록도이다. 도5는 화상 처리부(5)에 포함된 화상 변환부의 구성예를 나타낸 블록도이다. 도6은 화상 처리부(5)에 포함된 화상비교/거리검출부(5b)의 구성예를 나타낸 블록도이다.
화상처리부(5)의 화상변환부(5a)는, 도4 및 도5에 나타낸 바와 같이, A/D 변환기(10), 제 1 입력 버퍼 메모리(11), CPU(12), 룩업 테이블(look-up table)(LUT)(13), 및 화상변환논리(14)를 포함한다.
도4 및 도6에 나타낸 바와 같이, 화상처리부(5)의 화상비교/거리검출부(5b)는, A/D 변환기(10), 제 1 입력 버퍼 메모리(11), CPU(12), 룩업 테이블(LUT)(13)을 화상변환부(5a)와 공용하고, 화상비교/거리검출 논리(16), 제 2 입력 버퍼 메모리(17), 및 지연회로(18)를 더 포함한다.
화상 처리부(5)의 출력 버퍼 메모리(5c)(도4)는 버스라인(43)을 통해 상기 각 소자들에 접속되어 있다.
화상처리부(5)는, 촬상부(4b)로부터 화상데이터를 수신한다. 화상데이터가 아날로그신호인 경우에는, A/D 변환기(10)에 의해 디지털신호로 변환된 후에 제 1 입력 버퍼 메모리(11)에 입력되는 동시에 지연회로(18)를 통해 제 2 입력 버퍼 메모리(17)에 더 입력된다. 또한, 화상데이터가 디지털신호인 경우에는, 직접 제 1 입력 버퍼 메모리(11)에 입력되는 동시에 지연회로(18)를 통해 제 2 입력 버퍼 메모리(17)에 입력된다.
화상 처리부(5)의 화상변환부(5a)에서는, 상기 제 1 입력 버퍼 메모리(11)로부터의 출력(화상데이터)을, 화상변환논리(14)에 의해 룩업테이블(LUT)(13)을 사용하여 파노라마 화상 또는 투시화상으로 변환하거나, 화상의 상하좌우 이동이나 확대축소를 행하도록, 화상처리가 행해진다. 그리고, 화상변환처리후의 화상데이터가 출력 버퍼 메모리(5c)에 입력된다. 처리하는 동안 상기 소자들은, CPU(12)에 의해 제어된다. 이 때, 병렬연산기능을 갖는 CPU(12)를 사용하면, 더욱 고속으로 처리를 행할 수 있다.
다음, 상기 화상변환논리(14)에 의한 화상변환의 원리에 관해 설명한다. 화상변환은, 파노라마(360°) 화상을 얻기 위한 파노라마변환 및 투시화상으로 변환을 얻기 위한 투시변환을 포함한다. 또한, 투시변환에는 수평회전이동(좌우이동, 소위 "팬(pan) 동작") 및 수직회전이동(상하이동, 소위 "틸트(tilt)동작")이 있다.
우선, 파노라마(360°) 화상변환에 관해, 도7을 참조하여 설명한다. 도7a를 참조하면, 화상(19)은 촬상부(4b)에 의해 얻어진 원형화상이고, 도7b는 파노라마 화상변환이 행해진 도넛형 화상(20)을 나타낸다. 도7c는 상기 화상(19)을 직교좌표로 변환함으로써 얻어진 파노라마 화상(21)이다.
도7a는, 상기 화상(19)의 중심을 좌표의 원점(Xo,Yo)에 위치시킨 극좌표 형태로 나타낸 입력원형화상(19)을 나타낸다. 상기 극좌표에서, 각 화소(19)의 좌표는 P(r,θ)로 표현된다. 도7b를 참조하면, 파노라마 화상(21)에서는, 상기 화상(19)의 화소 P에 대응하는 점을 P(x,y)로 표현할 수 있다. 기준점으로서 점 PO(ro,θo)을 사용하여, 도7a에 나타낸 원형화상(19)을 도7c에 나타낸 사각 파노라마 화상(21)으로 변환하는 경우, 상기 변환은 다음 식으로 표현된다:
도7a의 입력원형화상(19)을 직교 좌표로 형성하여, 원형화상(19)의 중심을 직교 좌표계의 원점인 (Xo,Yo)에 위치시키고, 상기 화상(19)의 점 P를 (X,Y)로서 나타내기 때문에, X 및 Y는 다음과 같이 표현된다:
따라서,
파노라마 화상의 팬 동작에서는, 기준점 PO(ro, θo)의 좌표 "θo"를 소정의 키(key) 조작에 따라 일정각도 θ만큼 증감하여 얻어진 점을 팬 동작에 대한 기준점으로 사용한다. 팬 동작에 대한 상기 새로운 기준점에 의해, 좌우로 팬 동작이 행해진 후의 파노라마 화상을 입력원형화상(19)으로부터 직접 생성할 수 있다. 또, 파노라마 화상에는 틸트동작을 행하지 않는다.
다음, 투시변환에 관해, 도8을 참조하여 설명한다. 투시변환에서, 3차원 공간상의 점에 대응하는 촬상부(4b)의 수광부(4c)에 의해 얻어진 입력화상의 점의 위치를 계산하여, 입력화상의 점의 화상정보를 투시변환후의 화상의 대응하는 점에 할당함으로써 좌표변환을 행한다.
도8에 나타낸 바와 같이, 3차원 공간상의 점의 좌표를 P(tx,ty,tz)로 하고, 촬상부(4b)의 수광부(4c)의 수광면에 형성되는 원형화상에 대응하는 점의 좌표를 R(r,θ)로 하고, 촬상부(4b)의 수광부(4c)의 초점거리(렌즈의 주점과 수광부(4c)의 수광소자 사이의 거리)를 F로 하며, 미러정수를 (a, b, c)(상기 도3의 a, b, c와 동일)로 한다. 상기 파라미터들에 의해, 식(1)이 얻어진다:
도8에서, α는 물체점(object point)(점 P)으로부터 초점 ①을 포함하는 수평면에 대해 초점 ①을 향하는 광의 입사각이고; β는 점 P로부터 입사하여, 쌍곡면 미러(22)상의 점 G에서 반사한 후 촬상부(4b)로 입사하는 입사각(입사각과 촬상부(4b)의 수광부(4c)의 광축에 수직인 면 사이의 각)이다. α,β, θ는 다음과 같다:
상기로부터, 식(1)은 다음과 같다:
원형화상상의 점의 좌표를 직교좌표로 변환하여 P(X,Y)로 하면, X,Y는 다음과 같다:
따라서, 상기 식은 다음과 같다:
상기 식에 의해, 물체점 P(tx,ty,tz)을 직교좌표계에서 투시변환할 수 있다.
여기서, 도8을 참조하여, 평면과 쌍곡면 미러(22)의 초점 ① 사이의 거리 R, 회각 φ(입사각 α와 동일), Z축 주위의 회전각 θ데 대응하는 위치에 있는 3차원 공간상에서, 폭 W, 높이 h의 화상평면을 생각한다. 이 때, 평면상의 점, 예컨대 상부 좌측 코너의 점 Q의 좌표(txq, tyq,tzq)는 다음과 같다:
상기 식(4), (5) 및 (6)을 상기 식(2) 및 (3)에 대입함으로써, 상기 화상평면의 점 Q에 대응하는 촬상부(4b)의 수광부(4c)에 형성된 원형 화상의 점의 좌표(X,Y)를 구할 수 있다. 또한, 사각화상평면을 각각 폭 d 및 높이 e를 갖는 화소들로 분할된 투시화상으로 변환한다고 가정하면, 상기 식(4), (5) 및 (6)에 있어서, W를 W/d 공정으로 W∼-W, h를 h/e 공정으로 h∼-h까지 변화시킴으로써, 사각화상평면상의 점의 좌표를 구할 수 있다. 상기 얻어진 사각화상평면상의 점의 좌표에 따라, 사각화상평면상의 점들에 대응하는 수광부(4c)에 형성된 원형 화상의 점에서의 화상데이터를 투시화상으로 이동시킨다.
다음, 투시변환에 있어서의 수평회전이동(팬 이동)과 수직회전이동(틸트 이동)에 관해 설명한다. 우선, 상기한 바와 같이 얻어진 점 P가 수평회전이동(팬 이동)한 경우에 관해 설명한다. 수평회전이동 후에 얻어진 점 P'(tx',ty',tz')의 좌표는 다음과 같다:
여기서 Δθ는 수평이동각이다.
수평회전이동에 관해서는, 상기 식(7), (8) 및 (9)를 상기 식(2) 및 (3)에 대입함으로써, 점 P'(tx',ty',tz')에 대응하는 수광부(4c)에 형성된 원형화상 위의 점의 좌표(X,Y)를 구할 수 있다. 다른 원형화상의 점에도 적용된다. 상기 식(7), (8) 및 (9)에 있어서, W를 W/d 공정으로 W∼-W, h를 h/e 공정으로 h∼-h까지 변화시킴으로써, 사각화상평면상의 점의 좌표를 구할 수 있다. 상기 얻어진 사각화상평면상의 점의 좌표에 따라, 화상평면상의 점들에 대응하는 수광부(4c)에 형성된 원형 화상의 점에서의 화상데이터를 투시화상으로 이동시켜, 수직회전화상을 얻을 수 있다.
다음, 상기한 바와 같이 얻어진 점 P가 수직회전이동(틸트 이동)한 경우에 관해 설명한다. 수평회전이동 후에 얻어진 점 P"(tx",ty",tz")의 좌표는 다음과 같다:
여기서 Δφ는 수직이동각이다.
수평회전이동에 관해서는, 상기 식(10), (11) 및 (12)을 상기 식(2) 및 (3)에 대입함으로써, 점 P"(tx",ty",tz")에 대응하는 수광부(4c)에 형상된 원형화상 위의 점의 좌표(X,Y)를 구할 수 있다. 다른 원형화상의 점에도 적용된다. 상기 식(10), (11) 및 (12)에 있어서, W를 W/d 공정으로 W∼-W, h를 h/e 공정으로 h∼-h까지 변화시킴으로써, 사각화상평면상의 점의 좌표를 구할 수 있다. 상기 얻어진 사각화상평면상의 점의 좌표에 따라, 점 P"(tx",ty",tz")에 대응하는 수광부(4c)에 형성된 원형 화상의 점에서의 화상데이터를 투시화상으로 이동시켜, 수직회전화상을 얻을 수 있다.
투시화상의 줌인/줌아웃(zoom-in/zoom-out) 기능을 하나의 파라미터 R로 실현한다. 특히, 상기 식(4)∼(12)의 R을 일정량 ΔR만큼 변화시켜, 줌인/줌아웃 화상을 수광부(4c)상에 형성된 원형 입력화상으로부터 직접 생성할 수 있다.
또한, 변환영역을 선택하는 기능에 관해서는, 원형 입력화상을 파노라마 화상으로 변환하는 동안 소정의 키 동작을 행함으로써, 수광부(4c)상에 형성된 원형입력화상의 반경 방향으로 변환영역의 범위가 결정된다. 촬상부가 변환영역지정모드에 있는 경우, 소정 키동작에 의해 변환영역을 결정할 수 있다. 특히, 원형 입력화상의 변환영역을 2개의 원으로 표시한다. 즉, 도7a에 나타낸 바와 같이, 내측의 원은 반경의 ro인 기준점 O(ro,θo)을 포함하고, 외측의 원은 도7c에 나타낸 파노라마 화상(21)의 상측에 대응한다. 수광부(4c)상에 형성된 원형입력화상의 최대 반경을 rmax로 하고, 수광부(4c)의 화상의 최소 반경을 rmin으로 한다. 변환영역을 정의하는 상기 두 개의 원의 반경은 rmin과 rmax의 사이에서 소정의 키 조작에 의해 자유롭게 지정될 수 있다.
도6에 나타낸 화상비교/거리검출부(5b)에서는, 화상비교거리검출논리(16)가 상기 제 1 입력 버퍼 메모리(11)의 데이터와 제 2 입력 버퍼 메모리(17)의 데이터를 비교하여, 대상물에 대한 각도데이터, 차량(1)의 속도정보, 및 제 1 입력 버퍼 메모리(11)의 데이터와 제 2 입력 버퍼 메모리(17)의 데이터 사이의 시차를 얻는다. 상기 얻어진 정보로부터, 화상비교/거리검출 논리(16)는 차량(1)과 대상물 사이의 거리를 계산한다.
이하, 상기 차량(1)과 목표물 사이의 거리검출의 원리에 관해, 도9를 참조하여 설명한다. 도9a는 제 2 입력 버퍼 메모리(17)에 저장된 시간 t0에서의 입력화상(23)을 나타낸다. 도9b는 제 1 입력 버퍼 메모리(11)에 저장된 시간 t0에서 t초 경과한 후의 입력화상(24)을 나타낸다. 제 2 입력 버퍼 메모리(17)에 저장된 입력화상(23)의 시간(to)과 제 1 입력 버퍼 메모리(11)에 저장된 입력화상(24)의 시간(to+t)이 상이한 것은 지연회로(18) 때문이다.
촬상부(4b)에 의해 얻어진 임의의 시간 to에서의 화상정보는 제 1 입력 버퍼 메모리(11)에 입력된다. 촬상부(4b)가 제 1 입력 버퍼 메모리(11)에 입력되고 나서 t초 후에, 시간 t0에서 얻어진 화상정보가 지연회로(18)를 통해 제 2 입력 버퍼 메모리(17)에 입력된다. 시간 t0에서 얻어진 화상정보가 제 2 입력 버퍼 메모리(17)에 입력될 때, 제 1 입력 버퍼 메모리(11)에 시간 to에서 t초 후의 화상정보가 입력되기 때문에, 제 1 입력 버퍼 메모리(11)의 데이터와 제 2 입력 버퍼 메모리(17)의 데이터를 비교함으로써, 임의의 시간 to에서의 입력화상과 임의의 시간 to에서 t초 후의 입력화상의 비교가 가능하게 된다.
도9a에서는, 물체 A, B의 임의시간 to에서의 입력화상(23)상에서의 위치가 각각 (r1,θ1), (r2,ψ1)이다. 도9b에서는, 물체 A, B의 임의시간 to에서 t초 후의 입력화상(24)상에서의 위치가 각각 (R1,θ2), B(R2,ψ2)이다.
상기 차량(1)이 t초 동안 움직인 거리(L)는 차량(1)의 속도계로부터의 속도정보에 의해 다음과 같다:
L = v × t
여기서 v는 속도이다. (상기 예에서 속도 v는 t초 동안 일정하다.) 따라서, 상기 두 가지의 화상 정보에 의해, 화상비교/거리검출 논리(16)는 삼각측량의 원리에 기초하여 차량(1)과 대상물 사이의 거리를 계산하는 것이 가능하다. 예컨대, 임의시간 to에서 t초 후의 차량(1)과 물체 A와의 거리를 La, 물체 B와의 거리를 Lb로 하면, 다음과 같다:
La 및 Lb에 대한 계산결과가 표시부(6)에 전송되어 표시된다. 또한, 물체가 차량(1) 주위의 소정 영역에 들어오면, 화상 처리부(5)(도2)는 스피커 등을 포함하는 경보발생부(8)에 경보신호를 출력하여, 경보발생부(8)가 경보음을 발산한다. 반면, 도2를 참조하면, 경보신호는 화상처리부(5)로부터 표시제어부(7)로도 송신되어, 표시제어부(7)는 표시부(6)의 화면상에서 예컨대 투시화상의 화면표시가 점멸하도록 경보표시를 생성한다. 또, 도2 및 도4에서, 화상비교/거리검출논리(16)의 출력(16a)은 경보발생부(8)로의 경보신호이고, 화상비교/거리검출논리(16)의 출력(16b)은 표시제어부(7)로의 경보신호이다.
표시수단(6)은 음극선 튜브, LCD, EL 등의 모니터 등일 수 있고, 화상처리부(5)의 출력 버퍼 메모리(5c)로부터의 출력을 수신하여, 화상을 표시한다. 표시제어부(7)의 제어에 의해, 상기 파노라마 화상과 투시화상을 동시에 표시하거나, 또는 선택적으로 표시할 수 있다. 또한, 투시화상을 표시하는 경우, 표시부(6)는 전방시야의 투시화상과 좌우시야의 투시화상을 동시에 표시한다. 또한, 필요에 따라 후방시야의 투시화상도 표시할 수 있다. 또한, 상기 투시화상들중 1개를 선택하여, 상기 선택된 투시화상을 표시부(6)상에 표시하기 전에 상하좌우로 이동시키거나 확대축소를 행할 수 있다.
또한, 운전석 전방의 대시보드상에 설치된 절환부(70)로부터의 신호에 의해, 표시제어부(7)는 차량(1)의 주위를 나타낸 화상의 표시와 차량(1)의 위치표시 사이에서 표시부(6)의 화면상의 표시를 절환한다. 예컨대, 상기 절환부가 차량위치화상을 표시하기 위해 표시제어부(7)를 가리키면, 상기 표시제어부(7)는 차량위치검출부(9)에 의해 얻어진 GPS 등의 차량위치 정보를 표시부(6)에 표시한다. 상기 절환부가 차량(1)의 주위를 나타낸 화상을 표시하기 위해 표시제어부(7)를 가리키면, 표시제어부(7)는 차량 주위 화상정보를 화상 처리부(5)로부터 표시부(6)로 송신하여, 차량(1)의 주위를 나타낸 화상을 차량주위 화상정보에 기초하여 표시부(6)에 표시한다.
표시제어부(7)는 전용의 마이크로 컴퓨터일 수 있다. 상기 표시제어부(7)는 표시부(6)에 표시될 화상의 종류(예컨대, 화상처리부(5)에 의해 변환된 파노라마 화상이나 투시화상 등)를 선택하고, 화상의 배향 및 화상의 사이즈를 제어한다.
도10은 표시부(6)의 표시화면(25)의 예를 나타낸다. 표시화면(25)은: 제 1 투시화상표시창(26)(디폴트 상태에서, 제 1 투시화상표시창(26)은 전방 시야의 투시화상을 표시한다); 제 1 투시화상표시창(26)을 설명하기 위한 제 1 설명표시창(27); 제 2 투시화상표시창(28)(디폴트 상태에서, 제 2 투시화상표시창(28)은 좌측 시야의 투시화상을 표시한다); 제 2 투시화상표시창(28)을 설명하기 위한 제 2 설명표시창(29); 제 3 투시화상표시창(30)(디폴트 상태에서, 제 3 투시화상표시창(30)은 우측 시야의 투시화상을 표시한다); 제 3 투시화상표시창(30)을 설명하기 위한 제 3 설명표시창(31); 파노라마 화상표시창(32)(여기서는 360°화상이 나타난다); 상기 파노라마 화상표시창(32)을 설명하기 위한 제 4 설명표시창(33); 화상의 상하좌우이동을 위한 방향 키(34); 화상을 확대시키기 위한 확대 키(35); 및 화상을 축소시키기 위한 축소 키(36)를 포함한다.
여기서, 제 1 내지 제 4 설명표시창(27, 29, 31, 33)은 화상표시창(26, 28, 30, 32)을 활성화시키는 스위치로서 기능한다. 사용자는 원하는 화상표시창(26, 28, 30, 32)을 스위치로서 기능하는 상기 설명표시창(27,29,31,33)에 의해 활성화시킨다. 이에 의해, 상기 설명표시창은 고유의 표시색을 변화시키고, 사용자는 방향 키(34), 확대 키(35), 및 축소 키(36)를 사용하여 활성화된 윈도우에 표시된 화상을 상하좌우이동 및 확대축소시킬 수 있다. 단지, 파노라마 화상표시부(33)에 표시된 화상은 확대축소되지 않는다.
예컨대, 이용자(운전자)가 제 1 설명표시창(27)을 누르면, 신호가 표시제어부(7)(도2)에 출력된다. 눌렀을 때, 표시제어부(7)에 의해 제 1 설명표시창(27)의 표시색은, 제 1 투시화상표시창(26)은 액티브인 것을 나타내는 색으로 변하거나, 제 1 설명표시창(27)은 점멸한다. 반면, 제 1 투시화상표시창(26)이 액티브로 되어, 사용자는 방향 키(34), 확대 키(35), 및 축소 키(36)를 사용하여 윈도우(26)에 표시된 화상을 상하좌우이동 또는 축소/확대할 수 있다. 특히, 방향 키(34), 확대 키(35), 및 축소키(37)로부터 표시제어부(7)를 통해 화상 처리부(5)(도2)의 화상변환부(5a)로 신호가 보내진다. 방향 키(34), 확대 키(35), 및 축소키(37)로부터의 신호에 따라 화상이 변환되고, 변환된 화상은 표시부(6)에 전송되어 표시부(6)의 화면(25)상에 표시된다.
(실시예 2)
도11a는 본 발명의 실시예 2에 의한 이동체의 주위감시시스템을 구비한 차량(1)의 구성을 나타낸 평면도이고, 도11b는 상기 차량(1)의 측면도이다.
실시예 2에서는, 차량(1)은 전방 범퍼(2), 후방범퍼(3) 및 전방향 시각 센서(4)를 포함한다. 전방향 시각 센서(4)중 하나는 전방 범퍼(2)의 중앙부상에 배치되어 있고, 다른 하나는 후방 범퍼(3)의 중앙부상에 배치되어 있다. 각각의 전방향 시각 센서(4)는 자신을 중심으로 하여 약 수평방향으로 360°의 시야를 갖는다.
그러나, 전방 범퍼(2)상의 전방향 시각 센서(4)의 시야(후방 시야)의 반은 차량(1)에 의해 막혀 있다. 즉, 전방향 시각 센서(4)의 시야는 (차량(1)의 좌측에서 우측으로) 전방시야 약 180°에 한정되어 있다. 이와 유사하게, 후방 범퍼(3)상의 전방향 시각 센서(4)의 시야(전방 시야)의 반은 차량(1)에 의해 막혀 있다. 즉, 전방향 시각 센서(4)의 시야는 (차량(1)의 좌측에서 우측으로) 후방시야 약 180°에 한정되어 있다. 따라서, 2개의 전방향 시각 센서(4)를 합쳐서 약 360°의 시야가 얻어진다.
상기 실시예 1에 의하면, 도1a 및 1b에 나타낸 바와 같이, 전방향 시각 센서(4)는 차량(1)의 천장에 설치되어 있기 때문에, 보통 수평 방향으로 1대의 전방향 시각 센서에 의해 그 주위의 360°시야의 화상이 얻어진다. 그러나, 도1a 및 도1b로부터 보는 바와 같이, 그러한 위치에 배치된 전방향 시각 센서는 천장에 의해 가려진 사각지역을 볼 수 있다. 즉, 차량(1)(실시예 1)의 천장에 배치된 전방향 시각 센서(4)는 차량(1)(실시예 2)의 전후방에 배치된 전방향 시각 센서만큼 차량(1)에 매우 근접한 사각지역을 볼 수 없다. 또한, 차량(1)의 좌측과 우측에 있는 장애물 뒤에 운전자의 사각지역이 있는 교차로 지역에서는, 차량(1)이 교차로로 진입하여 전방향 시각 센서(4)가 사각지역을 볼 수 있다. 한편, 실시예 2에 따르면, 전방향 시각 센서(4)가 각각 차량(1)의 전후방에 배치되기 때문에, 전방향 시각 센서(4)중 하나는, 실시예 1에 의한 차량(1)이 진입하는 정도로 차량(1)이 교차로에 깊이 진입하기 전에 사각지역을 볼 수 있다. 또한, 전방향 시각 센서(4)는 차량(1)의 천장에 의해 방해를 받지 않기 때문에, 전방향 시각 센서(4)는 저후방에서 차량(1)에 아주 가까운 영역을 볼 수 있다.
(실시예 3)
도12a는 본 발명의 실시예 3에 따른 이동체의 주위감시시스템을 구비한 차량(1)의 구성을 나타낸 평면도이고, 도12b는 상기 차량(1)의 측면도이다.
실시예 3에 의하면, 전방향 시각 센서(4)중 하나는 전방 범퍼(2)의 좌측 코너상에 배치되어 있고, 다른 하나는 후방 범퍼(3)의 우측 코너상에 배치되어 있다. 각각의 전방향 시각 센서(4)는 자신을 중심으로 하여 약 수평방향으로 360°의 시야를 갖는다.
그러나, 전방 범퍼(2)상의 전방향 시각 센서(4)의 시야의 4분의 1(약 90°)이 차량(1)에 의해 가려질 수 있다. 즉, 전방향 시각 센서(4)의 시야는 전방 시야의 약 270°에 한정된다. 또한, 후방 범퍼(3)상의 전방향 시각 센서(4)의 시야의 4분의 1(약 90°)이 차량(1)에 의해 가려질 수 있다. 즉, 전방향 시각 센서(4)의 시야는 후방 시야의 약 270°에 한정된다. 따라서, 상기 2개의 전방향 시각 센서(4)를 합쳐서, 전방향 시각 센서(4)가 실시예 1에 따른 차량(1)의 사각지역인 차량(1)과 매우 가까운 영역을 볼 수 있도록 약 360°의 시야를 얻을 수 있다.
또한 실시예 3에서, 차량(1)의 좌측 및 우측에 있는 장애물 뒤에 사각지역이 있는 교차 지역에서는, 차량(1)은 좌우측의 사각 지역을 볼 수 있도록 교차로로 깊게 진입할 필요가 없다. 또한, 전방향 시각 센서(4)의 사야가 실시예 1에서와 같이 차량(1)의 천장에 의해 방해되지 않기 때문에, 전방향 시각 센서(4)는 차량의 전후좌우에서 매우 가까운 지역을 볼 수 있다.
또, 상기 실시예 1∼실시예 3에서는, 도면에 나타낸 차량(1)은 승객용 승용차를 예로 들었지만, 버스 등의 대형차나 화물용 차량에도 본 발명을 적용할 수 있다. 특히, 본 발명은 화물실에 의해 차량 운전자의 후방에서의 시야가 가려지기 때문에 화물용 차량에도 유용하다. 본 발명은 전동차(자동차, 버스, 트럭 등의 대형차 및 화물용 자동차도 포함한다)뿐만 아니라, 전차에도 적용가능하다.
(실시예 4)
도13a는 본 발명의 실시예 4에 따른 이동체의 주위감시시스템을 구비한 전차(37)의 구성을 나타낸 측면도이고, 도13b는 도13a에 나타낸 전차(37)의 그 평면도이다. 실시예 4에서, 전차(37)는 열차이다.
실시예 4에서는, 도13a 및 도13b에 나타낸 바와 같이, 연결부통로 상부의 전차(37)의 선두차량에 각각 이동체의 주위감시시스템의 전방향 시각 센서(4)가 제공되어, 상기 전방향 시각 센서(4)는 전방 180° 및 후방 180°의 시야를 갖는다.
상기 실시예 1∼4에서는 차량 또는 전차를 예로 들었지만, 본 발명은 항공기나 선박등, 유인, 무인을 막론하고, 본 발명은 모든 이동체에 대하여 유효하다.
또한, 본 발명은 장소를 이동하는 이동체에 한정되지 않고, 본 발명에 따른 주위감시 시스템을 동일한 장소에서 이동하는 이동체에 탑재할 경우에는 이동하고 있는 이동체 주위의 안전을 용이하게 확보할 수 있다.
실시예 1~4에서는, 360°의 시야영역의 영상을 얻을 수 있어, 중심사영의 변환이 가능한 광학계(4a)로서 도3에 나타낸 광학계를 사용하였지만, 본 발명은 이에 한정되지 않고, 예컨대 일본 공개공보 99-331654호에 기재된 광학계를 사용할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 예컨대 차량의 상부나 단부 등에 전방향 시각 센서(들)를 설치함으로써, 운전자의 사각지역을 용이하게 확인할 수 있다. 종래의 차량감시시스템과 같이 운전자가 복수의 카메라를 바꾸거나, 표시장치에 표시를 행하기 위해 상기 카메라들중 하나를 선택하거나, 카메라의 방향을 바꿀 필요가 없기 때문에, 출발시, 좌회전이나 우회전시, 또는 주차장이나 차고에 차량을 주차시키거나 차고에서 차량을 출고할 때, 운전자는 차량 주위를 안전하게 확인할 수 있어 안전한 운전을 실현할 수 있다.
또한, 운전자가 원하는 표시화상을 선택하고, 표시방향이나 화상사이즈를 변경할 수 있기 때문에, 예컨대 후퇴시에 표시를 변경함으로써, 차량 주위의 안전확인을 용이하게 행하여 접촉사고 등을 막을 수 있다.
또한, 이동체의 주위화상 표시와 차량위치표시를 변경할 수 있기 때문에, 종래와 같이 운전석의 스페이스가 좁아지거나, 시스템의 조작이 번잡하게 되지 않는다.
또한, 이동체 주위의 물체와의 거리, 상대속도, 이동체의 이동방향 등을 검출할 수 있다. 이동체 주위의 일정거리 범위내에 물체가 가까이 가면 시스템이 경보정보를 발할 수 있기 때문에, 안전확인이 더욱 용이하게 된다.
당업자들은 본 발명의 범위 및 정신을 벗어나지 않고 각종 변경을 용이하게 실현할 수 있을 것이다. 따라서, 첨부된 특허청구의 범위는 본 명세서의 내용으로 한정되지 않고 더 넓게 해석되어야 한다.
도1a는 본 발명의 실시예 1에 있어서의 이동체를 위한 주위감시시스템을 구비한 차량의 구성을 나타낸 평면도이고, 도1b는 상기 차량의 측면도이다.
도2는 실시예 1에 있어서의 주위감시시스템의 구성을 설명하기 위한 블록도이다.
도3은 실시예 1에 있어서의 광학계의 구성예를 나타낸다.
도4는 화상처리부의 구성예를 나타낸 블록도이다.
도5는 화상처리부(5)에 포함된 화상변환부(5a)의 구성예를 나타낸 블록도이다.
도6은 화상처리부(5)에 포함된 화상비교/거리검출부(5b)의 구성예를 나타낸 블록도이다.
도7은 실시예 1에 있어서의 360°의 파노라마 화상변환에 관해 설명하기 위한 평면도로서, (a)는 원형입력화상을 나타내고, (b)는 파노라마 영상변환이 행해진 도넛형 영상을 나타내며, (c)는 직교좌표로 변환한 후의 파노라마 화상을 나타낸다.
도8은 실시예 1에 있어서의 투시변환을 설명한다.
도9는 실시예 1에 있어서의 거리검출의 원리를 설명하기 위한 도면이다.
도10은 표시부(6)의 표시화면(25)의 예를 나타낸다.
도11a는 본 발명의 실시예 2의 이동체를 위한 주위감시시스템을 구비한 차량의 구성을 나타낸 평면도이고, 도11b는 상기 차량의 측면도이다.
도12a는 본 발명의 실시예 3의 이동체를 위한 주위감시시스템을 구비한 차량의 구성을 나타낸 평면도이고, 도12b는 상기 차량의 측면도이다.
도13a는 본 발명의 실시예 4의 이동체를 위한 주위감시시스템을 구비한 차량의 구성을 나타낸 평면도이고, 도13b는 상기 차량의 측면도이다.

Claims (15)

  1. 주위 360°의 전방위에 걸친 시야영역의 영상을 얻을 수 있으며, 상기 영상에 대한 중심사영의 변환이 가능한 쌍곡면미러와 화상렌즈를 사용한 광학계, 및 상기 광학계에 의해 얻어지는 광학상을 제1 화상데이터로 변환하는 촬상수단을 포함하는 전방위 시각 센서;
    상기 제1 화상데이터를 극좌표로부터 직교좌표로 좌표변환함으로써, 적어도 파노라마 화상 또는 투시화상으로 변환하여 제2 화상데이터를 얻는 화상처리수단;
    상기 제2 화상데이터를 표시하는 표시수단; 및
    상기 제2 화상데이터를 선택 및 제어하는 표시제어수단을 구비하고,
    상기 표시제어수단의 선택 및 제어에 의해 파노라마화상을 동시에, 또는 교대로 표시하는 전방위 시각 시스템을 탑재한 이동체의 주위감시시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 표시수단은, 상기 제2 화상데이터의 주위 360°의 시야영역 내의 전방시각, 후방시각, 및 좌우시각 중 적어도 전방시각의 투시화상데이터와 좌우시각의 투시화상데이터를 동시에 표시하는 이동체의 주위감시시스템.
  4. 제3항에 있어서,
    상기 표시수단에서 표시된 화상 중 하나를 상기 표시제어수단에 구비된 선택수단으로 선택하고, 선택된 화상에 대해, 상기 화상처리수단에 의해 외부로부터의 키조작에 대응시켜 상하좌우로의 이동 및 확대축소를 행하고, 상기 표시수단에 처리후의 화상을 표시할 수 있는 이동체의 주위감시시스템.
  5. 상기 제1, 3, 및 4항 중 어느 한 항에 있어서,
    상기 표시수단이, 지도화면상에 이동체의 위치를 표시하는 위치표시수단을 포함하고 있어, 상기 표시제어수단에 의해 이동체 주위화상과 이동체 위치표시를 교대로 할 수 있는 이동체의 주위감시시스템.
  6. 제1, 3, 4, 및 5항 중 어느 한 항에 있어서,
    상기 이동체가 자동차인 이동체의 주위감시시스템.
  7. 제6항에 있어서,
    상기 전방위 시각 센서가 자동차의 루프상에 설치되어 있는 이동체의 주위감시시스템.
  8. 제6항에 있어서,
    상기 전방위 시각센서가 자동차의 전후의 범퍼 상에 설치되어 있는 이동체의 주위감시시스템.
  9. 제8항에 있어서,
    상기 전방위 시각센서가, 전방 범퍼의 좌단부 및 우단부 중 어느 일방 상에 설치되어 있음과 동시에, 후방 범퍼에는 상기 전방 범퍼의 설치위치와 대각위치의 단부 상에 설치되어 있는 이동체의 주위감시시스템.
  10. 제1, 3, 4, 및 5항 중 어느 한 항에 있어서,
    상기 이동체가 전차인 이동체의 주위감시시스템.
  11. 제1, 3, 4, 5, 6, 7, 8, 9, 및 10항 중 어느 한 항에 있어서,
    상기 전방위 시각센서로부터의 화상신호와 상기 이동체의 속도신호로부터, 주위물체와의 거리, 상대속도, 및 상기 물체의 이동방향을 검출하는 수단, 상기 물체가 일정 거리범위 내로 근접할 경우에 경고정보를 발생시키는 수단을 갖는 이동체의 주위감시시스템.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR10-2001-0028145A 2000-05-23 2001-05-22 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차 KR100486012B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000152208A JP3627914B2 (ja) 2000-05-23 2000-05-23 車両の周囲監視システム
JP2000-152208 2000-05-23

Publications (2)

Publication Number Publication Date
KR20010107655A KR20010107655A (ko) 2001-12-07
KR100486012B1 true KR100486012B1 (ko) 2005-05-03

Family

ID=18657663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0028145A KR100486012B1 (ko) 2000-05-23 2001-05-22 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차

Country Status (5)

Country Link
US (1) US6693518B2 (ko)
EP (1) EP1158473B2 (ko)
JP (1) JP3627914B2 (ko)
KR (1) KR100486012B1 (ko)
DE (1) DE60104599T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) * 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US20050140785A1 (en) * 1999-03-16 2005-06-30 Mazzilli Joseph J. 360 degree video camera system
TW468283B (en) 1999-10-12 2001-12-11 Semiconductor Energy Lab EL display device and a method of manufacturing the same
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US7004593B2 (en) 2002-06-06 2006-02-28 Donnelly Corporation Interior rearview mirror system with compass
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
DE10059313A1 (de) 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
WO2002062623A2 (en) 2001-01-23 2002-08-15 Donnelly Corporation Improved vehicular lighting system for a mirror assembly
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
JP4006959B2 (ja) * 2001-04-28 2007-11-14 節男 黒木 視認カメラ装着車
JP2002334322A (ja) 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
DE10131196A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP2003054316A (ja) * 2001-08-21 2003-02-26 Tokai Rika Co Ltd 車両用撮像装置、車両用監視装置及びドアミラー
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
DE10253378B4 (de) * 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
CN1559147A (zh) * 2001-12-03 2004-12-29 Լɪ��J�������� 360度汽车视频摄像系统
JP3979522B2 (ja) * 2002-02-21 2007-09-19 シャープ株式会社 カメラ装置及び監視システム
JP2003269969A (ja) * 2002-03-13 2003-09-25 Sony Corp ナビゲーション装置、地点情報の表示方法およびプログラム
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
US7218352B2 (en) 2002-05-02 2007-05-15 Sony Corporation Monitoring system for a photography unit, monitoring method, computer program, and storage medium
DE60320169T2 (de) 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
JP3925299B2 (ja) * 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
US20040001091A1 (en) * 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
DE10227221A1 (de) * 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
US7697025B2 (en) 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
EP1543358A2 (en) 2002-09-20 2005-06-22 Donnelly Corporation Mirror reflective element assembly
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
WO2004076235A1 (de) * 2003-02-25 2004-09-10 Daimlerchrysler Ag Spiegel zur optoelektronischen umgebungserfassung an einem fahrzeug
JP4273806B2 (ja) * 2003-03-31 2009-06-03 マツダ株式会社 車両用監視装置
JP3979330B2 (ja) 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US7088310B2 (en) * 2003-04-30 2006-08-08 The Boeing Company Method and system for presenting an image of an external view in a moving vehicle
US6866225B2 (en) 2003-04-30 2005-03-15 The Boeing Company Method and system for presenting moving simulated images in a moving vehicle
US7046259B2 (en) * 2003-04-30 2006-05-16 The Boeing Company Method and system for presenting different views to passengers in a moving vehicle
WO2004102479A1 (ja) * 2003-05-14 2004-11-25 Loarant Corporation 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
US20050062845A1 (en) * 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
DE10346510B4 (de) * 2003-10-02 2007-11-15 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346484B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
DE10346483B4 (de) * 2003-10-02 2007-11-22 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346511B4 (de) * 2003-10-02 2008-01-31 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346482B4 (de) * 2003-10-02 2008-08-28 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346507B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
CA2567280A1 (en) * 2004-05-21 2005-12-01 Pressco Technology Inc. Graphical re-inspection user setup interface
JP2006069367A (ja) * 2004-09-02 2006-03-16 Nippon Seiki Co Ltd 車両用撮像装置
JP2006197034A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、撮像装置及び画像認識方法
US7656172B2 (en) * 2005-01-31 2010-02-02 Cascade Microtech, Inc. System for testing semiconductors
US7535247B2 (en) 2005-01-31 2009-05-19 Cascade Microtech, Inc. Interface for testing semiconductors
EP1849038A2 (en) * 2005-01-31 2007-10-31 Cascade Microtech, Inc. Microscope system for testing semiconductors
GB0507869D0 (en) * 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
KR100716338B1 (ko) * 2005-07-04 2007-05-11 현대자동차주식회사 영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템
JP2007124483A (ja) * 2005-10-31 2007-05-17 Aisin Seiki Co Ltd 移動体通信装置
EP1949666B1 (en) 2005-11-01 2013-07-17 Magna Mirrors of America, Inc. Interior rearview mirror with display
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
WO2007103573A2 (en) 2006-03-09 2007-09-13 Gentex Corporation Vehicle rearview assembly including a high intensity display
JP2007288354A (ja) * 2006-04-13 2007-11-01 Opt Kk カメラ装置、画像処理装置および画像処理方法
US20070278421A1 (en) * 2006-04-24 2007-12-06 Gleason K R Sample preparation technique
US20080136914A1 (en) * 2006-12-07 2008-06-12 Craig Carlson Mobile monitoring and surveillance system for monitoring activities at a remote protected area
US20080266397A1 (en) * 2007-04-25 2008-10-30 Navaratne Dombawela Accident witness
DE102007024752B4 (de) 2007-05-26 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
EP2070774B1 (en) 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Security system and a method to derive a security signal
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
EP2289243A4 (en) 2008-05-16 2014-05-14 Magna Electronics Inc SYSTEM FOR PROVIDING AND DISPLAYING VIDEO INFORMATION BASED ON MULTIPLE VIDEO SOURCES
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US8416300B2 (en) 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
DE102010004095A1 (de) * 2010-01-07 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung zur dreidimensionalen Umfelderfassung
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
CN102591014B (zh) * 2011-01-07 2015-04-08 北京航天万方科技有限公司 一种全景视觉观察系统及其工作方法
WO2013032371A1 (en) * 2011-08-30 2013-03-07 Volvo Technology Corporation Vehicle security system and method for using the same
JP5780083B2 (ja) * 2011-09-23 2015-09-16 日本電気株式会社 検品装置、検品システム、検品方法及びプログラム
US20130215271A1 (en) 2012-02-22 2013-08-22 Magna Electronics, Inc. Indicia and camera assembly for a vehicle
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
KR101406232B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 도어 열림 경보 장치 및 방법
KR101406212B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 후사경의 분할 뷰 제공 장치 및 방법
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법
WO2014109016A1 (ja) * 2013-01-09 2014-07-17 三菱電機株式会社 車両周辺表示装置
KR101881346B1 (ko) 2013-03-15 2018-07-24 젠텍스 코포레이션 디스플레이 미러 어셈블리
WO2014147621A1 (en) * 2013-03-21 2014-09-25 Zeev Erlich Aversion of covert pursuit
JP6814040B2 (ja) 2013-06-26 2021-01-13 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ ミラー代替手段、並びに、車両
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
CN105555612B (zh) 2013-09-24 2018-06-01 金泰克斯公司 显示镜组件
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
CN106061794B (zh) 2014-03-21 2019-06-07 金泰克斯公司 三态显示镜组件
EP3126195B1 (en) 2014-04-01 2019-06-05 Gentex Corporation Automatic display mirror assembly
KR102214604B1 (ko) * 2014-09-05 2021-02-10 현대모비스 주식회사 운전 보조 영상 표시 방법
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
CN107000642B (zh) 2014-11-07 2020-03-27 金泰克斯公司 全显示镜致动器
KR101977685B1 (ko) 2014-11-13 2019-05-13 젠텍스 코포레이션 디스플레이를 갖춘 후방 미러 시스템
KR101997815B1 (ko) 2014-12-03 2019-07-08 젠텍스 코포레이션 디스플레이 미러 어셈블리
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
WO2016172096A1 (en) 2015-04-20 2016-10-27 Gentex Corporation Rearview assembly with applique
US10112540B2 (en) 2015-05-18 2018-10-30 Gentex Corporation Full display rearview device
JP7060958B2 (ja) 2015-06-22 2022-04-27 ジェンテックス コーポレイション 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
EP3368374B1 (en) 2015-10-30 2023-12-27 Gentex Corporation Toggle paddle
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
CN108349436B (zh) 2015-10-30 2019-12-20 金泰克斯公司 后视装置
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
US20180191966A1 (en) 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
WO2018170353A1 (en) 2017-03-17 2018-09-20 Gentex Corporation Dual display reverse camera system
JP7332445B2 (ja) * 2019-11-25 2023-08-23 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
CN111526337B (zh) * 2020-05-08 2021-12-17 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
US12030489B2 (en) 2021-08-12 2024-07-09 Toyota Connected North America, Inc. Transport related emergency service notification
US11894136B2 (en) 2021-08-12 2024-02-06 Toyota Motor North America, Inc. Occupant injury determination
US11608030B2 (en) * 2021-08-12 2023-03-21 Toyota Connected North America, Inc. Vehicle surveillance system and early vehicle warning of potential threat
US12097815B2 (en) 2021-08-12 2024-09-24 Toyota Connected North America, Inc. Protecting living objects in transports
US11887460B2 (en) 2021-08-12 2024-01-30 Toyota Motor North America, Inc. Transport-related contact notification
CN117859029A (zh) 2021-08-20 2024-04-09 金泰克斯公司 灯光组合件和具有灯光组合件的照明系统
JP2023148909A (ja) * 2022-03-30 2023-10-13 株式会社日立製作所 列車走行支援装置及び列車走行支援方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
JP3419103B2 (ja) 1994-09-16 2003-06-23 日産自動車株式会社 車両用監視装置
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
US6064428A (en) * 1996-08-05 2000-05-16 National Railroad Passenger Corporation Automated track inspection vehicle and method
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3943674B2 (ja) * 1996-10-25 2007-07-11 キヤノン株式会社 カメラ制御システム並びにカメラサーバ及びその制御方法
JP3976368B2 (ja) 1997-03-18 2007-09-19 富士通テン株式会社 車載用多チャンネル画像処理装置
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
US6333759B1 (en) * 1999-03-16 2001-12-25 Joseph J. Mazzilli 360 ° automobile video camera system
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
JP2000128031A (ja) * 1998-08-21 2000-05-09 Sumitomo Electric Ind Ltd ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Also Published As

Publication number Publication date
JP2001331789A (ja) 2001-11-30
KR20010107655A (ko) 2001-12-07
DE60104599T2 (de) 2005-08-04
US20020005896A1 (en) 2002-01-17
DE60104599T3 (de) 2008-06-12
EP1158473A2 (en) 2001-11-28
DE60104599D1 (de) 2004-09-09
EP1158473B2 (en) 2007-11-21
US6693518B2 (en) 2004-02-17
JP3627914B2 (ja) 2005-03-09
EP1158473A3 (en) 2002-08-14
EP1158473B1 (en) 2004-08-04

Similar Documents

Publication Publication Date Title
KR100486012B1 (ko) 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차
KR100650121B1 (ko) 이동체용 주위 감시 장치
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
JP2005167638A (ja) 移動体周囲監視装置、移動体および画像変換方法
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
JP3753681B2 (ja) 監視システム
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
US8477191B2 (en) On-vehicle image pickup apparatus
JP2007104373A (ja) 車両用画像表示装置
JP2003081014A (ja) 車両周辺監視装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2020088415A (ja) 車両用電子ミラーシステム
WO2019193819A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
US20160129838A1 (en) Wide angle rear and side view monitor
WO2013144998A1 (ja) 車両用視認支援装置
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
JP2003125396A (ja) 車両周囲表示装置、車両周囲表示方法及び車両周囲表示プログラム
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置
Thibault Novel compact panomorph lens based vision system for monitoring around a vehicle
JP6759072B2 (ja) 画像処理装置、撮像装置、および表示システム
JP2024102638A (ja) 画像処理システム、移動体、画像処理方法、及びコンピュータプログラム
Thibault 360 degree vision system: opportunities in transportation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120418

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130404

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee