KR100494540B1 - 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체 - Google Patents

투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체 Download PDF

Info

Publication number
KR100494540B1
KR100494540B1 KR10-2002-0025777A KR20020025777A KR100494540B1 KR 100494540 B1 KR100494540 B1 KR 100494540B1 KR 20020025777 A KR20020025777 A KR 20020025777A KR 100494540 B1 KR100494540 B1 KR 100494540B1
Authority
KR
South Korea
Prior art keywords
image data
perspective projection
image
projection image
scale model
Prior art date
Application number
KR10-2002-0025777A
Other languages
English (en)
Other versions
KR20020086290A (ko
Inventor
카와카미켄이치
쿠마타키요시
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18987330&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100494540(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20020086290A publication Critical patent/KR20020086290A/ko
Application granted granted Critical
Publication of KR100494540B1 publication Critical patent/KR100494540B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Abstract

본 발명의 투시투영 화상생성시스템은: 쌍곡면 미러를 포함하는 광학 시스템; 광을 수광하여 입력 화상데이터를 생성하는 촬상부; 상기 촬상부에 의해 취득된 입력 화상데이터를, 투시투영의 화상데이터로 변환하는 화상변환부; 상기 물체의 스케일 모델의 사이즈가 투시투영 화상의 물체의 사이즈에 대응하도록 물체면에서의 물체의 화상데이터를 상기 물체의 스케일 모델의 화상데이터로 변환하는 스케일 모델 작성부; 상기 투시투영 화상데이터와 상기 스케일 모델의 화상데이터를 합성함으로써 작성되는 합성화상데이터를 생성하는 화상합성부; 및 상기 합성화상데이터를 표시하는 표시부를 포함한다.

Description

투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및 그 프로그램을 기억하는 기록 매체{SYSTEM, METHOD AND PROGRAM FOR PERSPECTIVE PROJECTION IMAGE CREATION, AND RECORDING MEDIUM STORING THE SAME PROGRAM}
본 발명은, 전방위 시각 센서를 포함하는 투시투영 화상생성시스템, 투시투영 화상생성방법, 투시투영 화상생성 프로그램 및 투시투영 화상생성 프로그램을 기억하는 기록 매체에 관한 것이다.
최근, 자동차 등의 이동체에 탑재된 카메라 및 모니터를 포함하여, 운전자의 사각 내의 화상을 모니터에 표시시키는 화상표시시스템에 대한 연구가 활발히 행해지고 있다. 이와 같은 화상표시시스템의 대표적인 예에는, 예컨대 운전자가 자동차를 주차할 때 운전자가 받는 부담을 줄이기 위해 자동차에 탑재된 후방(rearview) 모니터가 포함된다.
그러나, 종래의 화상표시시스템에서는, 예컨대 자동차 바로 뒤의 시야각이 좁게 되어 있어, 모니터상에 표시되는 정보가 한정된다. 따라서, 운전자의 부담을 더욱 줄이기 위하여, 자동차와 장해물 사이의 위치관계에 관한 보다 정확한 정보를 얻을 수 있고 시야각이 넓은 카메라를 포함하는 화상표시시스템이 요청된다.
또한, 종래의 백 모니터를 포함하는 화상표시시스템 등의 화상표시시스템에서는, 카메라에 의해 촬상된 화상이 실질적으로 처리되지 않고 모니터의 표시 화면상에 표시되기 때문에, 표시되는 화상에 의해 커버되는 범위가 예컨대 자동차 후방의 특정 시야영역에 한정된다. 상기 종래의 화상표시시스템에 의하면, 자동차의 운전자는 자동차의 바로 뒤에 위치하는 장해물 등을 확인하거나, 또는 자동차가 어디까지 후진할 수 있는지를 확인할 수 있다. 그러나, 운전자는 자동차 바로 뒤의 영역 이외의 주변에 관한 정보를 얻을 수 없어서, 예컨대 상기 운전자는 주차 공간을 나타내는 라인 또는 운전자의 자동차의 측부에 주차된 인접한 차와 같은 장해물과 자동차 사이의 위치 관계 등을 파악할 수 없다.
이것 때문에, 자동차의 운전자는 모니터상에 표시되는 화상을 체크하면서 또는 백미러 및/또는 사이드 미러를 보면서, 그들의 운전 경험을 최대한 이용하여 자동차를 운전 또는 주차할 필요가 있다. 이것은 경험이 적은 운전자에게 상당한 부담으로 되어, 운전자의 안전 운전을 방해한다.
상기 상황을 고려하여, 예컨대 주차장에서 자동차 주위 환경에 관한 정확한 위치정보를 자동차의 운전자에게 제공하는 운전지원시스템으로서 사용되는 화상표시시스템이 요청된다. 일본 특허출원 제2000-31260호에는, 전방위 센서의 시야가 지상면으로 하향되도록, 즉 지상면을 바로 위에서 본 것처럼 전방위 센서가 지상면의 화상을 촬상하도록, 자동차의 소정의 위치에 설치된 쌍곡면 미러를 사용하는 전방위 시각 센서를 포함하는 이동체 주변 확인 장치가 개시되어 있다. 즉, 상기 전방위 시각 센서에 의해 얻어지는 투시투영 화상에 근거하여, 이동체 주변 확인 장치가 지상면의 조감도 화상을 작성함으로써, 지상면에 대한 자동차 등의 이동체의 위치에 관한 2차원 정보가 제공된다.
그러나, 일본 특허출원 제2000-31260호에 기재된 이러한 종래의 이동체 주변 확인 장치는, 실제로는 지상면에 존재하지 않는 자동차가 지상면상에 존재하는 것처럼 투시투영 화상을 사용해서 조감도를 작성하므로, 자동차의 조감도가 현저히 왜곡되어, 자동차와 지상면 사이의 위치관계를 판단하는 것이 어렵게 되는 문제가 있다.
일본 특허출원 제2000-31260호에는, 조감도상의 자동차의 왜곡된 화상과 자동차가 바로 위에서 보이는 것처럼 자동차를 나타내는 화상을 합성함으로써, 조감도에 있어서 자동차와 지상면 사이의 위치관계를 정확하고 분명하게 할 수 있는 구성이 기재되어 있다. 그러나, 일본 특허출원 제2000-31260호에는 합성화상 등의 작성방법에 관한 상세한 설명이 없어, 실제로는, 자동차의 운전자가 표시화면을 보면서 시행착오를 통해 표시화면의 조정을 반복함으로써 작성된다. 이것 때문에, 운전자가 표시화면에 줌 인 또는 줌 아웃 등의 경미한 변경을 하는 것이 용이하지 않다. 또한, 자동차로부터 장해물, 주차 공간을 나타내는 라인 등까지의 구체적인 거리를 운전자가 인식할 수 있는 메카니즘이 제공되지 않는다.
본 발명의 일 양태에 의하면, 2엽 쌍곡면 중 한쪽의 쌍곡면 형상을 갖는 쌍곡면 미러를 포함하는 광학 시스템; 상기 쌍곡면 미러에 대향하여 설치된 렌즈에 의해 집광되는 광을 수광하여 입력 화상데이터를 생성하는 촬상부; 상기 촬상부에 의해 취득된 입력 화상데이터를, 상기 쌍곡면 미러의 초점을 사영 중심으로 하는 투시투영의 화상데이터로 변환하는 화상변환부; 상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리의 비에 근거하여, 상기 물체의 스케일 모델의 사이즈가 투시투영 화상의 물체의 사이즈에 대응하도록 상기 쌍곡면 미러의 초점을 통해 연장하는 직선에 대해 수직인 물체면에서의 물체에 대한 화상데이터를 상기 물체의 스케일 모델에 대한 화상데이터로 변환하는 스케일 모델 작성부; 상기 투시투영 화상데이터와 상기 스케일 모델에 대한 화상데이터를 합성함으로써 작성되는 합성화상데이터를 생성하는 화상합성부; 및 상기 합성화상데이터를 표시하는 표시부를 포함하는 투시투영 화상생성시스템이 제공된다.
본 발명의 일 실시예에서, 상기 물체면은 지상면이다.
본 발명의 일 실시예에서, 상기 사영중심과 상기 투시투영 화상면 사이의 거리는, 화상의 해상도의 최소단위를 나타내는 각 픽셀수에 의해 표시된다.
본 발명의 일 실시예에서, 상기 스케일 모델의 화상데이터는, 상기 물체면에서의 스케일 모델의 대상 물체에 대한 정보에 근거하여 작성된다.
본 발명의 일 실시예에서, 상기 정보는 상기 대상물체의 화상데이터인 원래 화상 데이터, 상기 대상물체의 실제 사이즈, 및 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리에 대한 데이터를 포함하고 있다.
본 발명의 일 실시예에서, 상기 스케일 모델 작성부는, 상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리의 비에 근거하여, 상기 대상물체의 화상데이터인 원래 화상 데이터의 사이즈를 확대/축소함으로써, 스케일 모델의 화상데이터를 작성한다.
본 발명의 일 실시예에서, 상기 투시투영 화상생성시스템은 상기 제1 광학 시스템과 동일한 제2 광학 시스템을 더 포함하며, 상기 시스템은 상기 스케일 모델 작성부에 의해 작성된 스케일 모델의 화상데이터에 근거하여, 상기 제2 광학 시스템에서의 쌍곡면 미러의 초점과 상기 제2 광학 시스템의 초점을 사영 중심으로 하는 투시투영 화상면 사이의 거리를 계산함으로써, 상기 스케일 모델에 대응하며 제2 광학 시스템에서의 쌍곡면 미러의 초점을 사영중심으로 하는 투시투영 화상데이터를 작성한다.
본 발명의 일 실시예에서, 상기 스케일 모델의 화상데이터는, 화상의 길이를 표시하는 게이지 모델이다.
본 발명의 다른 양태에 의하면, 2엽 쌍곡면 중 한 쪽의 쌍곡면 형상을 갖는 쌍곡면 미러를 포함하는 광학 시스템, 및 상기 쌍곡면 미러에 대향하여 설치된 렌즈에 의해 집광되는 광을 수광하여 입력 화상데이터를 취득하는 촬상부를 포함하는 전방위 시각 센서를 사용하여 입력 화상데이터를 취득하는 단계; 상기 촬상부에 의해 취득된 입력 화상데이터를, 쌍곡면 미러의 초점을 사영중심으로 하는 투시투영의 화상데이터로 변환하는 단계; 상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리의 비에 근거하여, 상기 물체의 스케일 모델의 사이즈가 투시투영 화상의 물체의 사이즈에 대응하도록 상기 쌍곡면 미러의 초점을 통해 연장하는 직선에 대해 수직한 물체면에서의 물체의 화상데이터를 상기 물체의 스케일 모델에 대한 화상데이터로 변환하여 스케일 모델을 작성하는 단계; 상기 투시투영 화상데이터와 상기 스케일 모델의 화상데이터를 합성하여 합성 화상데이터를 생성하는 단계; 및 상기 합성 화상데이터를 표시하는 단계를 포함하는 투시투영 화상생성방법이 제공된다.
본 발명의 또 다른 양태에 의하면, 투시투영 화상생성방법을 실행하기 위한 투시투영 화상생성 프로그램이 제공된다.
본 발명의 또 다른 양태에 의하면, 투시투영 화상생성방법을 실행하기 위한 투시투영 화상생성 프로그램을 기억하는 컴퓨터 독출 가능 기록 매체가 제공된다.
따라서, 여기서 설명되는 본 발명은, 화상내에 촬상되는 물체와 자동차 사이의 위치 관계를 정확히 나타내는 투시투영 화상을 제공할 수 있는 투시투영 화상생성시스템; 투시투영 화상을 생성하는 방법; 투시투영 화상을 생성하는 프로그램; 및 투시투영 화상생성 프로그램을 기억하는 기록 매체를 제공하는 장점이 있다.
첨부 도면을 참조하여, 다음의 상세한 설명을 읽고 이해하는 당업자들에게, 본 발명의 여러 장점은 명백할 것이다.
이하, 본 발명의 실시예를 도면을 참조하여 설명한다.
본 발명에 따른 투시투영 화상생성시스템은, 쌍곡면 미러를 사용하는 전방위 시각 센서에 의해 얻어지는 입력 화상데이터에 근거하여, 쌍곡면 미러의 초점을 사영 중심으로 하는 투시투영 화상을 생성한다.
우선, 쌍곡면 미러를 사용하는 전방위 시각 센서를 이하 설명한다.
쌍곡면 미러를 사용하는 전방위 시각 센서는, 그 전체가 참고자료로서 본 명세서에 합체되는 일본 공개특허공보 제94-295333호에 상술되어 있기 때문에, 여기서는 이와 같은 전방위 시각 센서의 특징만을 설명한다.
도1은, 전방위 시각 센서의 광학 시스템의 구성을 도시하는 도면이다.
도1에 도시된 바와 같이, 전방위 시각 센서의 광학 시스템은, 쌍곡면 미러(10)를 포함하고 있다. 쌍곡면 미러(10)는, 반사면을 그 외주면으로서 갖는 회전체를 포함하고 있다. 도1에서는, 상기 쌍곡면 미러(10)의 회전축이 3차원 좌표계(x,y,z)의 z축에 배치되어 있다. 쌍곡면 미러(1O)의 초점(Om)은 z축상에 위치하고 있다. 쌍곡면 미러(1O)의 초점(Om)을 향해 조사되는 광은, 쌍곡면 미러(1O)의 반사면에 의해 반사되어, z축상의 점(0c)에 집광된다. 점(0c)은, 쌍곡면 미러(10)를 포함하는 2엽(two sheets) 쌍곡면 중 다른 하나의 초점에 대응한다. 점(Oc)에는, 렌즈(14)가 배치되어 있다. 상기 렌즈(14)의 초점거리(f)만큼 렌즈(14)로부터 떨어진 위치에, 예컨대 CCD와 같은 촬상장치의 수광면인 화상면(11)이 z축에 직교하도록 배치되어 있다. 점(Oc)은, 렌즈(14)의 렌즈 주점이다.
이 광학 시스템에서, 실공간 평면(13)상의 점(P)으로부터 쌍곡면 미러(10)의 초점(Om)을 향해 조사되는 광을 고려한다. 실공간 평면(13)은 쌍곡면 미러(10)의 초점(Om)으로부터 거리(D)만큼 떨어져 위치된 점(G)을 포함하고, 초점(Om)으로부터 점(G)을 잇는 직선(시야 방향)에 직교한다. 점(P)은, x-y-z 축 좌표에서, (X,Y,Z)에 의해 나타낸다. 점(P)으로부터 초점(0m)을 향해 조사된 광은, 쌍곡면 미러(1O)에 의해, 렌즈(14)의 렌즈 주점(Oc)을 향해 반사되어, 렌즈(14)에 의해 화상면(11)의 점 p(x,y)에 결상된다. 화상면(11)의 점(p)에 결상된 화상은 입력화상으로 된다. 이 광학 시스템에서는, 쌍곡면 미러(10)가 z축을 중심축으로 하는 회전체의 외주면에 배치되어 있기 때문에, 쌍곡면 미러(10)에 의해 반사된 광으로부터 생성되는 입력화상은 원형화상으로 된다.
다음 설명은, 입력화상을 이용하여 광학 시스템의 주위 정보의 일부를 쌍곡면 미러(10)의 초점(Om)을 사영 중심으로 하는 투시투영으로 변환함으로써 생성되는 투시투영 화상에 관한 것이다.
이제, 실공간 평면(13)의 시야 방향인 직선 Om-G상의 점(g)을 포함하고, 직선 Om-G에 직교하는 투시투영 화상면(12)을 고려한다. 투시투영 화상면(12)의 점(g)은, 쌍곡면 미러(10)의 초점(Om)으로부터 거리(d)만큼 떨어져 있으며, 투시투영 화상면(12)은 실공간 평면(13)에 평행하다. 실공간 평면(13)과 초점(Om) 사이에 광을 차단하는 물체가 없고, 투시투영 화상면(12)이 초점(Om)을 사영 중심으로 하는 경우, 점 P(X,Y,Z)로부터 조사된 광은, 사영점 pt(tx,ty,tz)에 투영된다. 전술한 바와 같이, 실공간 평면(13)상의 점 P(X,Y,Z)의 광은 화상면(11)상의 점 p(x,y)에 결상되기 때문에, 사영점 pt(tx,ty,tz)의 값은 점 p(x,y)의 값에 근거하여 결정된다. 투시투영 화상면(12)상의 각 사영점의 값을 화상면(11)으로부터 계산함으로써, 초점(Om)을 사영 중심으로 하는 투시투영 화상을 얻을 수 있다.
이 경우, 도1에 도시된 바와 같이, 투사투영 화상면(12)상의 점(g) 및 점(pt)과 쌍곡면 미러(1O)의 초점(Om)을 잇는 직선에 의해 형성되는 삼각형 Om-g-pt, 및 실공간 평면(13)상의 점(G) 및 점(P)과 쌍곡면 미러(10)의 초점(Om)에 의해 형성되는 삼각형 Om-G-P는, Om, g 및 G를 잇는 공통 축을 갖는다. 삼각형 Om-g-pt 및 Om-G-P는 공통의 정각(vertex angle)을 갖는다. 따라서, 삼각형 Om-g-pt와 Om-G-P는 상사(相似) 관계의 삼각형이다.
따라서, 실공간 평면(13)상의 점(G)과 점(P) 사이의 거리에 대한 투시투영 화상면(12)의 점(g)과 점(pt) 사이의 거리의 비는, 초점(Om)과 실공간 평면(13) 사이의 거리에 대한 투시투영 화상면(12)의 초점(Om)과 점(g) 사이의 거리의 비(d/D)에 의해 나타낸다.
투시투영 화상을 디지털 화상으로 하는 경우, 투시투영 화상면(12)상의 디지털 화상의 사이즈를, 디지털 화상을 구성하는 픽셀수에 의해 나타내면 편리하다. 1 픽셀은 디지털 화상의 해상도의 최소단위이다. 투시투영 화상면(12)과 쌍곡면 미러(10)의 초점(Om) 사이의 거리(d)를 픽셀수에 의해 나타내고, 실공간 평면(13)상의 임의의 두 점 사이의 거리를 센티미터(cm)에 의해 나타냄으로써, 거리의 비(d/D)는 [pixel/cm]에 의해 나타낼 수 있으며, 이는 실공간 평면(13)상의 1 센티미터의 거리를 나타내기 위해 필요한 픽셀수가 d/D임을 의미한다.
도2는, 도1의 전방위 시각 센서의 광학 시스템의 z축을 포함하는 평면도이다.
도2에 도시된 바와 같이, z축을 포함하는 평면에서의 광학 시스템을 고려한 경우, 쌍곡면(10)의 초점(Om)을 향해 나아가는 광(22)의 입사각(α)과 렌즈 주점(21)을 향해 반사되는 광(23)의 입사(반사)각(β) 사이의 관계를, 쌍곡면 미러(1O)의 형상을 규정하는 상수(a,b,c)를 사용하여, 다음 식(1)에 의해 나타낸다.
식(1)에 의하면, 반사광(23)의 입사각(β)은, 쌍곡면 미러(10)의 형상을 규정하는 상수(a,b,c)와 광(22)의 입사각(α)에 의해 규정된다.
다음, 상기 전방위 시각 센서를 사용하는 본 발명에 따른 투시투영 화상생성시스템에 관해 설명한다.
본 발명에 따른 투시투영 화상생성시스템에서는, 상기 거리의 비(d/D)를 이용하여, 기지(旣知)의 사이즈를 갖는 실공간 평면(13)상의 대상물체를 나타내기 위해, 대상물체의 원래 화상의 사이즈를 확대 또는 축소하거나, 또는 상기 물체를 나타내는 새로운 화상을 생성하여, 투시투영 화상면(12)의 사이즈에 대응하는 사이즈를 갖도록 대상물체의 스케일 모델을 작성한다.
이 스케일 모델은, 실공간 평면(13)상의 기지의 사이즈를 갖는 대상물체를, 투시투영 화상면(12)상에 나타내기 위해, 상기 거리의 비(d/D)에 대응하는 사이즈를 갖도록 작성된 디지털 화상데이터이다. 예컨대, 전방위 시각 센서를 자동차에 탑재하고, 대상물체가 지상면에서의 자동차의 그림자인 경우에는, 스케일 모델로서 상기 자동차의 사이즈를 나타내는 화상데이터를 작성함으로써, 지상면에서의 장해물과 자동차 사이의 위치관계를 인식할 수 있다.
도3은, 본 발명에 따른 투시투영 화상생성시스템의 개략적인 구성을 설명하기 위한 블록도이다. 이 실시예에 설명된 차재용 전방위 시각 시스템은, 자동차의 우측 전방 및 좌측 후방의 각각에 설치되는 도1에 도시된 광학 시스템을 갖는 전방위 시각 센서를 포함하여, 운전자의 자동차 운전을 지원하는 자동차의 조감도를 생성한다.
도3에 도시된 바와 같이, 본 발명에 따른 투시투영 화상생성시스템은: 제1 전방위 시각 센서(31); 제2 전방위 시각 센서(32); 전방위 시각 센서를 포함하는 자동차, 및 제1 전방위 시각 센서(31) 및 제2 전방위 시각 센서(32)에 관한 데이터를 기억하는 기억부(33); 각종 데이터를 입력하기 위해 사용되는 입력부(34); 제1 전방위 시각 센서(31) 및 제2 전방위 시각 센서(32)의 출력에 근거하여 작성된 화상을 표시하는 표시부(35); 제1 전방위 시각 센서(31) 및 제2 전방위 시각 센서(32)에 의해 취득되는 데이터를 일시적으로 기억하는 화상데이터 기억부(36); 및 상기 투시투영 화상생성시스템의 이러한 소자 전부를 제어하는 제어부(30)를 포함한다.
이하, 상기 각 소자에 관해 설명한다.
도4는, 도3에 도시된 실시예에 따른 전방위 시각 센서를 포함하는 자동차의 개략도이다.
도4에 도시된 바와 같이, 제1 전방위 시각 센서(31)는, 전방위 시각 센서를 포함하는 자동차의 우측 전방에서, CCD(화상면)가 지상면에 대하여 수직 상향되고, 상기 CCD 카메라 위에 위치된 제1 전방위 시각 센서(31)의 쌍곡면 미러의 만곡면이 지상면에 대하여 수직 하향되고, 지상면과 쌍곡면 미러의 초점 사이의 거리가 D1이 되도록 위치된다. 상기 제1 전방위 시각 센서(31)는 자동차의 우측 전방에서 촬상되는 화상상의 데이터를 제1 입력 화상데이터로서 취득한다.
제2 전방위 시각 센서(32)는, 자동차의 좌측 후방에서, CCD(화상면) 카메라가 지상면에 대하여 수직 상향되고, 상기 CCD 카메라 위에 위치된 제2 전방위 시각 센서(32)의 쌍곡면 미러의 만곡면이 지상면에 대하여 수직 하향되고, 지상면과 쌍곡면 미러의 초점 사이의 거리가 D2가 되도록 위치된다. 상기 제2 전방위 시각 센서(32)는 자동차의 좌측 후방에서 촬상되는 화상상의 데이터를 제2 입력 화상데이터로서 취득한다.
기억부(33)는, 자기 디스크 등의 자기기억장치, 또는 서환(書換) 가능한 비휘발성 메모리 등이며, 전방위 시각 센서를 포함하는 자동차의 화상데이터, 자동차의 실제 폭 및 전체 길이의 값, 지상면으로부터 제1 전방위 시각 센서(31)의 쌍곡면 미러의 초점까지의 거리(D1), 및 지상면으로부터 제2 전방위 시각 센서(32)의 쌍곡면 미러의 초점까지의 거리(D2) 등과 같이, 조감도 화상상에 표시되는 전방위 시각 센서를 포함하는 자동차의 스케일 모델을 작성하기 위해 사용되는 정보를 기억한다. 이 실시예에서는, 상기 정보에 근거하여, 자동차의 화상의 사이즈를 확대 또는 축소함으로써 자동차의 스케일 모델을 작성한다. 따라서, 선명한 스케일 모델을 생성하기 위해, 기억부(33)는, 자동차의 화상에 대한 대용량의 데이터를 기억할 수 있도록 충분한 기억 용량(capacity)을 갖는 것이 바람직하다. 이 자동차에 대한 화상 데이터는, 그래픽 툴을 이용하여 작성될 수도 있고, 또는 디지털 카메라 등에 의해 자동차의 바로 위에서 촬상되는 자동차의 화상을 사용해도 좋다.
입력부(34)는, 운전자가 자동차를 운전하면서 예컨대 키 등을 눌러 지시할 수 있는 키보드, 마우스, 리모트 컨트롤, 또는 터치 패널 등과 같은 유저 인터페이스를 포함하여, 표시된 화상으로부터 줌 인 또는 줌 아웃하기 위한 변수 선택, 게이지 모델의 선택, 게이지 모델의 표시/비표시의 지정, 및 제1 전방위 시각 센서(31)와 제2 전방위 시각 센서(32) 사이의 경계선의 표시/비표시를 지정한다.
화상데이터 기억부(36)는, 예컨대 제1 전방위 시각 센서(31) 및 제2 전방위 시각 센서(32)에 의해 취득된 입력 화상데이터를 일시적으로 기억하기 위한 메모리이며, 제1 내지 제7 기억영역, 즉 도3에 도시된 기억영역(36a∼36g)을 포함한다.
제1 기억영역(36a)은, 제1 전방위 시각 센서(31)에 의해 취득된 자동차의 우측 전방 주변에 대한 제1 입력 화상데이터를 기억한다. 제2 기억영역(36b)은, 제2 전방위 시각 센서(32)에 의해 취득된 자동차의 좌측 후방 주변에 대한 제2 입력 화상데이터를 기억한다.
제3 기억영역(36c)은, 제1 기억영역(36a)에 기억된 제1 입력 화상데이터를 투시투영 화상데이터로 변환함으로써 작성되는 제1 투시투영 화상데이터를 기억한다. 제4 기억영역(36d)은, 제2 기억영역(36b)에 기억된 제2 입력 화상데이터를 투시투영 화상데이터로 변환함으로써 작성되는 제2 투시투영 화상데이터를 기억한다.
제5 기억영역(36e)은, 기억부(33)에 기억된 자동차의 화상데이터의 사이즈를 확대 또는 축소함으로써 작성되는 자동차의 스케일 모델에 대한 화상데이터를 기억한다.
제6 기억영역(36f)은, 지상면에 대한 화상의 스케일을 나타내는 게이지 모델에 관한 화상데이터를 기억한다.
제7 기억영역(36g)은, 제3 기억영역(36c)에 기억된 제1 투시투영 화상데이터, 제4 기억영역(36d)에 기억된 제2 투시투영 화상데이터, 및 제5 기억영역(36e)에 기억된 자동차의 스케일 모델을 합성함으로써 작성되는 합성 화상데이터를 기억한다. 또, 운전자가 입력부(34)를 사용하여, 제6 기억영역(36f)에 기억된 게이지 모델의 표시를 선택하는 경우에는, 제6 기억영역(36f)에 기억된 게이지 모델이 상기 합성 화상데이터와 동시에 제7 기억영역(36g)에 기억된다.
표시부(35)는, 자동차 네비게이터 전용 액정 표시장치 등의 표시장치이며, 합성 화상데이터에 의해 나타내는 화상을 표시한다.
제어부(30)는, 조감도 작성을 위한 프로그램(이하, "조감도 작성 프로그램(50)"이라고 함)을 저장하는 컴퓨터이며, 저장된 조감도 작성 프로그램(50)에 근거하여, 전방위 시각 시스템의 상기 소자를 제어한다.
상기 제어부(30)에 저장된 조감도 작성 프로그램(5)에 관해 이하 설명한다.
도5는, 제어부(30)내에 저장된 상기 조감도 작성 프로그램(50)의 개략적인 구성을 도시하는 도면이다.
상기 조감도 작성 프로그램(50)은, 화상데이터 기억부(36) 및 기억부(33)에 기억된 다양한 화상데이터의 화상변환단계(51), 확대/축소단계(52), 스케일 게이지 작성단계(53), 및 화상합성단계(54)를 실시한다.
화상변환단계(51)에서는, 제1 전방위 시각 센서(31)에 의해 취득되어 화상데이터 기억부(36)의 제1 기억영역(36a)에 기억되는 제1 입력 화상데이터에 근거하여 투시투영 화상데이터가 작성되고, 상기 작성된 투시투영 화상데이터는 화상데이터 기억부(36)의 제3 기억영역(36c)에 기억된다. 마찬가지로, 제2 전방위 시각 센서(32)에 의해 생성되어 화상데이터 기억부(36)의 제2 기억영역(36b)에 기억되는 제2 입력 화상데이터에 근거하여 다른 투시투영 화상데이터가 작성되고, 상기 작성된 투시투영 화상데이터는 화상데이터 기억부(36)의 제4 기억영역(36d)에 기억된다. 상기 화상변환단계(51)의 투시투영 화상데이터를 작성하기 위해 사용되는 알고리즘은, 일본 공개특허공보 제94-259333호에 기재되어 있기 때문에, 상세한 설명은 생략한다.
확대 및 축소단계(52)에서는, 제어부(30)가 전방위 시각 센서를 포함하는 자동차에 대한 원래 화상 데이터를 기억부(33)로부터 독출하여, 그 메모리에 데이터를 저장한다. 자동차의 스케일 모델은 상기 자동차의 원래 화상의 사이즈를 확대/축소함으로써 작성된다. 자동차의 작성된 스케일 모델은, 화상데이터 기억부(36)의 제5 기억영역(36e)에 기억된다. 이 스케일 모델의 작성에 사용되는 알고리즘은, 종래부터 범용되는, 픽셀간의 선형 보완법을 이용하는 확대 방법, 픽셀치의 솎아냄 또는 픽셀치의 평균화 등의 화상처리방법이 사용된다.
스케일 게이지 작성단계(53)에서는, 예컨대 화상의 1m 또는 4m의 소정의 길이를 소정의 스케일의 길이로 확대/축소하는 게이지 모델의 화상데이터를 작성한다. 작성된 게이지 모델 화상데이터는, 화상데이터 기억부(36)의 제6 기억영역(36f)에 기억된다. 예컨대, 전방위 시각 센서를 포함하는 자동차와 자동차의 우측 또는 좌측에 위치한 대상 물체 사이의 위치관계에 관한 정보가 필요한 경우, 상기 게이지 모델 화상데이터는 1m 또는 4m에 대응하는 길이, 및 임의의 폭을 갖는 띠 형태의 풀 칼라(24비트) 화상데이터로 되도록 작성된다.
화상합성단계(54)에서는, 제3 기억영역(36c)에 기억된 제1 투시투영 화상데이터, 제4 기억영역(36d)에 기억된 제2 투시투영 화상데이터, 제5 기억영역(36e)에 기억된 자동차의 스케일 모델에 관한 화상데이터, 및 제6 기억영역(36f)에 기억된 게이지 모델에 관한 화상데이터를 합성하여 조감도 화상을 작성한다. 작성된 조감도는, 화상데이터 기억부(36)의 제7 기억영역(36g)에 기억된다. 작성된 조감도 화상에 대한 화상데이터는 표시부(35)에 송신되어, 표시부(35)에 의해 조감도 화상이 표시된다.
다음, 본 발명에 따른 전방위 시각 센서를 사용하는 스케일 모델 및 게이지 모델의 작성방법에 관해, 구체적으로 설명한다.
도6은, 투시투영 화상면(61)에 대한 제1 전방위 시각 센서(31)의 쌍곡면 미러의 초점(Om)과 실제의 지상면(62) 사이의 관계를 도시하는 사시도이다. 이 실시예에서는, 도1의 직선 Om-G 및 Om-g를 z축에 대응시키고, 제1 전방위 시각 센서(31)를 지상면(62)에 대하여 수직이 되도록 설치하여, 그 중심으로서 초점(Om)을 포함하는 XY 평면의 지상면(62)에 대한 경사각도를 0°로 한다. 따라서, 투시투영 화상면(61)의 수직축인 직선 Om-g와 XY 평면 사이의 틸트각(63)을 -90°로 하여, 상기 작성된 투시투영 화상면(61)이 지상면(62)에 대하여 평행하게 한다. 이와 같이 위치된 전방위 시각 센서에서, 투시투영 화상면(61)과 쌍곡면 미러(10)의 초점(Om) 사이의 거리를 d1, 지상면(62)과 쌍곡면 미러(10)의 초점(Om) 사이의 거리, 즉, 지상면(62)에 대해 초점(Om)이 위치되어 있는 높이를 D1로 한다. 거리(D1)는, 제1 전방위 시각 센서(31)가 지상면(62)에 대해 자동차에 부착되어 있는 높이를 계측함으로써 계산된다. 거리(D1)는 기억부(33)에 기억되고, 제어부(30)에 의해 독출된다. 거리(d1)의 단위는, 픽셀수에 의해 표시된다. 거리(D1)의 단위는, 센티미터(cm)에 의해 표시된다. 거리(d1)는, 입력부(34)를 사용하여 화상으로부터 줌 인 또는 줌 아웃할 때의 파라미터로서 사용된다.
상기한 바와 같이, 투시투영 화상면(61)과 지상면(62)은 서로 상사관계에 있기 때문에, 거리(D1)에 대한 거리(d1)의 비(d1/D1)를 n1로 하면, n1은 다음 식(2)에 의해 나타내진다.
여기서, n1은 지상면(62)상의 1cm에 대응하는 길이를 투시투영 화상면(61)에 표시하기 위해 필요한 픽셀수를 나타내고 있다.
도7은, 전방위 시각 센서를 포함하는 자동차의 실제 사이즈(70), 기억부(33)에 기억된 자동차의 원래 화상의 사이즈(71), 및 원래 화상(71)에 근거하여 작성된 자동차의 스케일 모델(72)을 도시하는 평면도이다. 실제의 자동차 사이즈를 W0(폭)×L0(전체 길이)으로 나타내면, cm 단위로 나타낸 W0과 L0의 값은 기억부(33)에 기억된다.
식(2)으로부터, 픽셀수 단위로 나타낸 자동차의 스케일 모델의 폭(W2) 및 전체 길이(L2)는, 다음 식(3) 및 (4)에 의해 각각 산출된다. 투시투영 화상면(61)의 사이즈를 확대/축소함으로써 작성되는 스케일 모델(72)의 화상사이즈는, W2×L2에 의해 나타내진다.
기억부(33)에 기억되어 있는 원래 화상(71)의 화상사이즈가 W1×L1인 경우, 원래 화상(71)의 사이즈를 확대/축소하여, 자동차의 스케일 모델(72)의 사이즈, 즉 W2×L2와 일치시킬 필요가 있다. 원래 화상(71)에 대한 스케일 모델(72)의 폭 방향의 배율은 W2/W1이고, 원래 화상(71)에 대한 스케일 모델(72)의 길이 방향의 배율은 L2/L1로 된다.
이 실시예에 의하면, 화상 확대/축소단계(52)에서, 원래 화상(71)을 W2×L2의 사이즈를 갖는 확대 또는 축소된 화상으로 변환하여, 이 확대/축소된 화상을 투시투영 화상면(61)에서의 스케일 모델로서 사용한다.
다음, 게이지 모델의 작성방법에 관해 설명한다. 본 발명의 이 실시예에서는, 1미터와 4미터 게이지 모델의 작성에 관해 설명한다.
도6의 지상면(62)의 1m 및 4m의 각 길이에 상당하는 투시투영 화상면(61)에서의 픽셀수는, 식(5) 및 (6)에 의해 나타내진다.
도8은, 식(6)에 따라 작성된 4미터 게이지 모델을 도시하고 있다. 이 4미터 게이지 모델은 n1×400[pixels]의 길이를 가지며, 1미터의 간격을 브레이크포인트(breakpoint)로 나타낸다.
다음, 이 실시예에 따른 투시투영 화상생성시스템에 관해, 도9의 프로그램 처리 플로우챠트를 참조하여 설명한다.
단계(1)에서, 전방위 시각 센서를 포함하는 자동차의 스케일 모델의 변경이 필요한지 아닌지를 판단한다. 상기 자동차의 스케일 모델에 임의의 변경이 필요하다고 판단되는 경우, 그 후 단계(2)에서, 실제 스케일의 자동차의 폭 및 길이의 값, 자동차에 대한 화상데이터, 및 제1 전방위 시각 센서(31)의 2엽 쌍곡면 미러의 초점과 지상면 사이의 거리(D1)를 기억부(33)로부터 독출하여, 제어부(30)에 입력한다. 제어부(30)에서는, 확대/축소단계(52)(도5)를 실시하여, 자동차의 화상의 스케일 모델을 작성한다. 작성된 스케일 모델은, 화상데이터 기억부(36)의 제5 기억영역(36e)에 기억된다.
다음, 단계(3)에서, 1미터 또는 4미터 게이지 모델의 픽셀수가 식(5) 또는 (6)에 의해 산출되고, 게이지 모델의 화상데이터가 작성되어, 화상데이터 기억부(36)의 제6 기억영역(36f)에 기억된다.
단계(4)에서, 스케일 모델이 변경될 필요가 있거나 또는 변경될 필요가 없는 각각의 경우에 대해, 제어부(30)는, 화상데이터 기억부(36)의 기억영역(36a)으로부터 제1 전방위 시각 센서(31)에 의해 취득된 제1 입력 화상데이터를 독출하고, 상기 제1 입력 화상데이터에 근거하여 제1 투시투영 화상데이터를 작성하도록 상기 화상변환단계(51)(도5)를 실시한다. 작성된 제1 투시투영 화상데이터는, 화상데이터 기억부(36)의 제3 기억영역(36c)에 기억된다.
도10은, 제1 전방위 시각 센서(31)에 의해 촬상된 입력화상에 근거하여 작성되는 투시투영 화상(100)을 도시하는 개략도이다. 도10에서는, 제1 전방위 시각 센서(31)의 쌍곡면 미러상에 투영된 CCD 카메라의 상(101)이 투시투영 화상(100)에 투영되어 있고, 상기 CCD 카메라의 상(101)의 중심은 도1에 도시된 점(g)에 대응하고 있다.
화상변환단계(51)(도5)에서는, CCD 카메라의 상(101)의 중심 좌표가 제1 투시투영 화상의 중심점(OC)의 우측으로 자동차의 스케일 모델에서의 폭의 1/2인 W2/2만큼 시프트되고, 제1 투시투영 화상의 중심점(OC)에 대해 상방으로 자동차의 스케일 모델에서의 전체 길이의 1/2인 L2/2만큼 시프트되도록, 제1 입력 화상데이터가 제1 투시투영 화상으로 변환된다. 제1 전방위 시각 센서(31)가 자동차의 우측 전단에 대응하는 초점을 갖도록 전방위 시각 센서를 포함하는 자동차에 설치되더라도, 제1 전방위 시각 센서(31)가 자동차의 우측 전단으로부터 떨어진 초점을 갖도록 배치되어 있는 경우에는, 자동차의 우측 전단으로부터 제1 전방위 시각 센서(31)까지의 거리(cm)를 식(2)에 따라 상기 거리가 픽셀수에 의해 표시되도록 계산할 필요가 있다.
도10의 투시투영 화상(100)에서, 카메라 상(101)의 좌측 하방에 위치된 영역(즉, 도10에 도시된 해칭 영역)은 자동차의 그림자에 대응하므로, 이 영역의 지상면은 화상으로서 표시되지 않는다.
다음, 다시 도9를 참조하면, 단계(5)에서, 제어부(30)는 화상데이터 기억부(36)의 제2 기억영역(36b)으로부터 제2 전방위 시각 센서(32)에 의해 취득된 제2 입력 화상데이터를 독출하고, 상기 제2 입력 화상데이터에 근거하여 제2 투시투영 화상데이터를 작성하도록 상기 화상변환단계(51)가 실시된다. 작성된 제2 투시투영 화상데이터는, 화상데이터 기억부(36)의 제4 기억영역(36d)에 기억된다.
도11은, 제2 전방위 시각 센서(32)에 의해 촬상된 입력화상에 근거하여 작성되는 투시투영 화상(110)을 도시하는 개략도이다. 도11에서는, 제2 전방위 시각 센서(32)의 쌍곡면 미러상에 투영된 CCD 카메라의 상(111)이 투영되어 있고, 상기 CCD 카메라의 상(111)의 중심은, 도1에 도시된 점(g)에 대응하고 있다.
화상변환단계(51)(도5)에서는, CCD 카메라의 상(111)의 중심 좌표가 제2 투시투영 화상데이터의 중심점(OC)의 좌측으로 자동차의 스케일 모델에 있어서의 폭의 1/2인 W2/2만큼 시프트되고, 제2 투시투영 화상의 중심점(OC)에 대해 하방으로 자동차의 스케일 모델의 전체 길이의 1/2인 L2/2만큼 시프트되도록, 제2 입력 화상데이터가 제2 투시투영 화상데이터로 변환된다. 제2 전방위 시각 센서(32)가 자동차의 좌측 후단에 대응하는 초점을 갖도록 전방위 시각 센서를 포함하는 자동차에 설치되더라도, 제2 전방위 시각 센서(32)가 자동차의 좌측 후단으로부터 떨어진 초점을 갖도록 위치되는 경우에는, 자동차의 좌측 후단으로부터 제2 전방위 시각 센서(32)까지의 거리(cm)를 식(2)에 따라 상기 거리가 픽셀수에 의해 표시되도록 계산할 필요가 있다.
도11의 투시투영 화상(110)에서, 카메라 상(111)의 우측 상방에 위치된 영역(즉, 도11에 도시된 해칭 영역)은 자동차의 그림자에 대응하므로, 이 영역의 지상면은 화상으로서 표시되지 않는다.
상기와 같이, 제1 입력 화상 및 제2 입력 화상의 화상 변환을 실시할 때, 자동차의 스케일 모델은 제1 전방위 시각 센서(31)의 제1 투시투영 화상면과 쌍곡면 미러의 초점(Om) 사이의 거리(d1)에 근거하여 작성된다. 그리고, 작성된 자동차의 스케일 모델에 근거하여, 제2 전방위 시각 센서(32)의 쌍곡면 미러의 초점(Om)과 제2 투시투영 화상면 사이의 거리가 설정된다. 제2 전방위 시각 센서(32)에서 작성된 투시투영 화상면과 지상면 사이의 거리의 비를 n2로 한 경우, 식(7)에 의해 나타낸 다음 관계가 성립한다.
식(7)에서는, 쌍곡면 미러의 초점과 (제2) 투시투영 화상면 사이의 거리를 d2, 쌍곡면 미러의 초점과 지상면 사이의 거리를 D2로 하고 있다. 거리(D2)는, 제2 전방위 시각 센서(32)가 자동차에 설치되어 있는 위치에 의해 규정되는 일정치이며, 상기 일정치는 기억부(33)에 미리 기억되어 있다.
거리(D2)가 일정치이기 때문에, 다음 식(8)에 따라, 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리(d2)를 계산한다. 계산된 거리(d2)에 근거해서, 제어부(30)가 화상변환단계(51)(도5)를 실시하여, 제2 투시투영 화상데이터가 작성된다.
도9를 다시 참조하면, 단계(6)에서, 제어부(30)는, 화상합성단계(54)(도5)를 실시하여, 자동차를 바로 위에서 개관하는 조감도 화상을 작성한다. 작성된 조감도 화상은, 화상데이터 기억부(36)의 제7 기억영역(36g)에 기억된다.
도12는, 화상합성단계(54)에서 작성되는 개략적인 조감도 화상이다.
화상합성단계(54)에서는, 화상데이터 기억부(36)의 제5 기억영역(36e)에 기억된 자동차의 스케일 모델을 조감도 화상의 중앙부에 첩부(합성)한다. 도12에 도시된 제1 영역(121)에는, 제1 전방위 시각 센서(31)에 의해 촬상된 입력 화상데이터에 근거한 제1 투시투영 화상데이터, 즉 제1 영역(121)에 대응하는 제1 투시투영 화상데이터의 일부를 첩부한다. 또한, 도12에 도시된 제2 영역(122)에는, 제2 전방위 시각 센서(32)에 의해 촬상된 입력 화상데이터에 근거한 제2 투시투영 화상데이터, 즉 제2 영역(122)에 대응하는 제2 투시투영 화상데이터의 일부를 첩부한다.
도12에 도시된 제3 영역(123) 및 제4 영역(124)에는, 제1 전방위 시각 센서(31)에 의해 촬상된 입력 화상데이터에 근거한 제1 투시투영 화상데이터 또는 제2 전방위 시각 센서(32)에 의해 촬상된 입력 화상데이터에 근거한 제2 투시투영 화상데이터 중 어느 하나, 즉 제1 영역(121)에 대응하는 제1 투시투영 화상데이터 또는 제2 영역(122)에 대응하는 제2 투시투영 화상데이터 중 어느 하나를 첩부한다. 이와 달리, 제3 영역(123) 및 제4 영역(124)에는 배경화상을 첩부한다.
자동차의 운전자가 모니터에 게이지 모델의 표시를 소망하는 경우, 운전자는 입력부(34)를 조작하여, 화상데이터 기억부(36)의 제6 기억영역(36f)에 기억된 게이지 모델의 화상데이터를 제어부(30)에 입력하고, 상기 제어부(30)가 화상합성단계(54)를 실시하게 하여, 상기 게이지 모델이 조감도 화상에 첩부(합성)되도록 한다.
이 경우, 게이지 모델은 조감도 화상내의 어디에도 표시될 수 있고, 상기 게이지 모델의 위치는 입력부(34)를 조작함으로써 자유롭게 변경될 수 있다. 또한, 상기 게이지 모델의 방향도 입력부(34)를 통해 자유롭게 변경될 수 있다.
도13은, 상기한 방법으로 작성된 조감도 화상(130)의 완성상태를 도시하는 개략도이다. 상기 조감도 화상(130)은, 화상데이터 기억부(36)의 제7 기억영역(36g)에 기억되고, 표시부(35)에 의해 표시화면(모니터)상에 표시된다. 입력부(34)를 조작함으로써, 게이지 모델(131) 및 제1 전방위 시각 센서(31)에 의해 촬상된 화상과 제2 전방위 시각 센서(32)에 의해 촬상된 화상 사이의 경계선(132)을 상기 조감도 화상(130)에 표시할 수 있다.
도9의 단계(1∼6)를 반복함으로써, 도13에 도시된 바와 같이, 조감도 화상이 연속하여 작성되어, 즉 상기 작성된 조감도 화상이 시간이 지남에 따라 변화되어, 표시화면상에 연속하여 표시된다. 따라서, 자동차의 운전자는 조감도 화상에 표시된 것을 시인함으로써, 자동차의 주위 상황을 실시간으로 정확히 파악할 수 있다.
도9의 플로우챠트의 조작에서, 줌 인, 줌 아웃 등의 조작에 의해 파라미터의 변경이 없는 경우에는, 투시투영 화상을 작성할 때마다, 자동차의 스케일 모델을 변경할 필요가 없다. 따라서, 상기 조작은, 자동차의 스케일 모델을 작성하는 단계(2) 및 게이지 모델을 작성하는 단계(3)를 실행하지 않고, 투시투영 화상이 작성되는 단계(4)로 진행한다.
본 발명의 이 실시예에 따른 제어부(30)는, 화상변환, 화상 확대/축소, 스케일 게이지 작성 및 화상합성의 프로그램화된 단계(51∼54)를 각각 실행한다. 전용 IC 등의 하드웨어에 의해 프로그램화된 단계(51∼54)를 실행함으로써 또는 단계(51∼54)를 실행하기 위한 프로그램을 기억하는 컴퓨터 독출 가능 기록 매체를 사용함으로써, 상기 단계의 처리속도를 크게 향상시킬 수 있어, 운전자에게 실시간 조감도 화상을 안정되고 계속적으로 제공할 수 있다.
본 발명에 따른 투시투영 화상생성시스템은, 일본 특허출원 제2000-31260호에 기재된 이동체 주변 감시 시스템에 대한 조감도의 작성에 사용될 수 있다. 본 발명의 투시투영 화상생성시스템에서는, 예컨대 운전자가 전방위 시각 센서를 포함하는 자동차를 백(back)(후진)할 때, 자동차가 후진기어에 있음을 나타내는 정보가 자동차의 메인 처리를 제어하는 제어부에 송신되고, 상기 정보에 응답하여 상기 제어부가 자동차가 후진기어에 있는지를 판단하여, 상기 제어부에 의한 처리가 메인 처리 루틴으로부터 조감도 처리 루틴으로 이행되도록 한다. 이 경우, 운전자는 자신의 판단에 근거하여 입력부를 조작하여, 제어부가 조감도 화상을 표시하도록 지시하는 정보를 입력할 수 있어, 제어부의 조작이 메인 처리 루틴으로부터 조감도 처리 루틴으로 이행되도록 한다.
상기한 바와 같이, 본 발명은, 쌍곡면 미러를 포함하는 광학 시스템의 초점과 대상 물체면 사이의 거리 및 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리의 비를 이용하여, 투시투영 화상의 사이즈에 대응하는 대상 물체의 스케일 모델을 제공하고, 상기 스케일 모델을 투시투영 화상과 동시에 표시하여, 운전자가 자동차와 대상 물체 사이의 위치 관계, 자동차로부터 대상 물체까지의 거리 등을 용이하게 파악할 수 있는 투시투영 화상생성시스템을 제공한다. 예컨대, 본 발명의 투시투영 화상생성시스템을 자동차의 운전자를 지원하는 차재용 전방위 시각 시스템에 적용함으로써, 자동차를 주차할 때 또는 자동차가 좁은 길을 빠져나갈 때 운전자의 부담을 경감시킬 수 있다.
본 발명의 범위와 정신을 벗어나지 않고 당업자들에 의해 여러 가지 다른 변경이 용이하게 실시될 수 있을 것이다. 따라서, 첨부된 특허 청구의 범위는 본 명세서에서 기술된 내용으로 제한되는 것이 아니라, 더 넓게 해석되어야 한다.
도1은 전방위 시각 센서의 광학 시스템을 설명하기 위한 개략도이다.
도2는 도1의 전방위 시각 센서의 광학 시스템의 z축을 포함하는 평면의 도면이다.
도3은 본 발명에 따른 투시투영 화상생성시스템의 개략적인 구성을 설명하기 위한 블록도이다.
도4는 본 발명에 따른 전방위 시각 센서를 탑재한 자동차의 개략도이다.
도5는 본 발명에 따른 전방위 시각 시스템의 제어부에 기억된 프로그램의 개략적 구성을 설명하는 도면이다.
도6은 투시투영 화상면에 대한 제1 전방위 시각 센서의 쌍곡면 미러의 초점(Om)과, 실제 지상면 사이의 관계를 도시하는 사시도이다.
도7은 전방위 시각 센서를 포함하는 자동차의 실제 사이즈(70), 자동차의 원래 화상의 사이즈(71) 및 자동차의 스케일 모델(72)을 도시하는 평면도이다.
도8은 4미터 게이지 모델 화상을 도시하는 개략도이다.
도9는 조감도 화상을 작성하기 위한 순서를 나타내는 플로우챠트이다.
도10은 전방위 시각 센서를 포함하는 자동차의 전방에 설치된 전방위 시각 센서에 의해 촬상되는 입력 화상에 근거하여 작성되는 투시투영 화상이다.
도11은 전방위 시각 센서를 포함하는 자동차의 후방에 설치된 전방위 시각 센서에 의해 촬상되는 입력화상에 근거하여 작성되는 투시투영 화상이다.
도12는 화상합성단계에서 조감도 화상을 작성할 때 투시투영 화상을 첩부(貼付)(합성)하는 영역을 도시하는 개략도이다.
도13은 완전한 조감도 화상의 개략도이다.

Claims (11)

  1. 2엽 쌍곡면 중 한 쪽의 쌍곡면 형상을 갖는 쌍곡면 미러를 포함하는 광학 시스템;
    상기 쌍곡면 미러에 대향하여 설치된 렌즈에 의해 집광되는 광을 수광하여 입력 화상데이터를 생성하는 촬상부;
    상기 촬상부에 의해 얻어진 입력 화상데이터를, 상기 쌍곡면 미러의 초점을 사영 중심으로 하는 투시투영의 화상데이터로 변환하는 화상변환부;
    상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 물체면 사이의 거리의 비에 근거하여, 상기 물체의 스케일 모델의 사이즈가 투시투영 화상의 물체의 사이즈에 대응하도록 상기 쌍곡면 미러의 초점을 통해 연장하는 직선에 대해 수직인 물체면에서의 물체에 대한 화상데이터를 상기 물체의 스케일 모델에 대한 화상데이터로 변환하는 스케일 모델 작성부;
    상기 투시투영 화상데이터와 상기 스케일 모델에 대한 화상데이터를 합성함으로써 작성되는 합성화상데이터를 생성하는 화상합성부; 및
    상기 합성화상데이터를 표시하는 표시부를 포함하는 투시투영 화상생성시스템.
  2. 제 1 항에 있어서, 상기 물체면이 지상면인 투시투영 화상생성시스템.
  3. 제 1 항에 있어서, 상기 사영중심과 상기 투시투영 화상면 사이의 거리가, 화상의 해상도의 최소단위를 나타내는 각 픽셀수에 의해 표시되는, 투시투영 화상생성시스템.
  4. 제 1 항에 있어서, 상기 스케일 모델의 화상데이터는, 상기 물체면에서의 스케일 모델의 대상 물체에 대한 정보에 근거하여 작성되는, 투시투영 화상생성시스템.
  5. 제 4 항에 있어서, 상기 정보는, 상기 대상물체의 화상데이터인 원래 화상 데이터, 상기 대상물체의 실제 사이즈, 및 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리에 대한 데이터를 포함하고 있는, 투시투영 화상생성시스템.
  6. 제 1 항에 있어서, 상기 스케일 모델 작성부는, 상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 상기 물체면 사이의 거리의 비에 근거하여, 상기 대상물체의 화상데이터인 원래 화상 데이터의 사이즈를 확대/축소함으로써, 스케일 모델의 화상데이터를 작성하는, 투시투영 화상생성시스템.
  7. 제 1 항에 있어서, 상기 제1 광학 시스템과 유사한 제2 광학 시스템을 더 포함하며, 상기 시스템은 상기 스케일 모델 작성부에 의해 작성된 스케일 모델의 화상데이터에 근거하여, 상기 제2 광학 시스템에서의 쌍곡면 미러의 초점과 상기 제2 광학 시스템의 초점을 사영 중심으로 하는 투시투영 화상면 사이의 거리를 계산함으로써, 제2 광학 시스템에서의 쌍곡면 미러의 초점을 사영중심으로 하며 그리고 상기 스케일 모델에 대응하는 투시투영 화상데이터를 작성하는, 투시투영 화상생성시스템.
  8. 제 1 항에 있어서, 상기 스케일 모델의 화상데이터는, 화상의 길이를 표시하는 게이지 모델인, 투시투영 화상생성시스템.
  9. 2엽 쌍곡면 중 한 쪽의 쌍곡면 형상을 갖는 쌍곡면 미러를 포함하는 광학 시스템, 및 상기 쌍곡면 미러에 대향하여 설치된 렌즈에 의해 집광되는 광을 수광하여 입력 화상데이터를 취득하는 촬상부를 포함하는 전방위 시각 센서를 사용하여 입력 화상데이터를 취득하는 단계;
    상기 촬상부에 의해 취득된 입력 화상데이터를, 쌍곡면 미러의 초점을 사영중심으로 하는 투시투영의 화상데이터로 변환하는 단계;
    상기 쌍곡면 미러의 초점과 투시투영 화상면 사이의 거리에 대한 상기 쌍곡면 미러의 초점과 물체면 사이의 거리의 비에 근거하여, 상기 물체의 스케일 모델의 사이즈가 투시투영 화상의 물체의 사이즈에 대응하도록 상기 쌍곡면 미러의 초점을 통해 연장하는 직선에 대해 수직한 물체면에서의 물체의 화상데이터를 상기 물체의 스케일 모델에 대한 화상데이터로 변환하여 스케일 모델을 작성하는 단계;
    상기 투시투영 화상데이터와 상기 스케일 모델의 화상데이터를 합성하여 합성 화상데이터를 생성하는 단계; 및
    상기 합성 화상데이터를 표시하는 단계를 포함하는 투시투영 화상생성방법.
  10. 청구항 9에 따른 투시투영 화상생성방법을 실행하기 위한 투시투영 화상생성 프로그램.
  11. 청구항 9에 따른 투시투영 화상생성방법을 실행하기 위한 투시투영 화상생성 프로그램을 기억하는 컴퓨터 독출 가능 기록매체.
KR10-2002-0025777A 2001-05-10 2002-05-10 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체 KR100494540B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2001-00140779 2001-05-10
JP2001140779A JP2002334322A (ja) 2001-05-10 2001-05-10 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体

Publications (2)

Publication Number Publication Date
KR20020086290A KR20020086290A (ko) 2002-11-18
KR100494540B1 true KR100494540B1 (ko) 2005-06-13

Family

ID=18987330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0025777A KR100494540B1 (ko) 2001-05-10 2002-05-10 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체

Country Status (6)

Country Link
US (1) US6947611B2 (ko)
EP (1) EP1261199B1 (ko)
JP (1) JP2002334322A (ko)
KR (1) KR100494540B1 (ko)
DE (1) DE60206320T2 (ko)
TW (1) TW591247B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936557B1 (ko) 2007-09-26 2010-01-13 닛산 지도우샤 가부시키가이샤 차량용 주변 감시 장치 및 영상 표시 방법
KR100936558B1 (ko) 2007-09-26 2010-01-13 닛산 지도우샤 가부시키가이샤 차량용 주변 감시 장치 및 영상 표시 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
JP3992651B2 (ja) * 2003-06-19 2007-10-17 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 操作コンソール、ｘ線透視撮影装置、及びその制御方法、システム
JP2005062992A (ja) * 2003-08-08 2005-03-10 Nissan Motor Co Ltd 画像生成装置および画角変換手法並びに画角変換プログラム
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US7692646B2 (en) * 2003-12-19 2010-04-06 Koninklijke Philips Electronics N.V. Method of and scaling unit for scaling a three-dimensional model
US7482916B2 (en) * 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
TW200925023A (en) * 2007-12-07 2009-06-16 Altek Corp Method of displaying shot image on car reverse video system
US8395490B2 (en) * 2008-03-27 2013-03-12 Panasonic Corporation Blind spot display apparatus
US20090265105A1 (en) * 2008-04-21 2009-10-22 Igt Real-time navigation devices, systems and methods
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
DE102010015079A1 (de) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
CN102692213B (zh) * 2012-05-11 2014-12-03 浙江工业大学 基于主动式全景视觉传感器的交通事故现场测绘仪
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
CN112004051B (zh) * 2019-05-27 2022-10-25 奥迪股份公司 用于车辆的图像显示系统、相应的方法和存储介质
CN111901518B (zh) * 2020-06-23 2022-05-17 维沃移动通信有限公司 显示方法、装置和电子设备
CN113602196B (zh) * 2021-08-25 2023-10-17 东风汽车集团股份有限公司 一种可透视化a柱及周边区域的显示系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295333A (ja) * 1993-04-07 1994-10-21 Sharp Corp 全方位視覚系
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2172167B (en) * 1985-03-07 1988-06-15 Sony Corp Video signal processing
JPS6446875A (en) * 1987-08-17 1989-02-21 Toshiba Corp Object discriminating device
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
US5740224A (en) * 1994-09-27 1998-04-14 University Of Delaware Cone beam synthetic arrays in three-dimensional computerized tomography
JP3371605B2 (ja) * 1995-04-19 2003-01-27 日産自動車株式会社 大気効果表示機能付き鳥瞰図表示ナビゲーションシステム
JP3474022B2 (ja) * 1995-04-20 2003-12-08 株式会社日立製作所 地図表示装置、地図表示方法、地図表示装置用演算処理部およびナビゲーションシステム
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
JPH10257254A (ja) * 1997-01-07 1998-09-25 Minolta Co Ltd 画像読み取り装置
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
JP3975472B2 (ja) * 1997-06-02 2007-09-12 ソニー株式会社 デジタルマップの拡大縮小表示方法、デジタルマップの拡大縮小表示装置、及びデジタルマップの拡大縮小表示プログラムを格納した格納媒体
JP3834967B2 (ja) * 1997-11-25 2006-10-18 日産自動車株式会社 死角範囲表示装置
JPH11218409A (ja) * 1998-02-03 1999-08-10 Minolta Co Ltd ３次元情報計測方法及び装置
US20010015751A1 (en) * 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
JP3327255B2 (ja) 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
JP3126955B2 (ja) * 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
DE60003750T2 (de) * 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
DE10109680B4 (de) * 2000-02-29 2009-02-26 Aisin Seiki K.K., Kariya Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
JP3627914B2 (ja) 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295333A (ja) * 1993-04-07 1994-10-21 Sharp Corp 全方位視覚系
JPH09118178A (ja) * 1995-10-24 1997-05-06 Nissan Motor Co Ltd 車両周囲モニタ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936557B1 (ko) 2007-09-26 2010-01-13 닛산 지도우샤 가부시키가이샤 차량용 주변 감시 장치 및 영상 표시 방법
KR100936558B1 (ko) 2007-09-26 2010-01-13 닛산 지도우샤 가부시키가이샤 차량용 주변 감시 장치 및 영상 표시 방법

Also Published As

Publication number Publication date
KR20020086290A (ko) 2002-11-18
EP1261199A3 (en) 2004-03-31
EP1261199B1 (en) 2005-09-28
US20020181803A1 (en) 2002-12-05
DE60206320D1 (de) 2006-02-09
JP2002334322A (ja) 2002-11-22
DE60206320T2 (de) 2006-07-06
EP1261199A2 (en) 2002-11-27
US6947611B2 (en) 2005-09-20
TW591247B (en) 2004-06-11

Similar Documents

Publication Publication Date Title
KR100494540B1 (ko) 투시투영 화상 생성을 위한 시스템, 방법 및 프로그램, 및그 프로그램을 기억하는 기록 매체
US7307655B1 (en) Method and apparatus for displaying a synthesized image viewed from a virtual point of view
US9840199B2 (en) Vehicle image processing apparatus and vehicle image processing method
EP1965170B1 (en) Surveying instrument and method of providing survey data using a surveying instrument
US20050046702A1 (en) Image photographing apparatus and image processing method
CN101416022B (zh) 用于测量反射表面形状的方法和系统
JP2002135765A (ja) カメラキャリブレーション指示装置及びカメラキャリブレーション装置
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
EP1686534A2 (en) Omnidirectional visual system, image processing method, control program, and readable recording medium
JP2010066042A (ja) 画像照射システムおよび画像照射方法
EP1233345A1 (en) Imaging system, program used for controlling image data in the same system, method for correcting distortion of captured images in the same system, and recording medium storing procedures for such a method
JP5654284B2 (ja) 車両用ディスプレイ装置
US20060008268A1 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
JP2007318460A (ja) 車両上方視点画像表示装置
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
JP2008037118A (ja) 車両用表示装置
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법
US11580689B2 (en) Information display control device, method, and non-transitory computer-readable recording medium
US7657055B2 (en) Image processing method and image generating apparatus
JP3680250B2 (ja) 空間図形入力装置
JP2000330709A (ja) 空間座標入力装置
JPH0341307A (ja) 撮像システム及び図面作成システム
CN117557655A (zh) 一种ar-hud标定方法及其标定系统
JP2000330713A (ja) 空間図形入力装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110526

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee