KR20130018868A - 화상생성장치 및 조작지원 시스템 - Google Patents

화상생성장치 및 조작지원 시스템 Download PDF

Info

Publication number
KR20130018868A
KR20130018868A KR1020127029551A KR20127029551A KR20130018868A KR 20130018868 A KR20130018868 A KR 20130018868A KR 1020127029551 A KR1020127029551 A KR 1020127029551A KR 20127029551 A KR20127029551 A KR 20127029551A KR 20130018868 A KR20130018868 A KR 20130018868A
Authority
KR
South Korea
Prior art keywords
image
spatial model
coordinates
output image
plane
Prior art date
Application number
KR1020127029551A
Other languages
English (en)
Other versions
KR101407806B1 (ko
Inventor
요시히사 기요타
Original Assignee
스미도모쥬기가이고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미도모쥬기가이고교 가부시키가이샤 filed Critical 스미도모쥬기가이고교 가부시키가이샤
Publication of KR20130018868A publication Critical patent/KR20130018868A/ko
Application granted granted Critical
Publication of KR101407806B1 publication Critical patent/KR101407806B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

화상생성장치(100)는, 피조작체(60)에 장착된 광축(光軸)방향이 상이한 적어도 3개의 촬상부가 촬상하여 얻어진 적어도 3개의 입력화상에 근거하여 출력화상을 생성한다. 좌표 대응부(10)는, 피조작체를 둘러싸도록 배치되는 기둥형상의 공간모델에 있어서의 좌표와, 적어도 3개의 입력화상의 각각이 위치하는 적어도 3개의 입력화상 평면에 있어서의 좌표를 대응시킨다. 출력화상에 있어서의 좌표의 값과 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜 출력화상을 생성한다. 기둥형상의 공간모델(MD)은, 각각이 기준축을 가지는 복수의 공간모델부분(MD1, MD2)의 조합이다. 기둥형상의 공간모델은, 적어도 3개의 촬상부 중 서로 이웃하는 한 쌍의 촬상부에 대응하며, 한 쌍의 촬상부의 각각의 광축은, 대응하는 공간모델부분의 기준축과 교차한다.

Description

화상생성장치 및 조작지원 시스템{Image generation device and operation support system}
본 발명은, 피(被)조작체에 장착된 촬상수단이 촬상하여 얻어진 복수의 입력화상에 근거하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템에 관한 것이다.
카메라로부터의 입력화상을, 3차원 공간 상의 소정의 공간모델에 매핑하고, 그 매핑한 공간데이터를 참조하면서, 그 3차원 공간에 있어서의 임의의 가상시점(視點)으로부터 본 시점변환화상을 생성하여 표시하는 화상생성장치가 알려져 있다(예컨대, 특허문헌 1 참조).
특허문헌 1에 개시된 화상생성장치는, 차량에 탑재된 카메라가 촬상한 화상을, 그 차량을 둘러싸는 복수의 평면 또는 곡면으로 구성되는 입체적인 공간모델에 투영한다. 화상생성장치는, 그 공간모델에 투영된 화상을 이용하여, 시점변환화상을 생성하고, 생성한 시점변환화상을 운전자에 대하여 표시한다. 시점변환화상이란, 노면(路面)을 바로 위에서부터 본 상태를 가상적으로 비추는 노면화상과 수평방향을 비추는 수평화상을 조합시킨 화상이다. 이로써, 화상생성장치는, 차량을 운전하는 운전자가 그 시점변환화상을 보았을 때에, 그 시점변환화상에 있어서의 물체와, 차밖에 있는 실제의 물체를 위화감 없이 대응시킬 수 있다.
일본국 특허 제3286306호 명세서
특허문헌 1에 개시된 화상생성장치는, 카메라가 촬상한 노면 상의 특징점에 근거하여 공간모델을 작성하고, 차량과 그 특징점 사이의 위치관계의 변화에 따라서 그 공간모델을 수정한다. 이 화상형성장치에서는, 공간모델을 작성하거나 수정할 때에는, 복수의 카메라의 설치위치나 광축(光軸)방향은 고려되고 있지 않아서, 복수의 카메라의 설치위치나 광축방향에 적합한 공간모델을 이용한 출력화상을 생성할 수 없다.
그래서, 본 발명은, 복수의 카메라의 설치위치나 광축방향에 적합한 공간모델을 이용하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시형태에 의하면, 피조작체에 장착된 광축(光軸)방향이 상이한 적어도 3개의 촬상부가 촬상하여 얻어진 적어도 3개의 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서, 상기 피조작체를 둘러싸도록 배치되는 기둥형상의 공간모델에 있어서의 좌표와, 상기 적어도 3개의 입력화상의 각각이 위치하는 적어도 3개의 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와, 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 적어도 3개의 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 출력화상 생성부를 구비하며, 상기 기둥형상의 공간모델은, 각각이 기준축을 가지는 복수의 공간모델부분의 조합이고, 상기 기둥형상의 공간모델은, 상기 적어도 3개의 촬상부 중 서로 이웃하는 한 쌍의 촬상부에 대응하며, 상기 한 쌍의 촬상부의 각각의 광축은, 대응하는 상기 공간모델부분의 상기 기준축과 교차하는 것을 특징으로 하는 화상생성장치가 제공된다.
본 발명의 다른 실시형태에 의하면, 피조작체에 장착된 광축방향이 상이한 적어도 3개의 촬상부가 촬상한 적어도 3개의 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서, 상기 피조작체를 둘러싸도록 배치되는 기둥형상의 공간모델에 있어서의 좌표와, 상기 적어도 3개의 입력화상의 각각이 위치하는 적어도 3개의 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와, 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 적어도 3개의 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 출력화상 생성부를 구비하며, 상기 기둥형상의 공간모델은, 각각이 기준축을 가지는 복수의 공간모델부분의 조합이고, 상기 복수의 공간모델부분의 각각은, 상기 적어도 3개의 촬상부 중 서로 이웃하는 한 쌍의 촬상부에 대응하며, 상기 한 쌍의 촬상부의 각각의 광학(光學)중심으로부터 대응하는 상기 공간모델부분의 상기 기준축에 내린 수선(垂線))은 서로 수직인 것을 특징으로 하는 화상생성장치가 제공된다.
본 발명의 또 다른 실시형태에 의하면, 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서, 상술한 화상생성장치와, 상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부를 구비하는 것을 특징으로 하는 조작지원 시스템이 제공된다.
본 발명으로 의하면, 복수의 카메라의 설치위치나 광축방향에 적합한 공간모델을 이용하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템을 제공할 수 있다.
[도 1] 본 발명의 일 실시예에 의한 화상생성장치의 개략구성을 나타내는 블록도이다.
[도 2] 화상생성장치가 탑재되는 쇼벨의 측면도이다.
[도 3a] 입력화상이 투영되는 공간모델의 측면도이다.
[도 3b] 도 3a에 나타내는 공간모델의 평면도이다.
[도 4] 공간모델과 처리대상화상 평면 사이의 관계를 나타내는 사시도이다.
[도 5] 입력화상 평면 상의 좌표와 공간모델 상의 좌표의 대응을 설명하기 위한 도면이다.
[도 6a] 통상(通常) 사영(射影)을 채용한 카메라의 입력화상 평면 상의 좌표와 공간모델(MD) 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6b] 공간모델(MD)의 곡면영역 상의 좌표와 처리대상화상 평면 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6c] 처리대상화상 평면 상의 좌표와, 통상 사영을 채용하는 가상카메라의 출력화상 평면 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6d] 카메라, 가상카메라, 공간모델(MD)의 평면영역 및 곡면영역, 및, 처리대상화상 평면의 상호의 위치관계를 나타내는 도면이다.
[도 7a] XZ 평면 상에 위치하는 평행선군(群)과 처리대상화상 평면 사이에서 각도(β)가 형성되는 상태를 나타내는 도면이다.
[도 7b] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β1)가 형성되는 상태를 나타내는 도면이다.
[도 8a] XZ 평면 상에 위치하는 보조선군(群) 전부가 Z축 상의 시점(始點)으로부터 처리대상화상 평면으로 향하여 뻗어 있는 상태를 나타내는 도면이다.
[도 8b] 보조선군 전부가 Z축 상의 시점(始點)으로부터 처리대상화상 평면으로 향하여 뻗어 있는 상태를 나타내는 도면이다.
[도 9a] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β)가 형성된 상태를 나타내는 도면이다.
[도 9b] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β2)가 형성된 상태를 나타내는 도면이다.
[도 10] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β)가 형성된 상태를 나타내는 도면이다.
[도 11] 처리대상화상 생성처리 및 출력화상 생성처리의 플로차트이다.
[도 12a] 하나의 봉(棒)형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 12b] 하나의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 12c] 하나의 봉형상의 물체가 존재하는 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 13a] 두 개의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 13b] 두 개의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 13c] 두 개의 봉형상의 물체가 존재하는 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 14a] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 14b] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 14c] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 15] 출력화상의 표시예를 나타내는 도면이다.
[도 16a] 쇼벨을 상방(上方)으로부터 보았을 때의 3대의 카메라와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다.
[도 16b] 공간모델(MD)을 비스듬히 상방으로부터 보았을 때의 3대의 카메라와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다.
[도 16c] 도 16a, 도 16b에 나타나는 바와 같이 설치된 3대의 카메라가 촬상한 입력화상에 근거하여 화상생성장치가 생성하는 처리대상화상을 나타내는 도면이다.
[도 17a] 쇼벨을 상방으로부터 보았을 때의 3대의 카메라와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다.
[도 17b] 도 17a에 나타나는 바와 같이 배치된 3대의 카메라가 촬상한 입력화상에 근거하여 화상생성장치가 생성하는 처리대상화상을 나타내는 도면이다.
[도 18] 도 17a, 도 17b에 있어서의 좌측방 카메라의 광축을 쇼벨의 전방으로 약간 기울인 경우에 화상생성장치가 생성하는 처리대상화상을 나타내는 도면이다.
[도 19] 쇼벨을 상방으로부터 보았을 때의 4대의 카메라와 공간모델 사이의 위치관계를 나타내는 도면이다.
[도 20] 쇼벨을 상방으로부터 보았을 때의 4대의 카메라와 공간모델 사이의 위치관계를 나타내는 도면이다.
이하, 도면을 참조하면서, 본 발명의 실시형태에 대하여 설명한다.
도 1은, 본 발명의 일 실시형태에 의한 화상생성장치의 개략구성을 개략적으로 나타내는 블록도이다.
일 실시형태에 의한 화상생성장치(100)는, 예컨대, 건설기계에 탑재된 카메라(2)가 촬영한 입력화상에 근거하여 출력화상을 생성하고, 그 출력화상을 운전자에게 제시한다. 도 1에 나타내는 바와 같이, 화상생성장치(100)는, 제어부(1), 카메라(2), 입력부(3), 기억부(4), 및 표시부(5)를 포함한다.
도 2는, 화상생성장치(100)가 탑재되는 쇼벨(60)의 측면도이다. 쇼벨(60)은, 크롤러식 하부주행체(61), 선회기구(62), 및, 상부선회체(63)를 가진다. 상부선회체(63)는, 하부주행체(61) 상에 선회기구(62)를 통하여, 선회축(PV)의 둘레에서 선회 가능하게 탑재되어 있다.
상부선회체(63)의 전방 좌측부에 캡(운전실)(64)이 설치되고, 전방 중앙부에는, 굴착 어태치먼트(E)가 설치된다. 상부선회체(63)의 우측면 및 후면에 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))가 설치된다. 캡(64) 속의 운전자가 시인(視認)하기 쉬운 위치에는 표시부(5)가 설치되어 있다.
다음으로, 화상생성장치(100)의 각 구성요소에 대하여 설명한다.
제어부(1)는, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), NVRAM(Non-Volatile Random Access Memory) 등을 구비한 컴퓨터를 포함한다. 예컨대, 후술하는 좌표 대응부(10) 및 출력화상 생성부(11)의 각각에 대응하는 프로그램이 ROM이나 NVRAM에 저장된다. CPU는, 일시기억 영역으로서 RAM을 이용하면서, 각 수단에 대응하는 프로그램을 실행하여 처리를 행한다.
카메라(2)는, 쇼벨(60)의 주변을 비추는 입력화상을 취득하기 위한 장치로서, 우측방 카메라(2R) 및 후방 카메라(2B)를 포함한다. 우측방 카메라(2R) 및 후방 카메라(2B)는, 예컨대, 캡(64)에 있는 운전자의 사각(死角)이 되는 영역을 촬영할 수 있도록 상부선회체(63)의 우측면 및 후면에 장착된다(도 2 참조). 우측방 카메라(2R) 및 후방 카메라(2B)의 각각은, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상소자를 구비하고 있다. 다만, 카메라(2)는, 상부선회체(63)의 우측면 및 후면 이외의 위치(예컨대, 전면 및 좌측면임)에 장착되어 있어도 좋고, 넓은 범위를 촬영할 수 있도록 광각렌즈 또는 어안렌즈(fish-eye lens)가 장착되어 있어도 좋다.
카메라(2)는, 제어부(1)로부터의 제어신호에 따라서 입력화상을 취득하고, 취득한 입력화상을 제어부(1)에 대하여 출력한다. 다만, 카메라(2)는, 어안렌즈 또는 광각렌즈를 이용하여 입력화상을 취득한 경우에는, 그들 렌즈를 이용함으로써 생기는 외관 상의 왜곡이나 틸팅을 보정한 보정완료된 입력화상을 제어부(1)에 대하여 출력한다. 다만, 카메라(2)는, 취득한 입력화상을 보정하지 않고, 그대로 제어부(1)에 대하여 출력하여도 좋다. 그 경우에는, 제어부(1)가 외관상의 왜곡이나 틸팅을 보정한다.
입력부(3)는, 조작자가 화상생성장치(100)에 대하여 각종 정보를 입력할 수 있도록 하기 위한 장치로서, 예컨대, 터치패널, 버튼스위치, 포인팅 디바이스, 키보드 등을 포함한다.
기억부(4)는, 각종 정보를 기억하기 위한 장치로서, 예컨대, 하드디스크, 광학디스크, 또는 반도체 메모리 등을 포함한다.
표시부(5)는, 화상정보를 표시하기 위한 장치로서, 예컨대, 건설기계의 캡(64)(도 2 참조) 내에 설치된 액정디스플레이 또는 프로젝터를 포함한다. 표시부(5)는, 제어부(1)가 출력하는 각종 화상을 표시한다.
또한, 화상생성장치(100)는, 입력화상에 근거하여 처리대상화상을 생성하고, 그 처리대상화상에 화상변환처리를 실시함으로써 주변장해물과의 위치관계나 거리감을 직관적으로 파악할 수 있도록 하는 출력화상을 생성한 다음에, 그 출력화상을 운전자에게 제시하여도 좋다.
「처리대상화상」은, 입력화상에 근거하여 생성되는 화상변환처리(예컨대, 스케일변환, 아핀(affine)변환, 왜곡변환, 시점(視點)변환처리)의 대상이 되는 화상이다. 예컨대, 지표를 상방으로부터 촬상하는 카메라에 의한 입력화상으로서 그 넓은 화각(畵角)에 의하여 수평방향의 화상(예컨대, 하늘 부분임)을 포함하는 입력화상을 화상변환처리에서 이용하는 경우가 있다. 그와 같은 경우에는, 그 수평방향의 화상이 부자연스럽게 표시되지 않도록(예컨대, 하늘 부분이 지표에 있는 것으로서 취급되지 않도록), 그 입력화상을 소정의 공간모델에 투영한다. 그리고, 공간모델에 투영된 투영화상을 별도의 2차원 평면에 재(再)투영함으로써 화상변환처리에 적합한 화상을 얻을 수 있다. 다만, 처리대상화상은, 화상변환처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 좋다.
「공간모델」은, 입력화상의 투영대상이며, 적어도, 처리대상화상이 위치하는 평면인 처리대상화상 평면 이외의 평면 또는 곡면(예컨대, 처리대상화상 평면에 평행인 평면, 또는, 처리대상화상 평면과의 사이에서 각도를 형성하는 평면 또는 곡면)을 포함한다.
다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않고, 그 공간모델에 투영된 투영화상에 화상변환처리를 실시함으로써 출력화상을 생성하여도 좋다. 또한, 투영화상은, 화상변환처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 좋다.
도 3a, 도 3b는, 입력화상이 투영되는 공간모델(MD)의 일례를 나타내는 도면이다. 도 3a는, 쇼벨(60)을 측방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD) 사이의 관계를 나타내고, 도 3b는, 쇼벨(60)을 상방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD) 사이의 관계를 나타낸다.
도 3a, 도 3b에 나타나는 바와 같이, 공간모델(MD)은 반원통형상을 가진다. 반원통형상의 바닥면 내부는 평면영역(R1)을 포함하고, 측면 내부는 곡면영역(R2)을 포함한다.
도 4는, 공간모델(MD)과 처리대상화상 평면 사이의 관계의 일례를 나타내는 도면이다. 도 4에 있어서, 처리대상화상 평면(R3)은, 예컨대, 공간모델(MD)의 평면영역(R1)을 포함하는 평면이다. 다만, 도 4에서는 명확화를 위하여, 공간모델(MD)을, 도 3에서 나타내는 바와 같은 반원통형상과는 달리, 원통형상으로 나타내고 있지만, 공간모델(MD)은, 반원통형상 및 원통형상 중 어느 것이더라도 좋다. 이는, 이후의 도면에 있어서도 마찬가지이다. 또한, 처리대상화상 평면(R3)은, 상술한 바와 같이, 공간모델(MD)의 평면영역(R1)을 포함하는 원형영역이더라도 좋고, 공간모델(MD)의 평면영역(R1)을 포함하지 않는 링형상 영역이더라도 좋다.
다음으로, 제어부(1)가 가지는 좌표 대응부(10) 및 출력화상 생성부(11)에 대하여 설명한다.
좌표 대응부(10)는, 카메라(2)가 촬상한 입력화상이 위치하는 입력화상 평면 상의 좌표(입력좌표라 칭하는 경우도 있음)와, 공간모델(MD) 상의 좌표(공간좌표라 칭하는 경우도 있음)와, 처리대상화상 평면(R3) 상의 좌표(투영좌표라 칭하는 경우도 있음)를 대응시키기 위하여 설치되어 있다. 예컨대, 미리 설정된, 혹은, 입력부(3)를 통하여 입력되는, 카메라(2)의 광학중심, 초점거리, CCD 사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영(射影)방식 등의 카메라(2)에 관한 각종 파라미터와, 미리 결정된, 입력화상 평면, 공간모델(MD), 및 처리대상화상 평면(R3)의 상호의 위치관계에 근거하여, 입력화상 평면 상의 좌표와, 공간모델(MD) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 그들의 대응관계는, 기억부(4)의 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)에 저장된다.
다만, 좌표 대응부(10)는, 처리대상화상을 생성하지 않는 경우에는, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표의 대응, 및, 그 대응관계의 공간모델·처리대상화상 대응맵(41)에의 저장을 생략한다.
출력화상 생성부(11)는, 출력화상을 생성하기 위한 수단이다. 출력화상 생성부(11)는, 예컨대, 처리대상화상에 스케일변환, 아핀변환, 또는 왜곡변환을 실시함으로써, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응시킨다. 대응관계는 기억부(4)의 처리대상화상·출력화상 대응맵(42)에 저장된다. 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
또한, 출력화상 생성부(11)는, 미리 설정된, 혹은, 입력부(3)를 통하여 입력되는, 가상카메라의 광학중심, 초점거리, CCD 사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영방식 등의 각종 파라미터에 근거하여, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응시킨다. 대응관계는 기억부(4)의 처리대상화상·출력화상 대응맵(42)에 기억된다. 그리고, 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
다만, 출력화상 생성부(11)는, 가상카메라의 개념을 이용하지 않고, 처리대상화상의 스케일을 변경하여 출력화상을 생성하도록 하여도 좋다.
또한, 출력화상 생성부(11)는, 처리대상화상을 생성하지 않는 경우에는, 실시한 화상변환처리에 따라서 공간모델(MD) 상의 좌표와 출력화상 평면 상의 좌표를 대응시킨다. 그리고, 출력화상 생성부(11)는, 입력화상·공간모델 대응맵(40)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다. 이 경우, 출력화상 생성수단(11)은, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면 상의 좌표의 대응, 및, 그 대응관계의 처리대상화상·출력화상 대응맵(42)에의 저장을 생략한다.
다음으로, 좌표 대응부(10) 및 출력화상 생성부(11)에 의하여 행하여지는 처리의 일례에 대하여 설명한다.
좌표 대응부(10)는, 예컨대, 해밀턴(William Hamilton)의 4원수(四元數: Quaternion)를 이용하여, 입력화상 평면 상의 입력좌표와 공간모델 상의 공간좌표를 대응시킬 수 있다.
도 5는, 입력화상 평면 상의 좌표와 공간모델 상의 좌표의 대응을 설명하기 위한 도면이다. 카메라(2)의 입력화상 평면은, 카메라(2)의 광학중심(C)을 원점으로 하는 UVW 직교좌표계에 있어서의 일평면(一平面)으로서 표현되고, 공간모델은, XYZ 직교좌표계에 있어서의 입체면으로서 표현된다.
제일 먼저, 좌표 대응부(10)는, 공간모델 상의 좌표(XYZ 좌표계 상의 좌표)를 입력화상 평면 상의 좌표(UVW 좌표계 상의 좌표)로 변환하기 위하여, XYZ 좌표계의 원점을 광학중심(C)(UVW 좌표계의 원점)으로 병행 이동시킨 다음에, X축을 U축에, Y축을 V축에, Z축을 -W축에 각각 일치시키도록 XYZ 좌표계를 회전시킨다. 여기서, 부호 「-」는 방향이 반대인 것을 의미한다. 이는, UVW 좌표계가 카메라 전방을 +W방향으로 하고, XYZ 좌표계가 연직 하방(下方)을 -Z방향으로 하고 있는 것에 기인한다.
카메라(2)가 복수 존재하는 경우, 카메라(2)의 각각이 개별의 UVW 좌표계를 가진다. 이로써, 좌표 대응부(10)는, 복수의 UVW 좌표계의 각각에 대하여, XYZ 좌표계를 병행 이동시키고 또한 회전시킨다.
상술한 변환은, 카메라(2)의 광학중심(C)이 XYZ 좌표계의 원점이 되도록 XYZ 좌표계를 병행 이동시킨 후에, Z축이 -W축에 일치하도록 회전시키고, 또한, X축이 U축에 일치하도록 회전시킴으로써 실현된다. 따라서, 좌표 대응부(10)는, 이 변환을 해밀턴의 4원수로 기술(記述)함으로써, 그들 2회의 회전을 1회의 회전연산으로 정리한다.
그런데, 어떤 벡터(A)를 다른 벡터(B)에 일치시키기 위한 회전은, 벡터(A)와 벡터(B)가 나오는 면의 법선(法線)을 축으로 하여 벡터(A)와 벡터(B)가 형성하는 각도만큼 회전시키는 처리에 상당한다. 회전시키는 각도를 θ라 하면, 벡터(A)와 벡터(B)의 내적(內積)으로부터, 각도(θ)는 이하와 같이 표현된다.
Figure pct00001
또한, 벡터(A)와 벡터(B)가 나오는 면의 법선의 단위벡터(N)는, 벡터(A)와 벡터(B)의 외적(外積)으로부터 이하와 같이 표현된다.
Figure pct00002
다만, 4원수는, i, j, k를 각각 허수단위라 했을 경우, 이하의 조건을 충족시키는 초(超)복소수이다.
Figure pct00003
본 실시예에 있어서, 4원수(Q)는, 실(實)성분을 t, 순허(純虛)성분을 a, b, c라 하여, 이하와 같이 표현된다.
Figure pct00004
따라서, 4원수(Q)의 공역(共役)4원수는, 이하와 같이 표현된다.
Figure pct00005
4원수(Q)는, 실성분(t)을 0(제로)로 하면서, 순허성분(a, b, c)으로 3차원 벡터(a, b, c)를 표현할 수 있다. 또한, t, a, b, c의 각 성분에 의하여 임의의 벡터를 축으로 한 회전동작을 표현할 수도 있다.
또한, 4원수(Q)는, 연속하는 복수 회의 회전동작을 통합하여 1회의 회전동작으로서 표현할 수 있다. 예컨대, 임의의 점(S)(sx, sy, sz)을, 임의의 단위벡터(C)(l,m, n)를 축으로 하면서 각도(θ)만큼 회전시켰을 때의 점(D)(ex, ey, ez)을 이하와 같이 표현할 수 있다.
Figure pct00006
여기서, 본 실시예에 있어서, Z축을 -W축에 일치시키는 회전을 표현하는 4원수를 Qz라 하면, XYZ 좌표계에 있어서의 X축 상의 점(X)은, 점(X')으로 이동된다. 따라서, 점(X')은 이하와 같이 표현된다.
Figure pct00007
또한, 본 실시예에 있어서, X축 상에 있는 점(X')과 원점을 연결하는 선을 U축에 일치시키는 회전을 표현하는 4원수를 Qx라 하면, 「Z축을 -W축에 일치시키고, 또한, X축을 U축에 일치시키는 회전」을 표현하는 4원수(R)는, 이하와 같이 표현된다.
Figure pct00008
이상에 의하여, 공간모델(XYZ 좌표계) 상의 임의의 좌표(P)를 입력화상 평면(UVW 좌표계) 상의 좌표에서 표현하였을 때의 좌표(P')는, 이하와 같이 표현된다.
Figure pct00009
4원수(R)가 카메라(2)의 각각에서 불변이므로, 좌표 대응부(10)는, 이후, 이 연산을 실행하는 것만으로 공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환할 수 있다.
공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환한 후, 좌표 대응부(10)는, 카메라(2)의 광학중심(C)(UVW 좌표계 상의 좌표)과 공간모델 상의 임의의 좌표(P)를 UVW 좌표계에서 표현한 좌표(P')를 연결하는 선분(CP')과, 카메라(2)의 광축(G)이 형성하는 입사각(α)을 산출한다.
또한, 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4)(예컨대, CCD면)에 평행이고 또한 좌표(P')를 포함하는 평면(H)에 있어서의, 평면(H)과 광축(G)의 교점(E)과 좌표(P')를 연결하는 선분(EP')과, 평면(H)에 있어서의 U'축이 형성하는 편각(φ), 및 선분(EP')의 길이를 산출한다.
카메라의 광학계는, 통상, 상(像) 높이(h)가 입사각(α) 및 초점거리(f)의 함수로 되어 있다. 따라서, 좌표 대응부(10)는, 통상(通常) 사영(h＝ftanα), 정(正)사영(h＝fsinα), 입체 사영(h＝2ftan(α/2)), 등(等)입체각 사영(h＝2fsin(α/2)), 등거리 사영(h＝fα) 등의 적절한 사영방식을 선택하여 상 높이(h)를 산출한다.
그 후, 좌표 대응부(10)는, 산출한 상 높이(h)를 편각(φ)에 의하여 UV 좌표계 상의 U성분 및 V성분으로 분해하고, 입력화상 평면(R4)의 1화소당의 화소 사이즈에 상당하는 수치로 나눈다. 이로써, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표(P(P'))와 입력화상 평면(R4) 상의 좌표를 대응시킬 수 있다.
다만, 입력화상 평면(R4)의 U축방향에 있어서의 1화소당의 화소 사이즈를 aU라 하고, 입력화상 평면(R4)의 V축방향에 있어서의 1화소당의 화소 사이즈를 aV라 하면, 공간모델(MD) 상의 좌표(P(P'))에 대응하는 입력화상 평면(R4) 상의 좌표(u, v)는, 이하와 같이 표현된다.
Figure pct00010
Figure pct00011
이와 같이 하여, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표와, 카메라마다 존재하는 1 또는 복수의 입력화상 평면(R4) 상의 좌표를 대응시키고, 또한, 공간모델(MD) 상의 좌표, 카메라 식별자, 및 입력화상 평면(R4) 상의 좌표를 관련시켜서, 대응관련을 입력화상·공간모델 대응맵(40)에 저장한다.
좌표 대응부(10)는, 4원수를 이용하여 좌표의 변환을 연산하므로, 오일러각(Euler angle)을 이용하여 좌표의 변환을 연산하는 경우와 달리, 짐벌록(gimbal lock)을 발생시키는 일이 없다는 이점을 제공한다. 그러나, 좌표 대응부(10)는, 4원수를 이용하여 좌표의 변환을 연산하는 것에 한정되지는 않고, 오일러각을 이용하여 좌표의 변환을 연산하도록 하여도 좋다.
복수의 입력화상 평면(R4) 상의 좌표에의 대응이 가능한 경우, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표(P(P'))를, 그 입사각(α)이 가장 작은 카메라에 관한 입력화상 평면(R4) 상의 좌표에 대응시키도록 하여도 좋고, 혹은, 조작자가 선택한 입력화상 평면(R4) 상의 좌표에 대응시키도록 하여도 좋다.
다음으로, 공간모델(MD) 상의 좌표 중, 곡면영역(R2) 상의 좌표(Z축방향의 성분을 가지는 좌표)를, XY 평면 상에 있는 처리대상화상 평면(R3)에 재투영하는 처리에 대하여 설명한다.
도 6a, 도 6b는, 좌표 대응부(10)에 의한 좌표 간의 대응을 설명하기 위한 도면이다. 도 6a는, 일례로서 통상 사영(h＝ftanα)을 채용하는 카메라(2)의 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4) 상의 좌표와 그 좌표에 대응하는 공간모델(MD) 상의 좌표를 연결하는 선분의 각각이 카메라(2)의 광학중심(C)을 통과하도록 하여, 양 좌표를 대응시킨다.
도 6a에 나타내는 예에서는, 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1)를 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)에 대응시키고, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K2)를 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)에 대응시킨다. 이때, 선분(K1-L1) 및 선분(K2-L2)은 모두 카메라(2)의 광학중심(C)을 통과한다.
다만, 카메라(2)가 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등)을 이용했을 경우, 좌표 대응부(10)는, 각각의 사영방식에 따라서, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1, K2)를 공간모델(MD) 상의 좌표(L1, L2)에 대응시킨다.
구체적으로는, 좌표 대응부(10)는, 소정의 함수(예컨대, 정사영(h＝fsinα), 입체 사영(h＝2ftan(α/2)), 등입체각 사영(h＝2fsin(α/2)), 등거리 사영(h＝fα) 등)에 근거하여, 입력화상 평면 상의 좌표와 공간모델(MD) 상의 좌표를 대응시킨다. 이 경우, 선분(K1-L1) 및 선분(K2-L2)이 카메라(2)의 광학중심(C)을 통과하지는 않는다.
도 6b는, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 좌표 대응부(10)는, XZ 평면 상에 위치하는 평행선군(群)(PL)으로서, 처리대상화상 평면(R3)과의 사이에서 각도(β)를 형성하는 평행선군(PL)을 도입하고, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표가 함께 평행선군(PL) 중 하나를 타도록 하여, 양 좌표를 대응시킨다.
도 6b에 나타내는 예에서는, 좌표 대응부(10)는, 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)와 처리대상화상 평면(R3) 상의 좌표(M2)가 공통의 평행선을 타는 것으로 하여, 양 좌표를 대응시킨다.
좌표 대응부(10)는, 공간모델(MD)의 평면영역(R1) 상의 좌표를 곡면영역(R2) 상의 좌표와 마찬가지로 평행선군(PL)을 이용하여 처리대상화상 평면(R3) 상의 좌표에 대응시킬 수 있다. 다만, 도 6b에 나타내는 예에서는, 평면영역(R1)과 처리대상화상 평면(R3)이 공통의 평면으로 되어 있으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)와 처리대상화상 평면(R3) 상의 좌표(M1)는 동일 좌표값을 가진다.
이와 같이 하여, 좌표 대응부(10)는, 공간모델(MD) 상의 공간좌표와, 처리대상화상 평면(R3) 상의 투영좌표를 대응시키고, 또한, 공간모델(MD) 상의 좌표 및 처리대상화상(R3) 상의 좌표를 관련시켜서, 공간모델·처리대상화상 대응맵(41)에 저장한다.
도 6c는, 처리대상화상 평면(R3) 상의 좌표와 일례로서 통상 사영(h＝ftanα)을 채용하는 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 출력화상 생성부(11)는, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표를 연결하는 선분의 각각이 가상카메라(2V)의 광학중심(CV)을 통과하도록, 양 좌표를 대응시킨다.
도 6c에 나타내는 예에서는, 출력화상 생성부(11)는, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1)를 처리대상화상 평면(R3)(공간모델(MD)의 평면영역(R1)) 상의 좌표(M1)에 대응시키고, 또한, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N2)를 처리대상화상 평면(R3) 상의 좌표(M2)에 대응시킨다. 이때, 선분(M1-N1) 및 선분(M2-N2)은 모두 가상카메라(2V)의 광학중심(CV)을 통과한다.
가상카메라(2V)가 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등임)을 채용하고 있는 경우, 출력화상 생성부(11)는, 각각의 사영방식에 따라서, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1, N2)를 처리대상화상 평면(R3) 상의 좌표(M1, M2)에 대응시킨다.
구체적으로는, 출력화상 생성부(11)는, 소정의 함수(예컨대, 정사영(h＝fsinα), 입체 사영(h＝2ftan(α/2)), 등입체각 사영(h＝2fsin(α/2)), 등거리 사영(h＝fα) 등)에 근거하여, 출력화상 평면(R5) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 이 경우, 선분(M1-N1) 및 선분(M2-N2)이 가상카메라(2V)의 광학중심(CV)을 통과하지는 않는다.
이와 같이 하여, 출력화상 생성부(11)는, 출력화상 평면(R5) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응시키고, 또한, 출력화상 평면(R5) 상의 좌표 및 처리대상화상(R3) 상의 좌표를 관련시켜서 처리대상화상·출력화상 대응맵(42)에 저장한다. 그리고, 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
다만, 도 6d는, 도 6a~도 6c를 조합시킨 도면으로서, 카메라(2), 가상카메라(2V), 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2), 및, 처리대상화상 평면(R3)의 상호 위치관계를 나타낸다.
다음으로, 도 7a, 도 7b를 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시키기 위하여 좌표 대응부(10)가 도입하는 평행선군(PL)의 작용에 대하여 설명한다.
도 7a는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이다. 도 7b는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β1)(β1＞β)가 형성되는 경우의 도면이다. 도 7a 및 도 7b에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La~Ld)는, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)에 각각 대응한다. 도 7a에 있어서의 좌표(La~Ld)의 간격은, 도 7b에 있어서의 좌표(La~Ld)의 간격에 각각 동일하다. 다만, 설명을 간단히 하기 위하여 평행선군(PL)은 XZ 평면 상에 존재하는 것으로 하고 있지만, 실제로는, Z축 상의 모든 점으로부터 처리대상화상 평면(R3)으로 향하여 방사(放射)형상으로 뻗도록 존재한다. 다만, 이 경우의 Z축을 「재투영축」이라 칭한다.
도 7a 및 도 7b에 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 간격은, 평행선군(PL)과 처리대상화상 평면(R3) 사이의 각도가 증대함에 따라서 선형(線形)적으로 감소한다. 즉, 좌표(Ma~Md)의 간격은, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma~Md)의 각각의 사이의 거리는 관계없이 똑같이 감소한다. 한편, 도 7a, 도 7b에 나타내는 예에서는 처리대상화상 평면(R3) 상의 좌표군에의 변환이 행하여지지 않으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표군의 간격은 변화하지 않는다.
이들 좌표군의 간격의 변화는, 출력화상 평면(R5)(도 6c 참조) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분만이 선형적으로 확대 혹은 축소되는 것을 의미한다.
다음으로, 도 8a, 도 8b를 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시키기 위하여 좌표 대응부(10)가 도입하는 평행선군(PL)의 대체예에 대하여 설명한다.
도 8a는, XZ 평면 상에 위치하는 보조선군(群)(AL) 전부가 Z축 상의 시점(始點)(T1)으로부터 처리대상화상 평면(R3)으로 향하여 뻗는 경우의 도면이다. 도 8b는, 보조선군(AL) 모두가 Z축 상의 시점(T2)(T2＞T1)으로부터 처리대상화상 평면(R3)으로 향하여 뻗는 경우의 도면이다. 도 8a 및 도 8b에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La~Ld)는, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)에 각각 대응한다. 도 8a에 나타내는 예에서는, 좌표(Mc, Md)는, 처리대상화상 평면(R3)의 영역 밖이 되기 때문에 도시되어 있지 않다. 도 8a에 있어서의 좌표(La~Ld)의 간격은, 도 8b에 있어서의 좌표(La~Ld)의 간격에 각각 동일한 것으로 한다. 다만, 보조선군(AL)은, 설명의 편의상 목적을 위하여 XZ 평면 상에 존재하고 있다고 하고 있지만, 실제로는, Z축 상의 임의의 한점으로부터 처리대상화상 평면(R3)으로 향하여 방사형상으로 존재하고 있다. 다만, 도 7a, 도 7b에 나타내는 예와 같이, 이 경우의 Z축을 「재투영축」이라 칭한다.
도 8a 및 도 8b에 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 간격은, 보조선군(AL)의 시점과 원점(O) 사이의 거리(높이)가 증대함에 따라서 비(非)선형적으로 감소한다. 즉, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma~Md)의 각각의 사이의 거리가 클수록, 각각의 간격의 감소 폭이 커진다. 한편, 도 8a, 도 8b에 나타내는 예에서는 처리대상화상 평면(R3) 상의 좌표군으로의 변환이 행하여지지 않으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표군의 간격은 변화하지 않는다.
이들 좌표군의 간격의 변화는, 평행선군(PL)일 때와 마찬가지로, 출력화상 평면(R5)(도 6c 참조) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분만이 비선형적으로 확대 혹은 축소되는 것을 의미한다.
이와 같이 하여, 화상생성장치(100)는, 공간모델(MD)의 평면영역(R1)에 투영된 화상에 대응하는 출력화상의 화상부분(예컨대, 노면화상)에 영향을 주지 않고, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 출력화상의 화상부분(예컨대, 수평화상)을 선형적으로 혹은 비선형적으로 확대 혹은 축소시킬 수 있다. 이로써, 쇼벨(60)의 근방의 노면화상(쇼벨(60)을 바로 위에서 보았을 때의 가상화상)에 영향을 주지 않고, 쇼벨(60)의 주위에 위치하는 물체(쇼벨(60)로부터 수평방향으로 주위를 보았을 때의 화상에 있어서의 물체)를 신속하고도 유연하게 확대 혹은 축소시킬 수 있어, 쇼벨(60)의 사각(死角)영역의 시인(視認)성을 향상시킬 수 있다.
다음으로, 도 9a, 도 9b 및 도 10을 참조하면서, 공간모델(MD)에 투영된 화상으로부터 직접적으로 출력화상을 생성하는 경우와, 공간모델(MD)에 투영된 화상을 처리대상화상에 재투영하고 그 재투영된 처리대상화상으로부터 출력화상을 생성하는 경우의 차이에 대하여 설명한다.
도 9a는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이고, 도 9b는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β2)(β2＜β)가 형성되는 경우의 도면이다. 도 9a에 있어서의 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2), 처리대상화상 평면(R3), 및, 통상 사영(h＝ftanα)을 채용하는 가상카메라(2V)의 출력화상 평면(R5) 및 광학중심(CV)의 위치와, 도 9b의 각각은, 공통되는 것으로 한다.
도 9a 및 도 9b에 있어서, 평면영역(R1)을 포함하는 처리대상화상 평면(R3) 상의 좌표(M1)는, 출력화상 평면(R5) 상의 좌표(N1)에 대응하고, 곡면영역(R2) 상의 좌표(L2)는, 처리대상화상 평면(R3) 상의 좌표(M2), 및 출력화상 평면(R5) 상의 좌표(N2)에 대응한다. 거리(D1(D3))는, 출력화상 평면(R5)의 중심점(가상카메라(2V)의 광축(GV)과의 교점)과 좌표(N1) 사이의 X축 상의 거리를 나타낸다. 거리(D2(D4))는, 출력화상 평면(R5)의 중심점과 좌표(N2) 사이의 X축 상의 거리를 나타낸다.
도 9a 및 도 9b에 나타나는 바와 같이, 평행선군(PL)과 처리대상화상 평면(R3) 사이의 각도가 β일 때의 거리(D2)(도 9a 참조)는, 그 각도가 감소함에 따라서 증대하여, 그 각도가 β2일 때에 거리(D4)(도 9b 참조)가 된다. 그 각도가 β일 때의 거리(D1)(도 9a 참조)는, 그 각도의 변화에 관계없이 일정하며, 그 각도가 β2일 때의 거리(D3)(도 9b 참조)와 동일하다.
이와 같이 거리(D2)가 거리(D4)로 변화하는 것, 및, 거리(D1(D3))가 불변인 것은, 도 7a, 도 7b 및 도 8a, 도 8b를 이용하여 설명한 작용과 마찬가지로, 출력화상 평면(R5) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분(예컨대, 수평화상임)만이 확대 혹은 축소되는 것을 의미한다.
다만, 공간모델(MD)에 투영된 화상에 근거하여 직접적으로 출력화상을 생성한 경우에는, 공간모델(MD)의 평면영역(R1)과 곡면영역(R2)을 따로따로 취급할 수 없기 때문에(따로따로 확대 축소 처리의 대상으로 할 수 없기 때문에), 곡면영역(R2)에 투영된 화상에 대응하는 출력화상 평면(R5) 상의 화상부분만을 확대 혹은 축소할 수는 없다.
도 10은, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이다. 도 10은, 통상 사영(h＝ftanα)을 채용하는 가상카메라(2V)의 광학중심(CV)을 공간모델(MD)의 외측으로 이동시켰을 때의 상태(광학중심(CV)의 X좌표의 값을 평면영역(R1)의 반경보다도 크게 한 상태)를 나타낸다.
도 10에 나타나는 바와 같이, 출력화상 생성부(11)는, 처리대상화상 평면(R3)(평면영역(R1)) 상의 좌표(M1)와 출력화상 평면(R5) 상의 좌표(N1)를, 선분(M1-N1)이 광학중심(CV)을 통과하도록 대응시키고, 또한, 곡면영역(R2) 상의 좌표(L2)에 대응하는 처리대상화상 평면(R3) 상의 좌표(M2)와 출력화상 평면(R5) 상의 좌표(N2)를, 선분(M2-N2)이 광학중심(CV)을 통과하도록 대응시킨다. 이로써, 공간모델(MD)의 곡면영역(R2)에 투영된 화상으로부터 직접적으로 출력화상을 생성하는 경우와 같이, 원통의 측벽 외면을 보게 되어 적절한 출력화상을 생성할 수 없다는 문제(공간모델(MD) 상의 좌표와 출력화상 평면(R5) 상의 좌표를 대응시킬 수 없다는 문제)가 일어나지 않아, 적절한 출력화상을 생성할 수 있다.
다만, 도 9a, 도 9b 및 도 10을 참조하면서, 통상 사영을 채용하는 가상카메라(2V)에 관하여 설명하였지만, 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등임)을 채용한 가상카메라(2V)에 대하여서도 마찬가지이다. 그 경우, 출력화상 생성부(11)는, 처리대상화상 평면(R3)(평면영역(R1)) 상의 좌표(M1)와 출력화상 평면(R5) 상의 좌표(N1)를, 선분(M1-N1)이 광학중심(CV)을 통과하도록(함수 h＝ftanα에 따라서) 대응시키는 대신에, 각각의 사영방식에 대응하는 함수(예컨대, 정사영(h＝fsinα), 입체 사영(h＝2ftan(α/2)), 등입체각 사영(h＝2fsin(α/2)), 등거리 사영(h＝fα) 등임)에 따라서 출력화상 평면(R5) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 이 경우, 선분(M1-N1)은 가상카메라(2V)의 광학중심(CV)을 통과하지 않는다.
다음으로, 도 11을 참조하면서, 화상생성장치(100)가 처리대상화상을 생성하는 처리(이하, 「처리대상화상 생성처리」라 함), 및, 생성한 처리대상화상을 이용하여 출력화상을 생성하는 처리(이하, 「출력화상 생성처리」라 함)에 대하여 설명한다. 도 11은, 처리대상화상 생성처리(스텝 S1~스텝 S3) 및 출력화상 생성처리(스텝 S4~스텝 S6)의 플로차트이다. 카메라(2)(입력화상 평면(R4)), 공간모델(평면영역(R1) 및 곡면영역(R2)), 및, 처리대상화상 평면(R3)의 배치는 미리 결정되어 있는 것으로 한다.
제일 먼저, 제어부(1)는, 좌표 대응부(10)에 의하여, 처리대상화상 평면(R3) 상의 좌표와 공간모델(MD) 상의 좌표를 대응시킨다(스텝 S1).
구체적으로는, 좌표 대응부(10)는, 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도를 취득하여, 처리대상화상 평면(R3) 상의 1좌표로부터 뻗는 평행선군(PL) 중의 하나가 공간모델(MD)의 곡면영역(R2)과 교차하는 점을 산출한다. 그리고, 좌표 대응부(10)는, 산출한 점에 대응하는 곡면영역(R2) 상의 좌표를, 처리대상화상 평면(R3) 상의 그 1좌표에 대응하는 곡면영역(R2) 상의 1좌표로서 도출하고, 그 대응관계를 공간모델·처리대상화상 대응맵(41)에 저장한다. 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도는, 기억부(4) 등에 미리 저장된 값이어도 좋고, 입력부(3)를 통하여 조작자가 동적(動的)으로 입력하는 값이어도 좋다.
처리대상화상 평면(R3) 상의 1좌표가 공간모델(MD)의 평면영역(R1) 상의 1좌표와 일치하는 경우에는, 좌표 대응부(10)는, 평면영역(R1) 상의 그 1좌표를, 처리대상화상 평면(R3) 상의 그 1좌표에 대응하는 1좌표로서 도출하고, 그 대응관계를 공간모델·처리대상화상 대응맵(41)에 저장한다.
그 후, 제어부(1)는, 좌표 대응부(10)에 의하여, 상술한 처리에 의하여 도출된 공간모델(MD) 상의 1좌표와 입력화상 평면(R4) 상의 좌표를 대응시킨다(스텝 S2).
구체적으로는, 좌표 대응부(10)는, 통상 사영(h＝ftanα)을 채용하는 카메라(2)의 광학중심(C)의 좌표를 취득하여, 공간모델(MD) 상의 1좌표로부터 뻗는 선분으로서, 광학중심(C)을 통과하는 선분이 입력화상 평면(R4)과 교차하는 점을 산출한다. 그리고, 좌표 대응부(10)는, 산출한 점에 대응하는 입력화상 평면(R4) 상의 좌표를, 공간모델(MD) 상의 그 1좌표에 대응하는 입력화상 평면(R4) 상의 1좌표로서 도출하고, 그 대응관계를 입력화상·공간모델 대응맵(40)에 저장한다.
그 후, 제어부(1)는, 처리대상화상 평면(R3) 상의 모든 좌표를 공간모델(MD) 상의 좌표 및 입력화상 평면(R4) 상의 좌표에 대응시켰는지의 여부를 판정한다(스텝 S3). 아직 모든 좌표를 대응시키고 있지 않다고 판정된 경우에는(스텝 S3의 NO), 스텝 S1 및 스텝 S2의 처리가 반복된다.
한편, 제어부(1)는, 모든 좌표를 대응시켰다고 판정된 경우에는(스텝 S3의 YES), 처리대상화상 생성처리를 종료시킨 다음에 출력화상 생성처리를 개시시킨다. 이로써, 출력화상 생성부(11)는, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표를 대응시킨다(스텝 S4).
구체적으로는, 출력화상 생성부(11)는, 처리대상화상에 스케일변환, 아핀변환, 또는 왜곡변환을 실시함으로써 출력화상을 생성한다. 그리고, 출력화상 생성부(11)는, 실시한 스케일변환, 아핀변환, 또는 왜곡변환의 내용에 의하여 정해지는, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표 사이의 대응관계를, 처리대상화상·출력화상 대응맵(42)에 저장한다.
혹은, 가상카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 출력화상 생성부(11)는, 채용한 사영방식에 따라서 대상처리화상 평면(R3) 상의 좌표로부터 출력화상 평면(R5) 상의 좌표를 산출하고, 그 대응관계를 처리대상화상·출력화상 대응맵(42)에 저장하는 것으로 하여도 좋다.
혹은, 통상 사영(h＝ftanα)을 채용하는 가상카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 출력화상 생성부(11)는, 그 가상카메라(2V)의 광학중심(CV)의 좌표를 취득한 다음에, 출력화상 평면(R5) 상의 1좌표로부터 뻗는 선분으로서, 광학중심(CV)을 통과하는 선분이 처리대상화상 평면(R3)과 교차하는 점을 산출하여도 좋다. 그리고, 출력화상 생성부(11)는, 산출한 점에 대응하는 처리대상화상 평면(R3) 상의 좌표를, 출력화상 평면(R5) 상의 그 1좌표에 대응하는 처리대상화상 평면(R3) 상의 1좌표로서 도출하고, 그 대응관계를 처리대상화상·출력화상 대응맵(42)에 저장하여도 좋다.
그 후, 제어부(1)는, 출력화상 생성부(11)에 의하여, 입력화상·공간모델 대응맵(40), 공간모델·처리대상화상 대응맵(41), 및 처리대상화상·출력화상 대응맵(42)을 참조하면서, 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표의 대응관계, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표의 대응관계, 및 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표의 대응관계를 거쳐, 출력화상 평면(R5) 상의 각 좌표에 대응하는 입력화상 평면(R4) 상의 좌표가 가지는 값(예컨대, 휘도값, 색상값, 채도값 등임)을 취득한다. 그리고, 제어부(1)는, 그 취득한 값을, 대응하는 출력화상 평면(R5) 상의 각 좌표의 값으로서 채용한다(스텝 S5). 다만, 출력화상 평면(R5) 상의 1좌표에 대하여 복수의 입력화상 평면(R4) 상의 복수의 좌표가 대응하는 경우, 출력화상 생성부(11)는, 그들 복수의 입력화상 평면(R4) 상의 복수의 좌표의 각각의 값에 근거하는 통계값(예컨대, 평균값, 최대값, 최소값, 중간값 등임)을 도출하고, 출력화상 평면(R5) 상의 그 1좌표의 값으로서 그 통계값을 이용하도록 하여도 좋다.
그 후, 제어부(1)는, 출력화상 평면(R5) 상의 모든 좌표의 값을 입력화상 평면(R4) 상의 좌표의 값에 대응시켰는지의 여부를 판정한다(스텝 S6). 아직 모든 좌표의 값을 대응시키고 있지 않다고 판정된 경우에는(스텝 S6의 NO), 스텝 S4 및 스텝 S5의 처리가 반복된다.
한편, 제어부(1)는, 모든 좌표의 값을 대응시켰다고 판정한 경우에는(스텝 S6의 YES), 출력화상을 생성하여, 이 일련의 처리를 종료시킨다.
다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않는 경우에는, 처리대상화상 생성처리를 생략하고, 출력화상 생성처리에 있어서의 스텝 S4의 "처리대상화상 평면 상의 좌표"를 "공간모델 상의 좌표"라고 바꿔 읽는다.
이상의 구성에 의하여, 화상생성장치(100)는, 건설기계와 주변장해물의 위치관계를 조작자에 직관적으로 파악시키는 것이 가능한 처리대상화상 및 출력화상을 생성할 수 있다.
화상생성장치(100)는, 처리대상화상 평면(R3)으로부터 공간모델(MD)을 거쳐서 입력화상 평면(R4)으로 되돌아가도록 좌표의 대응을 실행함으로써, 처리대상화상 평면(R3) 상의 각 좌표를 입력화상 평면(R4) 상의 1 또는 복수의 좌표에 확실히 대응시킬 수 있다. 따라서, 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐서 처리대상화상 평면(R3)에 이르는 순번으로 좌표의 대응을 실행하는 경우와 비교하여, 보다 양질인 처리대상화상을 신속하게 생성할 수 있다. 다만, 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐서 처리대상화상 평면(R3)에 이르는 순번으로 좌표의 대응을 실행하는 경우에는, 입력화상 평면(R4) 상의 각 좌표를 처리대상화상 평면(R3) 상의 1 또는 복수의 좌표에 확실히 대응시킬 수 있지만, 처리대상화상 평면(R3) 상의 좌표의 일부가, 입력화상 평면(R4) 상의 어느 좌표에도 대응되지 않는 경우가 있다. 그와 같은 경우에는, 그들 처리대상화상 평면(R3) 상의 좌표의 일부에 보간(補間)처리 등을 실시할 필요가 있다.
또한, 공간모델(MD)의 곡면영역(R2)에 대응하는 화상만을 확대 혹은 축소하는 경우에는, 화상생성장치(100)는, 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도를 변경하여 공간모델·처리대상화상 대응맵(41)에 있어서의 곡면영역(R2)에 관련되는 부분만을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40)의 내용을 고쳐 쓰지 않고, 소망의 확대 혹은 축소를 실현시킬 수 있다.
또한, 출력화상이 보이는 방법을 변경하는 경우에는, 화상생성장치(100)는, 스케일변환, 아핀변환 또는 왜곡변환에 관한 각종 파라미터의 값을 변경하여 처리대상화상·출력화상 대응맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)의 내용을 고쳐 쓰지 않고, 소망의 출력화상(스케일변환화상, 아핀변환화상 또는 왜곡변환화상)을 생성할 수 있다.
마찬가지로, 출력화상의 시점(視點)을 변경하는 경우에는, 화상생성장치(100)는, 가상카메라(2V)의 각종 파라미터의 값을 변경하여 처리대상화상·출력화상 대응맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)의 내용을 고쳐 쓰지 않고, 소망의 시점으로부터 본 출력화상(시점변환화상)을 생성할 수 있다.
다음으로, 도 12a~도 14c를 참조하면서, 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))와 공간모델(MD) 사이의 위치관계에 대하여 설명한다.
도 12a는, 도 3b와 마찬가지로, 쇼벨(60)을 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 12b는, 도 4와 마찬가지로, 공간모델(MD)을 비스듬히 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 12c는, 화상생성장치(100)가 생성하는 처리대상화상을 나타내는 도면이다.
도 12b에서 가장 잘 나타나는 바와 같이, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가 존재한다.
도 12b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상의 점(J1)에서 교차한다. 다만, 광축(G1)과 광축(G2)은, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상의 점에서 교차하는 것이라면, 비틀림 위치의 관계에 있어도 좋다.
후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선과 서로 수직인 관계에 있다. 다만, 본 실시예에서는, 그들 두 개의 수선은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재하면서 점(J2)에서 직교하고 있지만, 두 개의 수선은 각각 별도의 평면 상에 위치하여, 비틀림 위치의 관계에 있는 것이어도 좋다.
도 12a 및 도 12b에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 12c에 나타나는 바와 같이 처리대상화상을 생성할 수 있다. 즉, 도 12c에서는, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 도 12c에서는, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 접혀 구부러지지 않고, 직선형상으로 뻗어 있다.
도 13a~도 13c는, 각각 도 12a~도 12c와 마찬가지의 도면이다. 도 13a~도 13c에 나타내는 예에서는, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가 존재한다. 또한, 우측방 카메라(2R)의 광축(G2)의 방향에도, XY 평면으로부터 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ1)가 존재한다.
도 13b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 도 12b에 나타내는 위치관계와 마찬가지로, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상의 점(J1)에서 교차한다. 다만, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상의 점에서 교차하는 것이라면, 광축(G1)과 광축(G2)은 비틀림 위치의 관계에 있어도 좋다.
한편, 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선과 서로 수직인 관계로는 되지 않는다. 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 그 수선으로 내린 수선과 원통 중심축(재투영축) 상에 없는 점(J2)에서 직교한다. 본 실시예에서는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재하고 있다. 다만, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 각각 별도의 평면 상에 위치하여, 상호의 수선이 비틀림 위치의 관계에 있는 것이어도 좋다.
도 13a 및 도 13b에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 13c에 나타나는 바와 같이, 처리대상화상을 생성한다. 도 13c에서는, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향으로부터 약간 벗어나는 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 약간 꺾여 구부러져 있다.
한편, 도 13c에 나타나는 바와 같이, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ1)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 광축(G2) 방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ1) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ1)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 광축(G2) 방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ1) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ1)는, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 직선형상으로 뻗어 있다.
도 14a~도 14c는, 각각 도 12a~도 12c와 마찬가지의 도면이다. 도 14a~도 14c에 나타내는 예에서는, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가 존재한다. 또한, 우측방 카메라(2R)의 광축(G2)의 방향에도, XY 평면으로부터 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ2)가 존재한다.
도 14b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 도 12b에 나타내는 위치관계와 마찬가지로, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)으로 내린 수선과 서로 수직인 관계이다. 본 실시예에서는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재한다. 다만, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은 각각 별도의 평면 상에 위치하여, 상호의 수선이 비틀림 위치의 관계에 있는 것이어도 좋다.
한편, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상에서 교차하지 않고, 원통 중심축(재투영축) 상에 없는 점(J1)에서 교차한다. 다만, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상에 없는 점에서 교차하는 것이라면, 광축(G1)과 광축(G2)은 비틀림 위치의 관계에 있어도 좋다.
도 14a 및 도 14b에서 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 14c에 나타나는 바와 같이 처리대상화상을 생성한다. 도 14c에서는, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ2)가, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 광축(G2) 방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ2) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ2)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 Y축방향에 거의 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ2) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ2)는, 노면화상부분과 수평화상부분 사이의 경계에서 약간 꺾여 구부러져 있다.
한편, 도 14c에 나타나는 바와 같이, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점)과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 직선형상으로 뻗어 있다.
이상과 같이, 화상생성장치(100)는, 공간모델(MD)의 원통 중심축(재투영축)과 카메라의 광축을 교차시키도록 하여 공간모델(MD)을 배치함으로써, 카메라의 광축방향에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다. 다만, 이 잇점은, 카메라가 1대 뿐인 경우에도 카메라가 3대 이상인 경우에도 얻을 수 있다.
또한, 화상생성장치(100)는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심의 각각으로부터 공간모델(MD)의 원통 중심축(재투영축)으로 내린 수선의 각각이 서로 수직이 되도록 하여 공간모델(MD)을 배치함으로써, 쇼벨(60)의 우측 바로 옆 및 바로 뒤에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다. 다만, 이 잇점은, 카메라가 3대 이상인 경우에도 얻을 수 있다.
다만, 도 12a~도 14c에 나타나는 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))와 공간모델(MD) 사이의 위치관계 및 작용효과는, 화상생성장치(100)가 처리대상화상을 생성하는 경우에 대응하는 것이지만, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우(처리대상화상 평면(R3)이 존재하지 않는 경우)에도 마찬가지의 작용효과를 얻을 수 있다. 이 경우, 도 12c, 도 13c, 및 도 14c에 나타내는 처리대상화상은, 공간모델(MD)에 투영된 화상을 이용하여 생성되는 출력화상으로 바꿔 읽혀진다.
도 15는, 쇼벨(60)에 탑재된 2대의 카메라(2)(우측방 카메라(2R) 및 후방 카메라(2B))의 입력화상을 이용하여 생성되는 출력화상을 표시부(5)에 표시시켰을 때의 표시예이다. 화상생성장치(100)는, 입력화상의 일부를 공간모델(MD)의 평면영역(R1)에 투영하고, 또한, 입력화상의 별도의 일부를 공간모델(MD)의 곡면영역(R2)에 투영한 다음에 처리대상화상 평면(R3)에 재투영하여 처리대상화상을 생성한다. 화상생성장치(100)는, 생성한 처리대상화상에 근거하여, 평면영역(R1)에 투영된 화상에 대응하는, 쇼벨(60)의 근방을 상공(上空)으로부터 내려다보는 화상과, 곡면영역(R2)에 투영된 화상에 대응하는, 즉, 처리대상화상 평면(R3)에 재투영된 화상에 대응하는, 쇼벨(60)로부터 수평방향으로 주변을 본 화상을 조합시켜 표시한다.
다만, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우에는, 출력화상은, 공간모델(MD)에 투영된 화상에 화상변환처리(예컨대, 시점(視點)변환처리)를 실시함으로써 생성된다.
출력화상은, 쇼벨(60)이 선회동작을 행할 때의 화상을 위화감 없이 표시할 수 있도록, 원형으로 트리밍된다. 즉, 출력화상은, 원의 중심(CTR)이 공간모델(MD)의 원통 중심축 상에 있고, 또한, 쇼벨(60)의 선회축(PV) 상이 되도록 생성되고 있으며, 쇼벨(60)의 선회동작에 따라서 그 중심(CTR)을 축으로 회전하도록 표시된다. 이 경우, 공간모델(MD)의 원통 중심축은, 재투영축과 일치하는 것이어도 좋고, 일치하지 않는 것이어도 좋다.
공간모델(MD)의 반경은, 예컨대, 5미터이다. 평행선군(PL)이 처리대상화상 평면(R3)과의 사이에서 형성하는 각도, 또는, 보조선군(AL)의 시점(始點) 높이는, 쇼벨(60)의 선회중심으로부터 굴착 어태치먼트(E)의 최대 도달거리(예컨대 12미터)만큼 벗어난 위치에 물체(예컨대, 작업원)가 존재하는 경우에, 그 물체가 표시부(5)에서 충분히 크게(예컨대, 7밀리미터 이상) 표시되도록, 설정할 수 있다.
또한, 출력화상은, 쇼벨(60)의 CG화상을, 쇼벨(60)의 전방이 표시부(5)의 화면 상방과 일치하고, 또한, 그 선회중심이 중심(CTR)과 일치하도록 배치하도록 하여도 좋다. 이는, 쇼벨(60)과 출력화상에 나타나는 물체 사이의 위치관계를 보다 알기 쉽게 하기 위함이다. 다만, 출력화상은, 방위 등의 각종 정보를 포함하는 액자화상을 그 주위에 배치하도록 하여도 좋다.
이 상태에 있어서, 화상생성장치(100)는, 도 9a, 도 9b에 나타나는 바와 같이, 평면영역(R1)에 투영된 화상에 대응하는 출력화상에 있어서의 화상부분에 영향을 주지 않고, 곡면영역(R2)에 투영되며 또한 처리대상화상 평면(R3)에 재투영된 화상에 대응하는 출력화상에 있어서의 화상부분만을 확대 혹은 축소할 수 있다. 또한, 도 10에 나타나는 바와 같이, 곡면영역(R2)에 투영되고 또한 처리대상화상 평면(R3)에 재투영된 화상에 대응하는 출력화상에 있어서의 화상부분을 바로 위에서 내려다보기 위하여, 그 화상부분을 표시부(5)의 화면 영역에 있어서의 임의의 위치(예컨대, 중앙)로 이동시킬 수도 있다.
다음으로, 도 16a~도 18을 참조하면서, 3대의 카메라(2)(좌측방 카메라(2L), 우측방 카메라(2R), 후방 카메라(2B))가 설치되는 경우에 있어서의, 3대의 카메라(2)와 공간모델(MD) 사이의 위치관계에 대하여 설명한다.
도 16a는, 쇼벨(60)을 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이고, 도 16b는, 공간모델(MD)을 비스듬히 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 16c는, 도 16a 및 도 16b에 나타나는 바와 같이 설치된 3대의 카메라가 촬상한 입력화상에 근거하여 화상생성장치(100)가 생성하는 처리대상화상을 나타내는 도면이다.
도 16b에 가장 잘 나타나는 바와 같이, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고 있다. 쇼벨(60)의 주위에는, 노면으로부터 Z축방향으로 평행하게 뻗는 5개의 봉형상의 물체(OBJ3~7)가 존재한다.
도 16b에 있어서, 후방 카메라(2B)의 광축(G1), 우측방 카메라(2R)의 광축(G2), 및 좌측방 카메라(2L)의 광축(G3)은 각각, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 광축(G1~G3)은, 그 원통 중심축(재투영축) 상의 점(J1)에서 교차한다. 광축(G1~G3)은, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 그 원통 중심축(재투영축) 상의 점에서 교차하는 것이라면, 비틀림 위치의 관계에 있어도 좋다.
후방 카메라(2B)의 광학중심으로부터 그 원통 중심축(재투영축)으로 내린 수선, 우측방 카메라(2R)의 광학중심으로부터 그 원통 중심축(재투영축)으로 내린 수선, 및, 좌측방 카메라(2L)의 광학중심으로부터 그 원통 중심축(재투영축)으로 내린 수선은, 서로 수직이다. 본 실시예에서는, 그들 3개의 수선은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재하면서 점(J2)에서 직교하고 있지만, 각각 별도의 평면 상에 위치하여, 상호의 수선이 비틀림 위치의 관계에 있는 것이어도 좋다.
도 16a 및 도 16b에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 광축(G1~G3)의 각각의 방향에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 접혀 구부러지지 않도록, 처리대상화상을 생성할 수 있다. 광축(G1~G3)의 각각의 방향에 있는 물체는, 공간모델(MD)의 원통 중심축(재투영축)과 카메라(2)의 광학중심의 각각을 연결하는 수선의 방향에 있는 물체이며, 즉, 쇼벨(60)의 우측 바로 옆에 있는 물체(OBJ3), 바로 뒤에 있는 물체(OBJ5), 및 좌측 바로 옆에 있는 물체(OBJ7)이다.
광축(G1~G3)의 각각이 그 원통 중심축(재투영축) 상의 점에서 교차하는 경우, 상술한 3개의 수선은, 서로 수직이 아니어도 좋다. 이 경우이더라도, 화상생성장치(100)는, 광축(G1~G3)의 각각의 방향에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다.
3개의 수선이 서로 수직인 관계에 있는 경우, 광축(G1~G3)의 각각은, 원통 중심축(재투영축) 상의 점 이외의 점에서 교차하는 것이더라도 좋다. 이 경우이더라도, 화상생성장치(100)는, 그 원통 중심축(재투영축)과 카메라(2)의 광학중심의 각각을 연결하는 수선의 방향에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다.
도 17a, 도 17b는, 3대의 카메라(2)(좌측방 카메라(2L), 우측방 카메라(2R), 후방 카메라(2B))와 공간모델(MD) 사이의 다른 위치관계를 나타낸다. 도 17a는, 쇼벨(60)을 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이고, 도 17b는, 도 17a에 나타나는 바와 같이 배치된 3대의 카메라가 촬상한 입력화상에 근거하여 화상생성장치(100)가 생성하는 처리대상화상을 나타내는 도면이다.
도 17a에 나타내는 위치관계는, 좌측방 카메라(2L)가 우측방 카메라(2R)보다도 후방쪽에 장착되어 있는 점에서, 도 16a에 나타내는 위치관계와 다르다. 다만, 도 17a에 나타내는 위치관계는, 좌측방 카메라(2L) 및 우측방 카메라(2R)가 각각 똑바로 옆(-Y방향 또는 +Y방향)을 향하고, 후방 카메라(2B)가 똑바로 뒤(+X방향)를 향하고 있는 점에서, 도 16a에 나타내는 위치관계와 똑같다.
도 17a, 도 17b에 나타내는 예에서는, 공간모델(MD)은, 후방 카메라(2B)의 입력화상과 우측방 카메라(2R)의 입력화상이 투영되는 제1 공간모델부분(MD1)과, 후방 카메라(2B)의 입력화상과 좌측방 카메라(2L)의 입력화상이 투영되는 제2 공간모델부분(MD2)의 조합으로서 형성된다.
제1 공간모델부분(MD1)은, 그 제1 원통 중심축(제1 재투영축) 상의 점(J1)에 있어서, 후방 카메라(2B)의 광축(G1)과 우측방 카메라(2R)의 광축(G2)이 교차하도록 배치된다. 혹은, 제1 공간모델부분(MD1)은, 그 제1 원통 중심축(제1 재투영축) 상의 점(J2)에 있어서, 후방 카메라(2B)의 광학중심으로부터 그 제1 원통 중심축(제1 재투영축)으로 내린 수선과 우측방 카메라(2R)의 광학중심으로부터 그 제1 원통 중심축(제1 재투영축)으로 내린 수선이 직교하도록 배치된다. 제1 공간모델부분(MD1)은, 평면영역(R1a) 및 곡면영역(R2a)을 가진다. 도 17a, 도 17b에 있어서, 곡면영역(R2a)은, 점(J1, J2)을 중심으로 하는 파선의 원호로서 표현되고 있다.
마찬가지로, 제2 공간모델부분(MD2)은, 그 제2 원통 중심축(제2 재투영축) 상의 점(J3)에 있어서, 후방 카메라(2B)의 광축(G1)과 좌측방 카메라(2L)의 광축(G3)이 교차하도록 배치된다. 혹은, 제2 공간모델부분(MD2)은, 그 제2 원통 중심축(제2 재투영축) 상의 점(J4)에 있어서, 후방 카메라(2B)의 광학중심으로부터 그 제2 원통 중심축(제2 재투영축)으로 내린 수선과 좌측방 카메라(2L)의 광학중심으로부터 그 제2 원통 중심축(제2 재투영축)으로 내린 수선이 직교하도록 배치된다. 제2 공간모델부분(MD2)은, 평면영역(R1b) 및 곡면영역(R2b)을 가지고 있다. 도 17a, 도 17b에 있어서, 곡면영역(R2b)은, 점(J3, J4)을 중심으로 하는 실선의 원호로서 표현되고 있다.
공간모델(MD)은, 공간모델부분(MD1)의 곡면영역(R2a)을 표현하는 파선의 원호와 제2 공간모델부분(MD2)의 곡면영역(R2b)를 표현하는 실선의 원호를, 후방 카메라(2B)의 광축(G1) 상에서 매끄럽게 접속하여 조합시킴으로써 형성된다.
다만, 제1 공간모델부분(MD1)에 대응하는 처리대상화상 평면(R3a), 및, 제2 공간모델부분(MD2)에 대응하는 처리대상화상 평면(R3b)은, 상술한 실시예와 마찬가지로 설정된다. 처리대상화상 평면(R3a, R3b)은, 각각, 점(J1, J2)을 중심으로 하는 원호영역, 및, 점(J3, J4)을 중심으로 하는 원호영역이어도 좋고, 혹은, 제1 공간모델부분(MD1) 및 제2 공간모델부분(MD2)에서 공용되는 영역이어도 좋다.
도 17a에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 17b에서 나타나는 바와 같이, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 물체(OBJ3), 후방 카메라(2B)의 광축(G1)의 방향에 있는 물체(OBJ5), 및, 좌측방 카메라(2L)의 광축(G3)의 방향에 있는 물체(OBJ6)가, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다.
도 18은, 도 17a, 도 17b에 있어서의 좌측방 카메라(2L)의 광축(G3)을 쇼벨(60)의 전방으로 약간 기울인 경우에 화상생성장치(100)가 생성하는 처리대상화상을 나타내는 도면이다. 제1 공간모델부분(MD1)은 도 17a, 도 17b에 나타내는 것과 같지만, 제2 공간모델부분(MD2A)은 도 17a, 도 17b에 나타내는 것과 다르다.
제2 공간모델부분(MD2A)은, 그 제2 원통 중심축(제2 재투영축) 상의 점(J3A)에 있어서, 후방 카메라(2B)의 광축(G1)과 좌측방 카메라(2L)의 광축(G3A)이 교차하도록 배치된다. 본 실시예에서는, 점(J3A)은, 후방 카메라(2B)의 설치위치와 겹치고 있다. 제2 공간모델부분(MD2A)은, 평면영역(R1c) 및 곡면영역(R2c)을 가진다. 도 18에 있어서, 곡면영역(R2c)은, 점(J3A)을 중심으로 하는 실선의 원호로서 표현되고 있다.
이 경우에 있어서도, 화상생성장치(100)는, 도 18에 나타나는 바와 같이, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 물체(OBJ3), 후방 카메라(2B)의 광축(G1)의 방향에 있는 물체(OBJ5), 및, 좌측방 카메라(2L)의 광축(G3A)의 방향에 있는 물체(OBJ7)가, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 처리대상화상을 생성할 수 있다.
다음으로, 도 19 및 도 20을 참조하면서, 4대의 카메라(2)(좌측방 카메라(2L), 우측방 카메라(2R), 제1 후방 카메라(2B-1), 제2 후방 카메라(2B-2))가 설치되는 경우에 있어서의 그들 4대의 카메라(2)와 공간모델(MD) 사이의 위치관계에 대하여 설명한다.
도 19 및 도 20은, 쇼벨(60)을 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 20에 나타내는 위치관계는, 제2 후방 카메라(2B-2)의 광축방향이 상이한 것 이외는, 도 19에 나타내는 위치관계와 동일하다.
4대의 카메라(2)가 설치되는 경우, 공간모델(MD)은, 제1 공간모델부분(MD1)과, 제2 공간모델부분(MD2)과, 제3 공간모델부분(MD3)을 조합시킴으로써 형성된다. 제1 공간모델부분(MD1)에는, 우측방 카메라(2R)의 입력화상과 제2 후방 카메라(2B-2)의 입력화상이 투영된다. 제2 공간모델부분(MD2)에는, 제1 후방 카메라(2B-1)의 입력화상과 제2 후방 카메라(2B-2)의 입력화상이 투영된다. 제3 공간모델부분(MD3)에는, 제1 후방 카메라(2B-1)의 입력화상과 좌측방 카메라(2L)의 입력화상이 투영된다.
도 19에 있어서, 제1 공간모델부분(MD1)은, 그 제1 원통 중심축(제1 재투영축) 상의 점(J5)에 있어서, 제2 후방 카메라(2B-2)의 광축(G5)과 우측방 카메라(2R)의 광축(G2)이 교차하도록 배치되어 있다. 제1 공간모델부분(MD1)은, 평면영역(R1d) 및 곡면영역(R2d)을 가진다. 도 19에 있어서, 곡면영역(R2d)은, 점(J5)을 중심으로 하는 점선의 원호로서 표현되고 있다.
제2 공간모델부분(MD2)은, 그 제2 원통 중심축(제2 재투영축) 상의 점(J6)에 있어서, 제1 후방 카메라(2B-1)의 광축(G4)과 제2 후방 카메라(2B-2)의 광축(G5)이 교차하도록 배치되어 있다. 제2 공간모델부분(MD2)은, 평면영역(R1e) 및 곡면영역(R2e)을 가진다. 도 19에 있어서, 곡면영역(R2e)은, 점(J6)을 중심으로 하는 파선의 원호로서 표현되고 있다.
제3 공간모델부분(MD3)은, 그 제3 원통 중심축(제3 재투영축) 상의 점(J7)에 있어서, 제1 후방 카메라(2B-1)의 광축(G4)과 좌측방 카메라(2L)의 광축(G3)이 교차하도록 배치되어 있다. 제3 공간모델부분(MD3)은, 평면영역(R1f) 및 곡면영역(R2f)을 가진다. 도 19에 있어서, 곡면영역(R2f)은, 점(J7)을 중심으로 하는 실선의 원호로서 표현되고 있다.
또한, 도 20에 있어서, 제1 공간모델부분(MD1)은, 그 제1 원통 중심축(제1 재투영축) 상의 점(J5A)에 있어서, 제2 후방 카메라(2B-2)의 광축(G5A)과 우측방 카메라(2R)의 광축(G2)이 교차하도록 배치되어 있다. 제1 공간모델부분(MD1)은, 평면영역(R1g) 및 곡면영역(R2g)을 가진다. 도 20에 있어서, 곡면영역(R2g)은, 점(J5A)을 중심으로 하는 점선의 원호로서 표현되고 있다.
제2 공간모델부분(MD2)은, 그 제2 원통 중심축(제2 재투영축) 상의 점(J6A)에 있어서, 제1 후방 카메라(2B-1)의 광축(G4)과 제2 후방 카메라(2B-2)의 광축(G5A)이 교차하도록 배치되어 있다. 제2 공간모델부분(MD2)은, 평면영역(R1h) 및 곡면영역(R2h)을 가진다. 도 20에 있어서, 곡면영역(R2h)은, 점(J6A)을 중심으로 하는 파선의 원호로서 표현되고 있다.
제3 공간모델부분(MD3)은, 도 19에 나타내는 예와 마찬가지로, 그 제3 원통 중심축(제3 재투영축) 상의 점(J7)에 있어서, 제1 후방 카메라(2B-1)의 광축(G4)과 좌측방 카메라(2L)의 광축(G3)이 교차하도록 배치되어 있다. 제3 공간모델부분(MD3)은, 평면영역(R1f) 및 곡면영역(R2f)을 가지며, 그 곡면영역(R2f)의 상면에서 본 경우가, 점(J7)을 중심으로 하는 실선의 원호로서 표현되고 있다.
이상과 같이, 도 19 및 도 20에 있어서, 공간모델(MD)은, 제1 공간모델부분(MD1)과 제2 공간모델부분(MD2)과 제3 공간모델부분(MD3)을 매끄럽게 접속하도록 조합시킴으로써 형성된다.
다만, 제1 공간모델부분(MD1)에 대응하는 처리대상화상 평면(R3d(R3g)), 제2 공간모델부분(MD2)에 대응하는 처리대상화상 평면(R3e(R3h)), 및, 제3 공간모델부분(MD3)에 대응하는 처리대상화상 평면(R3f)은, 상술한 실시예와 마찬가지로 설정된다. 즉, 처리대상화상 평면(R3d(R3g)), 처리대상화상 평면(R3e(R3h)), 및 처리대상화상 평면(R3f)은, 각각, 점(J5)을 중심으로 하는 원호영역, 점(J6)을 중심으로 하는 원호영역, 및, 점(J7)을 중심으로 하는 원호영역이어도 좋고, 혹은, 제1 공간모델부분(MD1), 제2 공간모델부분(MD2), 및 제3 공간모델부분(MD3)에서 공용되는 영역이더라도 좋다.
이상의 구성에 의하여, 화상생성장치(100)는, 3대 이상의 카메라가 설치되는 경우이더라도, 그들 3대 이상의 카메라의 설치위치나 광축방향에 적합한 공간모델을 이용하여, 위화감이 없는 처리대상화상을 생성할 수 있다.
또한, 3대 이상의 카메라의 설치위치나 광축방향에 적합한 공간모델을 이용하여 생성되는 처리대상화상 또는 출력화상은, 쇼벨(60)이 선회동작을 행할 때의 화상을 위화감 없이 표시할 수 있도록, 원형으로 트리밍된다. 그리고, 그 원형의 중심이 쇼벨(60)의 선회축(PV) 상이 되도록 생성되어, 쇼벨(60)의 선회동작에 따라서 그 중심을 축에 회전하도록 표시된다.
다만, 도 16a~도 20에 나타나는 카메라(2)의 촬상범위와 공간모델(MD) 사이의 위치관계에 의한 작용효과는, 화상생성장치(100)가 처리대상화상을 생성하는 경우에 얻어지는 것이지만, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우(처리대상화상 평면이 존재하지 않는 경우)에도 얻을 수 있다. 이 경우, 도 16c, 도 17b, 및 도 18의 처리대상화상은, 공간모델(MD)에 투영된 화상을 이용하여 생성되는 출력화상에 상당한다.
상술한 실시예에 있어서, 화상생성장치(100)는, 공간모델로서 원통형상의 공간모델(MD)을 채용하고 있지만, 화상생성장치(100)는, 다각기둥 등의 다른 기둥형상을 가지는 공간모델을 채용하여도 좋고, 바닥면 및 측면의 2면으로 구성되는 공간모델을 채용하여도 좋다. 혹은, 화상생성장치(100)는, 측면만을 가지는 공간모델을 이용하여도 좋다.
또한, 상술한 실시예에 있어서, 화상생성장치(100)는, 카메라(2)의 설치위치나 광축방향에 근거하여 최적인 공간모델(MD)의 형상이나 배치를 결정하지만, 공간모델(MD)의 소망의 형상이나 배치를 실현하기 위하여 카메라(2)의 설치위치나 광축방향을 결정하도록 하여도 좋다.
이 경우, 카메라(2)의 설치위치나 광축방향은, 공간모델(MD)의 원통 중심축(재투영축)이, 쇼벨(60)의 선회축(PV), 쇼벨(60)의 차체 중심, 또는 캡(64)의 중심(예컨대, 캡(64) 내에 착석하는 운전자의 체축(體軸)임)과 일치하도록 결정할 수 있다.
또한, 카메라(2)의 설치위치나 광축방향은, 소망의 공간모델(MD)을 복수의 공간모델부분의 조합으로서 형성하는 경우(복수의 기준축(원통 중심축)을 가지는 경우), 그 공간모델(MD)의 대표적인 기준축(이하, 「대표 기준축」이라 함)을 그들 복수의 기준축의 배치에 근거하여 결정한 다음에(예컨대, 그들 복수의 기준축의 각각과 그 대표 기준축 사이의 거리의 최대값이 가장 작아지도록 그 대표 기준축을 결정함), 그 대표 기준축이, 쇼벨(60)의 선회축(PV), 쇼벨(60)의 차체 중심, 또는 캡(64)의 중심(예컨대, 캡(64) 내에 착석하는 운전자의 체축임)과 일치하도록 결정할 수 있다.
상술한 화상생성장치(100)는, 버켓, 아암, 붐, 선회기구 등의 가동(可動)부재를 구비하면서 자주(自走)하는 건설기계에 카메라와 함께 탑재되어, 주위 화상을 그 운전자에 제시하면서 그 건설기계의 이동 및 그들 가동부재의 조작을 지원하는 조작지원 시스템에 설치되어 있다. 그러나, 화상생성장치(100)는, 산업용 기계 또는 고정식 크레인 등과 같이 가동부재를 가지지만 자주(自走)는 하지 않는 다른 기계(피조작체)에 카메라와 함께 탑재되어, 그 기계의 조작을 지원하는 조작지원 시스템에 설치되어도 좋다.
본 발명은 구체적으로 개시된 상술한 실시형태에 한정되는 것은 아니며, 본 발명의 범위를 일탈하지 않고, 다양한 변형예 및 개량예가 이루어질 것이다.
본 출원은, 2010년 4월 12일 출원의 우선권주장 일본국 특허출원 제2010-091659호에 근거하는 것이며, 그 전체 내용은 본 출원에 원용된다.
본 발명은, 입력화상에 근거하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템에 적용 가능하다.
1 제어부
2 카메라
2R 우측방 카메라
2B 후방 카메라
3 입력부
4 기억부
5 표시부
10 좌표 대응부
11 출력화상 생성부
40 입력화상·공간모델 대응맵
41 공간모델·처리대상화상 대응맵
42 처리대상화상·출력화상 대응맵
60 쇼벨
61 하부주행체
62 선회기구
63 상부선회체
64 캡

Claims (14)

  1. 피조작체에 장착된 광축(光軸)방향이 상이한 적어도 3개의 촬상부가 촬상하여 얻어진 적어도 3개의 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서,
    상기 피조작체를 둘러싸도록 배치되는 기둥형상의 공간모델에 있어서의 좌표와, 상기 적어도 3개의 입력화상의 각각이 위치하는 적어도 3개의 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와,
    상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 적어도 3개의 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 출력화상 생성부
    를 구비하고,
    상기 기둥형상의 공간모델은, 각각이 기준축을 가지는 복수의 공간모델부분의 조합이고,
    상기 기둥형상의 공간모델은, 상기 적어도 3개의 촬상부 중 서로 이웃하는 한 쌍의 촬상부에 대응하며,
    상기 한 쌍의 촬상부의 각각의 광축은, 대응하는 상기 공간모델부분의 상기 기준축과 교차하는 것
    을 특징으로 하는 화상생성장치.
  2. 청구항 1에 있어서,
    상기 복수의 공간모델부분의 각각은, 대응하는 한 쌍의 촬상부의 각각의 광축을 상기 기준축에 수직인 일평면(一平面)에 투영한 성분의 각각이 상기 기준축 상의 한점에서 교차하도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  3. 청구항 2에 있어서,
    상기 복수의 공간모델부분의 각각은, 대응하는 한 쌍의 촬상부의 각각의 광학(光學) 중심으로부터 상기 기준축에 내린 수선(垂線)의 각각이 서로 수직이 되도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  4. 청구항 1에 있어서,
    상기 좌표 대응부는, 화상변환처리의 대상이 되는 처리대상화상이 위치하는 처리대상화상 평면에 있어서의 좌표와, 상기 기둥형상의 공간모델에 있어서의 좌표를 대응시키고,
    상기 출력화상 생성부는, 상기 처리대상화상 평면에 있어서의 좌표와 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 것
    을 특징으로 하는 화상생성장치.
  5. 청구항 1에 있어서,
    상기 피조작체는, 선회동작 가능한 건설기계이고,
    상기 적어도 3개의 촬상수단은, 상기 건설기계의 좌우의 측면과 후면에 장착되는 것
    을 특징으로 하는 화상생성장치.
  6. 청구항 1에 있어서,
    상기 좌표 대응부에 의한 대응에 의하여 얻어진 대응관계 정보를 맵(map) 정보로서 저장하는 기억부를 더욱 가지는 것
    을 특징으로 하는 화상생성장치.
  7. 피조작체에 장착된 광축방향이 상이한 적어도 3개의 촬상부가 촬상한 적어도 3개의 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서,
    상기 피조작체를 둘러싸도록 배치되는 기둥형상의 공간모델에 있어서의 좌표와, 상기 적어도 3개의 입력화상의 각각이 위치하는 적어도 3개의 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와,
    상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 적어도 3개의 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 출력화상 생성부
    를 구비하고,
    상기 기둥형상의 공간모델은, 각각이 기준축을 가지는 복수의 공간모델부분의 조합이고,
    상기 복수의 공간모델부분의 각각은, 상기 적어도 3개의 촬상부 중 서로 이웃하는 한 쌍의 촬상부에 대응하며,
    상기 한 쌍의 촬상부의 각각의 광학중심으로부터 대응하는 상기 공간모델부분의 상기 기준축에 내린 수선은 서로 수직인 것
    을 특징으로 하는 화상생성장치.
  8. 청구항 7에 있어서,
    상기 좌표 대응부는, 화상변환처리의 대상이 되는 처리대상화상이 위치하는 처리대상화상 평면에 있어서의 좌표와, 상기 기둥형상의 공간모델에 있어서의 좌표를 대응시키고,
    상기 출력화상 생성부는, 상기 처리대상화상 평면에 있어서의 좌표와 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상 평면에 있어서의 좌표의 값을 대응시켜 상기 출력화상을 생성하는 것
    을 특징으로 하는 화상생성장치.
  9. 청구항 7에 있어서,
    상기 좌표 대응부에 의한 대응에 의하여 얻어진 대응관계 정보를 맵 정보로서 저장하는 기억부를 더욱 가지는 것
    을 특징으로 하는 화상생성장치.
  10. 청구항 7에 있어서,
    상기 피조작체는, 선회동작 가능한 건설기계이고,
    상기 적어도 3개의 촬상수단은, 상기 건설기계의 좌우의 측면과 후면에 장착되는 것
    을 특징으로 하는 화상생성장치.
  11. 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서,
    청구항 1에 기재된 화상생성장치와,
    상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부
    를 구비하는 것을 특징으로 하는 조작지원 시스템.
  12. 청구항 11에 있어서,
    상기 표시부는, 상기 피조작체를 이동시키고 혹은 조작하기 위한 조작실에 설치되는 것
    을 특징으로 하는 조작지원 시스템.
  13. 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서,
    청구항 7에 기재된 화상생성장치와,
    상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부
    를 구비하는 것을 특징으로 하는 조작지원 시스템.
  14. 청구항 13에 있어서,
    상기 표시부는, 상기 피조작체를 이동시키고 혹은 조작하기 위한 조작실에 설치되는 것
    을 특징으로 하는 조작지원 시스템.
KR1020127029551A 2010-04-12 2011-04-08 화상생성장치 및 조작지원 시스템 KR101407806B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-091659 2010-04-12
JP2010091659A JP5362639B2 (ja) 2010-04-12 2010-04-12 画像生成装置及び操作支援システム
PCT/JP2011/058896 WO2011129274A1 (ja) 2010-04-12 2011-04-08 画像生成装置及び操作支援システム

Publications (2)

Publication Number Publication Date
KR20130018868A true KR20130018868A (ko) 2013-02-25
KR101407806B1 KR101407806B1 (ko) 2014-06-17

Family

ID=44798650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029551A KR101407806B1 (ko) 2010-04-12 2011-04-08 화상생성장치 및 조작지원 시스템

Country Status (6)

Country Link
US (1) US9233643B2 (ko)
EP (1) EP2560383B1 (ko)
JP (1) JP5362639B2 (ko)
KR (1) KR101407806B1 (ko)
CN (1) CN102792684B (ko)
WO (1) WO2011129274A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5888956B2 (ja) 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
JP5808679B2 (ja) * 2012-01-23 2015-11-10 住友重機械工業株式会社 画像生成装置及び操作支援システム
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5917371B2 (ja) * 2012-11-08 2016-05-11 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
WO2014073282A1 (ja) * 2012-11-08 2014-05-15 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP6073182B2 (ja) * 2013-04-26 2017-02-01 住友重機械工業株式会社 舗装機械用画像生成装置及び舗装機械用操作支援システム
DE102012223588A1 (de) * 2012-12-18 2014-06-18 Robert Bosch Gmbh Vorrichtung zur erweiterten Darstellung eines Umgebungsbereichs eines Fahrzeugs
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
WO2017216945A1 (ja) * 2016-06-17 2017-12-21 株式会社前田製作所 移動式クレーン
CN110352281B (zh) * 2017-03-31 2022-03-11 住友建机株式会社 挖土机、挖土机的显示装置及挖土机的图像显示方法
US11136745B2 (en) * 2017-06-30 2021-10-05 Komatsu Ltd. Image pick-up apparatus, earth-moving machine and image pick-up system
CN111707668B (zh) * 2020-05-28 2023-11-17 武汉光谷卓越科技股份有限公司 基于序列图像的隧道检测及图像处理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07309577A (ja) * 1994-05-17 1995-11-28 Ohbayashi Corp クレーン用テレビモニタ装置
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US7098914B1 (en) 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
ATE333192T1 (de) * 1999-10-12 2006-08-15 Matsushita Electric Ind Co Ltd Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP2003223633A (ja) * 2002-01-29 2003-08-08 Sharp Corp 全方位視覚システム
JP4332028B2 (ja) * 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP4902368B2 (ja) * 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
PL2562578T3 (pl) * 2007-03-16 2017-12-29 Kollmorgen Corporation System do panoramicznego przetwarzania obrazu
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP2010091659A (ja) 2008-10-06 2010-04-22 Ricoh Co Ltd ローラクリーニング装置、帯電装置、プロセスカートリッジ及び画像形成装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Also Published As

Publication number Publication date
JP2011223411A (ja) 2011-11-04
EP2560383A4 (en) 2016-09-07
EP2560383B1 (en) 2021-11-10
EP2560383A1 (en) 2013-02-20
CN102792684A (zh) 2012-11-21
US9233643B2 (en) 2016-01-12
JP5362639B2 (ja) 2013-12-11
WO2011129274A1 (ja) 2011-10-20
KR101407806B1 (ko) 2014-06-17
CN102792684B (zh) 2015-06-03
US20130033493A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
KR101407806B1 (ko) 화상생성장치 및 조작지원 시스템
KR101475583B1 (ko) 화상생성장치 및 조작지원 시스템
KR101385914B1 (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
KR101418664B1 (ko) 화상생성장치 및 조작지원 시스템
JP5497617B2 (ja) 画像生成装置及び操作支援システム
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP2018035669A (ja) ショベル及びショベルの周囲画像生成装置
JP5808679B2 (ja) 画像生成装置及び操作支援システム
JP6246185B2 (ja) ショベル
JP2014236232A (ja) 画像生成装置及び操作支援システム
JP2014123955A (ja) ショベル

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180518

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 6