KR101418664B1 - 화상생성장치 및 조작지원 시스템 - Google Patents

화상생성장치 및 조작지원 시스템 Download PDF

Info

Publication number
KR101418664B1
KR101418664B1 KR1020127029554A KR20127029554A KR101418664B1 KR 101418664 B1 KR101418664 B1 KR 101418664B1 KR 1020127029554 A KR1020127029554 A KR 1020127029554A KR 20127029554 A KR20127029554 A KR 20127029554A KR 101418664 B1 KR101418664 B1 KR 101418664B1
Authority
KR
South Korea
Prior art keywords
image
coordinates
plane
spatial model
output image
Prior art date
Application number
KR1020127029554A
Other languages
English (en)
Other versions
KR20130018869A (ko
Inventor
요시히사 기요타
Original Assignee
스미도모쥬기가이고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미도모쥬기가이고교 가부시키가이샤 filed Critical 스미도모쥬기가이고교 가부시키가이샤
Publication of KR20130018869A publication Critical patent/KR20130018869A/ko
Application granted granted Critical
Publication of KR101418664B1 publication Critical patent/KR101418664B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

화상생성장치(100)는, 선회동작 가능한 피조작체(60)에 장착된 촬상부(2)가 촬상하여 얻어지는 입력화상에 근거하여 출력화상을 생성한다. 좌표 대응부(10)는, 피조작체를 둘러싸도록 배치되며, 중심축을 가지는 기둥형상의 공간모델(MD)에 있어서의 좌표와, 입력화상이 위치하는 입력화상 평면(R4)에 있어서의 좌표를 대응시킨다. 출력화상 생성부(11)는, 기둥형상의 공간모델에 있어서의 좌표를 통하여, 입력화상 평면(R4)에 있어서의 좌표의 값과 출력화상이 위치하는 출력화상 평면(R5)에 있어서의 좌표의 값을 대응시켜서 출력화상을 생성한다. 기둥형상의 공간모델(MD)은, 촬상부(2)의 광축이 기둥형상의 공간모델(MD)의 중심축과 교차하도록 배치된다.

Description

화상생성장치 및 조작지원 시스템{Image generation device and operation support system}
본 발명은, 선회동작 가능한 피(被)조작체에 장착된 촬상수단이 촬상한 입력화상에 근거하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템에 관한 것이다.
카메라로부터의 입력화상을, 3차원 공간 상의 소정의 공간모델에 매핑하고, 그 매핑한 공간데이타를 참조하면서, 그 3차원 공간에 있어서의 임의의 가상시점(視點)으로부터 본 시점(視點)변환화상을 생성하여 표시하는 화상생성장치가 알려져 있다(예컨대, 특허문헌 1 참조).
특허문헌 1에 개시된 화상생성장치는, 차량에 탑재된 카메라가 촬상한 화상을, 그 차량을 둘러싸는 복수의 평면 또는 곡면으로 구성되는 입체적인 공간모델에 투영한다. 화상생성장치는, 그 공간모델에 투영된 화상을 이용하여, 시점변환화상을 생성하고, 생성한 시점변환화상을 운전자에 대하여 표시한다. 시점변환화상이란, 노면(路面)을 바로 위에서 본 상태를 가상적으로 비추는 노면화상과 수평방향을 비추는 수평화상을 조합시킨 화상이다. 이로써, 화상생성장치는, 차량을 운전하는 운전자가 그 시점변환화상을 보았을 때에, 그 시점변환화상에 있어서의 물체와, 차 밖에 있는 실제의 물체를 위화감 없이 대응시킬 수 있다.
일본국 특허 제3286306호 명세서
특허문헌 1에 기재된 화상생성장치는, 차량에 탑재되는 것을 전제로 하고 있으며, 선회동작이 가능한 건설기계 등 피조작체에의 탑재를 상정하고 있지 않다. 이로 인하여, 특허문헌 1에 기재된 화상생성장치는, 선회동작시의 피조작체 주변의 감시에 적합한 시점변환화상을 생성할 수 없다.
그래서, 본 발명은, 선회동작시의 주변감시에 적합한 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시형태에 의하면, 선회동작 가능한 피조작체에 장착된 촬상부가 촬상하여 얻어지는 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서, 상기 피조작체를 둘러싸도록 배치되는 공간모델로서, 중심축을 가지는 기둥형상의 공간모델에 있어서의 좌표와, 상기 입력화상이 위치하는 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와, 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 출력화상 생성부를 구비하고, 상기 기둥형상의 공간모델은, 상기 촬상부의 광축(光軸)이 상기 기둥형상의 공간모델의 중심축과 교차하도록 배치되는 것을 특징으로 하는 화상생성장치가 제공된다.
본 발명의 다른 실시형태에 의하면, 선회동작 가능한 피조작체에 장착된 복수의 촬상부가 촬상하여 얻어지는 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서, 상기 피조작체를 둘러싸도록 배치되는 공간모델로서, 중심축을 가지는 기둥형상의 공간모델에 있어서의 좌표와, 상기 입력화상이 위치하는 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와, 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 출력화상 생성부를 구비하고, 상기 기둥형상의 공간모델은, 상기 복수의 촬상부의 각각의 광학(光學) 중심으로부터 상기 기둥형상의 공간모델의 중심축에 내린 수선(垂線)의 각각이 서로 수직이 되도록 배치되는 것을 특징으로 하는 화상생성장치가 제공된다.
본 발명의 또 다른 실시형태에 의하면, 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서, 상술한 화상생성장치와, 상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부를 구비하는 것을 특징으로 하는 조작지원 시스템이 제공된다.
본 발명에 의하면, 선회동작시의 주변감시에 적합한 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템을 제공할 수 있다.
[도 1] 본 발명의 일 실시예에 의한 화상생성장치의 개략 구성을 나타내는 블록도이다.
[도 2] 화상생성장치가 탑재되는 쇼벨의 측면도이다.
[도 3a] 입력화상이 투영되는 공간모델의 측면도이다.
[도 3b] 도 3a에 나타내는 공간모델의 평면도이다.
[도 4] 공간모델과 처리대상화상 평면 사이의 관계를 나타내는 사시도이다.
[도 5] 입력화상 평면 상의 좌표와 공간모델 상의 좌표의 대응을 설명하기 위한 도면이다.
[도 6a] 통상(通常) 사영(射影)을 채용한 카메라의 입력화상 평면 상의 좌표와 공간모델(MD) 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6b] 공간모델(MD)의 곡면영역 상의 좌표와 처리대상화상 평면 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6c] 처리대상화상 평면 상의 좌표와, 통상 사영을 채용하는 가상카메라의 출력화상 평면 상의 좌표 사이의 대응관계를 나타내는 도면이다.
[도 6d] 카메라, 가상카메라, 공간모델(MD)의 평면영역 및 곡면영역, 및, 처리대상화상 평면의 상호의 위치관계를 나타내는 도면이다.
[도 7a] XZ 평면 상에 위치하는 평행선군(群)과 처리대상화상 평면 사이에서 각도(β)가 형성되는 상태를 나타내는 도면이다.
[도 7b] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β1)가 형성되는 상태를 나타내는 도면이다.
[도 8a] XZ 평면 상에 위치하는 보조선군(群) 모두가 Z축 상의 시점(始點)으로부터 처리대상화상 평면으로 향하여 뻗어 있는 상태를 나타내는 도면이다.
[도 8b] 보조선군 모두가 Z축 상의 시점으로부터 처리대상화상 평면으로 향하여 뻗어 있는 상태를 나타내는 도면이다.
[도 9a] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β)가 형성된 상태를 나타내는 도면이다.
[도 9b] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β2)가 형성된 상태를 나타내는 도면이다.
[도 10] XZ 평면 상에 위치하는 평행선군과 처리대상화상 평면 사이에서 각도(β)가 형성된 상태를 나타내는 도면이다.
[도 11] 처리대상화상 생성처리 및 출력화상 생성처리의 플로차트이다.
[도 12a] 하나의 봉(棒)형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 12b] 하나의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 12c] 하나의 봉형상의 물체가 존재하는 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 13a] 두 개의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 13b] 두 개의 봉형상의 물체가 존재하는 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 13c] 두 개의 봉형상의 물체가 존재하는 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 14a] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 평면도이다.
[도 14b] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서, 카메라와 공간모델 사이의 위치관계를 설명하기 위한 사시도이다.
[도 14c] 두 개의 봉형상의 물체가 존재하는 다른 경우에 있어서 생성된 처리대상화상을 설명하기 위한 평면도이다.
[도 15] 출력화상의 표시예를 나타내는 도면이다.
이하, 도면을 참조하면서, 본 발명의 실시형태에 대하여 설명한다.
도 1은, 본 발명의 일 실시형태에 의한 화상생성장치의 개략 구성을 개략적으로 나타내는 블록도이다.
일 실시형태에 의한 화상생성장치(100)는, 예컨대, 건설기계에 탑재된 카메라(2)가 촬영한 입력화상에 근거하여 출력화상을 생성하고, 그 출력화상을 운전자에게 제시한다. 도 1에 나타내는 바와 같이, 화상생성장치(100)는, 제어부(1), 카메라(2), 입력부(3), 기억부(4), 및 표시부(5)를 포함한다.
도 2는, 화상생성장치(100)가 탑재되는 쇼벨(60)의 측면도이다. 쇼벨(60)은, 크롤러식 하부주행체(61), 선회기구(62), 및, 상부선회체(63)를 가진다. 상부선회체(63)는, 하부주행체(61) 상에 선회기구(62)를 통하여, 선회축(PV)의 둘레에서 선회 가능하게 탑재되어 있다.
상부선회체(63)의 전방 좌측부에 캡(운전실)(64)이 설치되고, 전방 중앙부에는, 굴착 어태치먼트(E)가 설치된다. 상부선회체(63)의 우측면 및 후면에 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))가 설치된다. 캡(64) 속의 운전자가 시인(視認)하기 쉬운 위치에는 표시부(5)가 설치되어 있다.
다음으로, 화상생성장치(100)의 각 구성요소에 대하여 설명한다.
제어부(1)는, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), NVRAM(Non-Volatile Random Access Memory) 등을 구비한 컴퓨터를 포함한다. 예컨대, 후술하는 좌표 대응부(10) 및 출력화상 생성부(11)의 각각에 대응하는 프로그램이 ROM이나 NVRAM에 저장된다. CPU는, 일시기억 영역으로서 RAM을 이용하면서, 각 수단에 대응하는 프로그램을 실행하여 처리를 행한다.
카메라(2)는, 쇼벨(60)의 주변을 비추는 입력화상을 취득하기 위한 장치이며, 우측방 카메라(2R) 및 후방 카메라(2B)를 포함한다. 우측방 카메라(2R) 및 후방 카메라(2B)는, 예컨대, 캡(64)에 있는 운전자의 사각(死角)이 되는 영역을 촬영할 수 있도록 상부선회체(63)의 우측면 및 후면에 장착된다(도 2 참조). 우측방 카메라(2R) 및 후방 카메라(2B)의 각각은, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상소자를 구비하고 있다. 다만, 카메라(2)는, 상부선회체(63)의 우측면 및 후면 이외의 위치(예컨대, 전면 및 좌측면임)에 장착되어 있어도 좋고, 넓은 범위를 촬영할 수 있도록 광각렌즈 또는 어안렌즈(fish-eye lens)가 장착되어 있어도 좋다.
카메라(2)는, 제어부(1)로부터의 제어신호에 따라서 입력화상을 취득하고, 취득한 입력화상을 제어부(1)에 대하여 출력한다. 다만, 카메라(2)는, 어안렌즈 또는 광각렌즈를 이용하여 입력화상을 취득한 경우에는, 그들 렌즈를 이용함으로써 생기는 외관 상의 왜곡이나 틸팅을 보정한 보정완료된 입력화상을 제어부(1)에 대하여 출력한다. 다만, 카메라(2)는, 취득한 입력화상을 보정하지 않고, 그대로 제어부(1)에 대하여 출력하여도 좋다. 그 경우에는, 제어부(1)가 외관 상의 왜곡이나 틸팅을 보정한다.
입력부(3)는, 조작자가 화상생성장치(100)에 대하여 각종 정보를 입력할 수 있도록 하기 위한 장치이며, 예컨대, 터치패널, 버튼스위치, 포인팅 디바이스, 키보드 등을 포함한다.
기억부(4)는, 각종 정보를 기억하기 위한 장치이며, 예컨대, 하드디스크, 광학디스크, 또는 반도체 메모리 등을 포함한다.
표시부(5)는, 화상정보를 표시하기 위한 장치이며, 예컨대, 건설기계의 캡(64)(도 2 참조) 속에 설치된 액정디스플레이 또는 프로젝터를 포함한다. 표시부(5)는, 제어부(1)가 출력하는 각종 화상을 표시한다.
또한, 화상생성장치(100)는, 입력화상에 근거하여 처리대상화상을 생성하고, 그 처리대상화상에 화상변환처리를 실시함으로써 주변장해물과의 위치관계나 거리감을 직관적으로 파악할 수 있도록 하는 출력화상을 생성한 다음에, 그 출력화상을 운전자에게 제시하여도 좋다.
「처리대상화상」은, 입력화상에 근거하여 생성되는 화상변환처리(예컨대, 스케일변환, 아핀(affine)변환, 왜곡변환, 시점변환처리)의 대상이 되는 화상이다. 예컨대, 지표를 상방(上方)으로부터 촬상하는 카메라에 의한 입력화상으로서 그 넓은 화각(畵角)에 의하여 수평방향의 화상(예컨대, 하늘 부분임)을 포함하는 입력화상을 화상변환처리에서 이용하는 경우가 있다. 그와 같은 경우에는, 그 수평방향의 화상이 부자연스럽게 표시되지 않도록(예컨대, 하늘 부분이 지표에 있는 것으로서 취급되지 않도록), 그 입력화상을 소정의 공간모델에 투영한다. 그리고, 공간모델에 투영된 투영화상을 별도의 2차원 평면에 재투영함으로써 화상변환처리에 적합한 화상을 얻을 수 있다. 다만, 처리대상화상은, 화상변환처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 좋다.
「공간모델」은, 입력화상의 투영대상이며, 적어도, 처리대상화상이 위치하는 평면인 처리대상화상 평면 이외의 평면 또는 곡면(예컨대, 처리대상화상 평면에 평행인 평면, 또는, 처리대상화상 평면과의 사이에서 각도를 형성하는 평면 또는 곡면)을 포함한다.
다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않고, 그 공간모델에 투영된 투영화상에 화상변환처리를 실시함으로써 출력화상을 생성하여도 좋다. 또한, 투영화상은, 화상변환처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 좋다.
도 3a, 도 3b는, 입력화상이 투영되는 공간모델(MD)의 일례를 나타내는 도면이다. 도 3a는, 쇼벨(60)을 측방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD) 사이의 관계를 나타내고, 도 3b는, 쇼벨(60)을 상방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD) 사이의 관계를 나타낸다.
도 3a, 도 3b에 나타나는 바와 같이, 공간모델(MD)은 반원통형상을 가진다. 반원통형상의 바닥면 내부는 평면영역(R1)을 포함하고, 측면 내부는 곡면영역(R2)을 포함한다.
도 4는, 공간모델(MD)과 처리대상화상 평면 사이의 관계의 일례를 나타내는 도면이다. 도 4에 있어서, 처리대상화상 평면(R3)은, 예컨대, 공간모델(MD)의 평면영역(R1)을 포함하는 평면이다. 다만, 도 4에서는 명확화를 위하여, 공간모델(MD)을, 도 3에서 나타내는 바와 같은 반원통형상과는 달리, 원통형상으로 나타내고 있지만, 공간모델(MD)은, 반원통형상 및 원통형상 중 어느 것이더라도 좋다. 이는, 이후의 도면에 있어서도 마찬가지이다. 또한, 처리대상화상 평면(R3)은, 상술한 바와 같이, 공간모델(MD)의 평면영역(R1)을 포함하는 원형 영역이더라도 좋고, 공간모델(MD)의 평면영역(R1)을 포함하지 않는 링형상 영역이더라도 좋다.
다음으로, 제어부(1)가 가지는 좌표 대응부(10) 및 출력화상 생성부(11)에 대하여 설명한다.
좌표 대응부(10)는, 카메라(2)가 촬상한 입력화상이 위치하는 입력화상 평면 상의 좌표(입력좌표라 칭하는 경우도 있음)와, 공간모델(MD) 상의 좌표(공간좌표라 칭하는 경우도 있음)와, 처리대상화상 평면(R3) 상의 좌표(투영좌표라 칭하는 경우도 있음)를 대응시키기 위하여 설치되어 있다. 예컨대, 미리 설정된, 혹은, 입력부(3)를 통하여 입력되는, 카메라(2)의 광학중심, 초점거리, CCD사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영방식 등의 카메라(2)에 관한 각종 파라미터와, 미리 결정된, 입력화상 평면, 공간모델(MD), 및 처리대상화상 평면(R3)의 상호의 위치관계에 근거하여, 입력화상 평면 상의 좌표와, 공간모델(MD) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 그들의 대응관계는, 기억부(4)의 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)에 저장된다.
다만, 좌표 대응부(10)는, 처리대상화상을 생성하지 않는 경우에는, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표의 대응, 및, 그 대응관계의 공간모델·처리대상화상 대응 맵(41)에의 저장을 생략한다.
출력화상 생성부(11)는, 출력화상을 생성하기 위한 수단이다. 출력화상 생성부(11)는, 예컨대, 처리대상화상에 스케일변환, 아핀변환, 또는 왜곡변환을 실시함으로써, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응시킨다. 대응관계는 기억부(4)의 처리대상화상·출력화상대응 맵(42)에 저장된다. 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
또한, 출력화상 생성부(11)는, 미리 설정된, 혹은, 입력부(3)를 통하여 입력되는, 가상카메라의 광학중심, 초점거리, CCD사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영방식 등의 각종 파라미터에 근거하여, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응시킨다. 대응관계는 기억부(4)의 처리대상화상·출력화상대응 맵(42)에 기억된다. 그리고, 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
다만, 출력화상 생성부(11)는, 가상카메라의 개념을 이용하지 않고, 처리대상화상의 스케일을 변경하여 출력화상을 생성하도록 하여도 좋다.
또한, 출력화상 생성부(11)는, 처리대상화상을 생성하지 않는 경우에는, 실시한 화상변환처리에 따라서 공간모델(MD) 상의 좌표와 출력화상 평면 상의 좌표를 대응시킨다. 그리고, 출력화상 생성부(11)는, 입력화상·공간모델 대응 맵(40)을 참조하면서, 출력화상에 있어서의 각 화소의 값(예컨대, 휘도값, 색상값, 채도값 등임)과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다. 이 경우, 출력화상 생성수단(11)은, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면 상의 좌표의 대응, 및, 그 대응관계의 처리대상화상·출력화상대응 맵(42)에의 저장을 생략한다.
다음으로, 좌표 대응부(10) 및 출력화상 생성부(11)에 의하여 행하여지는 처리의 일례에 대하여 설명한다.
좌표 대응부(10)는, 예컨대, 해밀턴(William Hamilton)의 4원수(四元數: Quaternion)를 이용하여, 입력화상 평면 상의 입력좌표와 공간모델 상의 공간좌표를 대응시킬 수 있다.
도 5는, 입력화상 평면 상의 좌표와 공간모델 상의 좌표의 대응을 설명하기 위한 도면이다. 카메라(2)의 입력화상 평면은, 카메라(2)의 광학중심(C)을 원점으로 하는 UVW 직교좌표계에 있어서의 일평면(一平面)으로서 표현되고, 공간모델은, XYZ 직교좌표계에 있어서의 입체면으로서 표현된다.
제일 먼저, 좌표 대응부(10)는, 공간모델 상의 좌표(XYZ 좌표계 상의 좌표)를 입력화상 평면 상의 좌표(UVW 좌표계 상의 좌표)로 변환하기 위하여, XYZ 좌표계의 원점을 광학중심(C)(UVW 좌표계의 원점)으로 병행 이동시킨 다음에, X축을 U축에, Y축을 V축에, Z축을 -W축에 각각 일치시키도록 XYZ 좌표계를 회전시킨다. 여기서, 부호 「-」는 방향이 반대인 것을 의미한다. 이는, UVW 좌표계가 카메라 전방을 +W방향으로 하고, XYZ 좌표계가 연직 하방(下方)을 -Z방향으로 하고 있는 것에 기인한다.
카메라(2)가 복수 존재하는 경우, 카메라(2)의 각각이 개별의 UVW 좌표계를 가진다. 이로써, 좌표 대응부(10)는, 복수의 UVW 좌표계의 각각에 대하여, XYZ 좌표계를 병행 이동시키고 또한 회전시킨다.
상술한 변환은, 카메라(2)의 광학중심(C)이 XYZ 좌표계의 원점이 되도록 XYZ 좌표계를 병행 이동시킨 후에, Z축이 -W축에 일치하도록 회전시키고, 또한, X축이 U축에 일치하도록 회전시킴으로써 실현된다. 따라서, 좌표 대응부(10)는, 이 변환을 해밀턴의 4원수로 기술(記述)함으로써, 그들 2회의 회전을 1회의 회전 연산으로 정리한다.
그런데, 어떤 벡터(A)를 다른 벡터(B)에 일치시키기 위한 회전은, 벡터(A)와 벡터(B)가 나오는 면의 법선(法線)을 축으로 하여 벡터(A)와 벡터(B)가 형성하는 각도만큼 회전시키는 처리에 상당한다. 회전시키는 각도를 θ라 하면, 벡터(A)와 벡터(B)의 내적(內積)으로부터, 각도(θ)는 이하와 같이 표현된다.
Figure 112012092526438-pct00001
또한, 벡터(A)와 벡터(B)가 나오는 면의 법선의 단위벡터(N)는, 벡터(A)와 벡터(B)의 외적(外積)으로부터 이하와 같이 표현된다.
Figure 112012092526438-pct00002
다만, 4원수는, i, j, k를 각각 허수단위라 한 경우, 이하의 조건을 충족시키는 초(超)복소수이다.
Figure 112012092526438-pct00003
본 실시예에 있어서, 4원수(Q)는, 실(實)성분을 t, 순허(純虛)성분을 a, b, c라 하여, 이하와 같이 표현된다.
Figure 112012092526438-pct00004
따라서, 4원수(Q)의 공역(共役) 4원수는, 이하와 같이 표현된다.
Figure 112012092526438-pct00005
4원수(Q)는, 실성분(t)를 0(제로)로 하면서, 순허성분(a, b, c)으로 3차원 벡터(a, b, c)를 표현할 수 있다. 또한, t, a, b, c의 각 성분에 의하여 임의의 벡터를 축으로 한 회전동작을 표현할 수도 있다.
또한, 4원수(Q)는, 연속하는 복수 회의 회전동작을 통합하여 1회의 회전동작으로서 표현할 수 있다. 예컨대, 임의의 점(S)(sx, sy, sz)을, 임의의 단위벡터(C)(l,m, n)를 축으로 하면서 각도(θ)만큼 회전시켰을 때의 점(D)(ex, ey, ez)을 이하와 같이 표현할 수 있다.
Figure 112012092526438-pct00006
여기서, 본 실시예에 있어서, Z축을 -W축에 일치시키는 회전을 나타내는 4원수를 Qz라 하면, XYZ 좌표계에 있어서의 X축 상의 점(X)은, 점(X')으로 이동된다. 따라서, 점(X')은 이하와 같이 표현된다.
Figure 112012092526438-pct00007
또한, 본 실시예에 있어서, X축 상에 있는 점(X')과 원점을 연결하는 선을 U축에 일치시키는 회전을 나타내는 4원수를 Qx라 하면, 「Z축을 -W축에 일치시키고, 또한, X축을 U축에 일치시키는 회전」을 나타내는 4원수(R)는, 이하와 같이 표현된다.
Figure 112012092526438-pct00008
이상에 의하여, 공간모델(XYZ 좌표계) 상의 임의의 좌표(P)를 입력화상 평면(UVW 좌표계) 상의 좌표에서 표현하였을 때의 좌표(P')는, 이하와 같이 표현된다.
Figure 112012092526438-pct00009
4원수(R)가 카메라(2)의 각각에서 불변이므로, 좌표 대응부(10)는, 이후, 이 연산을 실행하는 것만으로 공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환할 수 있다.
공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환한 후, 좌표 대응부(10)는, 카메라(2)의 광학중심(C)(UVW 좌표계 상의 좌표)과 공간모델 상의 임의의 좌표(P)를 UVW 좌표계에서 표현한 좌표(P')를 연결하는 선분(CP')과, 카메라(2)의 광축(G)이 형성하는 입사각(α)을 산출한다.
또한, 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4)(예컨대, CCD면)에 평행이고 또한 좌표(P')를 포함하는 평면(H)에 있어서의, 평면(H)과 광축(G)의 교점(E)과 좌표(P')를 연결하는 선분(EP')과, 평면(H)에 있어서의 U'축이 형성하는 편각(φ), 및 선분(EP')의 길이를 산출한다.
카메라의 광학계는, 통상, 상(像) 높이(h)가 입사각(α) 및 초점거리(f)의 함수로 되어 있다. 따라서, 좌표 대응부(10)는, 통상 사영(h=ftanα), 정(正)사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등(等)입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등의 적절한 사영방식을 선택하여 상 높이(h)를 산출한다.
그 후, 좌표 대응부(10)는, 산출한 상 높이(h)를 편각(φ)에 의하여 UV 좌표계 상의 U성분 및 V성분으로 분해하고, 입력화상 평면(R4)의 1화소당의 화소사이즈에 상당하는 수치로 나눈다. 이로써, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표(P)(P')와 입력화상 평면(R4) 상의 좌표를 대응시킬 수 있다.
다만, 입력화상 평면(R4)의 U축방향에 있어서의 1화소당의 화소사이즈를 aU라 하고, 입력화상 평면(R4)의 V축방향에 있어서의 1화소당의 화소사이즈를 aV라 하면, 공간모델(MD) 상의 좌표(P)(P')에 대응하는 입력화상 평면(R4) 상의 좌표(u, v)는, 이하와 같이 표현된다.
Figure 112012092526438-pct00010
Figure 112012092526438-pct00011
이와 같이 하여, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표와, 카메라마다 존재하는 1 또는 복수의 입력화상 평면(R4) 상의 좌표를 대응시키고, 또한, 공간모델(MD) 상의 좌표, 카메라 식별자, 및 입력화상 평면(R4) 상의 좌표를 관련시켜서, 대응관련을 입력화상·공간모델 대응 맵(40)에 저장한다.
좌표 대응부(10)는, 4원수를 이용하여 좌표의 변환을 연산하므로, 오일러각(Euler angle)을 이용하여 좌표의 변환을 연산하는 경우와 달리, 짐벌록(gimbal lock)을 발생시키지 않는다는 이점을 제공한다. 그러나, 좌표 대응부(10)는, 4원수를 이용하여 좌표의 변환을 연산하는 것에 한정되지는 않으며, 오일러각을 이용하여 좌표의 변환을 연산하도록 하여도 좋다.
복수의 입력화상 평면(R4) 상의 좌표로의 대응이 가능한 경우, 좌표 대응부(10)는, 공간모델(MD) 상의 좌표(P)(P')를, 그 입사각(α)이 가장 작은 카메라에 관한 입력화상 평면(R4) 상의 좌표에 대응시키도록 하여도 좋고, 혹은, 조작자가 선택한 입력화상 평면(R4) 상의 좌표에 대응시키도록 하여도 좋다.
다음으로, 공간모델(MD) 상의 좌표 중, 곡면영역(R2) 상의 좌표(Z축방향의 성분을 가지는 좌표)를, XY 평면 상에 있는 처리대상화상 평면(R3)에 재투영하는 처리에 대하여 설명한다.
도 6a, 도 6b는, 좌표 대응부(10)에 의한 좌표 간의 대응을 설명하기 위한 도면이다. 도 6a는, 일례로서 통상 사영(h=ftanα)을 채용하는 카메라(2)의 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4) 상의 좌표와 그 좌표에 대응하는 공간모델(MD) 상의 좌표를 연결하는 선분의 각각이 카메라(2)의 광학중심(C)을 통과하도록 하여, 양 좌표를 대응시킨다.
도 6a에 나타내는 예에서는, 좌표 대응부(10)는, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1)를 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)에 대응시키고, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K2)를 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)에 대응시킨다. 이때, 선분(K1-L1) 및 선분(K2-L2)은 모두 카메라(2)의 광학중심(C)을 통과한다.
다만, 카메라(2)가 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등)을 채용한 경우, 좌표 대응부(10)는, 각각의 사영방식에 따라서, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1, K2)를 공간모델(MD) 상의 좌표(L1, L2)에 대응시킨다.
구체적으로는, 좌표 대응부(10)는, 소정의 함수(예컨대, 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등)에 근거하여, 입력화상 평면 상의 좌표와 공간모델(MD) 상의 좌표를 대응시킨다. 이 경우, 선분(K1-L1) 및 선분(K2-L2)이 카메라(2)의 광학중심(C)을 통과하지는 않는다.
도 6b는, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 좌표 대응부(10)는, XZ 평면 상에 위치하는 평행선군(群)(PL)으로서, 처리대상화상 평면(R3)과의 사이에서 각도(β)를 형성하는 평행선군(PL)을 도입하고, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표가 함께 평행선군(PL) 중 하나를 타도록 하여, 양 좌표를 대응시킨다.
도 6b에 나타내는 예에서는, 좌표 대응부(10)는, 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)와 처리대상화상 평면(R3) 상의 좌표(M2)가 공통의 평행선을 타는 것으로 하여, 양 좌표를 대응시킨다.
좌표 대응부(10)는, 공간모델(MD)의 평면영역(R1) 상의 좌표를 곡면영역(R2) 상의 좌표와 마찬가지로 평행선군(PL)을 이용하여 처리대상화상 평면(R3) 상의 좌표에 대응시킬 수 있다. 다만, 도 6b에 나타내는 예에서는, 평면영역(R1)과 처리대상화상 평면(R3)이 공통의 평면으로 되어 있으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)와 처리대상화상 평면(R3) 상의 좌표(M1)는 똑같은 좌표값을 가진다.
이와 같이 하여, 좌표 대응부(10)는, 공간모델(MD) 상의 공간좌표와, 처리대상화상 평면(R3) 상의 투영좌표를 대응시키고, 또한, 공간모델(MD) 상의 좌표 및 처리대상화상(R3) 상의 좌표를 관련시켜서, 공간모델·처리대상화상 대응 맵(41)에 저장한다.
도 6c는, 처리대상화상 평면(R3) 상의 좌표와 일례로서 통상 사영(h=ftanα)을 채용하는 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표 사이의 대응관계를 나타내는 도면이다. 출력화상 생성부(11)는, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표를 연결하는 선분의 각각이 가상카메라(2V)의 광학중심(CV)을 통과하도록, 양 좌표를 대응시킨다.
도 6c에 나타내는 예에서는, 출력화상 생성부(11)는, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1)를 처리대상화상 평면(R3)(공간모델(MD)의 평면영역(R1)) 상의 좌표(M1)에 대응시키고, 또한, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N2)를 처리대상화상 평면(R3) 상의 좌표(M2)에 대응시킨다. 이때, 선분(M1-N1) 및 선분(M2-N2)은 모두 가상카메라(2V)의 광학중심(CV)을 통과한다.
가상카메라(2V)가 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등임)을 채용하고 있는 경우, 출력화상 생성부(11)는, 각각의 사영방식에 따라서, 가상카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1, N2)를 처리대상화상 평면(R3) 상의 좌표(M1, M2)에 대응시킨다.
구체적으로는, 출력화상 생성부(11)는, 소정의 함수(예컨대, 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등)에 근거하여, 출력화상 평면(R5) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 이 경우, 선분(M1-N1) 및 선분(M2-N2)이 가상카메라(2V)의 광학중심(CV)을 통과하지는 않는다.
이와 같이 하여, 출력화상 생성부(11)는, 출력화상 평면(R5) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응시키고, 또한, 출력화상 평면(R5) 상의 좌표 및 처리대상화상(R3) 상의 좌표를 관련시켜서 처리대상화상·출력화상대응 맵(42)에 저장한다. 그리고, 출력화상 생성부(11)는, 좌표 대응부(10)에 저장된 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련시켜서 출력화상을 생성한다.
다만, 도 6d는, 도 6a∼도 6c를 조합시킨 도면으로서, 카메라(2), 가상카메라(2V), 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2), 및, 처리대상화상 평면(R3)의 상호의 위치관계를 나타낸다.
다음으로, 도 7a, 도 7b를 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시키기 위하여 좌표 대응부(10)가 도입하는 평행선군(PL)의 작용에 대하여 설명한다.
도 7a는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이다. 도 7b는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β1)(β1＞β)가 형성되는 경우의 도면이다. 도 7a 및 도 7b에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La∼Ld)는, 처리대상화상 평면(R3) 상의 좌표(Ma∼Md)에 각각 대응한다. 도 7a에 있어서의 좌표(La∼Ld)의 간격은, 도 7b에 있어서의 좌표(La∼Ld)의 간격에 각각 동일하다. 다만, 설명을 간단히 하기 위하여 평행선군(PL)은 XZ 평면 상에 존재하는 것으로 하고 있지만, 실제로는, Z축 상의 모든 점으로부터 처리대상화상 평면(R3)으로 향하여 방사(放射)형상으로 뻗도록 존재한다. 다만, 이 경우의 Z축을 「재투영축」이라 칭한다.
도 7a 및 도 7b에 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma∼Md)의 간격은, 평행선군(PL)과 처리대상화상 평면(R3) 사이의 각도가 증대함에 따라서 선형(線形)적으로 감소한다. 즉, 좌표(Ma∼Md)의 간격은, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma∼Md)의 각각의 사이의 거리와는 관계없이 똑같이 감소한다. 한편, 도 7a, 도 7b에 나타내는 예에서는 처리대상화상 평면(R3) 상의 좌표군으로의 변환이 행하여지지 않으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표군의 간격은 변화하지 않는다.
이들 좌표군의 간격의 변화는, 출력화상 평면(R5)(도 6c 참조) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분만이 선형적으로 확대 혹은 축소되는 것을 의미한다.
다음으로, 도 8a, 도 8b를 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시키기 위하여 좌표 대응부(10)가 도입하는 평행선군(PL)의 대체예에 대하여 설명한다.
도 8a는, XZ 평면 상에 위치하는 보조선군(群)(AL) 모두가 Z축 상의 시점(始點)(T1)으로부터 처리대상화상 평면(R3)으로 향하여 뻗는 경우의 도면이다. 도 8b는, 보조선군(AL) 모두가 Z축 상의 시점(T2)(T2＞T1)으로부터 처리대상화상 평면(R3)으로 향하여 뻗는 경우의 도면이다. 도 8a 및 도 8b에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La∼Ld)는, 처리대상화상 평면(R3) 상의 좌표(Ma∼Md)에 각각 대응한다. 도 8a에 나타내는 예에서는, 좌표(Mc, Md)는, 처리대상화상 평면(R3)의 영역 밖이 되기 때문에 도시되어 있지 않다. 도 8a에 있어서의 좌표(La∼Ld)의 간격은, 도 8b에 있어서의 좌표(La∼Ld)의 간격에 각각 동일한 것으로 한다. 다만, 보조선군(AL)은, 설명의 편의상 목적을 위하여 XZ 평면 상에 존재하고 있다고 하고 있지만, 실제로는, Z축 상의 임의의 한점으로부터 처리대상화상 평면(R3)으로 향하여 방사형상으로 존재하고 있다. 다만, 도 7a, 도 7b에 나타내는 예와 마찬가지로, 이 경우의 Z축을 「재투영축」이라 칭한다.
도 8a 및 도 8b에 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma∼Md)의 간격은, 보조선군(AL)의 시점과 원점(O) 사이의 거리(높이)가 증대함에 따라서 비(非)선형적으로 감소한다. 즉, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma∼Md)의 각각의 사이의 거리가 클수록, 각각의 간격의 감소 폭이 커진다. 한편, 도 8a, 도 8b에 나타내는 예에서는 처리대상화상 평면(R3) 상의 좌표군으로의 변환이 행하여지지 않으므로, 공간모델(MD)의 평면영역(R1) 상의 좌표군의 간격은 변화하지 않는다.
이들 좌표군의 간격의 변화는, 평행선군(PL)일 때와 마찬가지로, 출력화상 평면(R5)(도 6c 참조) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분만이 비선형적으로 확대 혹은 축소되는 것을 의미한다.
이와 같이 하여, 화상생성장치(100)는, 공간모델(MD)의 평면영역(R1)에 투영된 화상에 대응하는 출력화상의 화상부분(예컨대, 노면화상)에 영향을 주지 않고, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 출력화상의 화상부분(예컨대, 수평화상)을 선형적으로 혹은 비선형적으로 확대 혹은 축소시킬 수 있다. 이로써, 쇼벨(60)의 근방의 노면화상(쇼벨(60)을 바로 위에서 보았을 때의 가상화상)에 영향을 주지 않고, 쇼벨(60)의 주위에 위치하는 물체(쇼벨(60)로부터 수평방향으로 주위를 보았을 때의 화상에 있어서의 물체)를 신속하게 또한 유연하게 확대 혹은 축소시킬 수 있어, 쇼벨(60)의 사각(死角)영역의 시인성을 향상시킬 수 있다.
다음으로, 도 9a, 도 9b 및 도 10을 참조하면서, 공간모델(MD)에 투영된 화상으로부터 직접적으로 출력화상을 생성하는 경우와, 공간모델(MD)에 투영된 화상을 처리대상화상에 재투영하고 그 재투영된 처리대상화상으로부터 출력화상을 생성하는 경우의 차이에 대하여 설명한다.
도 9a는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이고, 도 9b는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β2)(β2＜β)가 형성되는 경우의 도면이다. 도 9a에 있어서의 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2), 처리대상화상 평면(R3), 및, 통상 사영(h=ftanα)을 채용하는 가상카메라(2V)의 출력화상 평면(R5) 및 광학중심(CV)의 위치와, 도 9b의 각각은, 공통되는 것으로 한다.
도 9a 및 도 9b에 있어서, 평면영역(R1)을 포함하는 처리대상화상 평면(R3) 상의 좌표(M1)은, 출력화상 평면(R5) 상의 좌표(N1)에 대응하고, 곡면영역(R2) 상의 좌표(L2)는, 처리대상화상 평면(R3) 상의 좌표(M2), 및 출력화상 평면(R5) 상의 좌표(N2)에 대응한다. 거리(D1(D3))는, 출력화상 평면(R5)의 중심점(가상카메라(2V)의 광축(GV)과의 교점)과 좌표(N1) 사이의 X축 상의 거리를 나타낸다. 거리(D2(D4))는, 출력화상 평면(R5)의 중심점과 좌표(N2) 사이의 X축 상의 거리를 나타낸다.
도 9a 및 도 9b에 나타나는 바와 같이, 평행선군(PL)과 처리대상화상 평면(R3) 사이의 각도가 β일 때의 거리(D2)(도 9a 참조)는, 그 각도가 감소함에 따라서 증대하여, 그 각도가 β2일 때에 거리(D4)(도 9b 참조)가 된다. 그 각도가 β일 때의 거리(D1)(도 9a 참조)는, 그 각도의 변화에 관계없이 일정하며, 그 각도가 β2일 때의 거리(D3)(도 9b 참조)와 동일하다.
이와 같이 거리(D2)가 거리(D4)로 변화하는 것, 및, 거리(D1(D3))가 불변인 것은, 도 7a, 도 7b 및 도 8a, 도 8b를 이용하여 설명한 작용과 마찬가지로, 출력화상 평면(R5) 상의 화상부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상부분(예컨대, 수평화상임)만이 확대 혹은 축소되는 것을 의미한다.
다만, 공간모델(MD)에 투영된 화상에 근거하여 직접적으로 출력화상을 생성한 경우에는, 공간모델(MD)의 평면영역(R1)과 곡면영역(R2)을 따로따로 취급할 수 없기 때문에(따로따로 확대 축소 처리의 대상으로 할 수 없기 때문에), 곡면영역(R2)에 투영된 화상에 대응하는 출력화상 평면(R5) 상의 화상부분만을 확대 혹은 축소할 수는 없다.
도 10은, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3) 사이에서 각도(β)가 형성되는 경우의 도면이다. 도 10은, 통상 사영(h=ftanα)을 채용하는 가상카메라(2V)의 광학중심(CV)을 공간모델(MD)의 외측으로 이동시켰을 때의 상태(광학중심(CV)의 X좌표의 값을 평면영역(R1)의 반경보다도 크게 한 상태)를 나타낸다.
도 10에 나타나는 바와 같이, 출력화상 생성부(11)는, 처리대상화상 평면(R3)(평면영역(R1)) 상의 좌표(M1)와 출력화상 평면(R5) 상의 좌표(N1)를, 선분(M1-N1)이 광학중심(CV)을 통과하도록 대응시키고, 또한, 곡면영역(R2) 상의 좌표(L2)에 대응하는 처리대상화상 평면(R3) 상의 좌표(M2)와 출력화상 평면(R5) 상의 좌표(N2)를, 선분(M2-N2)이 광학중심(CV)을 통과하도록 대응시킨다. 이로써, 공간모델(MD)의 곡면영역(R2)에 투영된 화상으로부터 직접적으로 출력화상을 생성하는 경우와 같이, 원통의 측벽 외면을 보게 되어서 적절한 출력화상을 생성할 수 없다는 문제(공간모델(MD) 상의 좌표와 출력화상 평면(R5) 상의 좌표를 대응시킬 수 없다는 문제)가 일어나지 않아, 적절한 출력화상을 생성할 수 있다.
다만, 도 9a, 도 9b 및 도 10을 참조하면서, 통상 사영을 채용하는 가상카메라(2V)에 관하여 설명하였지만, 통상 사영 이외의 사영방식(예컨대, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등임)을 채용한 가상카메라(2V)에 대하여서도 마찬가지이다. 그 경우, 출력화상 생성부(11)는, 처리대상화상 평면(R3)(평면영역(R1)) 상의 좌표(M1)와 출력화상 평면(R5) 상의 좌표(N1)를, 선분(M1-N1)이 광학중심(CV)을 통과하도록(함수 h=ftanα에 따라서) 대응시키는 대신에, 각각의 사영방식에 대응하는 함수(예컨대, 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등임)에 따라서 출력화상 평면(R5) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응시킨다. 이 경우, 선분(M1-N1)은 가상카메라(2V)의 광학중심(CV)을 통과하지 않는다.
다음으로, 도 11을 참조하면서, 화상생성장치(100)가 처리대상화상을 생성하는 처리(이하, 「처리대상화상 생성처리」라 함), 및, 생성한 처리대상화상을 이용하여 출력화상을 생성하는 처리(이하, 「출력화상 생성처리」라 함)에 대하여 설명한다. 도 11은, 처리대상화상 생성처리(스텝 S1∼스텝 S3) 및 출력화상 생성처리(스텝 S4∼스텝 S6)의 플로차트이다. 카메라(2)(입력화상 평면(R4)), 공간모델(평면영역(R1) 및 곡면영역(R2)), 및, 처리대상화상 평면(R3)의 배치는 미리 결정되어 있는 것으로 한다.
제일 먼저, 제어부(1)는, 좌표 대응부(10)에 의하여, 처리대상화상 평면(R3) 상의 좌표와 공간모델(MD) 상의 좌표를 대응시킨다(스텝 S1).
구체적으로는, 좌표 대응부(10)는, 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도를 취득하여, 처리대상화상 평면(R3) 상의 1좌표로부터 뻗는 평행선군(PL) 중의 하나가 공간모델(MD)의 곡면영역(R2)과 교차하는 점을 산출한다. 그리고, 좌표 대응부(10)는, 산출한 점에 대응하는 곡면영역(R2) 상의 좌표를, 처리대상화상 평면(R3) 상의 그 1좌표에 대응하는 곡면영역(R2) 상의 1좌표로서 도출하고, 그 대응관계를 공간모델·처리대상화상 대응 맵(41)에 저장한다. 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도는, 기억부(4) 등에 미리 저장된 값이어도 좋고, 입력부(3)를 통하여 조작자가 동적(動的)으로 입력하는 값이어도 좋다.
처리대상화상 평면(R3) 상의 1좌표가 공간모델(MD)의 평면영역(R1) 상의 1좌표와 일치하는 경우에는, 좌표 대응부(10)는, 평면영역(R1) 상의 그 1좌표를, 처리대상화상 평면(R3) 상의 그 1좌표에 대응하는 1좌표로서 도출하고, 그 대응관계를 공간모델·처리대상화상 대응 맵(41)에 저장한다.
그 후, 제어부(1)는, 좌표 대응부(10)에 의하여, 상술한 처리에 의하여 도출된 공간모델(MD) 상의 1좌표와 입력화상 평면(R4) 상의 좌표를 대응시킨다(스텝 S2).
구체적으로는, 좌표 대응부(10)는, 통상 사영(h=ftanα)을 채용하는 카메라(2)의 광학중심(C)의 좌표를 취득하여, 공간모델(MD) 상의 1좌표로부터 뻗는 선분으로서, 광학중심(C)을 통과하는 선분이 입력화상 평면(R4)과 교차하는 점을 산출한다. 그리고, 좌표 대응부(10)는, 산출한 점에 대응하는 입력화상 평면(R4) 상의 좌표를, 공간모델(MD) 상의 그 1좌표에 대응하는 입력화상 평면(R4) 상의 1좌표로서 도출하고, 그 대응관계를 입력화상·공간모델 대응 맵(40)에 저장한다.
그 후, 제어부(1)는, 처리대상화상 평면(R3) 상의 모든 좌표를 공간모델(MD) 상의 좌표 및 입력화상 평면(R4) 상의 좌표에 대응시켰는지의 여부를 판정한다(스텝 S3). 아직 모든 좌표를 대응시키고 있지 않다고 판정된 경우에는(스텝 S3의 NO), 스텝 S1 및 스텝 S2의 처리가 반복된다.
한편, 제어부(1)는, 모든 좌표를 대응시켰다고 판정된 경우에는(스텝 S3의 YES), 처리대상화상 생성처리를 종료시킨 다음에 출력화상 생성처리를 개시시킨다. 이로써, 출력화상 생성부(11)는, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표를 대응시킨다(스텝 S4).
구체적으로는, 출력화상 생성부(11)는, 처리대상화상에 스케일변환, 아핀변환, 또는 왜곡변환을 실시함으로써 출력화상을 생성한다. 그리고, 출력화상 생성부(11)는, 실시한 스케일변환, 아핀변환, 또는 왜곡변환의 내용에 의하여 정해지는, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표 사이의 대응관계를, 처리대상화상·출력화상대응 맵(42)에 저장한다.
혹은, 가상카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 출력화상 생성부(11)는, 채용한 사영방식에 따라서 대상처리 화상 평면(R3) 상의 좌표로부터 출력화상 평면(R5) 상의 좌표를 산출하고, 그 대응관계를 처리대상화상·출력화상대응 맵(42)에 저장하는 것으로 하여도 좋다.
혹은, 통상 사영(h=ftanα)을 채용하는 가상카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 출력화상 생성부(11)는, 그 가상카메라(2V)의 광학중심(CV)의 좌표를 취득한 다음에, 출력화상 평면(R5) 상의 1좌표로부터 뻗는 선분으로서, 광학중심(CV)을 통과하는 선분이 처리대상화상 평면(R3)과 교차하는 점을 산출하여도 좋다. 그리고, 출력화상 생성부(11)는, 산출한 점에 대응하는 처리대상화상 평면(R3) 상의 좌표를, 출력화상 평면(R5) 상의 그 1좌표에 대응하는 처리대상화상 평면(R3) 상의 1좌표로서 도출하고, 그 대응관계를 처리대상화상·출력화상대응 맵(42)에 저장하여도 좋다.
그 후, 제어부(1)는, 출력화상 생성부(11)에 의하여, 입력화상·공간모델 대응 맵(40), 공간모델·처리대상화상 대응 맵(41), 및 처리대상화상·출력화상대응 맵(42)을 참조하면서, 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표의 대응관계, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표의 대응관계, 및 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표의 대응관계를 거쳐, 출력화상 평면(R5) 상의 각 좌표에 대응하는 입력화상 평면(R4) 상의 좌표가 가지는 값(예컨대, 휘도값, 색상값, 채도값 등임)을 취득한다. 그리고, 제어부(1)는, 그 취득한 값을, 대응하는 출력화상 평면(R5) 상의 각 좌표의 값으로서 채용한다(스텝 S5). 다만, 출력화상 평면(R5) 상의 1좌표에 대하여 복수의 입력화상 평면(R4) 상의 복수의 좌표가 대응하는 경우, 출력화상 생성부(11)는, 그들 복수의 입력화상 평면(R4) 상의 복수의 좌표의 각각의 값에 근거하는 통계값(예컨대, 평균값, 최대값, 최소값, 중간값 등임)을 도출하고, 출력화상 평면(R5) 상의 그 1좌표의 값으로서 그 통계값을 채용하도록 하여도 좋다.
그 후, 제어부(1)는, 출력화상 평면(R5) 상의 모든 좌표의 값을 입력화상 평면(R4) 상의 좌표의 값에 대응시켰는지의 여부를 판정한다(스텝 S6). 아직 모든 좌표의 값을 대응시키고 있지 않다고 판정된 경우에는(스텝 S6의 NO), 스텝 S4 및 스텝 S5의 처리가 반복된다.
한편, 제어부(1)는, 모든 좌표의 값을 대응시켰다고 판정한 경우에는(스텝 S6의 YES), 출력화상을 생성하여, 이 일련의 처리를 종료시킨다.
다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않는 경우에는, 처리대상화상 생성처리를 생략하고, 출력화상 생성처리에 있어서의 스텝 S4의 "처리대상화상 평면 상의 좌표"를 "공간모델 상의 좌표"라 바꿔 읽는다.
이상의 구성에 의하여, 화상생성장치(100)는, 건설기계와 주변장해물의 위치관계를 조작자에게 직관적으로 파악시키는 것이 가능한 처리대상화상 및 출력화상을 생성할 수 있다.
화상생성장치(100)는, 처리대상화상 평면(R3)으로부터 공간모델(MD)을 거쳐서 입력화상 평면(R4)으로 되돌아가도록 좌표의 대응을 실행함으로써, 처리대상화상 평면(R3) 상의 각 좌표를 입력화상 평면(R4) 상의 1 또는 복수의 좌표에 확실히 대응시킬 수 있다. 따라서, 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐서 처리대상화상 평면(R3)에 이르는 순번으로 좌표의 대응을 실행하는 경우와 비교하여, 보다 양질인 처리대상화상을 신속하게 생성할 수 있다. 다만, 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐서 처리대상화상 평면(R3)에 이르는 순번으로 좌표의 대응을 실행하는 경우에는, 입력화상 평면(R4) 상의 각 좌표를 처리대상화상 평면(R3) 상의 1 또는 복수의 좌표에 확실히 대응시킬 수 있지만, 처리대상화상 평면(R3) 상의 좌표의 일부가, 입력화상 평면(R4) 상의 어느 좌표에도 대응되지 않는 경우가 있다. 그와 같은 경우에는, 그들 처리대상화상 평면(R3) 상의 좌표의 일부에 보간(補間)처리 등을 실시할 필요가 있다.
또한, 공간모델(MD)의 곡면영역(R2)에 대응하는 화상만을 확대 혹은 축소하는 경우에는, 화상생성장치(100)는, 평행선군(PL)과 처리대상화상 평면(R3) 사이에 형성되는 각도를 변경하여 공간모델·처리대상화상 대응 맵(41)에 있어서의 곡면영역(R2)에 관련되는 부분만을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응 맵(40)의 내용을 고쳐 쓰지 않고, 소망의 확대 혹은 축소를 실현시킬 수 있다.
또한, 출력화상이 보이는 방법을 변경하는 경우에는, 화상생성장치(100)는, 스케일변환, 아핀변환 또는 왜곡변환에 관한 각종 파라미터의 값을 변경하여 처리대상화상·출력화상대응 맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)의 내용을 고쳐 쓰지 않고, 소망의 출력화상(스케일변환화상, 아핀변환화상 또는 왜곡변환화상)을 생성할 수 있다.
마찬가지로, 출력화상의 시점(視點)을 변경하는 경우에는, 화상생성장치(100)는, 가상카메라(2V)의 각종 파라미터의 값을 변경하여 처리대상화상·출력화상대응 맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응 맵(40) 및 공간모델·처리대상화상 대응 맵(41)의 내용을 고쳐 쓰지 않고, 소망의 시점으로부터 본 출력화상(시점변환화상)을 생성할 수 있다.
다음으로, 도 12a∼도 14c를 참조하면서, 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))과 공간모델(MD) 사이의 위치관계에 대하여 설명한다.
도 12a는, 도 3b와 마찬가지로, 쇼벨(60)을 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 12b는, 도 4와 마찬가지로, 공간모델(MD)을 비스듬히 상방으로부터 보았을 때의 카메라(2)와 공간모델(MD) 사이의 위치관계를 나타내는 도면이다. 도 12c는, 화상생성장치(100)가 생성하는 처리대상화상을 나타내는 도면이다.
도 12b에서 가장 잘 나타나는 바와 같이, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉(棒)형상의 물체(OBJ)가 존재한다.
도 12b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상의 점(J1)에서 교차한다. 다만, 광축(G1)과 광축(G2)은, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상의 점에서 교차하는 것이라면, 비틀림 위치의 관계에 있어도 좋다.
후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선과 서로 수직인 관계에 있다. 다만, 본 실시예에서는, 그들 두 개의 수선은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재하면서 점(J2)에서 직교하고 있지만, 두 개의 수선은 각각 별도의 평면 상에 위치하여, 비틀림 위치의 관계에 있는 것이더라도 좋다.
도 12a 및 도 12b에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 12c에 나타나는 바와 같이 처리대상화상을 생성할 수 있다. 즉, 도 12c에서는, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 도 12c에서는, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 직선형상으로 뻗어 있다.
도 13a∼도 13c는, 각각 도 12a∼도 12c와 마찬가지의 도면이다. 도 13a∼도 13c에 나타내는 예에서는, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가 존재한다. 또한, 우측방 카메라(2R)의 광축(G2)의 방향에도, XY 평면으로부터 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ1)가 존재한다.
도 13b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 도 12b에 나타내는 위치관계와 마찬가지로, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상의 점(J1)에서 교차한다. 다만, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상의 점에서 교차하는 것이라면, 광축(G1)과 광축(G2)은 비틀림 위치의 관계에 있어도 좋다.
한편, 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선과 서로 수직인 관계로는 되지 않는다. 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 그 수선에 내린 수선과 원통 중심축(재투영축) 상에 없는 점(J2)에서 직교한다. 본 실시예에서는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재하고 있다. 다만, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 각각 별도의 평면 상에 위치하여, 상호의 수선이 비틀림 위치의 관계에 있는 것이더라도 좋다.
도 13a 및 도 13b에 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 13c에 나타나는 바와 같이, 처리대상화상을 생성한다. 도 13c에서는, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향으로부터 약간 벗어나는 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 약간 꺾여 구부러져 있다.
한편, 도 13c에 나타나는 바와 같이, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ1)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 광축(G2)방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ1)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 광축(G2)방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ1) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ1)는, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 직선형상으로 뻗어 있다.
도 14a∼도 14c는, 각각 도 12a∼도 12c와 마찬가지의 도면이다. 도 14a∼도 14c에 나타내는 예에서는, 원통형상의 공간모델(MD)의 원통 중심축은, 재투영축 및 쇼벨(60)의 선회축(PV)(Z축)에 일치하고, Y축 상에는, Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)가 존재한다. 또한, 우측방 카메라(2R)의 광축(G2)의 방향에도, XY 평면으로부터 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ2)가 존재한다.
도 14b에 있어서, 후방 카메라(2B)의 광축(G1) 및 우측방 카메라(2R)의 광축(G2)은 각각, 도 12b에 나타내는 위치관계와 마찬가지로, 공간모델(MD)의 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면(XY 평면)과 교차한다. 또한, 후방 카메라(2B)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선은, 우측방 카메라(2R)의 광학중심으로부터 원통 중심축(재투영축)에 내린 수선과 서로 수직인 관계이다. 본 실시예에서는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은, 평면영역(R1) 및 처리대상화상 평면(R3)이 위치하는 평면과 평행인 일평면 상에 존재한다. 다만, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심은 각각 별도의 평면 상에 위치하여, 상호의 수선이 비틀림 위치의 관계에 있는 것이어도 좋다.
한편, 광축(G1)과 광축(G2)은, 원통 중심축(재투영축) 상에서 교차하지 않고, 원통 중심축(재투영축) 상에 없는 점(J1)에서 교차한다. 다만, XY 평면에 평행인 일평면에 투영되었을 때의 성분의 각각이 원통 중심축(재투영축) 상에 없는 점에서 교차하는 것이라면, 광축(G1)과 광축(G2)은 비틀림 위치의 관계에 있어도 좋다.
도 14a 및 도 14b에서 나타난 카메라(2)와 공간모델(MD) 사이의 위치관계에 의하여, 화상생성장치(100)는, 도 14(C)에 나타나는 바와 같이 처리대상화상을 생성한다. 도 14c에서는, 우측방 카메라(2R)의 광축(G2)의 방향에 있는 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ2)가, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 광축(G2)방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ2)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 Y축방향에 거의 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점)과 물체(OBJ2) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ2)는, 노면화상부분과 수평화상부분 사이의 경계에서 약간 꺾여 구부러져 있다.
한편, 도 14c에 나타나는 바와 같이, Y축 상에 있어서 Z축방향으로 평행하게 뻗는 봉형상의 물체(OBJ)는, 평면영역(R1)에 투영된 화상에 대응하는 노면화상부분에서 Y축방향에 평행인 방향(우측방 카메라(2R)의 광학중심과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 또한, 봉형상의 물체(OBJ)는, 곡면영역(R2)에 투영된 화상에 대응하는 수평화상부분에서 똑같이 Y축방향에 평행인 방향(재투영축 상의 점(평행선군(PL) 또는 보조선군(AL)의 시점(始點))과 물체(OBJ) 상의 점을 통과하는 직선의 방향)으로 뻗어 있다. 바꿔 말하자면, 물체(OBJ)는, 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않고, 직선형상으로 뻗어 있다.
이상과 같이, 화상생성장치(100)는, 공간모델(MD)의 원통 중심축(재투영축)과 카메라의 광축을 교차시키도록 하여 공간모델(MD)을 배치함으로써, 카메라의 광축방향에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 접혀 구부러지지 않도록, 처리대상화상을 생성할 수 있다. 다만, 이 이점은, 카메라가 1대만인 경우에도 카메라가 3대 이상의 경우에도 얻을 수 있다.
또한, 화상생성장치(100)는, 후방 카메라(2B) 및 우측방 카메라(2R)의 광학중심의 각각으로부터 공간모델(MD)의 원통 중심축(재투영축)에 내린 수선의 각각이 서로 수직이 되도록 하여 공간모델(MD)을 배치함으로써, 쇼벨(60)의 우측 바로 옆 및 바로 뒤에 있는 물체가 노면화상부분과 수평화상부분 사이의 경계에서 꺾여 구부러지지 않도록, 처리대상화상을 생성할 수 있다. 다만, 이 이점은, 카메라가 3대 이상인 경우에도 얻을 수 있다.
다만, 도 12a∼도 14c에 나타내지는 카메라(2)(우측방 카메라(2R), 후방 카메라(2B))와 공간모델(MD) 사이의 위치관계 및 작용효과는, 화상생성장치(100)가 처리대상화상을 생성하는 경우에 대응하는 것이지만, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우(처리대상화상 평면(R3)이 존재하지 않는 경우)에도 마찬가지의 작용효과를 얻을 수 있다. 이 경우, 도 12c, 도 13c, 및 도 14c에 나타내는 처리대상화상은, 공간모델(MD)에 투영된 화상을 이용하여 생성되는 출력화상으로 바꿔 읽혀진다.
도 15는, 쇼벨(60)에 탑재된 2대의 카메라(2)(우측방 카메라(2R) 및 후방 카메라(2B))의 입력화상을 이용하여 생성되는 출력화상을 표시부(5)에 표시시켰을 때의 표시예이다. 화상생성장치(100)는, 입력화상의 일부를 공간모델(MD)의 평면영역(R1)에 투영하고, 또한, 입력화상의 다른 일부를 공간모델(MD)의 곡면영역(R2)에 투영한 다음에 처리대상화상 평면(R3)에 재투영하여 처리대상화상을 생성한다. 화상생성장치(100)는, 생성한 처리대상화상에 근거하여, 평면영역(R1)에 투영된 화상에 대응하는, 쇼벨(60)의 근방을 상공으로부터 내려다보는 화상과, 곡면영역(R2)에 투영된 화상에 대응하는, 즉, 처리대상화상 평면(R3)에 재투영된 화상에 대응하는, 쇼벨(60)로부터 수평방향으로 주변을 본 화상을 조합시켜서 표시한다.
다만, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우에는, 출력화상은, 공간모델(MD)에 투영된 화상에 화상변환처리(예컨대, 시점변환처리)를 실시함으로써 생성된다.
출력화상은, 쇼벨(60)이 선회동작을 행할 때의 화상을 위화감 없이 표시할 수 있도록, 원형으로 트리밍된다. 즉, 출력화상은, 원의 중심(CTR)이 공간모델(MD)의 원통 중심축 상에 있고, 또한, 쇼벨(60)의 선회축(PV) 상이 되도록 생성되어 있으며, 쇼벨(60)의 선회동작에 따라서 그 중심(CTR)을 축으로 회전하도록 표시된다. 이 경우, 공간모델(MD)의 원통 중심축은, 재투영축과 일치하는 것이어도 좋고, 일치하지 않는 것이어도 좋다.
공간모델(MD)의 반경은, 예컨대, 5미터이다. 평행선군(PL)이 처리대상화상 평면(R3)과의 사이에서 형성하는 각도, 또는, 보조선군(AL)의 시점(始點) 높이는, 쇼벨(60)의 선회중심으로부터 굴착 어태치먼트(E)의 최대 도달거리(예컨대 12미터)만큼 벗어난 위치에 물체(예컨대, 작업원)가 존재하는 경우에, 그 물체가 표시부(5)에서 충분히 크게(예컨대, 7밀리미터 이상) 표시되도록, 설정할 수 있다.
또한, 출력화상은, 쇼벨(60)의 CG화상을, 쇼벨(60)의 전방이 표시부(5)의 화면 상방과 일치하고, 또한, 그 선회중심이 중심(CTR)과 일치하도록 배치하도록 하여도 좋다. 이는, 쇼벨(60)과 출력화상에 나타나는 물체 사이의 위치관계를 보다 알기 쉽게 하기 위함이다. 다만, 출력화상은, 방위 등의 각종 정보를 포함하는 액자화상을 그 주위에 배치하도록 하여도 좋다.
이 상태에 있어서, 화상생성장치(100)는, 도 9a, 도 9b에 나타나는 바와 같이, 평면영역(R1)에 투영된 화상에 대응하는 출력화상에 있어서의 화상부분에 영향을 주지 않고, 곡면영역(R2)에 투영되고 또한 처리대상화상 평면(R3)에 재투영된 화상에 대응하는 출력화상에 있어서의 화상부분만을 확대 혹은 축소할 수 있다. 또한, 도 10에 나타나는 바와 같이, 곡면영역(R2)에 투영되고 또한 처리대상화상 평면(R3)에 재투영된 화상에 대응하는 출력화상에 있어서의 화상부분을 바로 위에서부터 내려다보도록, 그 화상부분을 표시부(5)의 화면영역에 있어서의 임의의 위치(예컨대, 중앙)로 이동시킬 수도 있다.
상술한 실시예에 있어서, 화상생성장치(100)는, 공간모델로서 원통형상의 공간모델(MD)을 채용하고 있지만, 화상생성장치(100)는, 다각기둥 등의 다른 기둥형상의 형상을 가지는 공간모델을 채용하여도 좋고, 바닥면 및 측면의 두 면으로 구성되는 공간모델을 채용하여도 좋다. 혹은, 화상생성장치(100)는, 측면만을 가지는 공간모델을 채용하여도 좋다.
상술한 화상생성장치(100)는, 버켓, 아암, 붐, 선회기구 등의 가동(可動)부재를 구비하면서 자주(自走)하는 건설기계에 카메라와 함께 탑재되고, 주위화상을 그 운전자에게 제시하면서 그 건설기계의 이동 및 그들 가동부재의 조작을 지원하는 조작지원 시스템에 끼워 넣어져 있다. 그러나, 화상생성장치(100)는, 산업용 기계 또는 고정식 크레인 등과 같이 가동부재를 가지지만 자주는 하지 않는 다른 기계(피조작체)에 카메라와 함께 탑재되고, 그 기계의 조작을 지원하는 조작지원 시스템에 끼워 넣어져도 좋다.
본 발명은 구체적으로 개시된 상술한 실시예에 한정되는 것은 아니며, 본 발명의 범위를 일탈하지 않고, 다양한 변형예 및 개량예가 행하여질 것이다.
본 출원은, 2010년 4월 12일 출원의 우선권주장 일본국 특허출원 제2010-091658호에 근거하는 것이며, 그 전체 내용은 본 출원에 원용된다.
본 발명은, 입력화상에 근거하여 출력화상을 생성하는 화상생성장치 및 그 장치를 이용한 조작지원 시스템에 적용 가능하다.
1 제어부
2 카메라
2R 우측방 카메라
2B 후방 카메라
3 입력부
4 기억부
5 표시부
10 좌표 대응부
11 출력화상 생성부
40 입력화상·공간모델 대응 맵
41 공간모델·처리대상화상 대응 맵
42 처리대상화상·출력화상대응 맵
60 쇼벨
61 하부주행체
62 선회기구
63 상부선회체
64 캡

Claims (14)

  1. 선회축을 중심으로 선회동작 가능한 선회체를 가지는 피조작체에 장착된 촬상부가 촬상하여 얻어지는 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서,
    상기 피조작체를 둘러싸도록 배치되는 공간모델로서, 중심축을 가지는 기둥형상의 공간모델에 있어서의 좌표와, 상기 입력화상이 위치하는 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와,
    상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 출력화상 생성부
    를 구비하고,
    상기 기둥형상의 공간모델은, 상기 중심축과 상기 선회축이 일치하도록 배치됨과 함께, 상기 촬상부의 광축(光軸)이 상기 기둥형상의 공간모델의 중심축과 교차하도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  2. 청구항 1에 있어서,
    복수의 상기 촬상부가 설치되고,
    상기 기둥형상의 공간모델은, 상기 촬상부의 각각의 광축을 상기 중심축에 수직인 일평면(一平面)에 투영한 성분의 각각이, 상기 기둥형상의 공간모델의 중심축 상의 한점에서 교차하도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  3. 청구항 2에 있어서,
    상기 기둥형상의 공간모델은, 상기 촬상부의 각각의 광학(光學)중심으로부터 상기 기둥형상의 공간모델의 중심축에 내린 수선(垂線)의 각각이 서로 수직이 되도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  4. 청구항 1에 있어서,
    상기 좌표 대응부에 의한 대응에 의하여 얻어진 대응관계 정보를 맵 정보로서 저장하는 기억부를 더욱 가지는 것
    을 특징으로 하는 화상생성장치.
  5. 청구항 1에 있어서,
    상기 좌표 대응부는, 화상변환처리의 대상이 되는 처리대상화상이 위치하는 처리대상화상 평면에 있어서의 좌표와, 상기 기둥형상의 공간모델에 있어서의 좌표를 대응시키고,
    상기 출력화상 생성부는, 상기 처리대상화상 평면에 있어서의 좌표와 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 것
    을 특징으로 하는 화상생성장치.
  6. 청구항 1에 있어서,
    상기 출력화상은, 원형으로 트리밍되고, 상기 원형의 중심이 상기 기둥형상의 공간모델의 중심축 상이고, 또한, 상기 피조작체의 선회축 상이 되도록 생성되는 것
    을 특징으로 하는 화상생성장치.
  7. 선회축을 중심으로 선회동작 가능한 선회체를 가지는 피조작체에 장착된 복수의 촬상부가 촬상하여 얻어지는 입력화상에 근거하여 출력화상을 생성하는 화상생성장치로서,
    상기 피조작체를 둘러싸도록 배치되는 공간모델로서, 중심축을 가지는 기둥형상의 공간모델에 있어서의 좌표와, 상기 입력화상이 위치하는 입력화상 평면에 있어서의 좌표를 대응시키는 좌표 대응부와,
    상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상이 위치하는 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 출력화상 생성부
    를 구비하고,
    상기 기둥형상의 공간모델은, 상기 중심축과 상기 선회축이 일치하도록 배치됨과 함께, 상기 복수의 촬상부의 각각의 광학중심으로부터 상기 기둥형상의 공간모델의 중심축에 내린 수선의 각각이 서로 수직이 되도록 배치되는 것
    을 특징으로 하는 화상생성장치.
  8. 청구항 7에 있어서,
    상기 좌표 대응부는, 화상변환처리의 대상이 되는 처리대상화상이 위치하는 처리대상화상 평면에 있어서의 좌표와, 상기 기둥형상의 공간모델에 있어서의 좌표를 대응시키고,
    상기 출력화상 생성부는, 상기 처리대상화상 평면에 있어서의 좌표와 상기 기둥형상의 공간모델에 있어서의 좌표를 통하여, 상기 입력화상 평면에 있어서의 좌표의 값과 상기 출력화상 평면에 있어서의 좌표의 값을 대응시켜서 상기 출력화상을 생성하는 것
    을 특징으로 하는 화상생성장치.
  9. 청구항 7에 있어서,
    상기 출력화상은, 원형으로 트리밍되고, 상기 원형의 중심이 상기 기둥형상의 공간모델의 중심축 상이고, 또한, 상기 피조작체의 선회축 상이 되도록 생성되는 것
    을 특징으로 하는 화상생성장치.
  10. 청구항 7에 있어서,
    상기 좌표 대응부에 의한 대응에 의하여 얻어진 대응관계 정보를 맵 정보로서 저장하는 기억부를 더욱 가지는 것
    을 특징으로 하는 화상생성장치.
  11. 선회축을 중심으로 선회동작 가능한 선회체를 가지는 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서,
    청구항 1에 기재된 화상생성장치와,
    상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부
    를 구비하는 것을 특징으로 하는 조작지원 시스템.
  12. 청구항 11에 있어서,
    상기 표시부는, 상기 피조작체를 이동시키거나 혹은 조작하기 위한 조작실에 설치되는 것
    을 특징으로 하는 조작지원 시스템.
  13. 선회축을 중심으로 선회동작 가능한 선회체를 가지는 피조작체의 이동 또는 조작을 지원하는 조작지원 시스템으로서,
    청구항 7에 기재된 화상생성장치와,
    상기 화상생성장치가 생성하는 출력화상을 표시하는 표시부
    를 구비하는 것을 특징으로 하는 조작지원 시스템.
  14. 청구항 13에 있어서,
    상기 표시부는, 상기 피조작체를 이동시키거나 혹은 조작하기 위한 조작실에 설치되는 것
    을 특징으로 하는 조작지원 시스템.
KR1020127029554A 2010-04-12 2011-04-08 화상생성장치 및 조작지원 시스템 KR101418664B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010091658A JP5090496B2 (ja) 2010-04-12 2010-04-12 画像生成装置及び操作支援システム
JPJP-P-2010-091658 2010-04-12
PCT/JP2011/058899 WO2011129277A1 (ja) 2010-04-12 2011-04-08 画像生成装置及び操作支援システム

Publications (2)

Publication Number Publication Date
KR20130018869A KR20130018869A (ko) 2013-02-25
KR101418664B1 true KR101418664B1 (ko) 2014-07-15

Family

ID=44798653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029554A KR101418664B1 (ko) 2010-04-12 2011-04-08 화상생성장치 및 조작지원 시스템

Country Status (6)

Country Link
US (2) US20130033495A1 (ko)
EP (2) EP2560385A4 (ko)
JP (1) JP5090496B2 (ko)
KR (1) KR101418664B1 (ko)
CN (1) CN102792686B (ko)
WO (1) WO2011129277A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
KR102102133B1 (ko) * 2011-12-26 2020-04-20 스미도모쥬기가이고교 가부시키가이샤 쇼벨의 화상표시장치
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
WO2017115808A1 (ja) * 2015-12-28 2017-07-06 住友建機株式会社 ショベル
WO2019003431A1 (ja) * 2017-06-30 2019-01-03 株式会社小松製作所 撮像装置、建設機械および撮像システム
JP7148229B2 (ja) * 2017-07-31 2022-10-05 株式会社トプコン 三次元点群データの縦断面図作成方法，そのための測量データ処理装置，および測量システム
JP2020013220A (ja) * 2018-07-13 2020-01-23 株式会社神戸製鋼所 建設機械用の物体検出装置及び物体検出方法
KR20210037607A (ko) * 2018-07-31 2021-04-06 스미토모 겐키 가부시키가이샤 쇼벨
TWI811523B (zh) * 2019-03-19 2023-08-11 日商住友重機械工業股份有限公司 支援裝置、支援方法、支援程式及廠房

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04136320A (ja) * 1990-06-19 1992-05-11 Daiho Constr Co Ltd ケーソン掘削機の遠隔操作方法
US20020196962A1 (en) 2001-06-12 2002-12-26 Sharp Kabushiki Kaisha Image surveillance apparatus, image surveillance method, and image surveillance processing program
US20060238536A1 (en) 1999-07-30 2006-10-26 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05112973A (ja) * 1991-10-23 1993-05-07 Nippon Telegr & Teleph Corp <Ntt> 建設機械およびその制御方法
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
JP2000125190A (ja) * 1998-10-16 2000-04-28 Olympus Optical Co Ltd カメラシステム及び記録媒体
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP5213880B2 (ja) * 2007-03-16 2013-06-19 コールモージェン・コーポレーション パノラマ画像処理システム
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
CN201125397Y (zh) * 2007-11-06 2008-10-01 康凤明 双动力液压挖掘机
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5110533B2 (ja) 2008-10-06 2012-12-26 Ｎｅｃエンジニアリング株式会社 光路長補正モジュール
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US8209632B2 (en) * 2010-01-26 2012-06-26 Apple Inc. Image mask interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04136320A (ja) * 1990-06-19 1992-05-11 Daiho Constr Co Ltd ケーソン掘削機の遠隔操作方法
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
US20060238536A1 (en) 1999-07-30 2006-10-26 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
US20020196962A1 (en) 2001-06-12 2002-12-26 Sharp Kabushiki Kaisha Image surveillance apparatus, image surveillance method, and image surveillance processing program

Also Published As

Publication number Publication date
US20130033495A1 (en) 2013-02-07
CN102792686A (zh) 2012-11-21
JP2011223410A (ja) 2011-11-04
US9881412B2 (en) 2018-01-30
WO2011129277A1 (ja) 2011-10-20
EP3410703A1 (en) 2018-12-05
EP2560385A1 (en) 2013-02-20
JP5090496B2 (ja) 2012-12-05
KR20130018869A (ko) 2013-02-25
CN102792686B (zh) 2015-09-23
US20160189420A1 (en) 2016-06-30
EP2560385A4 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
KR101475583B1 (ko) 화상생성장치 및 조작지원 시스템
KR101385914B1 (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
KR101418664B1 (ko) 화상생성장치 및 조작지원 시스템
KR101407806B1 (ko) 화상생성장치 및 조작지원 시스템
KR101407556B1 (ko) 화상생성장치 및 조작지원시스템
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6873889B2 (ja) ショベル及びショベルの周囲画像生成装置
JP5808679B2 (ja) 画像生成装置及び操作支援システム
JP6246185B2 (ja) ショベル
JP2014123955A (ja) ショベル

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180618

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190618

Year of fee payment: 6