KR20200131832A - 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램 - Google Patents

정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20200131832A
KR20200131832A KR1020207026584A KR20207026584A KR20200131832A KR 20200131832 A KR20200131832 A KR 20200131832A KR 1020207026584 A KR1020207026584 A KR 1020207026584A KR 20207026584 A KR20207026584 A KR 20207026584A KR 20200131832 A KR20200131832 A KR 20200131832A
Authority
KR
South Korea
Prior art keywords
image
distance
camera
unit
data processing
Prior art date
Application number
KR1020207026584A
Other languages
English (en)
Inventor
에이지 오바
신고 츠루미
Original Assignee
소니 주식회사
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 주식회사
Publication of KR20200131832A publication Critical patent/KR20200131832A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 구성을 실현한다. 데이터 처리부는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상으로부터 무한 원점을 검출하고, 검출한 무한 원점의 위치와, 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출한다. 데이터 처리부는, 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 한다. 또는, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 한다.

Description

정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
본 개시는, 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다. 더욱 상세하게는, 자동차 등의 이동 장치의 진행 방향에 직교하는 좌우 방향의 오브젝트의 거리를, 카메라 촬영 화상을 사용해서 산출하는 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다.
근년, 자동 브레이크, 자동 속도 제어, 장해물 검출 등의 다양한 운전 지원 시스템이 개발되어, 금후, 운전자의 조작을 필요로 하지 않는 자동 운전차나, 운전자의 조작을 경감하는 운전 지원 시스템을 탑재한 차량이 증대할 것이 예상된다.
자동차가 안전하게 주행하기 위해서는, 이동의 장해가 되는 차량이나 보행자, 벽 등의 다양한 오브젝트의 거리를 산출하는 것이 필요해진다.
오브젝트 거리를 산출하기 위한 거리 계측 기기에는, 예를 들어 이하와 같은 기기가 있다.
(a) 펄스상의 레이저광을 사용해서 주위 정보를 취득하는 라이더(LiDAR: Light Detection and Ranging, Laser Imaging Detection and Ranging),
(b) 전파의 반사파를 검출해서 반사물까지의 거리를 계측하는 레이더(Radar),
(c) 2개의 카메라의 촬영 화상의 대응점 해석에 의해 촬영 화상 내의 오브젝트의 거리를 산출하는 스테레오 카메라,
예를 들어, 이러한 거리 계측 기기가 알려져 있다.
그러나, 이러한 거리 계측 기기는, 모두 고가이다.
저렴한 거리 계측기로서, 출력이 약한 레이저광이나 적외광 등을 사용한 거리 센서도 있지만, 이러한 저렴한 거리 센서는, 계측 가능한 거리 범위가 한정된다. 예를 들어 10 내지 15m까지의 거리를 계측할 수 있는 정도이다.
따라서, 이러한 저렴한 거리 센서를 자동차에 장착해도, 예를 들어 먼 곳에서 고속으로 다가오는 차량의 거리 검출에 이용할 수는 없다.
상기 (a) 내지 (c)와 같은 고정밀도의 거리 계측기를 사용해서 자동차의 전후 좌우 전 방향에 대해서 거리 계측을 행하기 위해서는, 전후 좌우 적어도 4개의 거리 계측 기기를 장착할 필요가 있어, 고비용이 되어버린다.
따라서, 자동차에 거리 계측 기기를 장착하는 경우, 자동차의 전방(프론트)에만 장착하는 구성으로 하는 경우가 많다.
구체예로서, 예를 들어 자동차의 전방에만 LiDAR나 스테레오 카메라 등의 거리 계측 기기를 장착하고, 비교적 저비용의 카메라를 자동차의 전후 좌우의 4군데에 장착한 것이 있다. 카메라는, 예를 들어 광각 렌즈를 사용한 어라운드뷰 촬영 카메라 등이 이용된다.
광각 렌즈를 사용한 카메라를 자동차의 좌우 방향 각각에 장착함으로써, 자동차의 좌우로부터 접근해 오는 차량 등을 시야에 포착할 수 있다. 그러나, 이러한 광각 렌즈를 사용한 카메라의 촬영 화상은, 단초점 거리의 화상과 달리, 왜곡을 갖는 화상으로, 예를 들어 운전자가 화상을 보아도, 각 피사체의 거리를 직감적으로 파악하는 것이 곤란해진다. 또한, 왜곡 보정을 행하여, 중심 사영 화상으로 변환해도, 운전자가 화상으로부터 각 피사체의 정확한 거리를 직감적으로 파악하는 것은 곤란하다는 문제가 있다.
자동차의 진행 방향과 다른 방향의 위험을 검출하는 구성을 개시한 종래 기술로서, 예를 들어 특허문헌 1(일본 특허 공개 제2017-191471호 공보)이나, 특허문헌 2(일본 특허 공개 제2009-067292호 공보)가 있다.
특허문헌 1은, 좁은 십자로로부터 교차하는 도로로 나올 때의 사각 보조 시스템을 개시하고 있다. 그러나, 이 개시 기술은, 접근 차량의 접근 상황을 시각적으로 관찰할 수 있는 타이밍을 통지할 뿐이다.
특허문헌 2는, 전방위 카메라로부터 특정 방각의 영상을 잘라내어 표시하는 구성을 개시하고 있다.
이들 특허문헌 1, 2는 모두, 자동차의 좌우 방향으로부터 접근해 오는 자동차 등이 있을 경우, 그 화상을 운전자에게 제공하는 것인데, 그 후의 위험도 판정은 운전자가 화상에 기초해서 판단하지 않으면 안되어, 운전자의 화상에 기초하는 위험도 판단 감각이 충분하지 않은 경우에는 위험을 초래할 우려가 있다.
즉, 특허문헌 1, 2는, 위험한 자동차 등이 가까워지는 화상을 운전자에게 제공하는 구성을 개시할 뿐이며, 좌우로부터 가까워지는 자동차 등의 오브젝트의 거리 정보를 제공하는 것으로는 되어 있지 않다.
일본 특허 공개 제2017-191471호 공보 일본 특허 공개 제2009-067292호 공보
본 개시는, 예를 들어 상기 문제점을 감안하여 이루어진 것이며, 본 개시의 일 실시예에서는, 자동차 등의 이동 장치의 진행 방향에 직교, 교차하는 좌우 방향의 오브젝트의 거리를 카메라 촬영 화상만을 사용해서 산출 가능하게 한 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.
또한, 본 개시의 일 실시예에서는, 자동차 등의 이동 장치의 진행 방향에 직교하는 좌우 방향의 오브젝트의 거리를, 저렴한 거리 센서와 카메라 촬영 화상을 사용해서 산출 가능하게 한 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.
본 개시의 제1 측면은,
이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는 정보 처리 장치에 있다.
또한, 본 개시의 제2 측면은,
이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상과, 상기 오브젝트보다 상기 카메라에 가까운 위치의 기준점 P의 거리 정보를 이용하여, 오브젝트 거리를 산출하는 구성이며,
오브젝트 거리를 L로 했을 때,
L=Lref×(Wref/W) … 식 (2)
단,
Lref: 카메라로부터 기준점 P까지의 실거리,
Wref: 기준점 P의 화상 가로 방향에 있는 참조 오브젝트의 화상 상의 폭,
W: 거리 산출 대상 오브젝트의 화상 가로 방향에 있는 상기 참조 오브젝트의 화상 상의 폭,
상기 식 (2)에 따라서 오브젝트 거리를 산출하는 정보 처리 장치에 있다.
또한, 본 개시의 제3 측면은,
이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
오브젝트 거리를 L로 했을 때,
L=f×(Wrw/W) … 식 (3)
단,
f: 카메라의 초점 거리,
Wrw: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 실사이즈,
W: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 화상 사이즈,
상기 식 (3)에 따라서 오브젝트 거리를 산출하는 정보 처리 장치에 있다.
또한, 본 개시의 제4 측면은,
이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하고,
산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하는 계획부와,
상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 동작 제어부를 갖는 이동 장치에 있다.
또한, 본 개시의 제5 측면은,
정보 처리 장치에서 실행하는 정보 처리 방법이며,
상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부가,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트의 거리를 산출하는 정보 처리 방법에 있다.
또한, 본 개시의 제6 측면은,
이동 장치에서 실행하는 정보 처리 방법이며,
상기 이동 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부가,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트의 거리를 산출하고,
계획부가, 산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하고,
동작 제어부가, 상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 정보 처리 방법에 있다.
또한, 본 개시의 제7 측면은,
정보 처리 장치에서 정보 처리를 실행시키는 프로그램이며,
상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 프로그램은, 상기 데이터 처리부에,
상기 촬영 화상으로부터 무한 원점을 검출시키고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출시키는 프로그램에 있다.
또한, 본 개시의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템 상에서 프로그램에 따른 처리가 실현된다.
본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한하지는 않는다.
본 개시의 일 실시예의 구성에 의하면, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 구성이 실현된다.
구체적으로는, 예를 들어 데이터 처리부는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상으로부터 무한 원점을 검출하고, 검출한 무한 원점의 위치와, 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출한다. 데이터 처리부는, 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 한다. 또는, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 한다.
본 구성에 의해, 이동 장치의 이동 방향에 직교하는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트의 거리를 산출하는 구성이 실현된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.
도 1은 이동 장치의 구성예에 대해서 설명하는 도면이다.
도 2는 이동 장치에 장착되는 거리 센서의 계측 가능 영역과, 카메라의 화상 촬영 영역의 설정예에 대해서 설명하는 도면이다.
도 3은 오브젝트 거리의 산출 처리 예에 대해서 설명하는 도면이다.
도 4는 거리 산출 대상이 되는 오브젝트의 예에 대해서 설명하는 도면이다.
도 5는 오브젝트 거리 산출에 적용하는 무한 원점의 검출 처리의 일례에 대해서 설명하는 도면이다.
도 6은 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 7은 오브젝트 거리 산출에 적용하는 무한 원점의 검출 처리의 일례에 대해서 설명하는 도면이다.
도 8은 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 9는 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 10은 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 11은 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 12는 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 13은 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 14는 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 15는 오브젝트 거리 산출 처리의 일례에 대해서 설명하는 도면이다.
도 16은 정보 처리 장치가 실행하는 오브젝트 거리 산출 처리의 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 17은 정보 처리 장치가 실행하는 오브젝트 거리 산출 처리의 시퀀스에 대해서 설명하는 흐름도를 나타내는 도면이다.
도 18은 이동 장치의 차량 제어 시스템의 일 구성예에 대해서 설명하는 도면이다.
도 19는 정보 처리 장치의 하드웨어 구성예에 대해서 설명하는 도면이다.
이하, 도면을 참조하면서 본 개시의 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램의 상세에 대해서 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.
1. 본 개시의 이동 장치의 구성예에 대해서
2. 무한 원점의 산출 처리와 오브젝트 거리의 산출 처리의 구체예에 대해서
2-1. (처리 예 1) 카메라 촬영 화상에 포함되는 복수의 평행선을 사용해서 무한 원점의 위치를 검출하는 처리 예
2-2. (처리 예 2) 카메라 촬영 화상에 포함되는 1개의 선분을 사용해서 무한 원점의 위치를 검출하는 처리 예
3. 그 밖의 오브젝트 거리 산출 처리 예
3-1. (처리 예 1) 거리 산출 대상 오브젝트와, 기준점 오브젝트의 각 위치에 도로 등의 일정 폭의 화상이 포함되는 경우의 오브젝트 거리 산출 처리 예
3-2. (처리 예 2) 거리 산출 대상 오브젝트가, 실사이즈가 기지인 구성물을 포함하는 경우의 오브젝트 거리 산출 처리 예
4. 정보 처리 장치가 실행하는 처리의 시퀀스에 대해서
5. 이동 장치의 구성예에 대해서
6. 정보 처리 장치의 구성예에 대해서
7. 본 개시의 구성의 정리
[1. 본 개시의 이동 장치의 구성예에 대해서]
먼저, 도 1 이하를 참조하여, 본 개시의 이동 장치의 구성예에 대해서 설명한다.
도 1에는, 본 개시의 이동 장치의 일 실시예인 자동차(10)를 도시하고 있다.
또한, 이하의 실시예에서는, 이동 장치의 일례로서, 이동 장치가 자동차(10)인 예를 설명하지만, 본 개시의 구성이나 처리는, 자동차 이외의 다양한 이동 장치에서 이용 가능하다.
예를 들어, 창고, 오피스 등을 주행하는 로봇 등, 다양한 이동 장치에 적용 가능하다.
도 1에 도시한 바와 같이, 자동차(10)는, 복수의 카메라와 거리 센서를 장착하고 있다.
또한, 거리 센서는, 본 개시의 일부 처리에서는 필수 구성이 아니며, 거리 센서를 갖지 않는 구성으로 해도, 본 개시의 일부 처리는 실행 가능하다.
장착 카메라는 이하의 카메라이다.
자동차(10)의 좌측 방향을 촬영하는 좌측 방향 카메라(11L),
자동차(10)의 우측 방향을 촬영하는 우측 방향 카메라(11R),
이들 2대의 카메라이다.
이들 카메라는, 자동차(10)의 이동 방향에 직교하는 방향의 화상을 촬영한다.
또한, 이들 카메라(11L, 11R)로서는, 통상의 화상 촬영을 행하는 카메라, 혹은 어안 렌즈와 같은 광각 렌즈를 구비한 카메라(단안 카메라)가 이용 가능하다.
자동차(10)는, 또한 거리 센서로서,
자동차(10)의 좌측 방향의 오브젝트 거리를 계측하는 좌측 방향 거리 센서(12L),
자동차(10)의 우측 방향의 오브젝트 거리를 계측하는 우측 방향 거리 센서(12R),
이들 2개의 거리 센서를 장착하고 있다.
또한, 상술한 바와 같이, 이들 거리 센서는, 필수 구성이 아니며, 거리 센서를 갖지 않는 구성으로 해도 된다.
거리 센서를 갖는 구성에서도, 거리 센서는, 예를 들어 출력이 약한 레이저광이나 적외광을 사용한 저렴한 거리 센서로 충분하다. 거리 계측 범위가 예를 들어, 최대 10 내지 15m 정도의 거리 센서로 충분하다.
이 카메라(11L, 11R) 및 거리 센서(12L, 12R)를 장착한 자동차(10)의 화상 촬영 범위와, 거리 계측 범위의 예를 도 2에 도시한다.
도 2에는, 이하의 각 영역을 도시하고 있다.
좌측 방향 카메라(11L)의 촬영 영역인 좌측 방향 카메라 촬영 범위(21L),
우측 방향 카메라(11R)의 촬영 영역인 우측 방향 카메라 촬영 범위(21R),
좌측 방향 거리 센서(12L)의 거리 계측 범위인 좌측 방향 거리 센서 거리 계측 범위(22L),
우측 방향 거리 센서(12R)의 거리 계측 범위인 우측 방향 거리 센서 거리 계측 범위(22R).
좌측 방향 거리 센서 거리 계측 범위(22L)와, 우측 방향 거리 센서 거리 계측 범위(22R)의 거리 계측 범위는, 예를 들어 자동차(10)로부터 약 10m 이내이다.
카메라(11L, 11R)는, 도 2에 도시하는 오브젝트(보행자)(31)나, 오브젝트(차량)(32)의 화상을 촬영하는 것이 가능하게 된다.
그러나, 거리 센서(12L, 12R)는, 이들 오브젝트(보행자)(31)나, 오브젝트(차량)(32)의 거리를 직접 계측할 수 없다.
도 2에 도시한 바와 같이, 자동차(10)가 좁은 골목길의 교차로에서 빠져 나올 때나, 병렬 주차 프레임에 차량이 꽉 들어찬 곳으로부터 나올 때는, 좌우로부터의 접근 차량은 운전자의 직접 시계의 사각이 되어, 좌우로부터의 접근 차량을 육안으로 볼 수 없는 경우가 있다.
이미, 차체의 전후에 광각의 카메라나 프리즘식 카메라를 탑재하여, 카메라 촬영 화상을 운전자(드라이버)에게 제시하는 시스템이 제안되어 있다. 그러나, 광각 화상으로부터의 절취 화상은 왜곡이 발생한 화상으로, 깊이감이 상실된다.
그 때문에, 차량이나 사람이 접근하고 있는 상황이어도, 운전자(드라이버)는, 화상에 포함되는 차량이나 사람 등의 접근하는 오브젝트의 거리를 정확하게 파악할 수 없다는 문제가 있다.
운전자가 안전한 운전을 행하기 위해서는, 운전자에게 오브젝트의 거리 정보를 정확하게 통지할 필요가 있다.
본 개시의 일 실시예의 장치(이동 장치, 정보 처리 장치)는, 자동차(10)의 좌우 방향을 촬영하는 카메라(11L, 11R)의 촬영 화상만으로부터 자동차(10)의 좌우의 먼 곳에 존재하는 오브젝트의 거리를 추정하여, 운전자에게 접근 리스크를 알리는 것을 가능하게 한 것이다.
또한, 본 개시의 일 실시예의 장치(이동 장치, 정보 처리 장치)는, 자동차(10)의 좌우 방향을 촬영하는 카메라(11L, 11R)의 촬영 화상과, 근접 영역만의 거리가 계측 가능한 저렴한 거리 센서(12L, 12R)에 의해 계측된 근접 오브젝트(기준점 오브젝트)의 거리 정보에 기초하여, 자동차(10)의 좌우의 먼 곳에 존재하는 오브젝트의 거리를 추정하여, 운전자에게 접근 리스크를 알리는 것을 가능하게 한 것이다.
오브젝트 거리의 산출예에 대해서, 도 3을 참조하여 설명한다.
도 3은, 카메라의 촬영 화상인 중심 사영 투영 상을 이용한 오브젝트 거리의 산출예를 설명하는 도면이다.
도 3에 도시하는 예는, 도로나 주변 환경물의 기하 정보를 바탕으로 한 오브젝트 거리의 추정 처리 예이다.
또한, 본 명세서의 설명은, 카메라의 촬영 화상의 실공간 투영 화상이 중심 사영 투영 상으로서 변환된 경우를 상정해서 설명을 하고 있다. 근년 많은 차량 탑재 카메라에서는, 차량의 보다 광범위한 화상 정보를 취득할 필요로부터, 어안 광각 카메라의 이용이 보급되고 있다. 그 경우, 광각의 실공간의 촬상면에의 투영 방식은, 종래의 왜곡이 없다고 표현되는 경우가 많은 중심 사영 투영 상이 되지는 않는다. 그러나, 물리적인 광학 설계로 정해지는 어안 렌즈의 투영 방식으로부터 정한 방각의 중심 사영 상당의 화상은, 어안 렌즈에 의한 촬영 화상을 투영 변환 함수로부터 정한 해당 방각의 중심 사영 상으로 변환함으로써, 가상적인 중심 사영 방식의 촬상 화상면으로 변환할 수 있다. 따라서, 그러한 어안 렌즈를 사용한 경우에도, 본 명세서의 기재와 동등한 처리를 취급할 수 있다. 그 때문에, 본 명세서에서는 어안 렌즈의 투영 방식을 사용한 카메라 시스템에서의 설명은 생략한다.
도 3에는 우측 방향 카메라(11R)의 촬영 화상(40)을 이용한 오브젝트 거리 산출예를 설명하는 도면을 나타내고 있다.
우측 방향 카메라(11R)는, 평면 노면 상의 일정 높이(H)에 설치되어 있는 것으로 한다.
이 카메라(11R)의 촬영 화상(중심 사영 상)(40)에, 거리 계측 대상이 되는 오브젝트(보행자)(31)가 촬영되어 있다.
또한, 촬영 화상(중심 사영 상)(40)에는, 우측 방향 거리 센서(12R)에 의해 거리 계측이 가능한 위치의 근접 오브젝트에 대응하는 기준점 P(41)와, 무한 원점 O(42)가 촬영 화상으로서 포함된다.
우측 방향 카메라(11R)로부터, 오브젝트(보행자)(31)까지의 거리(카메라의 입사동 위치까지의 수평 거리)(L)는, 카메라(12)의 설치 높이(H)와 초점 거리(f)가 고정이라면, 이하의 산출식 식 (1)에 따라서 일의적으로 산출할 수 있다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
단,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이),
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 이격 거리),
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이다.
상기 식 (1)에 나타내는 바와 같이, 오브젝트(보행자)(21)까지의 거리(L)는, 오브젝트의 노면 접지점과 수평 무한 원점의 투영 상 상의 이격 거리에 역비례해서 나타낼 수 있다.
이와 같이, 거리 센서(12)에 의해 거리 계측이 불가능한 먼 곳의 오브젝트에 대해서도, 카메라(11)에 의해 촬영된 화상을 사용하여, 상기 식 (1)에 따라서 오브젝트 거리를 산출할 수 있다.
단, 상기 식 (1)을 적용해서 오브젝트 거리를 산출하기 위해서는,
L=Lref×(href/h) … 식 (1a)
L=f×(H/h) … 식 (1b)
상기 식 (1a) 또는 식 (1b)의 어느 식을 적용한 산출 처리가 필요해진다.
상기 식 (1)에 포함되는 파라미터 중,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이),
이들 파라미터는 기지이다.
이 설정에 있어서,
L=Lref×(href/h) … 식 (1a)
이 식 (1a)를 이용하여, 오브젝트 거리(L)를 산출하기 위해서는, 이하의 각 파라미터의 값을 취득할 것이 필요해진다.
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이 식 (1a)를 이용하는 경우에는, 먼저, 우측 방향 거리 센서(12R)에 의해 거리 계측이 가능한 위치에 있는 근접 오브젝트를 기준점 P로서 선택하고, 그 기준점 P까지의 거리를 계측함으로써, 기준점 P까지의 거리 Lref를 취득한다.
또한, 파라미터 h, href를 취득할 필요가 있다. 이 파라미터 h, href의 취득 처리에 대해서는, 다음으로 설명한다.
또한,
L=f×(H/h) … 식 (1b)
이 식 (1b)를 이용하는 경우에는, 이하의 파라미터 값을 취득할 것이 필요해진다.
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
또한, 이 식 (1b)를 이용한 오브젝트 거리 산출 처리에서는, 기준점 P까지의 거리 산출이 불필요해서, 거리 센서를 갖지 않는 자동차에 있어서도, 촬영 화상만으로부터 오브젝트 거리를 산출하는 것이 가능하게 된다.
이하, 파라미터 h, href의 산출 처리에 필요해지는 무한 원점의 산출 처리와, 오브젝트 거리 산출 처리의 구체예에 대해서 설명한다.
[2. 무한 원점의 산출 처리와 오브젝트 거리의 산출 처리의 구체예에 대해서]
이어서, 카메라(11)에 의해 촬영된 화상을 이용한 무한 원점의 산출 처리와 오브젝트 거리의 산출 처리의 구체예에 대해서 설명한다.
예를 들어, 도 4에 도시한 바와 같이, 자동차(10)가, 주차장(50)에서 나오려고 하고 있을 경우, 가로 방향으로부터 가까워지는 오브젝트(차량)(32)가 있다고 하자.
이러한 경우, 운전자는, 처음은 오브젝트(차량)(32)를 육안으로 볼 수 없고, 자동차(10)가 절반 정도 도로로 나와서, 비로소 오브젝트(차량)(32)를 육안으로 볼 수 있다.
이러한 상황에서 자동차(10)에 요구되는 것은,
1. 저속도로 진행 방향으로 진행하고,
2. 좌우의 상황을 확인한 후, 확인 상황에 기초한 운전을 행한다.
이러한 처리이다.
좌우의 상황의 확인을 보다 빠른 단계에서 행하는 것을 가능하게 하는 것이, 자동차(10)의 좌측 방향 카메라(11L) 및 우측 방향 카메라(11R)의 촬영 화상이다.
본 개시의 이동 장치, 혹은 이동 장치 내에 비치된 정보 처리 장치는, 자동차(10)의 좌측 방향 카메라(11L) 및 우측 방향 카메라(11R)의 촬영 화상을 사용하여, 촬영 화상에 포함되는 오브젝트(차량, 사람 등의 오브젝트)까지의 거리를 산출한다.
혹은, 좌측 방향 카메라(11L) 및 우측 방향 카메라(11R)의 촬영 화상과, 자동차(10)의 좌우 근방 영역만의 오브젝트의 거리를 계측 가능한 거리 센서(12L, 12R)의 계측 거리 정보를 사용해서 오브젝트 거리를 산출한다.
구체적으로는, 앞서 설명한 바와 같이, 이하의 식 (1)에 따라서, 오브젝트 거리를 산출한다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
단,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이),
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이다.
이 식 (1)에서,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이)
이들 값은 기지이다.
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
이 기준점 P까지의 거리는, 거리 센서(12)를 사용해서 취득 가능하다.
나머지 파라미터, 즉,
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터를 취득할 수 있으면, 오브젝트 거리(L)를 산출하는 것이 가능하게 된다.
촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)이나, 촬영 화상 상의 기준점 P의 위치는, 촬영 화상으로부터 취득할 수 있다.
따라서, 파라미터 h, href를 산출하기 위해서는, 촬영 화상 상의 무한 원점의 위치를 구하면 된다.
이하, 촬영 화상 상의 무한 원점의 위치를 검출하는 복수의 처리 예에 대해서 설명한다.
이하의 2개의 처리 예에 대해서, 순차 설명한다.
(처리 예 1) 카메라 촬영 화상에 포함되는 복수의 평행선을 사용해서 무한 원점의 위치를 검출하는 처리 예
(처리 예 2) 카메라 촬영 화상에 포함되는 1개의 선분을 사용해서 무한 원점의 위치를 검출하는 처리 예
[2-1. (처리 예 1) 카메라 촬영 화상에 포함되는 복수의 평행선을 사용해서 무한 원점의 위치를 검출하는 처리 예]
먼저, 처리 예 1로서, 카메라 촬영 화상에 포함되는 복수의 평행선을 사용해서 무한 원점의 위치를 검출하는 처리 예에 대해서, 도 5를 참조하여 설명한다.
또한, 이하의 실시예의 설명에서는, 좌측 방향 카메라(11L)에 의해 촬영된 화상을 적용한 처리에 대해서 설명하지만, 우측 방향 카메라(11R)에 의해 촬영된 화상을 적용한 처리도 마찬가지의 처리로서 행하여진다.
먼저, 좌측 방향 카메라(11L)의 촬영 화상에 포함되는 노면으로부터, 평행선이 검출 가능한지 여부를 판정한다. 또한, 평행선이란, 화상 상의 평행선이 아니라, 실세계 상의 평행선이며, 카메라 위치로부터 먼 곳으로 연장되는 평행선이다.
구체적으로는, 예를 들어 도로의 중앙 분리대, 또는 분리 백선, 차선 분리 백선, 도로와 보도의 분리 블록이나 분리 백선 등이다.
도 5에 도시하는 촬영 화상(60)의 예에서는, 평행선 a(61a), 평행선 b(61b), 평행선 c(61c), 평행선 d(61d), 이들 4개의 평행선이 검출된다.
촬영 화상(60)으로부터 복수의 평행선(실세계 상의 평행선)을 검출할 수 있었을 경우, 그 복수의 평행선의 연장의 무한 먼곳의 추정 교점을 무한 원점 O(62)로 한다.
이와 같이 하여 촬영 화상 상의 무한 원점 O(62)를 검출한다.
또한, 본 개시의 설명은 모두 노면이 차량이 주행하는 노면과 동일한 노면 상에 면이 존재하거나, 검출되는 모든 평행선이 차량 설치면에 평행 또는 준 평행인 상정에 기초하여 검출된 무한 점이다.
해당 차량 설치 평면에 대하여, 도로 기인 평행 선분(차선, 갓길연석, 보도, 보도 경계선 등)에 경사가 있으면, 그 경사의 방각(α)에 따라, 평행선군의 무한 점 방각은 정해진다. 중심 사영의 광축이 가령 주목 평면의 무한 원과 일치하고 있을 경우, 동일 평면으로부터 경사각(α)을 이룰 경우, 도입 촬상 장치로 초점 거리로 정해지는 방각(α)에 따른 상은, f*tan(α)의 위치로 시프트해서 투영되기 때문에, 차량 설치 평면에서 본 경사 평행선의 무한 원점은 그 보정을 행할 필요가 있다.
한편, 동일 차량이 평면 도로를 항상 주행 중일 경우이고 또한 검출하는 도로도 동일 평면으로 유지되어 있는 한, 도입 촬상 화상의 도로 평행 선분의 무한 원점은 수평 상하 방향의 이동은 없고, 항상 동일한 수평 무한 원을 포함하는 수평 라인 위에 있다. 그리고, 그 수평 라인의 가로 방각의 위치는, 그 도로 평면의 방각에 의해 정해진다. 설명의 편의상, 차량의 전후 이동 방각의 수평면 직각 방각으로 가로 배향 카메라를 설치하고, 그 카메라 광축에 대하여 각도 β의 평행 선분으로서 이하 설명을 한다. 즉, 차량의 병진 주행 방각의 직각을 기준으로 해서 계측했을 경우의 검출 선분의 방각(β)은, 차량이 적은 병진 이동에서는 거의 이동은 하지 않는다. 또한 세계가 완전한 평면으로 구성되어 있으면 동일하게 이동은 하지 않는다. 방각이 정해진 무한 원점에 있는 것은, 자신의 회전이 발생하지 않는 한, 일정 방각을 유지하기 위해서이다.
가로 방각을 향한 카메라의 광축은 반드시 진행 방향 직각으로 할 필요는 없지만, 설명의 편의상 진행 방각에 대하여 직각일 경우, 그 카메라로 광축으로부터 가로 방향으로 시프트량이 f*tan(β) 방각에 소실 점을 갖는 선군은 모두 차량의 진행 방향에 대하여 π/2-β의 기울기를 갖는 선분이 된다.
단, 화상으로서 도입되는 단일 프레임 화상 내의 교점은, 시각적인 착각 「무한 점」에 지나지 않고, 실공간의 선분으로서 반드시 평행선이라고는 할 수 없다. 실세계 공간의 투영 영상으로서 포착되는 화면 내의 복수 선분의 교점으로부터, 단순하게 무한 원점의 추정을 적용하면, 착각에 지나지 않는 시각적 「무한 점」을 무한 점으로서 다루게 되어, 거리를 산출함에 있어서 착각 오차를 낳게 된다.
그래서, 실제로는 차량의 주행 평면에 붙어 있지 않은 면에 검출선이 존재하는 경우도 있으므로, 제외 처리나 교정 처리를 적절히 행할 필요가 있다. 또한, 노상의 추출 선분이어도, 경계선의 편측이나 양측이 도로 설계의 사정으로 차선을 좁힌 점점 좁아지는 도로로서 설계되고, 그 결과 검출되는 경계 페어 선이 일부 경사진 도로를 보고 있는 경우도 있다. 이러한 검출 선분의 교점이 모두 무한 점이라고 상정해서 거리 연산을 행하면, 착각 오차를 포함하는 결과가 된다.
평탄한 도로로 차체에 구조적 변화는 적재에 의한 차체에 롤이나 피치, 서스펜션의 가라앉음 변화로 카메라와 노면의 위치, 방각 변화가 없으면, 해당 카메라가 검출하는 무한 상하 방각은 바뀌지 않는다.
또한, 수평 방각은 노면에 대한 해당 차량의 진행 차량의 진행 방각으로 정해진다. 그래서, 통상이라면 검출 선분의 교점이, 이들 평행선이 아님으로 인한 영향은, 도로 자체의 만곡이나 업 다운이 존재할 때만, 또는 자차가 사고나 고장 등으로 카메라의 설치 상태가 변하지 않는 한 바뀌지 않는다. 그래서, 이력으로부터 비교해서 변화가 있을 때마다 이러한 어긋남을 상세 평가해도 되고, 로컬 다이내믹 맵 등을 참조하여 카메라 시야에 들어가는 도로의 평면이나 커브 정보를 조합해서 평가해도 되고, 이동 변화에 의한 프레임간 화상 해석, 후술하는 SLAM을 사용한 보정 등, 리소스와 대처 처치에 허용되는 리소스로 다양한 교정 수단이 있다.
또한, 보다 저렴한 시스템이라면, 안정되게 확실한 계측을 할 수 없을 경우에는, 이용자에게 정확한 거리 환산 정보를 제공하지 않고, 거리 추정 오차 리스크를 포함하는 경우, 경고를 해서 운전자에게 주의를 촉구할 뿐인 이용 형태이어도 된다.
이와 같이, 본 개시의 정보 처리 장치의 데이터 처리부는, 카메라 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 한다. 또는, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 한다.
또한, 실공간 상에 있는 평행 선분은 선분을 연직 방향에서 촬영한 경우를 제외하고, 그러한 검출 선분은 모두 시야 내 혹은 시야 밖의 무한 먼곳의 방각에서 서로 교차한다. 즉, 중심 사영으로 촬상한 촬상 시야각의 범위에 그 평행선이 향하는 방각이 향하고 있으면, 시야 내의 그 방각의 사영 투영 점에 해당 평행선의 교점이 묘사된다. 본 개시는 평행선이 중심 사영의 투영으로서 기하의 성질로서 무한 먼곳 점에서 교차하는 특징을 이용하여, 평행선의 묘화 무한 점을 도출하고, 그 무한 점을 사용해서 거리 산출에 이용한다.
그러나, 촬상면의 투영면에서 선분이 교차하는 것은, 중심 사영의 투영면에서 선분이 실공간에서 평행선이라고는 할 수 없다. 서로 평행 선분이 되는 선분은, 후술하는 단일 선분이, 촬상 카메라의 병진 이동에 수반하여 무한 먼곳 방향이 되는 투영 화상 점을 중심점으로 해서, 검출된 선분이 좌표에 대하여 동일한 회전 중심점을 갖는 경우에 한한다. 즉, 이동 장치에 탑재된 카메라가 포착한 평행 선분은, 이동에 수반하는 검출 선분의 무한 방각은 바뀌지 않고, 평행 선분의 방각에 따른 중심 사영된 촬상 화상의 해당 방각에 대하여, 그 무한 원에 고정이며, 그 무한 원점을 중심으로 회전한다. 차량의 병진 거리가 수미터 정도의 근방 거리라면, 일반 도로의 먼 곳부의 방각의 중심 사영 상에서의 묘화 위치는 거의 일정하다고 간주할 수 있다.
특히, 수백미터나 수킬로와 같은 긴 거리를 완전한 병진 평행 이동이 기술적으로 가능하다고 해도, 통상의 주행에서는 그와 같은 광범위한 이동에서 먼 곳에 보이는 무한 점을 더이상 쫓을 일은 없어, 본 개시에서 검출해야 할 대상이라고 할 수 없다고 간주할 수 있다. 본 개시의 이용 적용 범위는, 십자로 등에서 차량의 머리 내밀기 등의 극히 짧은 병진 이동이며, 차량 탑재 카메라의 촬영 주변 검출 도로의 평행 선분 수렴 무한 원점은 고정되어 일정하다고 간주할 수 있는 범위에서 적용한다.
다른 표현을 하면, 차량이 주행하는 도로 평면에 대하여 해당 동일 노면 평면에 일치하는 면에 존재하는 평행선은, 차량의 진행 방향으로 이동이 있으면, 진행에 수반하는 프레임간 화상에서, 그 선분은 병진에 수반하여, 선분의 무한 소실 점은 일정 위치를 유지하고, 또한 선분의 근방부는 차량의 진행에 수반하여 후퇴 방향으로 이동하므로, 프레임간에서 선분은 무한 소실 점의 주위를 회전 변화한다. 상세는 후술하는데, 이러한 실질적인 무한 점은, 중심 사영 상의 광축 횡단 방각의 가로 이동에 대하여, 화면 내의 모든 물체가 거리에 반비례해서 가로 이동을 하는 점을 이용하여, 적절히 교정하면 된다. 본 개시의 정보 처리 장치는, 이러한 선분 좌표 해석을 행함으로써 정확한 무한 원점 추정을 행한다.
촬영 화상 상의 무한 원점 O(62)를 검출할 수 있으면,
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터를 산출할 수 있다.
도 6을 참조하여, 이 처리에 대해서 설명한다.
또한, 도 6에서는, 거리 산출 대상의 오브젝트를 오브젝트(차량)(64)로 하고 있다.
도 6에 도시하는 바와 같이,
파라미터 h는, 촬영 화상 상의 오브젝트(차량)(64)의 접지점(기준면(도로면)과의 접점)과 무한 원점 O(62)의 사이의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
파라미터 href는, 촬영 화상 상의 기준점 P(63)와, 무한 원점 O(62)의 사이의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이다.
이 2개의 이격 거리는 화상 상의 이격 거리이며, 화상으로부터 직접 구하는 것이 가능하다.
그 결과, 앞서 설명한 이하의 식 (1)에 따라서, 오브젝트의 거리를 산출하는 것이 가능하게 된다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
또한, 상기 식 (1)을 적용해서 오브젝트 거리를 산출하기 위해서는, 상술한 바와 같이,
L=Lref×(href/h) … 식 (1a)
L=f×(H/h) … 식 (1b)
상기 식 (1a) 또는 식 (1b)의 어느 것을 사용하는 것이 가능하다.
상기 각 식에 포함되는 파라미터 중,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이)
이들 파라미터는 기지이다.
또한, 여기에서 H는 차량의 적재량물 등에 의해 가변할 가능성은 있지만, 일단 주행을 시작한 차량에서는 상당한 도중에서의 변동은 서스펜션 등의 효과 정도에 따른 일시적인 변동이기 때문에, 레퍼런스의 계측 수단을 통해서 주행 개시마다 적절히 그 센터 값에 대하여 자기 교정이 가능하다.
또한 초점 거리(f)는 통상의 중심 사영의 투영 방식으로 실공간을 촬상 화상 평면에 투영 변환하는 렌즈를 사용한 경우라면, 설계에 기초한 고정값이 되지만, 어안 렌즈로 입체 사영 변환 등 중심 사영과 다른 사영 방식의 화상으로부터 지정 방각의 화상 변환에 의한 가상적 중심 사영 상을 바탕으로 연산을 행할 때는, 그 때의 가상 사영 방식에서 상정하는 소 거리의 환산값을 대신에 사용하면 된다.
이 설정에 있어서,
L=Lref×(href/h) … 식 (1a)
이 식 (1a)를 이용하여, 오브젝트 거리(L)를 산출하기 위해서는, 이하의 각 파라미터의 값을 취득하는 것이 필요해진다.
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이 식 (1a)를 이용하는 경우에는, 먼저, 좌측 방향 거리 센서(12L)에 의해 거리 계측이 가능한 위치에 있는 근접 오브젝트를 기준점 P로서 선택하고, 그 기준점 P까지의 거리를 계측함으로써, 기준점 P까지의 거리 Lref를 취득한다.
또한, 도 6을 참조하여 설명한 처리에 의해 검출된 무한 원점 O(62)로부터, 파라미터 h, href를 취득한다.
이들 파라미터를 이용하여,
L=Lref×(href/h) … 식 (1a)
상기 식 (1a)에 따라서 오브젝트 거리를 산출할 수 있다.
또한,
L=f×(H/h) … 식 (1b)
이 식 (1b)를 이용하는 경우에는, 도 6을 참조하여 설명한 처리에 의해 검출된 무한 원점 O(62)로부터, 파라미터 h를 취득한다.
이 파라미터를 이용하여,
L=f×(H/h) … 식 (1b)
상기 식 (1b)에 따라서 오브젝트 거리를 산출할 수 있다.
또한, 이 식 (1b)를 이용한 오브젝트 거리 산출 처리에서는, 기준점 P까지의 거리 산출이 불필요해서, 거리 센서를 갖지 않는 자동차에 있어서도, 촬영 화상만으로부터 오브젝트 거리를 산출하는 것이 가능하게 된다.
또한, 상술한 처리에서의 카메라 촬영 화상에 기초하는 무한 원점의 산출을 행하기 위해서, 본 개시의 정보 처리 장치의 데이터 처리부는, 예를 들어 이하와 같은 기능을 구비하는 구성으로 하는 것이 바람직하다.
(기능 1) 카메라 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 복수 선분의 프레임간의 선분 좌표 변동 해석을 행함으로써 해당 선분이 실세계 공간에서의 평행선의 조합인 것을 판정하는 기능.
(기능 2) 카메라 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 복수 선분의 평행 선분과 비평행 선분을 판정하는 기능.
(기능 3) 카메라 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 선분의 조합 교차 피크 좌표가, 차량 병진 운동에 수반하는 순차 프레임간에서 이동하는 것을 검출하는 기능.
[2-2. (처리 예 2) 카메라 촬영 화상에 포함되는 1개의 선분을 사용해서 무한 원점의 위치를 검출하는 처리 예]
이어서, 처리 예 2로서, 카메라 촬영 화상에 포함되는 1개의 선분을 사용해서 무한 원점의 위치를 검출하는 처리 예에 대해서, 도 7을 참조하여 설명한다.
자동차(10)의 카메라(11)의 촬영 화상으로부터 복수의 평행선을 검출할 수 없었을 경우에는, 자동차(10)의 약간의 병진에 수반하여 발생하는 개별 검출 선분의 변화를 트래킹하고, 회전 중심의 피크 탐색을 행하여, 회전 중심점을 (추정)무한 원점으로 한다.
구체예에 대해서 도 7을 참조하여 설명한다.
도 7 (1) 화상 프레임(f(t1))은, 시간 t1 시의 좌측 방향 카메라(11L)의 촬영 화상이다.
도 7 (2) 화상 프레임(f(t2))는, 시간 t1 후의 시간 t2 시의 좌측 방향 카메라(11L)의 촬영 화상이다.
그 후, 소정 시간 간격으로, 좌측 방향 카메라(11L)의 촬영 화상이 촬영되고,
도 7 (n) 화상 프레임(f(tn))은, 그 후의 시간 tn 시의 좌측 방향 카메라(11L)의 촬영 화상이다.
이들 n매의 촬영 화상에는, 동일한 피사체인 n개의 개별 검출선(71(1), 71(2), … 71(n))이 촬영되어 있다.
또한, 검출 대상으로 하는 개별 검출선은, 자동차(10)의 위치(=카메라 위치)로부터 먼 곳으로 연장되는 직선이다.
자동차(10)의 진행에 수반하여 개별 검출선(71)은, 그 방향이 약간 변경된다.
도 7의 상단에는, n개의 개별 검출선(71(1), 71(2), … 71(n))을 동일 화상 상에 표시한 무한 원점 산출용 합성 화상(70)이다.
이 합성 화상 상의 n개의 개별 검출선(71(1), 71(2), … 71(n))을 연장해서 교차하는 점을 무한 원점 O(62)로 한다.
이와 같이, 촬영 화상으로부터 복수의 평행선을 검출할 수 없을 경우에는, 자동차(10)의 약간의 병진에 수반하여 발생하는 개별 검출 선분의 변화를 트래킹하고, 회전 중심의 피크 탐색을 행하여, 회전 중심점을 (추정)무한 원점 O(62)로 한다.
이와 같이, 이동 장치 내의 정보 처리 장치는, 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 직선을 검출하여, 카메라의 이동에 수반해서, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 직선의 각각의 연장선 상의 교점을 검출하고, 이 교점 위치를 무한 원점으로 한다.
촬영 화상 상의 무한 원점 O(62)가 검출되면,
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터를 취득할 수 있다.
이들 파라미터를 취득할 수 있으면, 앞서 설명한 이하의 식 (1)에 따라서, 오브젝트 거리를 산출하는 것이 가능하게 된다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
또한, 이 도 7을 참조하여 설명한 처리는, 자동차(10)가 직진한 경우, 즉, 개별 검출선에 직각 방향으로 진행한 경우에는, 특별히 보정은 불필요하지만, 자동차(10)가 직진하지 않을 경우, 즉, 개별 검출선에 직각 방향으로 진행하지 않을 경우, 예를 들어 Δθ 회전해서 진행했을 경우에는, 각 촬영 프레임마다의 회전 요 Δθ가 작용한다. 따라서, 촬영 화상 내의 선분이 광축의 무한 원 방향을 향하고 있다고 가정하면, 선분의 무한 먼곳 점에서의 교점은 수평하게 f×tan(Δθ)만큼 가로로 시프트하게 되므로 그 보정이 필요하다.
또한, 무한 원점의 위치는, 연속하는 촬영 화상 프레임 중에서 거의 고정된 점이 된다.
도 8은, 연속하는 촬영 화상 프레임 내에 검출되는 무한 원 O(62)의 예를 도시하는 도면이다.
도 5, 도 6 또는 도 7을 참조하여 설명한 방법에 의해 산출한 무한 원점 O(62)이다.
도면에 도시하는 바와 같이, 연속하는 촬영 화상 프레임 내에 검출되는 무한 원 O(62)의 위치는, 각 화상 내의 거의 동일한 위치의 고정된 점이 된다.
도 8에 도시하는 화상을 적용하여, 이 화상 내의 보행자까지의 거리를 구할 경우의 처리 예에 대해서 도 9를 참조하여 설명한다.
도 9에 도시하는 화상(80)은, 자동차(10)의 좌측 방향 카메라(11L)의 촬영 화상, 즉 좌측 방향 카메라 촬영 화상(80)이다.
이 좌측 방향 카메라 촬영 화상(80)에는, 자동차를 향해서 걷고 있는 보행자가 찍혀 있다. 이 보행자를 거리 산출 대상의 오브젝트(85)로 한다.
좌측 방향 카메라 촬영 화상(80)에는, 자동차(10)의 좌측 방향 거리 센서(12L)에 의해 거리 계측 가능한 근접 오브젝트(82)가 찍혀 있다. 이 근접 오브젝트(82)를 기준점 P로서 이용한다. 즉, 근접 오브젝트(82)의 자동차(10)로부터의 거리를 좌측 방향 거리 센서(12L)에 의해 계측하고, 기준점 P의 거리 Lref를 산출한다.
또한, 앞서 도 5, 도 6 또는 도 7을 참조하여 설명한 방법에 의해 무한 원점 O(81)을 검출한다.
무한 원점 O(81)와, 거리 계측 가능한 근접 오브젝트(기준점 P)(82)가 결정되면, 앞서 설명한 이하의 식 (1)에 따라서, 자동차(10)를 향해서 걷고 있는 보행자, 즉 거리 산출 대상의 오브젝트(보행자)(85)의 오브젝트 거리(L)를 산출하는 것이 가능하게 된다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
도 10을 참조하여 구체적 처리 예에 대해서 설명한다.
상기 식 (1)의 각 파라미터는, 이하와 같다.
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이),
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터 중,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이)
이들 값은 기지이다.
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
이 기준점 P까지의 거리는, 거리 센서(12)를 사용해서 취득 가능하다.
나머지 파라미터, 즉,
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터는, 도 10에 도시하는 바와 같은 설정이 된다.
이와 같이, 화상(80)으로부터, 거리 계측 가능한 근접 오브젝트(기준점 P)(82)와, 무한 원점 O(81)를 검출함으로써, 거리 산출 대상의 오브젝트(보행자)(85)의 오브젝트 거리(L)를 이하의 식 (1)에 따라서 산출하는 것이 가능하게 된다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
또한, 상술한 바와 같이, 상기 식 (1)을 적용해서 오브젝트 거리를 산출하기 위해서는,
L=Lref×(href/h) … 식 (1a)
L=f×(H/h) … 식 (1b)
상기 식 (1a) 또는 식 (1b)의 어느 것을 사용하는 것이 가능하다.
상기 각 식에 포함되는 파라미터 중,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이)
이들 파라미터는 기지이다.
이 설정에 있어서,
L=Lref×(href/h) … 식 (1a)
이 식 (1a)를 이용하여, 오브젝트 거리(L)를 산출하기 위해서는, 이하의 각 파라미터의 값을 취득하는 것이 필요해진다.
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리).
이 식 (1a)를 이용하는 경우에는, 먼저, 좌측 방향 거리 센서(12L)에 의해 거리 계측이 가능한 위치에 있는 근접 오브젝트(82)를 기준점 P로서 선택하고, 그 기준점 P까지의 거리를 계측함으로써, 기준점 P까지의 거리 Lref를 취득한다.
또한, 도 5, 도 6 또는 도 7을 참조하여 설명한 처리에 의해 검출된 무한 원점 O(81)로부터, 파라미터 h, href를 취득한다.
이들 파라미터를 이용하여,
L=Lref×(href/h) … 식 (1a)
상기 식 (1a)에 따라서 오브젝트 거리를 산출할 수 있다.
또한,
L=f×(H/h) … 식 (1b)
이 식 (1b)를 이용하는 경우에는, 도 5, 도 6 또는 도 7을 참조하여 설명한 처리에 의해 검출된 무한 원점 O(81)로부터, 파라미터 h를 취득한다.
이 파라미터를 이용하여,
L=f×(H/h) … 식 (1b)
상기 식 (1b)에 따라서 오브젝트 거리를 산출할 수 있다.
또한, 이 식 (1b)를 이용한 오브젝트 거리 산출 처리에서는, 기준점 P까지의 거리 산출이 불필요해서, 거리 센서를 갖지 않는 자동차에 있어서도, 촬영 화상만으로부터 오브젝트 거리를 산출하는 것이 가능하게 된다.
또한, 상술한 설명으로부터 이해되는 바와 같이, 오브젝트 거리 산출 처리는, 자동차에 장착된 카메라의 촬영 화상에 기초해서 행하여지고, 각 촬영 화상의 촬영 타이밍에서의 오브젝트 거리를 산출할 수 있다.
카메라에 의한 화상 촬영 처리는, 소정 프레임 레이트의 동화상 촬영 처리로서 행하여지며, 각 화상의 촬영 간격은 규정 시간이 된다. 예를 들어 60fps의 경우, 1초간에 60 프레임의 화상이 촬영된다.
따라서, 각 화상 프레임 단위로 오브젝트 거리를 산출하면, 각 프레임 간격에서의 오브젝트의 이동 거리도 산출할 수 있다. 즉, 오브젝트의 이동 속도를 산출하는 것이 가능하게 된다.
자동차(10) 내의 정보 처리 장치는, 이렇게 각 화상 프레임 단위의 오브젝트 거리를 산출하여, 오브젝트의 이동 속도도 함께 산출하는 것이 가능하다.
[3. 그 밖의 오브젝트 거리 산출 처리 예]
이어서, 도 11 이하를 참조하여 그 밖의 오브젝트 거리 산출 처리 예에 대해서 설명한다.
이하의 처리 예에 대해서, 순차 설명한다.
(처리 예 1) 거리 산출 대상 오브젝트와, 기준점 오브젝트의 각 위치에 도로 등의 일정 폭의 화상이 포함되는 경우의 오브젝트 거리 산출 처리 예
(처리 예 2) 거리 산출 대상 오브젝트가, 실사이즈가 기지인 구성물을 포함하는 경우의 오브젝트 거리 산출 처리 예
[3-1. (처리 예 1) 거리 산출 대상 오브젝트와, 기준점 오브젝트의 각 위치에 도로 등의 일정 폭의 화상이 포함되는 경우의 오브젝트 거리 산출 처리 예]
먼저, 처리 예 1로서, 거리 산출 대상 오브젝트와, 기준점 오브젝트의 각 위치에 도로 등의 일정 폭의 화상이 포함되는 경우의 오브젝트 거리 산출 처리 예에 대해서, 도 11을 참조하여 설명한다.
도 11에 도시하는 화상은, 자동차(10)의 좌측 방향 카메라(11L)에 의해 촬영된 화상이다.
도로 상을 다가오는 오브젝트(차량)(91)가 피사체로서 찍혀 있다.
이 오브젝트(차량)(91)의 거리를 산출한다.
화상에는 또한, 자동차(10)의 좌측 방향 거리 센서(12L)에 의해 거리 계측 가능한 근접 오브젝트(92)가 촬영되어 있다.
이 근접 오브젝트(92)를 기준점 P로서 이용한다. 즉, 근접 오브젝트(92)의 자동차(10)로부터의 거리를 좌측 방향 거리 센서(12L)에 의해 계측하여, 기준점 P의 거리 Lref를 산출한다.
또한, 도면 중에서 거리 Lref나 거리 L을 나타내는 선분의 화살표의 시점을 둥글게 칠에서 도시하고 있지만, 중심 사영의 현실의 카메라 화상에서는 그 광축에 직교하는 방각은 무한한 먼 곳이기 때문에 찍히지 않는다. 즉, 수평 방향을 향한 중심 사영의 카메라에서 해당 카메라의 바로 아래의 도로부는 묘사되지 않기 때문이다. 본 개시 도면은 카메라 설치 위치로부터 거리를 편의상 직감적으로 보여주기 위한 도시이다. 이것은, 중심 사영의 투영 관계를 모식적으로 나타낸 도 3에서, 렌즈를 거리 L의 화살표 시점으로 하면, 그 점은 투영 화상면에 그릴 수 없는 것으로 이해할 수 있다.
또한, 화상에는, 도로, 즉, 거리 산출 대상 오브젝트인 오브젝트(차량)(91)가 주행하고 있는 도로가 포함된다.
이 도로는, 근접 오브젝트(기준점 P)(92)의 위치에도 있고, 실세계에서의 도로 폭은 거의 모든 도로에서 일정하다고 추정할 수 있다.
도로 폭이 일정하여도, 커브를 그리고 싶은, 해당 차량의 도로 평면에 대하여 업 다운이 있는 굴곡진 상황에서는, 예를 들어 도 12에 도시하는 바와 같이, 그 도로의 방각에 따라서 검출 평행선의 무한 점은 시프트한다. 중심 사영 방식의 카메라로 묘사되는 상의 화면 내 배치는, 그 광축 중심에 대하여, 각도 β의 방각이 촬상 상 높이 f*tan(β) 시프트해서 찍힌다. 그 때문에, 도로의 각 평행 성분을 이루는 세그먼트마다 그 구간의 배향에 맞추어, 그 사이의 무한 점은 대응해서 변화한다. 도 12 (1)에 도시하는 예에서는, 카메라의 렌즈 위치로부터 거리 Lturn까지는 차량 진행 방향 직각으로 설치된 카메라의 광축과 평행한 선분과, 그 이후가 각도 β를 이루는 상정으로 그려져 있다. 또한, 도 12 (2)는, 동 거리 Lslope 이후에 기울기 α로 도로면이 상승되어 있는 케이스를 도시한다.
한편, 도로의 경계 구분선이 애당초 평행하지 않을 경우, 단일 프레임 화상에서 판단을 하려고 하면 귀찮은 일이 생긴다. 예를 들어, 도 13에 도시하는 바와 같이, 도로 폭이 점점 좁아지는 케이스나 도로의 편측 경계선이 점점 가늘어지게 설계가 되어 있는 경우에는, 단일 프레임 화상으로 보면, 무한 점의 착각을 야기한다. 즉, 촬상 검출 선분의 교점이 평행선의 무한 먼곳 점의 가정은 더이상 정확하게 적용되지 않는다.
이들 도 12, 도 13에 도시하는 예와 같이, 도로의 폭이 변한 경우나, 자차량이 주행하는 평면에 대하여 경사져 있는 영역을 넘을 경우 등에는, 이 교점이 유한 길이에 존재하므로, 차량의 병진 전진 이동으로 점의 위치의 변화를 수반한다. 이 성질을 이용하여, 거리 산출에 적용할 수 있는 무한 점과 단일 프레임의 「겉보기」 무한 점은 구분 판별이 가능하다. 선분이 차량의 전진 병진 운동할 때의 도입 화상의 프레임간에서, 검출 선분 조합의 평행 선분의 무한 점과 비평행 선분으로 묘화되는 선분의 교점에는 다른 거동이 발생한다. 여기서 주목하는 것은, 중심 사영 투영의 카메라 화상에는, 도입 화면 상의 광축 중심으로부터의 점의 묘화 위치가, 실공간의 광축에 대한 방각이 γ일 경우, 그 묘화면 광축 중심점으로부터 f*tan(γ)가 되어, 촬상된 모든 선분의 각 무한 먼곳의 소실 점은 그 선분이 카메라의 광축에 대하여 일의적으로 정해지는 것이다.
각 구간마다의 구간 거리는 그 구간에서 검출되는 평행 선분의 무한 점 위치로부터 거리 추정을 할 수 있어, 그 앞의 구간마다 적분함으로써 구부러진 평행 도로에서도 보다 먼 곳까지의 거리 추정이 원리적으로 가능하다.
또한, 노면의 무한 점 교정이나 노면 상의 오브젝트의 거리 추정 시에는, 노면 특징이 복수 검출되는 상황 하에서는, 차량의 병진 이동에 수반하는 촬상 화면 상에서의 노면 특징점이 도 14에 도시하는 바와 같이, 진행 방향 역방향으로 이동하여, 그 이동량(ΔM)과 거리(L)는 역비례의 관계를 나타낸다. 노면 상 특징점만 선택적으로 플롯하면, 선형 함수가 얻어진다. 예를 들어 최소 제곱법으로 피팅한 관계식으로부터, 거리 추정을 해도 된다. 단, 노면 입체 구조물의 경우, 그 구조물의 노면보다도 높은 위치에 있는 경우에는, 교정에 적용할 수 없다.
단, 화상 상에서는, 카메라에 가까운 위치에 있을수록 피사체 사이즈는 커진다. 따라서,
(a) 거리 산출 대상 오브젝트인 오브젝트(차량)(91)의 위치의 도로 폭의 화상 사이즈(W),
(b) 근접 오브젝트(기준점 P)(92)의 위치의 도로 폭의 화상 사이즈(Wref),
이들 2개의 화상 상의 도로 폭 사이즈는 다른 사이즈가 된다.
실세계에서 동일 사이즈의 오브젝트의 화상 상의 사이즈는 카메라로부터 피사체까지의 거리에 역비례한다. 즉, 카메라로부터 피사체까지의 거리가 커질수록, 화상 상의 사이즈는 작아진다.
도 11에 도시하는 근접 오브젝트(기준점 P)(92)는, 좌측 방향 거리 센서(12L)에 의해 자동차(10)로부터의 거리가 계측되어 있다. 즉,
기준점 P 거리=Lref이다.
또한, 이 근접 오브젝트(기준점 P)(92)의 위치의 화상 가로 방향(수평 방향)의 화상 상의 도로 폭은 Wref이다. 이 도로 사이즈(Wref)는, 화상으로부터 취득할 수 있다.
또한, 거리 산출 대상 오브젝트인 오브젝트(차량)(91)의 위치의 화상 가로 방향(수평 방향)의 화상 상의 도로 폭은 W이다. 이 도로 사이즈(W)는, 화상으로부터 취득할 수 있다.
따라서, 카메라의 위치(=자동차(10)의 위치)로부터, 거리 산출 대상 오브젝트인 오브젝트(차량)(91)까지의 거리(L)는, 이하의 식 (2)에 의해 산출할 수 있다.
L=Lref×(Wref/W) … 식 (2)
단,
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리),
Wref: 기준점 P(기준면(도로면) 상)의 화상 가로 방향(수평 방향)의 오브젝트(도로 등)의 폭(화상 상의 길이),
W: 거리 산출 대상 오브젝트(기준면(도로면) 상)의 화상 가로 방향(수평 방향)의 오브젝트(도로 등)의 폭(화상 상의 길이)
이다.
[3-2. (처리 예 2) 거리 산출 대상 오브젝트가, 실사이즈가 기지인 구성물을 포함하는 경우의 오브젝트 거리 산출 처리 예]
이어서, 처리 예 2로서, 거리 산출 대상 오브젝트가, 실사이즈가 기지인 구성물을 포함하는 경우의 오브젝트 거리 산출 처리 예에 대해서, 도 15를 참조하여 설명한다.
도 15에 도시하는 화상은, 자동차(10)의 좌측 방향 카메라(11L)에 의해 촬영된 화상이다.
도로 상을 다가오는 오브젝트(차량)(91)가 피사체로서 찍혀 있다.
이 오브젝트(차량)(91)의 거리를 산출한다.
거리 산출 대상 오브젝트인 오브젝트(차량)(91)에는, 번호판의 화상이 포함된다.
자동차의 번호판의 사이즈는, 규격에 따른 사이즈이며, 일반적인 보통 승용차에서는, 어느 자동차에서든 동일한 사이즈가 된다.
즉, 번호판의 실사이즈가 기지이다.
이 기지 사이즈인 번호판의 실사이즈(가로 폭)를 Wrw로 한다.
또한, 촬영 화상에 포함되는 번호판의 화상 사이즈(가로 폭)를 W로 한다.
또한, 카메라의 초점 거리를 f로 한다. 이 f는 기지이다.
이때, 카메라의 위치(=자동차(10)의 위치)로부터, 거리 산출 대상 오브젝트인 오브젝트(차량)(91)까지의 거리(L)는, 이하의 식 (3)에 의해 산출할 수 있다.
L=f×(Wrw/W) … 식 (3)
단,
f: 카메라의 초점 거리,
Wrw: 거리 산출 대상 오브젝트의 화상 내에 포함되는 실사이즈가 기지인 구성물의 실사이즈,
W: 거리 산출 대상 오브젝트의 화상 내에 포함되는 실사이즈가 기지인 구성물의 화상 사이즈
이다.
도 11, 도 15를 참조하여 설명한 오브젝트 거리 산출 처리에서는, 앞서 설명한 무한 원점의 위치를 화상으로부터 검출하는 처리가 불필요하다.
즉, 화상으로부터 무한 원점을 검출할 수 없는 경우에도, 오브젝트 거리를 산출하는 것이 가능하게 된다.
또한, 도 15를 참조하여 설명한 처리에서는, 기준점 P까지의 거리 산출도 불필요해서, 거리 센서를 갖지 않는 자동차에 있어서도, 오브젝트 거리를 산출하는 것이 가능하게 된다.
[4. 정보 처리 장치가 실행하는 처리의 시퀀스에 대해서]
이어서, 도 16, 도 17에 나타내는 흐름도를 참조하여, 자동차(10) 내의 정보 처리 장치가 실행하는 처리의 시퀀스에 대해서 설명한다.
또한, 도 16, 도 17에 나타내는 흐름도에 따른 처리는, 예를 들어 정보 처리 장치의 기억부에 저장된 프로그램에 따라서 실행하는 것이 가능하다.
정보 처리 장치는, 예를 들어 CPU 등의 프로그램 실행 기능을 갖는 하드웨어를 구비하고 있다.
이하, 흐름도의 각 스텝의 처리에 대해서 설명한다.
(스텝 S101)
먼저, 스텝 S101에서, 카메라 촬영 화상에 거리 산출 대상 오브젝트를 검출했는지 여부를 판정한다.
또한, 이 경우의 카메라는, 좌측 방향 카메라(11L) 또는 우측 방향 카메라(11R)의 어느 것이다.
또한, 거리 산출 대상 오브젝트는, 예를 들어 차량 외에, 보행자, 가드 레일, 측벽 등, 자동차(10)의 이동에 대한 장해물이 될 수 있는 모든 오브젝트로 해도 되고, 미리, 이동하는 오브젝트만을 선택하는 설정으로 해도 된다.
(스텝 S102)
이어서, 스텝 S102에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 있었는지 여부를 판정한다.
이 평행선은, 카메라측에서 먼 곳 방향으로 연장되는 선이다. 즉, 먼저 도 5를 참조하여 설명한 평행선 a 내지 d(61a 내지 61d) 등의 선이다.
카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 있었다고 판정한 경우에는, 스텝 S104로 진행한다.
한편, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 없다고 판정한 경우에는, 스텝 S103으로 진행한다.
(스텝 S103)
스텝 S102에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 없다고 판정한 경우에는, 스텝 S103으로 진행한다.
스텝 S103에서는, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 있었는지 여부를 판정한다.
이 선분도 카메라측에서 먼 곳 방향으로 연장되는 선이다. 즉, 먼저 도 7을 참조하여 설명한 개별 검출선(71) 등의 선이다.
카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 있었다고 판정한 경우에는, 스텝 S104로 진행한다.
한편, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 없다고 판정한 경우에는, 스텝 S201로 진행한다.
(스텝 S104)
스텝 S102에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 있었다고 판정한 경우, 또는
스텝 S103에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 있었다고 판정한 경우에는, 스텝 S104로 진행한다.
스텝 S104에서는, 카메라 촬영 화상으로부터 무한 원점을 검출한다.
스텝 S102에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 있었다고 판정한 경우에는, 앞서 도 5를 참조하여 설명한 바와 같이, 이들 복수의 평행선을 연장해서 그 교점을 검출한다. 이 교점을 무한 원점으로 한다.
또한, 스텝 S103에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 있었다고 판정한 경우에는, 앞서 도 7을 참조하여 설명한 바와 같이, 소정 기간 내의 복수의 촬영 화상 프레임에 포함되는 선분을 1개의 화상 상에 출력한 경우에 출력되는 복수의 선을 연장해서 그 교점을 검출한다. 이 교점을 무한 원점으로 한다.
(스텝 S105)
스텝 S104에서, 무한 원점의 검출이 종료되면 이어서, 스텝 S105로 진행한다.
스텝 S105에서는, 이하의 식 (1)에 따라서, 오브젝트 거리를 산출한다.
L=Lref×(href/h)=f×(H/h) … 식 (1)
단,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이),
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이다.
또한, 상기 식 (1)을 적용해서 오브젝트 거리를 산출하기 위해서는,
L=Lref×(href/h) … 식 (1a)
L=f×(H/h) … 식 (1b)
상기 식 (1a) 또는 식 (1b)의 어느 것을 사용하는 것이 가능하다.
상기 각 식에 포함되는 파라미터 중,
f: 카메라의 초점 거리,
H: 카메라의 설치 높이(기준면(=도로면)으로부터의 높이)
이들 파라미터는 기지이다.
이 설정에 있어서,
L=Lref×(href/h) … 식 (1a)
이 식 (1a)를 이용하여, 오브젝트 거리(L)를 산출할 경우에는,
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리)
h: 촬영 화상 상의 오브젝트 접지점(기준면(도로면)과의 접점)과 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리),
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리(화상 상하 방향의 화상 상의 이격 거리)
이들 파라미터를 취득할 필요가 있다.
이 식 (1a)를 이용하는 경우에는, 먼저, 거리 센서(12)에 의해 거리 계측이 가능한 위치에 있는 근접 오브젝트를 기준점 P로서 선택하고, 그 기준점 P까지의 거리를 계측하여, 기준점 P까지의 거리 Lref를 취득한다.
또한, 스텝 S104에서 검출한 무한 원점으로부터, 파라미터 h, href를 취득한다.
이들 파라미터를 이용하여,
L=Lref×(href/h) … 식 (1a)
상기 식 (1a)에 따라서 오브젝트 거리를 산출할 수 있다.
또한,
L=f×(H/h) … 식 (1b)
이 식 (1b)를 이용하는 경우에는, 스텝 S104에서 검출한 무한 원점으로부터, 파라미터 h를 취득한다.
이 파라미터를 이용하여,
L=f×(H/h) … 식 (1b)
상기 식 (1b)에 따라서 오브젝트 거리를 산출할 수 있다.
또한, 이 식 (1b)를 이용한 오브젝트 거리 산출 처리에서는, 기준점 P까지의 거리 산출이 불필요해서, 거리 센서를 갖지 않는 자동차에 있어서도, 촬영 화상만으로부터 오브젝트 거리를 산출하는 것이 가능하게 된다.
(스텝 S201)
스텝 S102에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 복수의 평행선(실세계 상의 평행선)을 검출할 수 없다고 판정되고, 또한
스텝 S103에서, 카메라 촬영 화상으로부터 무한 원점 검출에 적용 가능한 1개의 선분을 검출할 수 없다고 판정한 경우에는, 스텝 S201로 진행한다.
스텝 S201에서는, 화상으로부터 기준점이 될 수 있는 거리가 산출 가능한 근접 오브젝트를 검출할 수 있었는지 여부를 판정한다.
근접 오브젝트를 검출할 수 있었을 경우에는 스텝 S202로 진행한다.
근접 오브젝트를 검출할 수 없었을 경우에는 스텝 S211로 진행한다.
(스텝 S202)
스텝 S201에서, 화상으로부터 기준점이 될 수 있는 거리가 산출 가능한 근접 오브젝트를 검출할 수 있었다고 판정한 경우에는 스텝 S202로 진행한다.
스텝 S202에서는, 근접 오브젝트를 기준점 P로 해서, 기준점 P의 거리를 산출한다.
거리 산출은 거리 센서(12L, 12R)의 어느 것에 의해 행하여진다.
(스텝 S203)
이어서, 오브젝트 거리(L)를 이하의 식 (2)에 따라서 산출한다.
L=Lref×(Wref/W) … 식 (2)
단,
Lref: 기준점 P(기준면(도로면) 상)까지의 거리(실거리),
Wref: 기준점 P(기준면(도로면) 상)의 화상 가로 방향(수평 방향)의 오브젝트(도로 등)의 폭(화상 상의 길이),
W: 거리 산출 대상 오브젝트(기준면(도로면) 상)의 화상 가로 방향(수평 방향)의 오브젝트(도로 등)의 폭(화상 상의 길이)
이다.
이 식 (2)를 이용한 오브젝트 거리 산출 처리는, 앞서 도 11을 참조하여 설명한 처리에 상당한다.
(스텝 S211)
한편, 스텝 S201에서, 화상으로부터 기준점이 될 수 있는 거리가 산출 가능한 근접 오브젝트를 검출할 수 없다고 판정한 경우에는 스텝 S211로 진행한다.
스텝 S211에서는, 거리 산출 대상 오브젝트의 화상 내에 실사이즈가 기지인 구성물, 예를 들어 번호판 등이 포함되는지 여부를 판정한다.
실사이즈가 기지인 구성물이 포함되는 경우에는, 스텝 S212로 진행한다.
실사이즈가 기지인 구성물이 포함되지 않은 경우에는, 처리를 종료한다.
(스텝 S212)
스텝 S211에서, 거리 산출 대상 오브젝트의 화상 내에 실사이즈가 기지인 구성물, 예를 들어 번호판 등이 포함된다고 판정한 경우, 스텝 S212로 진행한다.
스텝 S212에서는, 오브젝트 거리(L)를 이하의 식 (3)에 따라서 산출한다.
L=f×(Wrw/W) … 식 (3)
단,
f: 카메라의 초점 거리,
Wrw: 거리 산출 대상 오브젝트의 화상 내에 포함되는 실사이즈가 기지인 구성물의 실사이즈,
W: 거리 산출 대상 오브젝트의 화상 내에 포함되는 실사이즈가 기지인 구성물의 화상 사이즈
이다.
이 식 (3)을 이용한 오브젝트 거리 산출 처리는, 앞서 도 15를 참조하여 설명한 처리에 상당한다.
[5. 이동 장치의 구성예에 대해서]
이어서, 도 16을 참조하여 본 개시의 처리를 실행하는 자동차(10) 등의 이동 장치의 구성예에 대해서 설명한다.
도 16은, 상술한 처리를 실행하는 자동차(10) 등의 이동 장치의 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 다른 차량과 구별할 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해서 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해서 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해서 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 기타 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기이어도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU), 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 기타 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 자차의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서, 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고, 차밖의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해서, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface) 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해서, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집간(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하여, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 또는 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되고 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차 밖에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험지대에의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차 밖에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치이어도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하여 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라, 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치, 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 자차의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차밖 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.
차밖 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부의 정보의 검출 처리를 행한다. 예를 들어, 차밖 정보 검출부(141)는, 자차의 주위 물체의 검출 처리, 인식 처리 및 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장해물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차밖 정보 검출부(141)는, 자차의 주위 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차밖 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리 및 차내 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 기타 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차밖 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵이 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차밖 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차밖 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위 신호의 위치 및 상태, 자차의 주위의 교통 규제 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차밖 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차의 주위의 상황 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차의 주위 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)가 된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차의 주위 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위의 상황, 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상 발생, 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차의 주위 상황에는, 예를 들어 자차의 주위의 동물체의 거동, 신호 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 자차의 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차밖 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험지대에의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 지령을 구동계 제어부(107)에 공급한다.
또한, 상술한 실시예에서 설명한 오브젝트 거리 검출 처리는, 예를 들어 이하의 구성 요소를 적용해서 실행된다.
데이터 취득부(102)로서 구성되는 카메라, 거리 센서의 취득 정보를, 검출부(131)의 차밖 정보 검출부(141)에 입력한다.
차밖 정보 검출부(141)는, 카메라, 거리 센서의 취득 정보를 사용하여, 거리 검출 대상이 되는 오브젝트를 특정하고, 그 오브젝트의 거리를 산출한다.
혹은, 차밖 정보 검출부(141)는, 카메라, 거리 센서의 취득 정보를 사용하여, 거리 검출 대상이 되는 오브젝트를 특정하고, 그 특정 정보를 상황 분석부(133)의 상황 인식부(153)에 출력하여, 상황 인식부(153)에서 오브젝트의 거리를 산출하는 구성으로 해도 된다.
산출한 오브젝트 거리는, 자동차의 경로를 결정하는 계획부(134)에 출력되어서 안전 주행을 위한 이동 계획이 책정된다.
또한 계획부(134)가 결정한 경로 정보가, 자동차의 동작 제어를 행하는 동작 제어부(135)에 입력되어, 동작 제어부(135)가 자동차의 동작 제어를 실행한다.
[6. 정보 처리 장치의 구성예에 대해서]
도 18은, 상술한 처리를 실행하는 이동 장치 내에 장착 가능한 차량 제어 시스템(100)의 구성인데, 앞서 설명한 실시예를 따른 처리는, 예를 들어 거리 센서나 카메라 등의 다양한 센서의 검출 정보를 PC 등의 정보 처리 장치에 입력해서 데이터 처리를 행하여, 오브젝트의 거리나 사이즈나 위치를 산출하는 것도 가능하다.
이 경우의 정보 처리 장치의 구체적인 하드웨어 구성예에 대해서, 도 19를 참조하여 설명한다.
도 19는, 일반적인 PC 등의 정보 처리 장치의 하드웨어 구성예를 도시하는 도면이다.
CPU(Central Processing Unit)(301)는, ROM(Read Only Memory)(302) 또는 기억부(308)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 데이터 처리부로서 기능한다. 예를 들어, 상술한 실시예에서 설명한 시퀀스에 따른 처리를 실행한다. RAM(Random Access Memory)(303)에는, CPU(301)가 실행하는 프로그램이나 데이터 등이 기억된다. 이들 CPU(301), ROM(302) 및 RAM(303)은, 버스(304)에 의해 서로 접속되어 있다.
CPU(301)는, 버스(304)를 통해서 입출력 인터페이스(305)에 접속되고, 입출력 인터페이스(305)에는, 각종 스위치, 키보드, 터치 패널, 마우스, 마이크로폰, 또한 센서, 카메라, GPS 등의 상황 데이터 취득부 등을 포함하는 입력부(306), 디스플레이, 스피커 등을 포함하는 출력부(307)가 접속되어 있다.
또한, 입력부(306)에는, 거리 센서나 카메라 등의 센서(321)로부터의 입력 정보도 입력된다.
또한, 출력부(307)는, 이동 장치의 행동 계획부 등의 계획부(322)에 대한 정보로서 오브젝트의 거리, 위치 정보 등도 출력한다.
CPU(301)는, 입력부(306)로부터 입력되는 지령이나 상황 데이터 등을 입력하여, 각종 처리를 실행하고, 처리 결과를 예를 들어 출력부(307)에 출력한다.
입출력 인터페이스(305)에 접속되어 있는 기억부(308)는, 예를 들어 하드 디스크 등을 포함하고, CPU(301)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(309)는, 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부로서 기능하고, 외부의 장치와 통신한다.
입출력 인터페이스(305)에 접속되어 있는 드라이브(310)는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(311)를 구동하여, 데이터의 기록 혹은 판독을 실행한다.
[7. 본 개시의 구성의 정리]
이상, 특정 실시예를 참조하면서, 본 개시의 실시예에 대해서 자세히 해석해 왔다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 이룰 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것으로, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.
또한, 본 명세서에서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.
(1) 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는 정보 처리 장치.
(2) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 복수 선분의 프레임간의 선분 좌표 변동 해석을 행함으로써 해당 선분이 실세계 공간에서의 평행선의 조합인 것을 판정하는 기능을 구비하고, 해당 검출 선분 군의 무한 원점을 추정하는, (1)에 기재된 정보 처리 장치.
(3) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 복수 선분의 평행 선분과 비평행 선분을 판정하는 기능을 구비한, (1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 선분의 조합 교차 피크 좌표가, 차량 병진 운동에 수반하는 순차 프레임간에서 이동하는 것을 검출하는 기능을 구비한, (1) 내지 (3) 중 어느 하나에 기재된 정보 처리 장치.
(5) 상기 데이터 처리부는,
검출한 상기 무한 원점의 위치를 교정하고,
교정한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는, (1) 내지 (4) 중 어느 하나에 기재된 정보 처리 장치.
(6) 상기 데이터 처리부는,
오브젝트 거리를 L로 했을 때,
L=f×(H/h) … 식 (1b)
단,
f: 카메라의 초점 거리,
H: 카메라의 기준면으로부터의 높이,
h: 촬영 화상 상의 오브젝트의 기준면과의 접점과, 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리,
상기 식 (1b)에 따라서 오브젝트 거리를 산출하는, (1) 내지 (5) 중 어느 하나에 기재된 정보 처리 장치.
(7) 상기 데이터 처리부는,
상기 촬영 화상과, 상기 오브젝트보다 상기 카메라에 가까운 위치에 있는 기준점 P의 거리 정보를 이용하여, 오브젝트 거리를 산출하는, (1) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치.
(8) 상기 데이터 처리부는,
오브젝트 거리를 L로 했을 때,
L=Lref×(href/h) … 식 (1a),
단,
Lref: 카메라로부터 기준점 P까지의 실거리,
href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리,
h: 촬영 화상 상의 오브젝트의 기준면과의 접점과, 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리,
상기 식 (1a)에 따라서 오브젝트 거리를 산출하는, (7)에 기재된 정보 처리 장치.
(9) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 하는, (1) 내지 (8) 중 어느 하나에 기재된 정보 처리 장치.
(10) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 직선을 검출하고, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 하는, (1) 내지 (9) 중 어느 하나에 기재된 정보 처리 장치.
(11) 상기 데이터 처리부는,
상기 카메라에 의해 촬영된 복수의 화상 프레임 대응의 오브젝트 거리에 기초하여, 상기 오브젝트의 이동 속도를 산출하는, (1) 내지 (10) 중 어느 하나에 기재된 정보 처리 장치.
(12) 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상과, 상기 오브젝트보다 상기 카메라에 가까운 위치의 기준점 P의 거리 정보를 이용하여, 오브젝트 거리를 산출하는 구성이며,
오브젝트 거리를 L로 했을 때,
L=Lref×(Wref/W) … 식 (2)
단,
Lref: 카메라로부터 기준점 P까지의 실거리,
Wref: 기준점 P의 화상 가로 방향에 있는 참조 오브젝트의 화상 상의 폭,
W: 거리 산출 대상 오브젝트의 화상 가로 방향에 있는 상기 참조 오브젝트의 화상 상의 폭
상기 식 (2)에 따라서 오브젝트 거리를 산출하는 정보 처리 장치.
(13) 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
오브젝트 거리를 L로 했을 때,
L=f×(Wrw/W) … 식 (3)
단,
f: 카메라의 초점 거리,
Wrw: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 실사이즈,
W: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 화상 사이즈,
상기 식 (3)에 따라서 오브젝트 거리를 산출하는 정보 처리 장치.
(14) 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부는,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하고,
산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하는 계획부와,
상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 동작 제어부를 갖는 이동 장치.
(15) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 하는, (14)에 기재된 이동 장치.
(16) 상기 데이터 처리부는,
상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 직선을 검출하고, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 직선 각각의 연장선 상의 교점을 무한 원점으로 하는, (14)에 기재된 이동 장치.
(17) 정보 처리 장치에서 실행하는 정보 처리 방법이며,
상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부가,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는 정보 처리 방법.
(18) 이동 장치에서 실행하는 정보 처리 방법이며,
상기 이동 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 데이터 처리부가,
상기 촬영 화상으로부터 무한 원점을 검출하고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트의 거리를 산출하고,
계획부가, 산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하고,
동작 제어부가, 상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 정보 처리 방법.
(19) 정보 처리 장치에서 정보 처리를 실행시키는 프로그램이며,
상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
상기 프로그램은, 상기 데이터 처리부에,
상기 촬영 화상으로부터 무한 원점을 검출시키고,
검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출시키는 프로그램.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해서 프로그램을 수신하여, 내장한 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한하지는 않는다.
[산업상 이용 가능성]
이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 구성이 실현된다.
구체적으로는, 예를 들어 데이터 처리부는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상으로부터 무한 원점을 검출하고, 검출한 무한 원점의 위치와, 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출한다. 데이터 처리부는, 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 한다. 또는, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 한다.
본 구성에 의해, 이동 장치의 이동 방향에 직교하는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 구성이 실현된다.
10: 이동 장치 11L: 좌측 방향 카메라
11R: 우측 방향 카메라 12L: 좌측 방향 거리 센서
12R: 우측 방향 거리 센서 100: 차량 제어 시스템
101: 입력부 102: 데이터 취득부
103: 통신부 104: 차내 기기
105: 출력 제어부 106: 출력부
107: 구동계 제어부 108: 구동계 시스템
109: 바디계 제어부 110: 바디계 시스템
111: 기억부 112: 자동 운전 제어부
121: 통신 네트워크 131: 검출부
132: 자기 위치 추정부 141: 차밖 정보 검출부
142: 차내 정보 검출부 143: 차량 상태 검출부
151: 맵 해석부 152: 교통 룰 인식부
153: 상황 인식부 154: 상황 예측부
161: 루트 계획부 162: 행동 계획부
163: 동작 계획부 171: 긴급 사태 회피부
172: 가감속 제어부 173: 방향 제어부
301: CPU 302: ROM
303: RAM 304: 버스
305: 입출력 인터페이스 306: 입력부
307: 출력부 308: 기억부
309: 통신부 310: 드라이브
311: 리무버블 미디어 321: 센서
322: 계획부

Claims (19)

  1. 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    상기 촬영 화상으로부터 무한 원점을 검출하고,
    검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트의 거리를 산출하는 정보 처리 장치.
  2. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 복수 선분의 프레임간의 선분 좌표 변동 해석을 행함으로써 해당 선분이 실세계 공간에서의 평행선의 조합인 것을 판정하는 기능을 구비하고, 해당 검출 선분 군의 무한 원점을 추정하는, 정보 처리 장치.
  3. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간상의 복수의 선을 검출하고, 검출한 복수 선분의 평행 선분과 비평행 선분을 판정하는 기능을 구비한, 정보 처리 장치.
  4. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 공간 상의 복수의 선을 검출하고, 검출한 선분의 조합 교차 피크 좌표가, 차량 병진 운동에 수반하는 순차 프레임간에서 이동하는 것을 검출하는 기능을 구비한, 정보 처리 장치.
  5. 제1항에 있어서, 상기 데이터 처리부는,
    검출한 상기 무한 원점의 위치를 교정하고,
    교정한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 데이터 처리부는,
    오브젝트 거리를 L로 했을 때,
    L=f×(H/h) … 식 (1b)
    단,
    f: 카메라의 초점 거리,
    H: 카메라의 기준면으로부터의 높이,
    h: 촬영 화상 상의 오브젝트의 기준면과의 접점과, 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리
    상기 식 (1b)에 따라서 오브젝트 거리를 산출하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상과, 상기 오브젝트보다 상기 카메라에 가까운 위치에 있는 기준점 P의 거리 정보를 이용하여, 오브젝트 거리를 산출하는, 정보 처리 장치.
  8. 제7항에 있어서, 상기 데이터 처리부는,
    오브젝트 거리를 L로 했을 때,
    L=Lref×(href/h) … 식 (1a)
    단,
    Lref: 카메라로부터 기준점 P까지의 실거리,
    href: 촬영 화상 상의 기준점 P와 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리,
    h: 촬영 화상 상의 오브젝트의 기준면과의 접점과, 무한 원점간의 이격 거리이며, 화상 상하 방향의 이격 거리
    상기 식 (1a)에 따라서 오브젝트 거리를 산출하는, 정보 처리 장치.
  9. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 하는, 정보 처리 장치.
  10. 제1항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 직선을 검출하고, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 상기 직선 각각의 연장선 상의 교점을 무한 원점으로 하는, 정보 처리 장치.
  11. 제1항에 있어서, 상기 데이터 처리부는,
    상기 카메라에 의해 촬영된 복수의 화상 프레임 대응의 오브젝트 거리에 기초하여, 상기 오브젝트의 이동 속도를 산출하는, 정보 처리 장치.
  12. 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    상기 촬영 화상과, 상기 오브젝트보다 상기 카메라에 가까운 위치의 기준점 P의 거리 정보를 이용하여, 오브젝트 거리를 산출하는 구성이며,
    오브젝트 거리를 L로 했을 때,
    L=Lref×(Wref/W) … 식 (2)
    단,
    Lref: 카메라로부터 기준점 P까지의 실거리,
    Wref: 기준점 P의 화상 가로 방향에 있는 참조 오브젝트의 화상 상의 폭,
    W: 거리 산출 대상 오브젝트의 화상 가로 방향에 있는 상기 참조 오브젝트의 화상 상의 폭
    상기 식 (2)에 따라서 오브젝트의 거리를 산출하는 정보 처리 장치.
  13. 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    오브젝트 거리를 L로 했을 때,
    L=f×(Wrw/W) … 식 (3)
    단,
    f: 카메라의 초점 거리,
    Wrw: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 실사이즈,
    W: 오브젝트 화상 내에 포함되는 실사이즈가 기지인 구성물의 화상 사이즈
    상기 식 (3)에 따라서 오브젝트 거리를 산출하는 정보 처리 장치.
  14. 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
    상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부는,
    상기 촬영 화상으로부터 무한 원점을 검출하고,
    검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하고,
    산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하는 계획부와,
    상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 동작 제어부를 갖는 이동 장치.
  15. 제14항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 복수의 평행선을 검출하고, 검출한 복수의 평행선의 연장선 상의 교점을 무한 원점으로 하는, 이동 장치.
  16. 제14항에 있어서, 상기 데이터 처리부는,
    상기 촬영 화상으로부터, 카메라 위치로부터 먼 곳으로 연장되는 실세계 상의 직선을 검출하고, 카메라의 이동에 수반하여, 촬영 화상 상에서 방향이 변화하는 화상 프레임 단위의 직선 각각의 연장선 상의 교점을 무한 원점으로 하는, 이동 장치.
  17. 정보 처리 장치에서 실행하는 정보 처리 방법이며,
    상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부가,
    상기 촬영 화상으로부터 무한 원점을 검출하고,
    검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하는 정보 처리 방법.
  18. 이동 장치에서 실행하는 정보 처리 방법이며,
    상기 이동 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라와,
    상기 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 데이터 처리부가,
    상기 촬영 화상으로부터 무한 원점을 검출하고,
    검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출하고,
    계획부가, 산출한 오브젝트 거리에 기초하여 상기 이동 장치의 경로를 결정하고,
    동작 제어부가, 상기 계획부가 결정한 경로에 따라서 상기 이동 장치의 동작 제어를 행하는 정보 처리 방법.
  19. 정보 처리 장치에서 정보 처리를 실행시키는 프로그램이며,
    상기 정보 처리 장치는, 이동 장치의 이동 방향에 직교하는 방향, 또는 직교 성분을 갖는 방향의 화상을 촬영하는 카메라의 촬영 화상에 기초하여 오브젝트 거리를 산출하는 데이터 처리부를 갖고,
    상기 프로그램은, 상기 데이터 처리부에,
    상기 촬영 화상으로부터 무한 원점을 검출시키고,
    검출한 무한 원점의 위치와, 상기 촬영 화상 내의 오브젝트의 위치의 위치 관계 정보를 이용해서 오브젝트 거리를 산출시키는 프로그램.
KR1020207026584A 2018-03-23 2019-02-13 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램 KR20200131832A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-056512 2018-03-23
JP2018056512 2018-03-23
PCT/JP2019/005044 WO2019181284A1 (ja) 2018-03-23 2019-02-13 情報処理装置、移動装置、および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20200131832A true KR20200131832A (ko) 2020-11-24

Family

ID=67987711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207026584A KR20200131832A (ko) 2018-03-23 2019-02-13 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램

Country Status (6)

Country Link
US (1) US20210097707A1 (ko)
EP (1) EP3770549B1 (ko)
JP (1) JPWO2019181284A1 (ko)
KR (1) KR20200131832A (ko)
CN (1) CN112119282A (ko)
WO (1) WO2019181284A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN114502913A (zh) * 2019-10-17 2022-05-13 松下知识产权经营株式会社 修正参数计算方法及装置、位移量计算方法及装置
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN112465947B (zh) * 2020-11-18 2024-04-23 李刚 影像的虚拟空间建立方法及系统
US20220207769A1 (en) * 2020-12-28 2022-06-30 Shenzhen GOODIX Technology Co., Ltd. Dual distanced sensing method for passive range finding
JP7187590B2 (ja) * 2021-01-27 2022-12-12 キヤノン株式会社 光学系、撮像装置、車載システムおよび移動装置
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质
CN114440821B (zh) * 2022-02-08 2023-12-12 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备
JP2023131720A (ja) * 2022-03-09 2023-09-22 キヤノン株式会社 電子機器、移動体、距離算出方法、及びコンピュータプログラム
CN116402871B (zh) * 2023-03-28 2024-05-10 苏州大学 一种基于场景平行要素的单目测距方法、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009067292A (ja) 2007-09-14 2009-04-02 Hitachi Ltd 車載カメラシステム
JP2017191471A (ja) 2016-04-13 2017-10-19 日産自動車株式会社 運転支援方法及び運転支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935197A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 車輌認識方法
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP4869745B2 (ja) * 2006-03-10 2012-02-08 富士通テン株式会社 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP5914791B2 (ja) * 2011-11-30 2016-05-11 株式会社シーマイクロ 衝突検出装置
JP5893054B2 (ja) * 2012-01-17 2016-03-23 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP6431299B2 (ja) * 2014-06-24 2018-11-28 本田技研工業株式会社 車両周辺監視装置
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009067292A (ja) 2007-09-14 2009-04-02 Hitachi Ltd 車載カメラシステム
JP2017191471A (ja) 2016-04-13 2017-10-19 日産自動車株式会社 運転支援方法及び運転支援装置

Also Published As

Publication number Publication date
EP3770549A4 (en) 2021-05-19
EP3770549B1 (en) 2022-09-21
WO2019181284A1 (ja) 2019-09-26
EP3770549A1 (en) 2021-01-27
CN112119282A (zh) 2020-12-22
JPWO2019181284A1 (ja) 2021-03-18
US20210097707A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11531354B2 (en) Image processing apparatus and image processing method
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11501461B2 (en) Controller, control method, and program
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US11694408B2 (en) Information processing device, information processing method, program, and movable object
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
US20240054793A1 (en) Information processing device, information processing method, and program
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20210040947A (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 정보 처리 시스템, 그리고 이동체 장치
KR20210025523A (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
CN114026436B (zh) 图像处理装置、图像处理方法和程序
US20240056694A1 (en) Imaging device, image processing method, and image processing program
JP2022098397A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020090250A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A201 Request for examination