KR101815407B1 - 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 - Google Patents

시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR101815407B1
KR101815407B1 KR1020167016559A KR20167016559A KR101815407B1 KR 101815407 B1 KR101815407 B1 KR 101815407B1 KR 1020167016559 A KR1020167016559 A KR 1020167016559A KR 20167016559 A KR20167016559 A KR 20167016559A KR 101815407 B1 KR101815407 B1 KR 101815407B1
Authority
KR
South Korea
Prior art keywords
pixel
image
parallax
distance
unit
Prior art date
Application number
KR1020167016559A
Other languages
English (en)
Other versions
KR20160089445A (ko
Inventor
히로요시 세키구치
소이치로 요코타
슈이치 스즈키
신 아오키
하이케 구안
준 요시다
미츠루 나카지마
히데오미 후지모토
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160089445A publication Critical patent/KR20160089445A/ko
Application granted granted Critical
Publication of KR101815407B1 publication Critical patent/KR101815407B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • H04N13/0239—
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

정보 처리 장치는 복수의 촬상부의 촬영 방향으로 조사된 전자파의 반사파를 기초로 얻어지는 상기 전자파의 조사 위치까지의 거리를 나타내는 거리 정보를 상기 촬영 화상을 구성하는 제1 화상 내에서의 상기 전자파의 조사 위치에 대응하는 제1 화소와 상호 연관시키는 상호 연관부와, 상기 제1 화소와 상호 연관된 상기 거리 정보를 상기 촬영 화상을 구성하는 제2 화상 내의 화소의 시차 연산에 이용함으로써 상기 시차 화상을 생성하는 생성부를 포함한다.

Description

시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체{PARALLAX OPERATION SYSTEM, INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.
종래부터, 스테레오 카메라 등의 복수의 촬상부를 이용하여 촬영된 촬영 화상(스테레오 화상)에 포함되는 대상물의 화상에 관하여 시차 연산을 하는 것으로써 해당 대상물까지의 거리를 산출하는 거리 측정 기술이 알려져 있다.
해당 거리 측정 기술에 의해 얻어진 시차 화상을 이용하면, 예컨대, 주행하는 차량 전방의 장해물을 검출할 수 있다.
특허문헌 1: 일본 특허 제3,212,218호 특허문헌 2: 일본 특허 제4,265,931호
그러나, 시차 연산되는 스테레오 화상에는 통상, 텍스쳐가 적은 영역(smooth texture)이나 포화한 영역, 빽빽한 음영(solidly shaded) 영역 등이 포함된다. 이러한 영역을 포함하는 스테레오 화상의 경우, 스테레오 화상 사이의 매칭 정밀도를 확보하는 것이 곤란하므로 시차 연산의 정밀도가 현저히 저하하게 된다. 이 때문에, 상기 거리 측정 기술의 분야에서는 스테레오 화상 내에 텍스쳐가 적은 영역이나 포화한 영역, 빽빽한 음영 영역 등이 포함되어 있는 경우에도 시차 연산을 정밀하게 행할 수 있도록 하는 것이 요구되고 있다.
따라서, 본 발명은 상기 과제를 감안하여 이루어진 것으로, 복수의 촬상부를 이용하여 촬영된 촬영 화상에 있어서의 시차 연산의 정밀도를 향상시키는 것을 목적으로 한다.
일 양태로, 본 발명은 복수의 촬상부를 이용하여 촬영된 스테레오 화상의 시차 연산의 정밀도를 향상시킬 수 있는 정보 처리 장치를 제공한다.
일 실시 형태에서, 본 발명은 복수의 촬상부에 의해 촬영된 촬영 화상을 기초로 하여 시차 화상을 생성하는 정보 처리 장치를 제공하며, 해당 정보 처리 장치는 프로세서와, 컴퓨터 판독 가능 코드를 저장하는 메모리를 포함하고, 상기 컴퓨터 판독 가능 코드는 상기 프로세서에 의해 실행시 상기 프로세서를 상호 연관부와 생성부로서 기능하도록 유도하며,
상기 상호 연관부는 상기 복수의 촬상부의 촬영 방향으로 향해서 조사된 전자파의 반사파로부터 얻어지는 상기 전자파의 조사 위치까지의 거리 정보를, 상기 촬영 화상을 구성하는 제1 화상 내에서의 상기 전자파의 조사 위치에 대응하는 제1 화소와 상호 연관시키도록 구성되며; 상기 생성부는 상기 제1 화상과 상호 연관된 상기 거리 정보를 상기 촬영 화상을 구성하는 제2 화상 내의 화소의 시차 연산에 이용함으로써 상기 시차 화상을 생성하도록 구성된 것을 것을 특징으로 한다.
본 발명의 실시 형태에 따르면, 복수의 촬상부를 이용하여 촬영된 스테레오 화상의 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
실시 형태들의 다른 목적, 특징 및 장점들은 첨부 도면과 함께 이해하면 다음의 상세한 설명으로부터 분명해질 것이다.
도 1은 실시 형태에 따른 시차 연산 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 실시 형태에 따른 시차 연산 시스템이 적용된 차량을 나타낸 도면이다.
도 3a 및 도 3b는 시차 연산 시스템의 일부를 구성하는 레이저 레이다 거리 측정부에 의한 레이저 빔의 조사 범위를 보여주는 도면이다.
도 4a, 도 4b 및 도 4c는 시차 연산 시스템의 일부를 구성하는 스테레오 화상 연산부에 의한 스테레오 화상의 촬영 범위를 나타낸 도면이다.
도 5는 레이저 레이다 거리 측정부에 의한 레이저 빔의 조사 위치와 스테레오 화상의 화소 위치와의 관계를 설명하기 위한 도면이다.
도 6은 레이저 레이다 거리 측정부의 기능적 구성을 나타낸 도면이다.
도 7은 스테레오 화상 연산부의 기능적 구성을 나타낸 도면이다.
도 8은 스테레오 화상 연산부의 일부를 구성하는 비용 계산부에 의해 수행되는 비용 계산 처리를 설명하기 위한 도면이다.
도 9는 비용 계산부에 의해 수행되는 비용 계산 처리를 설명하기 위한 도면이다.
도 10a 및 도 10b는 스테레오 화상 내의 소정의 화소의 시차와 SAD와의 관계를 설명하기 위한 도면이다.
도 11은 덴스 매칭 알고리즘(dense matching algorithm)을 이용하여 전파(propagation) 파라미터를 산출하는 처리를 설명하기 위한 도면이다.
도 12는 덴스 매칭 알고리즘의 구체예를 나타낸 도면이다.
도 13은 에너지 계산부에 의해 계산된 에너지 값과 시차와의 관계를 설명하기 위한 도면이다.
도 14는 에너지 계산부에 의해 수행되는 에너지 계산 처리를 설명하기 위한 흐름도이다.
도 15는 시차 계산부에 의해 수행되는 시차 계산 처리를 설명하기 위한 흐름도이다.
도 16은 스테레오 화상 연산부의 다른 기능적 구성을 나타낸 도면이다.
도 17은 레이저 빔의 조사 위치와 스테레오 화상의 화소 위치와의 관계를 설명하기 위한 도면이다.
도 18은 스테레오 화상 연산부의 일부를 구성하는 시차 계산부에 의해 수행되는 시차 계산 처리를 설명하기 위한 도면이다.
도 19는 시차 계산부에 의해 수행되는 시차 계산 처리를 설명하기 위한 흐름도이다.
도 20은 스테레오 화상 연산부의 다른 기능적 구성을 나타낸 도면이다.
도 21a 및 도 21b는 스테레오 화상 연산부의 일부를 구성하는 정보 매입부에 의해 수행되는 정보 매입 처리를 설명하기 위한 도면이다.
도 22는 정보 매입부에 의해 수행되는 정보 매입 처리를 설명하기 위한 흐름도이다.
도 23은 스테레오 화상 연산부의 다른 기능적 구성을 나타낸 도면이다.
이하, 본 발명의 실시 형태에 관하여 첨부의 도면을 참조하면서 설명한다.
[제1 실시 형태]
우선, 일 실시 형태에 따른 시차 연산 시스템의 전체 구성을 설명한다. 도 1은 본 실시 형태에 따른 시차 연산 시스템(100)의 전체 구성을 나타낸 도면이다. 도 1에 도시된 바와 같이, 시차 연산 시스템(100)은 레이저 레이다 거리 측정부(110)와 스테레오 화상 연산부(120)를 포함한다.
레이저 레이다 거리 측정부(110)는 스테레오 화상 연산부(120)를 구성하는 스테레오 카메라에 의해 스테레오 화상을 촬영하는 경우 촬영 방향으로 레이저 빔을 조사하고, 그 반사광을 수광하는 것으로써 레이저 빔의 반사 위치까지의 거리를 측정하도록 구성된다. 레이저 레이다 거리 측정부(110)에 의해 측정된 거리는 수광 타이밍 정보와 동시에 거리 정보로서 스테레오 화상 연산부(120)로 입력된다.
스테레오 화상 연산부(120)는 스테레오 카메라를 포함하고, 해당 스테레오 카메라에 의해 소정의 프레임 주기로 촬영된 스테레오 화상를 기초로 하여 시차 화상을 산출한다. 스테레오 화상 연산부(120)는 시차 화상의 산출시 거리 정보에 포함되는 수광 타이밍 정보를 기초로 하여 프레임을 식별하도록 구성된다. 또한, 스테레오 화상 연산부(120)는 거리 정보에 포함되는 거리 데이터를, 스테레오 화상의 해당 프레임에 있어서의 레이저 빔의 조사 위치에 대응하는 화소와 상호 연관시키도록 구성된다. 스테레오 화상 연산부(120)는 해당 화소에 상호 연관된 거리 데이터(거리 데이터를 기초로 산출된 값)를 시차 화상의 산출에 이용하도록 구성된다.
이와 같이, 시차 화상의 산출에 있어서 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 이용함으로써 시차 연산의 정밀도를 향상시킬 수 있다.
스테레오 화상 연산부(120)에 의해 산출된 시차 화상은 예컨대, 도로를 주행하는 차량의 전방의 노면 상의 대상물, 사람 등의 정확한 검출을 가능케 한다. 다른 한편, 노면 등과 같이, 텍스쳐가 적은(smooth tecture) 화상 영역의 경우, 시차 연산의 정밀도가 저하된다. 이를 피하기 위해, 스테레오 화상 연산부(120)는 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 시차 화상의 산출에 이용하도록 구성된다.
다음에, 시차 연산 시스템(100)의 적용예를 설명한다. 도 2는 본 실시 형태에 따른 시차 연산 시스템(100)을 차량에 적용한 예를 나타낸 도면이다. 도 2의 예에서, 차량(200)의 프론트 윈도우의 내측 중앙 위치에 레이저 레이다 거리 측정부(110)와 스테레오 화상 연산부(120)가 설치되어 있다. 또한, 레이저 레이다 거리 측정부(110)와 스테레오 화상 연산부(120)는 차량(200)의 전방 측으로 설치되어 있고, 레이저 레이다 거리 측정부(110)는 스테레오 화상 연산부(120)의 일부를 구성하는 스테레오 카메라(2대의 촬상부)의 사이에 배치된다.
다음에, 레이저 레이다 거리 측정부(110)에 의한 레이저 빔의 조사 범위를 설명한다. 도 3a 및 도 3b는 레이저 레이다 거리 측정부(110)에 의한 레이저 빔의 조사 범위를 나타낸 도면이다. 도 3a는 차량(200)의 상면도이고, 도 3b는 차량(200)의 측면도이다.
도 3a에 도시한 바와 같이, 레이저 레이다 거리 측정부(110)는 레이저 빔을 차량(200)의 전방 측으로 선형으로 조사한다. 또한, 차량(200)을 상측으로부터 바라본 경우의 레이저 빔의 선회 방향(수평 방향과 평행)의 조사 각도는 차량(200)의 진행 방향을 0 도로 정의한 경우, 0 도의 각도로 고정된다.
또한, 레이저 레이다 거리 측정부(110)는 레이저 빔을 차량(200)의 전방의 노면 부분 측으로 조사한다. 구체적으로, 도 3b에 나타낸 바와 같이, 레이저 레이타 거리 측정부(110)에 의한 레이저 빔의 노면 상의 조사 범위는 레이저 레이다 거리 측정부(110)의 설치 위치를 기준으로 측정된 거리 D1으로부터 거리 D2까지로 설정된다.
즉, 레이저 레이다 거리 측정부(110)는 레이저 빔의 조사 방향을 앙각(elevation angle) 방향(수직 방향과 평행)으로 회전시킬 수 있도록 설치된다. 이에 따라, 레이저 빔은 노면에 대해 레이저 레이다 거리 측정부(110)의 설치 위치를 기준으로 측정된 거리 D1으로부터 거리 D2까지의 범위로 조사될 수 있다.
다음에, 스테레오 화상 연산부(120)에 의한 스테레오 화상의 촬영 범위를 설명한다. 도 4a, 4b 및 4c는 스테레오 화상 연산부(120)에 의한 스테레오 화상의 촬영 범위를 설명하기 위한 도면이다. 도 4a는 차량(200)을 상측으로부터 바라본 상면도이다. 도 4a에 도시된 바와 같이, 스테레오 화상 연산부(120)의 스테레오 카메라가 차량(200)의 전방 측으로 설치되어 있고, 차량의 전방에 있는 화상(노면과 하늘을 포함)을 촬영한다.
도 4b와 도 4c는 스테레오 카메라에 의해 촬영된 스테레오 화상 각각의 1 프레임 분을 나타낸다. 도 4b는 스테레오 화상 연산부(120)의 스테레오 카메라를 구성하는 촬상부 중 좌측에 설치된 좌측 촬상부에 의해 촬영된 스테레오 화상의 1 프레임 분을 나타낸다. 도 4c는 스테레오 화상 연산부(120)의 스테레오 카메라를 구성하는 촬상부 중 우측에 설치된 우측 촬상부에 의해 촬영된 스테레오 화상의 1 프레임 분을 나타낸다.
좌측 촬상부와 우측 촬상부는 상기 2개의 촬상부 사이에 알려진 간격으로 서로 평행하게 설치되어 있다. 따라서, 도 4b에 나타낸 스테레오 화상(410)과 도 4c에 나타낸 스테레오 화상(420) 내의 동일 대상물의 위치가 수평 방향으로 서로 이격되어 있다.
스테레오 화상 연산부(120)는 화상(410) 내의 대상물을 구성하는 화소 각각과 화상(420) 내의 대상물을 구성하는 화소 중 대응하는 하나의 화소 사이의 편차량("시차"로 칭함)를 산출하는 것에 의해 시차 화상을 생성하여 출력하도록 구성된다.
다음에, 레이저 레이다 거리 측정부(110)에 의한 레이저 빔의 조사 위치와 스테레오 화상 연산부(120)에 의해 촬영된 스테레오 화상(기준 화상)의 화소 위치와의 관계를 설명한다. 도 5는 레이저 빔의 조사 위치와 스테레오 화상(기준 화상)의 화소 위치와의 관계를 설명하기 위한 도면이다.
전술한 바와 같이, 레이저 레이다 거리 측정부(110)는 스테레오 화상 연산부(120)의 스테레오 카메라(2대의 촬상부)의 사이에 설치되되, 선회 방향으로 레이저 레이다 거리 측정부(110)에 의한 레이저 빔의 조사 각도가 0 도의 각도로 고정되고, 레이저 레이다 거리 측정부(110)가 앙각 방향으로 회전 가능하게 설치되어 있다.
따라서, 촬영 화상(420) 상에 있어 레이저 빔의 조사 범위는 도 5의 조사 범위(520)로 지시된 화상 영역에 대응한다. 즉, 촬영 화상(420)의 미리 정해진 위치의 화소는 조사 범위(520) 내의 대응하는 위치의 화소가 된다.
본 실시 형태에서는 (Px1, Py1)의 화소, (Px1, Py2)의 화소, (Px1, Py3)의 화소, (Px1, Py4)의 화소가 거리가 측정된 위치에 대응하고 있는 것으로 가정한다. 따라서, 이들의 화소에 대해서는 레이저 레이다 거리 측정부(110)에 의해 측정된 거리가 상호 연관될 수 있다.
도 5에 나타낸 촬영 화상(420)에서는 (Px1, Py1)의 화소에 거리 데이터 LD1이 연관되고, (Px1, Py2)의 화소에 거리 데이터 LD2가 연관되고, (Px1, Py3)의 화소에 거리 데이터 LD3가 연관되고, (Px1, Py4)의 화소에 거리 데이터 LD4가 연관된다.
촬영 화상(420)의 화소 (Px1, Py1), (Px1, Py2), (Px1, Py3), (Px1, Py4)에 관하여 거리 데이터 LD1∼LD4가 상호 연관되므로, 촬영 화상(420)(기준 화상)의 이들 화소에 대해 해당 화소에 대응하는 촬영 화상(410)(비교 화상) 내의 화소의 시차를 산출할 수 있다. 구체적으로, 촬영 화상(410)의 화소(Px1, Py1)의 시차는 거리 데이터 LD1와 스테레오 카메라 사이의 알고 있는 거리를 기초로 산출될 수 있다.
마찬가지로, 촬영 화상(410)의 화소(Px1, Py2)의 시차는 거리 데이터 LD2와 스테레오 카메라 사이의 알고 있는 거리를 기초로 산출되고, 촬영 화상(410)의 화소(Px1, Py3)의 시차는 거리 데이터 LD3와 스테레오 카메라 사이의 알고 있는 거리를 기초로 산출되며, 촬영 화상(410)의 화소(Px1, Py4)의 시차는 거리 데이터 LD4와 스테레오 카메라 사이의 알고 있는 거리를 기초로 산출될 수 있다.
다음에, 레이저 레이다 거리 측정부(110)의 기능적 구성을 설명한다. 도 6은 레이저 레이다 거리 측정부(110)의 기능적 구성을 나타낸 블록도이다.
도 6에 나타낸 바와 같이, 레이저 레이다 거리 측정부(110)에서는 신호 처리부(601)로부터의 지시를 접수하는 것에 응답하여 앙각 방향 스캔 구동부(602)가 앙각 방향 스캔 미러(604)를 앙각 방향으로 회전시키기 위한 모터(603)를 구동한다. 이에 따라, 앙각 방향 스캔 미러(604)는 앙각 방향으로 회전한다.
또한, 레이저 레이다 거리 측정부(110)에서는 신호 처리부(601)부터의 지시를 접수하는 것에 응답하여, 레이저 구동부(609)가 레이저 출력부(608)를 구동시켜 레이저 빔을 출력한다. 이 때, 레이저 빔의 출력 타이밍은 시간 간격 카운터(607)에 일시적으로 저장된다. 레이저 출력부(608)에 의해 출력된 레이저 빔은 앙각 방향으로 회전되는 앙각 방향 스캔 미러(604)를 통해 외부로 반사되므로 반사된 레이저 빔의 조사는 소정의 조사 범위를 커버한다.
레이저 레이다 거리 측정부(110)에 의해 출력되는 레이저 빔은 노면 상의 조사 위치에서 반사되고, 그 반사 빔은 앙각 방향 스캔 미러(604)를 통해 레이저 빔 수광부(605)에 의해 수광된다. 레이저 빔 수광부(605)는 수직 방향으로 배열된 복수의 광 검출기(PD)를 가지며, 반사된 빔은 임의의 광 검출기에 의해 수광된 후 관련 광 검출기에 의해 전기 신호로 변환된다.
변환된 신호는 신호 증폭기(606)에 의해 증폭되고, 해당 신호 증폭기(606)로부터 증폭된 신호는 시간 간격 카운터(607)로 입력된다. 시간 간격 카운터(607)는 레이저 출력부(608)에 의한 레이저 빔의 출력 타이밍과, 레이저 빔 수광부(605)에 의한 반사광의 수광 타이밍을 기초로 시간 간격을 산출한다.
시간 간격 카운터(607)에 의해 산출된 시간 간격은 신호 처리부(601)에 의해 거리 데이터로 변환되고, 신호 처리부(601)는 거리 데이터를 나타내는 거리 정보와 수광 타이밍을 나타내는 수광 타이밍 정보를 스테레오 화상 연산부(120)로 송신한다.
다음에, 스테레오 화상 연산부(120)의 기능적 구성을 설명한다. 도 7은 스테레오 화상 연산부(120)의 기능적 구성을 나타낸 블록도이다.
도 7에 나타낸 바와 같이, 스테레오 화상 연산부(120)는 촬상부(710)와, 촬상부(720)와, 시차 연산부(730)를 포함한다. 시차 연산부(730)는 본 실시 형태에 따른 정보 처리 장치를 구성한다. 촬상부(710)와 촬상부(720)는 스테레오 카메라를 구성한다.
본 실시 형태에 있어서, 촬상부(710)에 의해 촬영되는 촬영 화상은 비교 화상으로서 이용되고, 촬상부(720)에 의해 촬영되는 촬영 화상은 기준 화상으로서 이용된다.
시차 연산부(730)는 비용 계산부(731)와, 에너지 계산부(732)와, 시차 계산부(733)를 포함한다. 이하에서는 시차 연산부(730)를 구성하는 비용 계산부(731), 에너지 계산부(732) 및 시차 계산부(733) 각각을 설명한다. 이하에 설명되는 비용 계산부(731), 에너지 계산부(732) 및 시차 계산부(733)는 하나 이상의 전용 전자 회로에 의해 구현될 수 있다. 대안적으로, 각부(731~733)의 기능은 각부(731~733)의 기능을 수행토록 하는 컴퓨터 판독 가능 코드를 나타내는 프로그램을 실행하는 컴퓨터(또는 스테레오 화상 연산부(120)의 프로세서 또는 CPU)에 의해 구현될 수 있다.
비용 계산부(731)는 비용 계산 처리를 수행한다. 구체적으로, 비용 계산부(731)에 의해 수행되는 비용 계산 처리는 촬상부(710)에 의해 촬영된 촬영 화상(비교 화상)과 촬상부(720)에 의해 촬영된 촬영 화상(기준 화상)을 취득하여 양자를 비교함으로써, 촬영 화상(비교 화상)을 구성하는 각 화소의 비용 C(p, d)을 산출한다.
비용은 스테레오 화상을 구성하는 2개의 촬영 화상(비교 화상, 기준 화상) 중 하나의 촬영 화상(비교 화상)을 수평 좌우 방향으로 시프트시켰을 때의 다른 쪽의 촬영 화상(기준 화상)과의 일치도를 나타내는 지표이다. 비용의 일례로서는 SAD(sum of absolute differences; 차이의 절대값의 합)를 들 수 있다. 그러나, 비용은 SAD에 한정되지 않는다. 예컨대, SSD(sum of qquared differences; 차이의 제곱값의 합), NCC(normalized cross-correlation; 정규 상호 상관도) 등이 비용의 다른 예로서 사용될 수 있다.
도 8 및 도 9는 비용 계산부(731)에 의해 수행되는 비용 계산 처리를 설명하기 위한 도면이다. 도 8은 비용 계산 처리에 의해 촬상부(710)에 의해 촬영된 촬영 화상(410)과 촬상부(720)에 의해 촬영된 촬영 화상(420)을 포함하는 스테레오 화상에 있어서의 주목 화소 p=(Px3, Py5)의 비용으로서 SAD를 산출하는 예를 나타낸다.
도 8에 나타낸 바와 같이, 촬영 화상(410)과 촬영 화상(420)은 촬영 위치가 다르기 때문에, 스테레오 화상 상의 동일한 위치로부터 주목 화소 p=(Px3, Py5)를 판독하더라도, 스테레오 화상 내의 2개의 화소는 동일한 대상물을 지시하지 않고 수평 좌우 방향으로 벗어난 위치를 지시하게 된다.
따라서, 블록 크기를 1×1 화소로 한 경우의 SAD인, 촬영 화상(410) 상의 주목 화소 p=(Px3, Py5)의 휘도치와 촬영 화상(420) 상의 주목 화소 p=(Px3, Py5)의 휘도치의 차분값은 비교적 큰 값이 된다.
여기서, 촬영 화상(410)(비교 화상) 상의 주목 화소 p를 1 화소분 우측 방향으로 시프트시키고, 시차 d= 1로 했을 때의 SAD 값을 산출한다. 구체적으로, 촬영 화상(410) 상의 주목 화소 p=(Px3 +1, Py5)의 휘도치와 촬영 화상(420) 상의 주목 화소 p=(Px3, Py5)의 휘도치와의 차분값(SAD)을 산출한다. 도 8의 예에서, 시차 d=1의 경우, SAD 값은 비교적 큰 값이 된다.
마찬가지로, 시차를 d=2, 3,...으로 변화시키고, 그에 따라 대응하는 SAD의 값을 산출한다. 도 8의 예에서, 시차 d=3의 경우에, 촬영 화상(420)의 주목 화소 p=(Px3, Py5)가 지시하는 대상물과 촬영 화상(410)의 주목 화소 p=(Px3 +3, Py5)가 지시하는 대상물이 동일하게 된다. 이 때문에, 시차 d=3로 한 경우의 SAD 값은 d≠3인 경우의 SAD 값보다 작다.
도 10a는 주목 화소 p=(Px3, Py5)와 관련하여, 횡축에 시차 d를 두고 종축에 SAD를 둔 경우의 시차 d에 대한 SAD의 변화를 도시한 그래프(시차-SAD 그래프)이다. 도 10a에 도시한 바와 같이, 주목 화소 p=(Px3, Py5)의 SAD 값은 시차 d=3인 경우 가장 작기 때문에, 주목 화소 p=(Px3, Py5)의 시차는 3으로 판정될 수 있다.
한편, 도 9은 비용 계산 처리에 의해 촬상부(710)에 의해 촬영된 촬영 화상(410)과 촬상부(720)에 의해 촬영된 촬영 화상(420)을 포함하는 스테레오 화상에 있어서 주목 화소 p=(Px4, Py6)의 비용으로서 SAD를 산출하는 예를 나타낸다.
도 9에 나타낸 바와 같, 촬영 화상(410)과 촬영 화상(420)은 촬영 위치가 다르기 때문에, 스테레오 화상 상의 동일한 위치로부터 주목 화소 p=(Px4, Py6)가 판독되는 경우에도, 스테레오 화상 내의 2개의 화소는 동일한 대상물을 지시하지 않고 수평 좌우 방향으로 벗어난 위치를 지시하게 된다.
따라서, 블록 크기를 1×1 화소로 한 경우의 SAD인, 촬영 화상(410) 상의 주목 화소 p=(Px4, Py6)의 휘도치와 촬영 화상(420) 상의 주목 화소 p=(Px4, Py6)의 휘도치와의 차분값은 비교적 큰 값이 된다.
여기서, 촬영 화상(410)(비교 화상) 상의 주목 화소 p를 1 화소분 우측 방향으로 시프트시키고, 시차 d=1로 했을 때의 SAD 값을 산출한다. 구체적으로, 촬영 화상(410) 상의 주목 화소 p=(Px4 +1, Py6)의 휘도치와 촬영 화상(420) 상의 주목 화소 p=(Px4, Py6)의 휘도치와의 차분값(SAD)을 산출한다. 도 9의 예에서, 시차 d=1의 경우, SAD 값은 비교적 큰 값이 된다.
마찬가지로, 시차를 d=2, 3,...으로 변화시키고, 그에 따라 대응하는 SAD 값을 산출한다. 도 9의 예에서, 시차 d=3의 경우, 촬영 화상(420)의 주목 화소 p=(Px4, Py6)가 지시하는 대상물과 촬영 화상(410)의 주목 화소 p=(Px4 +3, Py6)가 지시하는 대상물이 동일하게 된다. 그러나, 도 9의 예에서, 해당 화상 영역은 노면에 대응하고, 해당 화상 영역의 대응하는 화소는 원래 텍스쳐가 적다. 따라서, 대응하는 화소의 SAD의 변화도 작다.
도 10b는 주목 화소 p=(Px4, Py6)와 관련하여, 횡축에 시차 d를 두고 종축에 SAD를 둔 경우의 시차 d에 대한 SAD의 변화를 도시한 그래프(시차-SAD 그래프)이다. 도 10b에 도시한 바와 같이, 주목 화소 p=(Px4, Py6)의 경우, 시차 d의 변화에 대한 SAD의 변화가 작기 때문에 시차를 추출할 수 없다.
따라서, 비용 계산부(731)에 의해 수행되는 비용 계산 처리에 의해 시차를 특정할 수 없는 화소가 생길 수 있기 때문에, 시차 연산부(730)의 에너지 계산부(732)는 시차를 판정할 수 있도록 에너지 계산 처리를 수행하도록 구성된다.
에너지 계산부(732)는 덴스 매칭 알고리즘(dense matching algorithm)을 이용하여, 전파 파라미터 Lr를 산출하여, 해당 전파 파라미터 Lr를 이용하여 주목 화소 p의 에너지 값 S(p, d)을 산출하는 에너지 계산 처리를 수행하도록 구성된다.
우선, 에너지 계산 처리 중, 덴스 매칭 알고리즘을 이용하여 전파 파라미터 Lr를 산출하는 처리를 먼저 설명한다. 도 11은 덴스 매칭 알고리즘을 이용하여 전파 파라미터 Lr를 산출하는 처리를 설명하기 위한 도면이다.
도 11의 예로서는 주목 화소 p인 화소(1100)에 대하여 4 방향의 전파 파라미터 Lr를 구하는 경우를 보이고 있다. 구체적으로는 화소(1100)에 대하여, 화살표(1111) 방향의 전파 파라미터 L1과, 화살표(1112) 방향의 전파 파라미터 L2와, 화살표(1113) 방향의 전파 파라미터 L3과, 화살표(1114) 방향의 전파 파라미터 L4를 결정한다. 그러나, 화소(1100)에 대하여 요구하는 전파 파라미터의 방향(r)은 4 방향으로 한정되는 것이 아니다. 예컨대, 상기 방향(r)은 8 방향 또는 2 방향일 수 있다.
도 11에 도시한 바와 같이, 화살표(1111) 방향의 전파 파라미터 L1은 하기 수학식에 따라 결정될 수 있다.
Figure 112016059775879-pct00001
여기서, p는 화소(1100)의 좌표를, d는 시차를 나타내고 있다.
이와 같이, 전파 파라미터 L1(p, d)은 화소(1100)의 비용 C(p, d)과, 화소(1100)로부터 좌측 1 화소에 위치하는 인접 화소의 각 시차(d-1, d, d+1)에서의 전파 파라미터를 이용하여 산출할 수 있다. 즉, 화살표(1111) 방향의 전파 파라미터는 좌측 방향으로부터 우측 방향으로 순차적으로 산출된다. 또한, 좌측 방향으로부터 우측 방향으로 전파 파라미터가 산출되는 전파 간격은 1 화소로 한정되는 것이 아니다. 대안적으로, 화소(1100)의 좌측으로 인접하고 화소(1100)로부터 "a"("a"≥2) 화소만큼 떨어진 화소의 각 시차(d-1, d, d+1)에서의 전파 파라미터를 이용하여 전파 파라미터 L1(p, d)을 산출할 수 있다.
마찬가지로, 화살표(1112) 방향의 전파 파라미터 L2는 상측 방향으로부터 하측 방향으로 순차적으로 산출되고, 화살표(1113) 방향의 전파 파라미터 L3은 우측 방향으로부터 좌측 방향으로 순차 산출되고, 화살표(1114) 방향의 전파 파라미터 L4는 하측 방향으로부터 상측 방향으로 순차적으로 산출된다.
다음에, 에너지 계산 처리 중, 산출된 전파 파라미터 Lr를 이용하여 주목 화소 p의 에너지 값 S(p, d)를 산출하는 처리를 설명한다.
전술한 바와 같이, 에너지 계산부(732)는 각 화소에 관하여 산출된 각 방향의 모든 전파 파라미터를 기초로 각 화소의 에너지 값 S(p, d)을 하기 수학식에 따라 산출하도록 구성된다.
Figure 112016059775879-pct00002
도 11의 예에서, 에너지 값 S(p, d)는
S(p, d)=L1(p, d)+L2(p, d)+L3(p, d)+L4(p, d)의 수학식에 따라 산출될 수 있다.
다음에, 덴스 매칭 알고리즘의 예를 설명하고, 레이저 레이다 거리 측정부(110)로부터 송신된 거리 데이터에 대한 덴스 매칭 알고리즘의 적용을 설명한다.
도 12는 전파 파라미터 L1(p, d)로부터 전파 파라미터 L1(p+1, d)을 구하는 덴스 매칭 알고리즘의 예를 나타낸 도면이다. 도 12에서, 화소(1220)는 촬영 화상(420)의 주목 화소 p=(Px4, Py6)이고, 화소(1210)는 촬영 화상(410)의 주목 화소 p=(Px4, Py6)이고, 화소(1211∼1214)는 화소(1210)의 시차가 d=1∼4 각각인 경우의 화소인 것으로 가정한다.
여기서, 촬영 화상(420)의 화소(1220)는 레이저 레이다 거리 측정부(110)에 의해 해당 화소가 지시하는 대상물까지의 거리 데이터가 측정되어 있는 화소인 것(그리고 화소(1220)에는 거리 데이터가 연관된다)으로 가정한다. 화소(1220)가 지시하는 대상물까지의 거리 데이터가 측정되어 있는 경우, 촬상부(710)와 촬상부(720)와의 사이의 알고 있는 거리를 이용하여 화소(1220)에 대응하는 촬영 화상(410) 내의 화소의 시차를 산출할 수 있다.
도 12의 예에서, 거리 데이터가 연관된 화소(1220)에 대응하는 촬영 화상(410)의 화소(1210)는 시차는 4(d=4)인 것으로 가정한다. 즉, 촬영 화상(410)의 화소(1214)가 지시하는 위치가 거리 데이터가 연관된 촬영 화상(420) 내의 화소가 지시하는 위치와 동일한 것으로 가정한다.
이 경우, 촬영 화상(420)의 화소(1220)의 휘도치와 촬영 화상(410)의 화소(1214)의 휘도치는 동일하고, 화소(1214)의 전파 파라미터 L1(p, 4)는 0이 된다.
화소(1214)의 전파 파라미터 L1(p, 4)가 0인 경우, 화소(1213)의 전파 파라미터 L1(p, 3)은 C(p, 3)+0으로 설정된다. 즉, 화소(1213)의 전파 파라미터 L1(p, 3)은 화소(1213)의 휘도치와 화소(1220)의 휘도치와의 차분값을 기초로 산출될 수 있다.
마찬가지로, 화소(1212)의 전파 파라미터 L1(p, 2)은 C(p, 2)+0으로 설정되고, 화소(1212)의 전파 파라미터 L1(p, 2)은 화소(1212)의 휘도치와 화소(1220)의 휘도치와의 차분값을 기초로 산출될 수 있다.
마찬가지로, 화소(1211)의 전파 파라미터 L1(p, 1), 화소(1210)의 전파 파라미터 L1(p, 0)도 역시 화소(1211)의 휘도치와 화소(1220)의 휘도치와의 차분값 및 화소(1210)의 휘도치와 화소(1220)의 휘도치와의 차분값을 기초로 산출될 수 있다. 즉, 촬영 화상(410) 내의 화소와 촬영 화상(420) 내의 대응하는 화소 간의 유사도를 기초로 하여, 촬영 화상(410)의 화소(1210∼1214)의 전파 파라미터 L1(p, 0)∼L1(p, 4)을 산출할 수 있다.
촬영 화상(410)의 화소(1210∼1214)의 전파 파라미터 L1(p, 0)∼L1(p, 4)가 산출된 후, 화소(1223)의 전파 파라미터 L1(p+1, d)를 산출할 수 있다.
구체적으로, 전파 파라미터 L1(p+1,3)는 L1(p+1,3)=C(p+1,3)+min{L1(p, 3), L1(p, 2)+P1, L1(p, 4)+P1} 수학식에 따라 산출된다. 이 수학식에서, P1은 상수이며, L1(p, 4)=0이고, 전술한 바와 같이, L1(p, 3)은 C(p, 3)이고, L1(p, 2)은 C(p, 2)이다.
이러한 처리를 반복하는 것에 의해, 화소 1222, 1221,...의 전파 파라미터를 구할 수 있어서 촬영 화상(410) 상의 모든 화소에 관하여 전파 파라미터를 산출할 수 있다.
따라서, 에너지 계산부(732)는 레이저 레이다 거리 측정부(110)로부터 수신된 거리 데이터를 기초로 하여 해당 거리 데이터가 연관된 촬영 화상(420)(기준 화상) 내의 화소에 대응하는 촬영 화상(410)(비교 화상) 내의 화소의 시차 d를 산출하도록 구성된다. 또한, 해당 거리 데이터가 연관된 화소에 대응하는 화소의 시차 d에서의 전파 파라미터 L1(p, d)를 0으로 가정하는 것에 의해, 에너지 계산부(732)는 해당 전파 파라미터 L1(p, d)를 기점으로 이용하는 것으로써 순차적으로 해당 화소 이외의 다른 화소의 전파 파라미터를 산출하도록 구성된다.
이와 같이, 에너지 계산부(732)는 다른 화소의 전파 파라미터를 산출할 때의 기점으로서, 레이저 레이다 거리 측정부(110)에 의해 측정된 거리 데이터가 연관된 기준 화상 내의 화소에 대응하는 비교 화상 내의 화소를 이용한다. 대응하는 화소의 시차 d에서의 전파 파라미터를 0으로 가정하는 것에 의해, 대응하는 화소의 시차 d에서의 전파 파라미터를 기점으로 이용하여 순차 산출되는 다른 화소의 전파 파라미터의 정밀도가 향상될 수 있다. 따라서, 시차 연산의 정밀도가 향상될 수 있다.
다음에, 에너지 계산부(732)에 의해 계산된 에너지 값 S(p, d)과 시차와의 관계를 설명한다. 도 13은 에너지 계산부(732)에 의해 계산된 에너지 값과 시차와의 관계를 설명하기 위한 도면이다.
도 13에 나타낸 예에서는, 화소(1301)에 관하여 4 방향의 전파 파라미터 L1∼L4를 시차 d=0∼10의 범위에서 변하는 시차에 대해 각각 산출하고 있다. 4 방향의 전파 파라미터 L1∼L4는 시차 중 대응하는 하나의 시차마다 합하는 것에 의해 각각의 시차에 있어서의 에너지 값 S(p, 0)∼S(p, 10)가 산출된다.
도 13의 하부에 나타낸 시차-에너지 그래프(1311)에서, 횡축은 시차 d를 나타내고 수직축은 에너지 값 S(p)를 나타내며, 화소(1301)에 관하여 산출한 에너지 값 S(p, 0)∼S(p, 10)이 도식화되고 있다. 시차-에너지 그래프(1311)에 나타낸 바와 같이, 에너지 값 S(p)는 소정의 시차에서 급격하게 저하한다.
이상의 설명으로부터 분명한 바와 같이, 본 실시 형태에서, 노면과 같이 텍스쳐가 작은 화상 영역에 대하여 에너지 값 S(p)이 산출되면, 시차 d의 변화에 따른 에너지 값 S(d)은 시차 연산의 정밀도를 향상시키기에 충분한 정도로 클 수 있다. 다른 한편, 종래 기술의 경우, 노면과 같이 텍스처가 적은 화상 영역에 대해 SAD가 산출되면, 시차 d의 변화에 따른 SAD의 변화는 시차 연산의 정밀도를 향상시키기엔 너무 작게 된다. 따라서, 본 실시 형태에 따르면 시차를 충분한 정밀도로 산출하는 것이 가능하다.
동일한 처리를 다른 화소 1302, 1303,...에 대해 수행할 수 있고, 에너지 값 S(p)를 산출하는 것으로써 다른 화소의 시차를 충분한 정밀도로 산출할 수 있다.
다음에, 에너지 계산부(732)에 의해 수행되는 에너지 계산 처리의 흐름을 설명한다. 도 14는 에너지 계산부(732)에 의해 수행되는 에너지 계산 처리를 설명하기 위한 흐름도이다. 비용 계산부(731)에 의한 비용 계산 처리가 완료하면, 에너지 계산부(732)가 도 14에 나타낸 에너지 계산 처리를 수행하기 시작한다. 도 14에 나타낸 에너지 계산 처리는 스테레오 화상의 프레임마다 1 프레임씩을 기준으로 반복 수행되며, 도 14의 예에서는 1 프레임분의 스테레오 화상에 대해 에너지 계산 처리가 수행됨을 알아야 한다.
도 14에 나타낸 바와 같이, S1401 단계에서는, 에너지 계산부(732)에 의해, 복수 프레임의 스테레오 화상 중 처리 대상의 프레임에 대응하는 거리 데이터가 레이저 레이다 거리 측정부(110)로부터 독출된다.
S1402 단계에서, 에너지 계산부(732)에 의해, 처리 대상의 프레임 내의 기준 화상의 각 화소 중 해당 거리 데이터가 연관된 화소가 특정된다. 또한, S1402 단계에서, 에너지 계산부(732)에 의해, 기준 화상 내의 특정된 화소에 대응하는 비교 화상의 화소의 시차(d)가 거리 데이터와 촬상부(710)와 촬상부(720) 사이의 알고 있는 거리를 기초로 산출된다.
S1403 단계에서, 에너지 계산부(732)에 의해, 해당 거리 데이터가 연관된 화소에 대응하는 비교 화상 내의 화소의 시차 d에 대한 전파 파라미터가 산출된다.
S1404 단계에서, 카운터 r이 1로 설정된다(카운터 r= 1은 4 방향의 전파 파라미터 중 도 11의 화살표(1111)로 나타낸 방향의 전파 파라미터를 지시함).
S1405 단계에서는, 에너지 계산부(732)에 의해, S1403 단계에서 산출된 전파 파라미터를 기점으로 하여 덴스 매칭 알고리즘을 이용하여 모든 다른 화소의 "r" 방향의 전파 파라미터 L1(p, d)가 산출된다.
S1406 단계에서는 에너지 계산부(732)에 의해, 카운터 r이 4 이상(r≥4)인지 여부가 판정된다. 카운터가 4 미만(r<4)이면, 처리가 S1407 단계로 진행하여, 카운터 r를 증가시킨 후(r=r+1), S1405 단계로 돌아간다. S1405 단계에서, 에너지 계산부(732)에 의해, S1403 단계에서 산출된 전파 파라미터를 기점으로 하여 덴스 매칭 알고리즘을 이용하여 다른 화소의 전파 파라미터 L2(p, d)가 산출된다.
마찬가지로, 에너지 계산부(732)에 의해 전파 파라미터 L3(p, d), L4(p, d)가 산출된다. S1406 단계에서 4 방향의 전파 파라미터에 관하여 전파 파라미터의 산출이 완료한 것이라고 판단된 경우(r≥4)에는 처리가 S1408 단계로 진행한다.
S1408 단계에서, 에너지 계산부(732)에 의해, 각 화소에 있어서 4 방향의 전파 파라미터 L1(p, d)∼L4(p, d)를 시차 중 대응하는 시차에 대해 합산함으로써 개별 시차에 대한 에너지 값 S(p)이 산출된다. 후속하여, 에너지 계산부(732)는 산출된 에너지 값 S(p)을 기초로 도 13에 예시된 바와 같은 시차-에너지 그래프를 생성한다.
다음에, 시차 계산부(733)를 설명한다. 도 15는 시차 계산부(733)에 의해 수행되는 시차 계산 처리를 설명하기 위한 흐름도이다. 에너지 계산부(732)에 의한 에너지 계산 처리가 완료하면, 시차 계산부(733)는 도 15에 나타낸 시차 계산 처리를 수행하기 시작한다. 도 15에 나타낸 시차 계산 처리는 스테레오 화상의 프레임 각각에 대해 1 프레임씩 기준으로 반복 수행되며, 도 15의 예에서는 1 프레임분의 스테레오 화상에 포함되는 비교 화상에 대해 시차 계산 처리가 수행됨을 알아야 한다.
도 15에 나타낸 바와 같이, S1501 단계에서는 화소 카운터 p가 1로 설정된다. S1502 단계에서는 비교 화상의 주목 화소 p(화소 카운터 p로 지시됨)에서의 시차-에너지 그래프가 독출된다. 상술한 바와 같이, 에너지 계산부(732)에 의해 비교 화상의 각 화소에 관하여 시차-에너지 그래프가 산출되고, S1502 단계에서 이들 시차-에너지 그래프 중 주목 화소 p의 시차-에너지 그래프가 독출된다.
S1503 단계에서는 시차 계산부(733)에 의해, 독출한 시차-에너지 그래프에 있어서 소정의 임계치 이하인 최하점이 산출되어, 독출된 시차-에너지 그래프로부터 상기 최하점이 시차 D(p)로서 추출된다. S1504 단계에서는 시차 계산부(733)에 의해 처리 대상의 프레임 내의 화소 전부에 관하여 시차 D(p)의 추출 여부가 판정된다.
S1504 단계에 있어서, 시차 D(p)를 추출하지 않는 화소가 있다고 판정한 경우에는 처리가 S1502 단계로 돌아간다.
한편, S1504 단계에서 모든 화소에 관하여, 시차 D(p)를 추출한 것으로 판정한 경우에는 S1505 단계에서 시차 계산부(733)에 의해 해당 추출한 시차 D(p)를 기초로 하여 처리될 프레임의 시차 화상이 생성되어 출력된다.
전술한 바와 같이, 본 실시 형태에 따른 시차 연산 시스템(100)은 레이저 빔에 의해 거리를 측정하는 레이저 레이다 거리 측정부(110)와, 시차 화상을 산출하는 스테레오 화상 연산부(120)를 포함한다. 시차 연산 시스템(100)의 이들 부분은 다음과 같이 구성된다.
-레이저 레이다 거리 측정부(110)는 스테레오 카메라를 구성하는 촬상부(710, 720)에 의해 촬영되는 스테레오 화상과 동기함으로써 소정의 조사 범위에 관하여 거리 데이터가 측정될 수 있도록 구성된다.
-스테레오 화상 연산부(120)는 레이저 레이다 거리 측정부(110)로부터 독출된 거리 데이터를 대응하는 스테레오 화상(기준 화상)의 프레임 내의 화소와 연관시키도록 수성된다.
-스테레오 화상 연산부(120)는 거리 데이터가 연관된 기준 화상 내 화소에 대응하는 비교 화상 내의 화소의 시차를 해당 거리 데이터와 스테레오 카메라 사이의 알고 있는 거리를 기초로 산출하도록 구성된다.
-스테레오 화상 연산부(120)는 거리 데이터가 연관된 기준 화상 내 화소에 대응하는 비교 화상 내의 화소의 시차 d에 대한 전파 파라미터를 기점으로 하여, 덴스 매칭 알고리즘을 통해 프레임 내의 다른 화소의 전파 파라미터를 순차 산출하도록 구성된다.
이와 같이, 다른 화소의 전파 파라미터를 산출할 때의 기점으로서, 레이저 레이다 거리 측정부(110)에 의해 측정된 거리가 연관된 기준 화상 내 화소에 대응하는 비교 화상 내의 화소의 시차 d에 대한 전파 파라미터를 이용하는 것에 의해, 본 실시 형태에 따른 시차 연산 시스템(100)은 다른 화소의 전파 파라미터를 양호한 정밀도로 결정할 수 있다. 따라서, 본 실시 형태에 따른 시차 연산 시스템(100)은 기점으로서 비교 화상 내 화소의 시차에 대한 전파 파라미터를 이용하는 것에 의해 순차 산출되는 다른 화소의 전파 파라미터의 정밀도를 향상시키는 것이 가능해진다. 결국, 본 실시 형태에 따른 시차 연산 시스템(100)은 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
[제2 실시 형태]
상기 제1 실시 형태에서는 에너지 계산부(732)가 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 이용하는 경우를 설명하였다. 그러나, 본 발명은 이 실시 형태에 한정되지 않는다. 예컨대, 레이저 레이다 거리 측정부(110)에 의해 측정된 거리는 시차 계산 처리를 수행시 시차 계산부(733)에 의해 이용될 수 있다.
다음에, 제2 실시 형태에 따른 시차 연산 시스템(100)을 설명한다. 이하에서는 상기 제1 실시 형태에 따른 시차 연산 시스템(100)과 다른 제2 실시 형태에 따른 시차 연산 시스템(100)의 차이점만을 설명한다.
본 실시 형태에 따른 시차 연산 시스템(100)에 있어서의 스테레오 화상 연산부(120)의 기능적 구성을 설명한다. 도 16은 본 실시 형태에 따른 시차 연산 시스템(100)에 있어서의 스테레오 화상 연산부(120)의 기능적 구성을 나타낸 도면이다.
도 16에 나타낸 본 실시 형태에 따른 스테레오 화상 연산부(120)는 레이저 레이다 거리 측정부(110)로부터 송신된 거리 정보가 시차 계산부(733)로 입력된다는 점이 도 7에 도시된 실시 형태와 다르다. 본 실시 형태에 따른 시차 연산 시스템(100)에서, 레이저 레이다 거리 측정부(110)는 선회 방향 스캔 미러(도시 생략)를 포함하며, 촬상부(710, 720)에 의해 스테레오 화상이 촬영될 때 선회 방향 스캔 미러를 사용하는 것에 의해 선회 방향으로 차량의 진행 방향에 대한 레이저 빔의 조사 방향을 변경하도록 구성된다. 예를 들면, 레이저 빔은 선회 방향으로 차량의 진행 방향에 대해 3개의 다른 조사 각도로 조사될 수 있다. 따라서, 여러 조사 방향에 대응하는 2개 이상의 거리 정보 항목이 레이저 레이다 거리 측정부(110)로부터 수신된 거리 정보 내에 포함된다.
본 실시 형태에 따른 시차 연산 시스템(100)에 의해 사용되는 레이저 빔의 조사 위치와 스테레오 화상의 화소 위치 사이의 관계를 설명한다. 도 17은 본 실시 형태에 따른 시차 연산 시스템(100)에 있어서의 레이저 빔의 조사 위치와 스테레오 화상의 화소 위치 사이의 관계를 설명하기 위한 도면이다. 본 실시 형태에 따른 시차 연산 시스템(100)에 있어서 레이저 레이다 거리 측정부(110)는 스테레오 화상 연산부(120)의 스테레오 카메라의 사이에 설치되므로, 레이저 레이다 거리 측정부(110)는 선회 방향으로 회전 가능하고, 앙각 방향으로 소정의 조사 범위로 레이저 빔을 조사한다.
따라서, 도 17에 예시된 바와 같이, 촬영 화상(420) 내의 복수 조사 각도의 소정의 위치의 화소가 레이저 빔의 조사 위치에 대응한다. 도 17에서, 참조 번호(1711∼1713)는 촬영 화상(420) 내의 레이저 빔의 조사 범위를 나타낸다.
구체적으로, 도 17에 예시된 바와 같이, (Px11, Py1)의 화소, (Px12, Py2)의 화소, (Px13, Py3)의 화소, (Px14, Py4)의 화소가 조사 범위(1711)에 있어서 거리가 측정된 위치에 대응하고 있다. 따라서, 이들 화소는 레이저 레이다 거리 측정부(110)에 의해 측정된 거리와 연관된다.
촬영 화상(420)의 예에서, (Px11, Py1)의 화소와 거리 데이터 LD11가 연관되고, (Px12, Py2)의 화소와 거리 데이터 LD12가 연관되며, (Px13, Py3)의 화소와 거리 데이터 LD13가 연관되고, (Px14, Py4)의 화소와 거리 데이터 LD14가 연관된다.
마찬가지로, (Px2, Py1)의 화소, (Px2, Py2)의 화소, (Px2, Py3)의 화소, (Px2, Py4)의 화소가 조사 범위(1712)에 있어서 거리가 측정된 위치에 대응하고 있다. 따라서, (Px2, Py1)의 화소와 거리 데이터 LD21가, (Px2, Py2)의 화소와 거리 데이터 LD22가, (Px2, Py3)의 화소와 거리 데이터 LD23가, (Px2, Py4)의 화소와 거리 데이터 LD24가 연관된다.
마찬가지로, (Px31, Py1)의 화소, (Px32, Py2)의 화소, (Px33, Py3)의 화소, (Px34, Py4)의 화소가 조사 범위(1713)에 있어서 거리가 측정된 위치에 대응하고 있다. 따라서, (Px31, Py1)의 화소와 거리 데이터 LD31가, (Px31, Py2)의 화소와 거리 데이터 LD32가, (Px31, Py3)의 화소와 거리 데이터 LD33가, (Px31, Py4)의 화소와 거리 데이터 LD34가 연관된다.
스테레오 카메라를 구성하는 촬상부(710)와 촬상부(720)의 사이의 거리를 알고 있으므로, 거리 데이터가 연관된 이들 화소의 시차를 거리 데이터 LD11∼LD34를 기초로 하여 각각 정확히 산출할 수 있다.
다음에, 시차 계산부(733)에 의해 수행되는 시차 계산 처리를 설명한다. 도 18은 시차 계산부(733)에 의해 수행되는 시차 계산 처리를 설명하기 위한 도면이다. 구체적으로, 도 18은 촬영 화상(410)의 일부의 영역으로서, 거리 데이터가 연관된 촬영 화상(420)(기준 화상) 내의 화소에 대응하는 화소를 포함하는 촬영 화상(420)(비교 화상) 내의 화상 영역을 보여준다. 도 18에서, 음영 화소는 거리 데이터가 연관된 촬영 화상(420) 내의 화소에 대응하는 촬영 화상(410) 내의 화소인것으로 가정한다. 즉, 도 18의 음영 화소는 거리 데이터를 기초로 하여 시차가 산출된 화소이다.
또한, 화소(1801) 및 화소(1802)는 에너지 계산부(732)에 의해 시차가 추출되지 않은 화소인 것으로 가정한다. 구체적으로, 에너지 계산부(732)에 의해 산출된 이들 화소의 에너지 값 S(p)은 시차의 변화에 대해 큰 변화를 나타내지 않고 소정의 임계치 이하의 최하점이 존재하지 않은 것으로 가정한다.
시차 계산부(733)는 거리 데이터를 기초로 하여 이미 산출된 시차를 이용하여 이들 화소의 시차를 보간하도록 구성된다. 즉, 거리 데이터를 기초로 이미 시차가 산출된 화소 이외의 화소의 시차를 대응하는 화소의 산출된 시차를 이용하여 보간을 행한다.
예컨대, 화소(1801)는 시차가 산출된 화소(Px2, Py3)와 화소(Px2, Py2)의 사이에 위치되는 데, 화소(Px2, Py3)로부터 1 화소 떨어지고, 화소(Px2, Py2)로부터 2 화소 떨어진 위치에 있다. 여기서, 화소(Px2, Py3)에 관하여 거리 데이터 D23을 기초로 산출된 시차를 d23, 화소(Px2, Py2)에 관하여 거리 데이터 D22를 기초로 산출된 시차를 D22인 것으로 가정한다. 이 경우, 시차 계산부(733)는 화소(1801)의 시차를 다음의 수학식으로 산출한다:
화소(1801)의 시차=d23×2/3+d22×1/3.
또한, 화소(1802)는 시차가 산출된 화소(Px32, Py2)와 화소(Px33, Py3)에 인접하고 있다.
여기서, 화소(Px32, Py3)에 관하여 거리 데이터 D32를 기초로 산출된 시차를 d32, 화소(Px33, Py3)에 관하여 거리 데이터 D33을 기초로 산출된 시차를 d33인 것으로 가정한다. 이 경우, 시차 계산부(733)는 화소(1802)의 시차를 하기 수학식을 기초로 하여 산출한다:
화소(1802)의 시차= d32×3/4+d33×1/4.
이와 같이, 시차 계산부(733)는 에너지 계산부(732)에 의해 산출될 수 없는 화소의 시차를 해당 화소 근처의 화소로서 거리 데이터를 기초로 시차가 산출되어 있는 화소의 시차를 이용하는 것에 의해 시차를 산출한다. 또한, 거리 데이터를 기초로 시차가 산출되어 있는 인접 화소를 이용하는 경우, 해당 화소와 에너지 계산부(732)에 의해 시차가 산출되지 않은 화소 사이의 거리에 따라 가중된 시차 연산이 수행된다.
이것은 촬영 화상(410)의 프레임 내의 화소 전부에 관하여 시차를 산출하는 것을 가능케 한다. 따라서, 시차 연산의 정밀도를 향상시키는 것이 가능해 진다.
다음에, 시차 계산부(733)에 의한 시차 계산의 흐름을 설명한다. 도 19는 시차 계산부(733)에 의한 시차 계산 처리를 설명하기 위한 흐름도이다.
상기 제1 실시 형태와 유사하게, 에너지 계산부(732)에 의한 에너지 계산 처리가 완료하면, 시차 계산부(733)는 도 19에 나타낸 시차 계산 처리를 수행하기 시작한다. 또한, 도 19에 나타낸 시차 계산 처리는 스테레오 화상의 각 프레임에 대해 1 프레임씩 기준으로 반복 수행되며, 도 19의 예에서는 1 프레임분의 스테레오 화상에 대해 시차 계산 처리가 수행됨을 알아야 한다.
도 19에 도시된 바와 같이, S1901 단계에서는 시차 계산부(733)에 의해 에너지 계산부(732)에 의해 산출된 비교 화상 내의 각 화소의 시차가 독출된다.
S1902 단계에서는 시차 계산부(733)에 의해 S1901 단계에서 시차가 독출된 화소 중 시차가 계산되어 있지 않은 화소가 존재하는 지 여부가 판정된다. S1902 단계에서 시차가 계산되어 있지 않은 화소가 없다고 판정되면, 처리는 S1907 단계로 진행한다.
한편, S1902 단계에서 시차가 계산되어 있지 않은 화소가 존재하는 것으로 판정된 경우, 처리는 S1903 단계로 진행한다. S1903 단계에서는 시차 계산부(733)에 의해 시차가 계산되어 있지 않은 화소 근처의 화소로서 거리 데이터를 기초로 하여 시차가 이미 산출되어 있는 화소가 독출된다.
후속하여, S1904 단계에서는 시차 계산부(733)에 의해 시차가 산출되어 있는 인접 화소와 시차가 산출되어 있지 않은 화소 사이의 거리에 따라 인접 화소들 각각의 가중 계수가 산출된다. S1905 단계에서는 시차 계산부(733)에 의해 S1903 단계에서 독출된 인접 화소의 시차와 S1904 단계에서 산출된 가중 계수의 곱을 합산함으로써 에너지 계산부(732)에 의해 시차가 계산되지 않은 화소의 시차가 산출된다.
S1906 단계에서는 시차 계산부(733)에 의해 처리 대상의 프레임 내의 모든 화소의 시차의 산출 여부가 판정된다. S1906 단계에서 시차가 산출되지 않는 화소가 있다고 판정되면, 처리는 S1903 단계로 돌아간다.
한편, S1906 단계에서 처리 대상의 프레임 내의 모든 화소의 시차가 산출된 것으로 판정된 경우, 처리는 S1907 단계로 진행한다. S1907 단계에서는 시차 계산부(733)에 의해 처리 대상 프레임 내 모든 화소의 산출된 시차를 기초로 시차 화상이 생성되어 출력된다.
전술한 바와 같이, 본 실시 형태에 따른 시차 연산 시스템(100)은 레이저 빔을 이용하는 것으로 거리를 측정하는 레이저 레이다 거리 측정부(110)와, 시차 화상을 산출하는 스테레오 화상 연산부(120)를 포함한다. 시차 연산 시스템(100)의 각부는 다음과 같이 구성된다.
-레이저 레이다 거리 측정부(110)는 스테레오 카메라를 구성하는 촬상부(710, 720)에 의해 촬영되는 스테레오 화상과 동기하여, 선회 방향으로 복수의 조사 각도로 소정의 조사 범위에 대해 거리가 측정되도록 구성된다.
-스테레오 화상 연산부(120)는 레이저 레이다 거리 측정부(110)에 의해 독출된 거리 데이터를 대응하는 스테레오 화상(기준 화상)의 프레임 내의 화소와 연관시키도록 구성된다.
-스테레오 화상 연산부(120)는 거리 데이터가 연관된 화소에 대응하는 비교 화상 내의 화소에 관하여 해당 거리 데이터와 스테레오 카메라 사이의 알고 있는 거리를 기초로 시차를 산출하도록 구성된다.
-스테레오 화상 연산부(120)는 스테레오 화상을 기초로 시차를 산출한 프레임 내의 화소 중 시차가 산출되지 않은 화소가 존재하는 경우, 거리 데이터를 기초로 시차가 산출된 인접 화소를 이용하는 것에 의해 시차 산출되지 않은 화소의 시차를 산출하도록 구성된다.
이와 같이, 본 실시 형태에 따른 시차 연산 시스템(100)은 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 기초로 산출되는 시차를 이용하여 스테레오 화상를 기초로 산출되는 시차를 보간하도록 구성되므로, 본 실시 형태에 따른 시차 연산 시스템(100)이 시차 연산의 정밀도를 향상시키는 것이 가능하다.
[제3 실시 형태]
상기 제1 실시 형태에서는 에너지 계산부(732)가 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 이용하는 경우를 설명하였고, 상기 제2 실시 형태에서는 시차 계산부(733)가 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 이용하는 경우를 설명하였다.
그러나, 본 발명은 이들 실시 형태에 한정되지 않는다. 대안적으로, 스테레오 화상은 거리 데이터가 연관된 기준 화상 내의 화소의 휘도치와 기준 화상 내 화소에 대응하는 비교 화상 내의 화소로부터 시차 d의 위치에 있는 화소의 휘도치를 소정의 값으로 변경하는 것에 의해 처리될 수 있다. 이것은 스테레오 화상 중 텍스쳐가 적은 영역의 화소를 처리하는 것에 의해 시차를 산출하기 쉽게 할 수 있기 때문이다.
다음에, 제3 실시 형태에 따른 시차 연산 시스템을 설명한다. 이하에서는 상기 제1 및 제2 실시 형태와 다른 제3 실시 형태의 차이점만을 설명한다.
먼저, 본 실시 형태에 따른 시차 연산 시스템(100)의 스테레오 화상 연산부(120)의 기능적 구성을 설명한다. 도 20은 본 실시 형태에 따른 시차 연산 시스템(100)의 스테레오 화상 연산부(120)의 기능적 구성을 나타낸 도면이다.
도 20에 나타낸 본 실시 형태에 따른 스테레오 화상 연산부(120)는 레이저 레이다 거리 측정부(110)에 의해 송신된 거리 정보가 정보 매입부(2001)로 입력된다는 점이 도 7에 나타낸 스테레오 화상 연산부(120)와 상이하다.
정보 매입부(2001)는 촬상부(720)에 의해 촬영된 촬영 화상(420)의 화소 중 레이저 레이다 거리 측정부(110)로부터 수신된 거리 데이터가 연관된 화소를 추출하도록 구성된다. 또한, 정보 매입부(2001)는 촬영 화상(420) 내의 추출된 화소에 대응하는 촬영 화상(410) 내의 화소로부터 시차 d의 위치에 있는 화소를 추출하도록 구성된다.
또한, 정보 매입부(2001)는 촬영 화상(410, 420) 각각으로부터 추출된 화소(양자의 추출 화소는 서로 대응하며 동일 대상물을 지시함)의 휘도치를 소정의 휘도치로 변경하도록 구성된다. 구체적으로, 정보 매입부(2001)는 초기의 휘도치를 에너지 계산부에 의해 후속으로 산출되는 에너지 값 S(p)를 시차의 변화보다 크게 하는 휘도치로 변경하도록 구성된다. 즉, 초기 휘도치는 추출된 화소의 주변의 화소의 평균 휘도치와 크게 다르고 촬영 화상(410, 420)에 대해 동일한 휘도치로 변경된다.
이에 따라, 텍스쳐가 작은 화상 영역에서도 추출한 화소에 관하여 시차를 확실하게 산출할 수 있어서 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
다음에, 정보 매입부(2001)에 의해 수행되는 정보 매입 처리를 설명한다. 도 21a 및 도 21b는 정보 매입부(2001)에 의해 수행되는 정보 매입 처리를 설명하기 위한 도면이다.
도 21a의 촬영 화상(420)에 있어서, 레이저 빔의 조사 범위(520) 내의 (Px1, Py1)의 화소, (Px1, Py2)의 화소, (Px1, Py3)의 화소, (Px1, Py4)의 화소 각각에 대해 거리 데이터가 연관되는 것으로 가정한다.
여기서, (Px1, Py1)의 화소와 연관된 거리 데이터 LD1를 기초로 산출되는 시차를 d1, (Px1, Py2)의 화소와 연관된 거리 데이터 LD2를 기초로 산출되는 시차를 D2, (Px1, Py3)의 화소와 연관된 거리 데이터 LD3를 기초로 산출되는 시차를 d3, (Px1, Py4)의 화소와 연관된 거리 데이터 LD4를 기초로 산출되는 시차를 d4로 한다.
이 경우, 촬영 화상(420) 내의 화소 (Px1, Py1), (Px1, Py2), (Px1, Py3), (Px1, Py4)가 지시하는 대상물과 동일한 대상물을 지시하는 촬영 화상(410) 내의 화소는 다음과 같다.
-(Px1, Py1)→(Px1+d1, Py1)
-(Px1, Py2)→(Px1+d2, Py2)
-(Px1, Py3)→(Px1+d3, Py3)
-(Px1, Py4)→(Px1+d4, Py4)
정보 매입부(2001)는 촬영 화상(410)과 촬영 화상(420)의 추출된 화소(양자의 추출 화소는 서로 대응하고 동일 대상물을 지시함)의 초기 휘도치를 상기 추출된 화소의 주변의 화소의 평균 휘도치와 크게 다르고 촬영 화상(410, 420)에 대해 동일한 2차 휘도치로 변경하도록 구성된다.
도 21b는 정보 매입부(2001)에 의해 동일한 위치를 지시하고 있는 화소의 초기 2차 휘도치로 변경한 상태를 보여준다. 구체적으로, 도 21b에서, 촬영 화상(410)의 화소(P`+d1, Py1)와 촬영 화상(420)의 화소(Px2, Py1)의 휘도치를 g1로 변경하고, 촬영 화상(410)의 화소(Px1+d2, Py2)와 촬영 화상(420)의 화소(Px2, Py2)의 휘도치를 g2로 변경하고, 촬영 화상(410)의 화소(Px1+d3, Py3)와 촬영 화상(420)의 화소(Px2, Py3)의 휘도치를 g3로 변경하고, 촬영 화상(410)의 화소(Px1+d4, Py4)와 촬영 화상(420)의 화소(Px2, Py4)의 휘도치를 g4로 변경하고 있다.
휘도치 g1, g2, g3, g4는 주변의 화소의 평균 휘도치와 크게 다른 값이라고 가정한다. 이와 같이, 레이저 레이다 거리 측정부(110)로부터 수신된 거리 정보를 기초로 스테레오 화상에 있어서 동일한 대상물을 지시하고 있는 화소를 특정하여 특정된 화소의 초기 휘도치를 변경하는 것에 의해 에너지 계산부(732)에 의한 시차의 산출을 확실하게 수행할 수 있다. 따라서, 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
다음에, 정보 매입부(2001)에 의해 수행되는 정보 매입 처리의 흐름을 설명한다. 도 22는 정보 매입부(2001)에 의해 수행되는 정보 매입 처리를 설명하기 위한 흐름도이다. 촬상부(710) 및 촬상부(720)에 의한 촬영이 시작되면, 정보 매입부(2001)는 도 22에 나타낸 정보 매입 처리를 수행하기 시작한다. 도 22에 나타낸 정보 매입 처리는 스테레오 화상의 각 프레임에 대해 1 프레임씩 기준으로 반복 실행되며, 도 22의 예에서는 1 프레임분의 스테레오 화상에 대해 정보 매입 처리가 수행됨을 알아야 한다.
도 22에 도시된 바와 같이, S2201 단계에서는 정보 매입부(2001)에 의해, 촬상부(710)에 의해 촬영된 촬영 화상과 촬상부(720)에 의해 촬영된 촬영 화상이 독출된다. S2202 단계에서는 정보 매입부(2001)에 의해 S2201 단계에서 독출된 촬영 화상과 동기하여 측정된 거리가 독출된다.
S2203 단계에서는 정보 매입부(2001)에 의해 S2202 단계에서 독출된 거리 데이터를 기초로 S2201 단계에서 독출된 각각의 촬영 화상에 있어서 동일한 대상물을 지시하는 화소를 특정한다.
S2204 단계에서는 정보 매입부(2001)에 의해 S2203 단계에서 특정한 화소의 휘도치를 전술한 방식으로 각각 변경된다. S2205 단계에서는 정보 매입부(2001)에 의해 S2204 단계에서 특정된 화소의 휘도치가 변경된 촬영 화상이 비용 계산부(731)로 출력된다.
전술한 바와 같이, 본 실시 형태에 따른 시차 연산 시스템(100)은 레이저 빔을 이용하는 것으로 거리를 측정하는 레이저 레이다 거리 측정부(110)와 시차 화상을 산출하는 스테레오 화상 연산부(120)를 포함한다. 시차 연산 시스템(100)의 각부는 다음과 같은 구성된다.
-스테레오 화상 연산부(120)(또는 정보 매입부(2001))는 레이저 레이다 거리 측정부(110)에 의해 독출된 거리 데이터를 기초로 스테레오 화상 각각의 프레임에 포함되는 화소 중으로부터 동일한 대상물을 지시하는 화소를 특정하도록 구성된다.
-스테레오 화상 연산부(120)(또는 정보 매입부(2001))는 거리 데이터를 기초로 특정된 화소의 초기 휘도치를 상기 추출된 화소 주변의 화소의 평균 휘도치와 크게 다르고 비교 화상과 기준 화상에 대해 동일한 2차 휘도치로 변경하도록 구성된다. 초기 휘도치는 텍스쳐가 커지는 방향으로 2차 휘도치로 변경된다.
이와 같이, 본 실시 형태에 따른 시차 연산 시스템(100)은 레이저 레이다 거리 측정부(110)에 의해 독출된 거리 데이터를 기초로 스테레오 화상 각각의 프레임 내의 화소의 휘도치를 변경하도록 구성됨으로써 에너지 계산부(732)에 의한 시차의 추출을 용이하게 할 수 있다. 결국, 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
[제4 실시 형태]
상기 실시 형태에서는 촬상부(710)에 의해 촬영된 촬영 화상 및 촬상부(720)에 의해 촬영된 촬영 화상을 시차 연산부(730)로 직접 입력하는 경우를 설명하였다. 그러나, 본 발명은 이러한 실시 형태에 한정되지 않는다. 도 23은 스테레오 화상 연산부(120)의 다른 기능적 구성을 보여주는 도면이다. 도 23에 나타낸 바와 같이, 시차 연산부(730)의 전방에 전처리부(2301) 및 전처리부(2302)가 배치될 수 있다. 즉, 촬상부(710)에 의해 촬영된 촬영 화상 및 촬상부(720)에 의해 촬영된 촬영 화상에 대하여 전처리를 행한 후에 그 전처리된 화상을 시차 연산부(730)로 입력할 수 있다.
전처리부(2301) 및 전처리부(2302)에 의해 수행되는 전처리는 예컨대 노이즈 제거 처리, 왜곡 보정 처리, 감마 변환 처리 등을 포함할 수 있다. 이러한 전처리를 수행하는 것으로써 시차 연산의 정밀도를 향상시키는 것이 가능해진다.
[제5 실시 형태]
상기 실시 형태에서는 레이저 레이다 거리 측정부(110)에 의해 거리 데이터가 조사 범위 내에서 4 측정점에서 측정된다. 그러나, 본 발명은 이들 실시 형태에 한정되지 않는다. 본 발명에 따른 시차 연산 시스템의 경우, 조사 범위 내에서 적어도 하나 이상의 측정점에서 거리 데이터를 측정하면 충분하다.
상기 제1 실시 형태에서는 에너지 계산부(732)에 의해 전파 파라미터의 산출을 위한 기점으로서 이용되는 화소의 수가 1이다. 그러나, 본 발명은 본 실시 형태에 한정되지 않는다. 전파 파라미터의 산출을 위한 기점으로서 이용되는 화소의 수는 2개 이상일 수 있다.
상기 제1 실시 형태에서는 에너지 계산부(732)가 비용을 계산하는 데 이용하는 블록 크기는 1×1 화소로 설정된다. 그러나, 본 발명은 이 실시 형태에 한정되지 않는다. 에너지 계산부(732)가 비용 계산시 이용하는 블록 크기는 2 이상의 화소일 수 있다.
상기 제1 실시 형태에서는 시차-에너지 그래프로부터의 시차의 추출은 화소 단위(정수치)로 수행된다. 그러나, 본 발명은 이 실시 형태에 한정되지 않는다. 시차-에너지 그래프로부터의 시차의 추출은 소수치로 수행될 수 있다.
상기 제1 실시 형태에서는 시차-에너지 그래프의 생성시 시차(p)가 p=0∼10의 범위에서 변화된다. 그러나, 본 발명은 이 실시 형태에 한정되지 않는다. 시차는 더 넓은 범위 또는 더 좁은 범위에서 변화될 수 있다.
상기 제1 실시 형태에서는 레이저 레이다 거리 측정부(110)에 의해 측정된 거리가 연관된 기준 화상 내 화소에 대응하는 비교 화상 내 화소의 시차 d를 전파 파라미터를 산출할 때의 기점이 되는 전파 파라미터로 이용한다. 그러나, 본 발명은 이 실시 형태에에 한정되지 않는다. 대안적으로, 시차 d는 다른 방법에 의해 덴스 매칭 알고리즘에 포함될 수 있다.
상기 제2 실시 형태에서는 레이저 레이다 거리 측정부가 레이저 빔을 선회 방향으로 3개의 조사 각도로 조사하도록 구성된다. 그러나, 본 발명은 이 실시 형태에 한정되지 않을 수 있다. 레이저 빔은 선회 방향으로 2개의 조사 각도 또는 선회 방향으로 4개 이상의 조사 각도로 조사될 수 있다.
상기 실시 형태에서는 레이저 레이다 거리 측정부(110)가 레이저 빔의 조사 방향을 앙각 방향으로 선회시킬 수 있도록 구성된다. 그러나, 본 발명은 이 실시 형태에 한정되지 않는다. 레이저 레이다 거리 측정부(110)는 레이저 빔의 조사 각도를 선회하지 않고 복수의 레이저 빔을 조사하도록 구성될 수도 있다. 또한, 제5 실시 형태에서는 하나의 고정 레이저 빔을 채용한 구성도 이용될 수 있다.
상기 실시 형태에서는 레이저 레이다 거리 측정부(110)에 의해 측정된 거리를 스테레오 화상 연산부(120)에 의한 시차 화상의 생성에 이용하는 유리한 효과로서 시차 연산의 정밀도 향상을 설명하였다. 본 발명의 유리한 효과는 이들 실시 형태에 한정되지 않는다. 예컨대, 시차 연산의 정밀도가 향상하는 것에 기인하여 노면 상의 대상물의 인식율이 향상되는 효과도 본 발명의 유리한 효과에 포함될 수 있다.
상기 실시 형태에서는 레이저 레이다 거리 측정부(110)로부터 조사된 레이저 빔의 반사 레이저 빔을 기초로 레이저 빔의 조사 위치까지의 거리를 나타내는 정보를 취득하고 있다. 그러나, 본 발명은 이들 실시 형태에 한정되지 않는다. 조사 위치까지의 거리를 나타내는 거리 정보는 레이저 레이다 거리 측정부(110) 이외의 전자파 거리 측정부로부터 조사된 전자파의 반사파를 기초로 취득될 수 있다.
본 발명에 따른 화상 처리 장치 및 시차 연산 시스템은 전술한 실시 형태에 한정되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 변경 및 변경이 이루어질 수 있다.
본 출원은 그 전체 내용이 여기에 참조로 포함된 2013년 12월 26일자 출원된 일본 특허 출원 제2013-268506호 및 2014년 12월 19일자 출원된 일본 특허 출원 제2014-256864호를 기초로 하고 그 우선권의 이익을 주장한다.
100: 시차 연산 시스템 110: 레이저 레이다 거리 측정부
120: 스테레오 화상 연산부 200: 차량
410: 촬영 화상 420: 촬영 화상
520: 조사 범위 601: 신호 처리부
602: 앙각 방향 스캔 구동부 603: 모터
604: 앙각 방향 스캔 미러 605: 레이저 빔 수광부
606: 신호 증폭기 607: 시간 간격 카운터
608: 레이저 출력부 609: 레이저 구동부
710: 촬상부 720: 촬상부
730: 시차 연산부 731: 비용 계산부
732: 에너지 계산부 733: 시차 계산부
1210∼1214: 화소 1220: 화소
1711: 조사 범위 1712: 조사 범위
1713: 조사 범위 1801: 화소
1802: 화소 2001: 정보 매입부
2301: 전처리부 2302: 전처리부

Claims (11)

  1. 복수의 촬상부에 의해 촬영된 화상을 기초로 하여 시차 화상(parallax image)을 생성하는 정보 처리 장치에 있어서,
    프로세서; 및
    컴퓨터 판독 가능 코드를 저장하는 메모리
    를 포함하고,
    상기 컴퓨터 판독 가능 코드는, 상기 프로세서에 의한 실행시, 상기 프로세서로 하여금 상호 연관부와 생성부로서 기능하도록 하며,
    상기 상호 연관부는, 상기 복수의 촬상부의 촬영 방향으로 조사된 전자파의 반사파를 기초로 얻어지는 상기 전자파의 조사 위치까지의 거리를 나타내는 거리 정보를, 상기 화상을 구성하는 제1 화상 내에서의 상기 전자파의 조사 위치에 대응하는 제1 화소와 상호 연관시키도록 구성되며,
    상기 생성부는, 상기 제1 화소와 상호 연관된 상기 거리 정보를 상기 화상을 구성하는 제2 화상 내의 화소의 시차 연산(parallax computation)에 이용함으로써 시차 화상을 생성하도록 구성되고,
    상기 생성부는, 상기 제1 화소와 연관된 상기 거리 정보와 상기 복수의 촬상부 사이의 알고 있는 거리를 기초로, 상기 제2 화상 내의 화소 중 상기 제1 화상 내의 제1 화소에 대응하는 제2 화소의 시차를 산출하도록 구성되며,
    상기 생성부는, 상기 제1 화상 내의 상기 제1 화소의 휘도치 및 상기 제2 화상 내의 상기 제2 화소의 상기 시차에 따른 위치에 있는 상기 제2 화상 내의 화소의 휘도치를 제2 휘도치로 변경하고, 상기 제1 화소의 상기 휘도치와 상기 화소의 상기 휘도치가 상기 제2 휘도치로 변경된 후, 상기 화상을 처리하도록 구성되는 것인, 정보 처리 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 생성부는, 상기 제1 화상 내의 화소와 상기 제2 화상 내의 화소의 유사도를 기초로 덴스 매칭 알고리즘(dense matching algorithm)을 이용하는 것에 의해 상기 제2 화상 내의 상기 화소의 전파 파라미터를 순차적으로 산출하고; 상기 제1 화상 내의 대응하는 화소에 대한 편차량에 따라 상기 제2 화상 내의 상기 화소의 에너지 값을 산출하고; 상기 편차량의 변화에 따른 상기 제2 화상 내의 상기 화소의 산출된 에너지 값의 변화를 기초로 상기 제2 화상 내의 상기 화소의 시차를 산출하도록 구성되는 것인, 정보 처리 장치.
  4. 제3항에 있어서, 상기 생성부는 상기 제2 화소의 상기 시차를 상기 덴스 매칭 알고리즘 내에 포함시키고 상기 전파 파라미터를 순차적으로 산출하도록 구성되는 것인, 정보 처리 장치.
  5. 제3항에 있어서, 상기 생성부는, 상기 제1 화소와 연관된 상기 거리 정보와 상기 복수의 촬상부 사이의 알고 있는 거리를 기초로 상기 제2 화상 내의 상기 화소의 시차를 산출하도록 구성되고; 상기 편차량의 변화에 따른 상기 제2 화상 내의 상기 화소에 대해 산출된 에너지 값의 변화를 기초로, 시차가 산출되지 않은 화소가 존재하는 경우, 상기 제1 화소와 연관된 상기 거리 정보를 기초로 산출된 상기 제2 화소의 시차를 이용하는 것에 의해, 상기 시차 산출되지 않은 화소의 시차를 보간하도록 구성되는 것인, 정보 처리 장치.
  6. 삭제
  7. 복수의 촬상부와, 전자파 거리 측정부와, 정보 처리 장치를 포함하는 시차 연산 시스템에 있어서,
    상기 정보 처리 장치는,
    컴퓨터 판독 가능 코드를 저장하는 메모리를 포함하고,
    상기 컴퓨터 판독 가능 코드는, 프로세서에 의한 실행시, 상기 프로세서로 하여금 취득부, 상호 연관부 및 생성부로서 기능하도록 하며,
    상기 취득부는, 상기 복수의 촬상부에 의해 촬영된 화상을 취득하도록 구성되며,
    상기 상호 연관부는, 상기 복수의 촬상부의 촬영 방향으로 조사된 전자파의 반사파를 기초로 얻어지는 상기 전자파의 조사 위치까지의 거리를 나타내는 거리 정보를, 상기 화상을 구성하는 제1 화상 내에서의 상기 전자파의 조사 위치에 대응하는 제1 화소와 상호 연관시키도록 구성되며,
    상기 생성부는, 상기 제1 화소와 상호 연관된 상기 거리 정보를 상기 화상을 구성하는 제2 화상 내의 화소의 시차 연산에 이용함으로써 시차 화상을 생성하도록 구성되고,
    상기 생성부는, 상기 제1 화소와 연관된 상기 거리 정보와 상기 복수의 촬상부 사이의 알고 있는 거리를 기초로, 상기 제2 화상 내의 화소 중 상기 제1 화상 내의 제1 화소에 대응하는 제2 화소의 시차를 산출하도록 구성되며,
    상기 생성부는, 상기 제1 화상 내의 상기 제1 화소의 휘도치 및 상기 제2 화상 내의 상기 제2 화소의 상기 시차에 따른 위치에 있는 상기 제2 화상 내의 화소의 휘도치를 제2 휘도치로 변경하고, 상기 제1 화소의 상기 휘도치와 상기 화소의 상기 휘도치가 상기 제2 휘도치로 변경된 후, 상기 화상을 처리하도록 구성되는 것인, 시차 연산 시스템.
  8. 제7항에 있어서, 상기 전자파 거리 측정부는 상기 전자파의 조사 범위가 상기 복수의 촬상부에 의해 촬영되는 화상에 포함되는 노면 부분에 설정되도록 상기 전자파를 조사하도록 구성되는 것인, 시차 연산 시스템.
  9. 제7항 또는 제8항에 있어서, 상기 전자파 거리 측정부는 상기 복수의 촬상부가 상기 화상을 촬영할 때 상기 전자파의 조사 방향을 변경시키는 것에 의해 복수의 거리 정보 항목을 수신하도록 구성되는 것인, 시차 연산 시스템.
  10. 복수의 촬상부와, 전자파 거리 측정부와, 정보 처리 장치를 포함하는 시차 연산 시스템에 사용되는 정보 처리 방법에 있어서,
    상기 복수의 촬상부에 의해 촬영된 화상을 취득하는 단계;
    상기 복수의 촬상부의 촬영 방향으로 조사된 전자파의 반사파를 기초로 얻어지는 상기 전자파의 조사 위치까지의 거리를 나타내는 거리 정보를, 상기 화상을 구성하는 제1 화상 내에서의 상기 전자파의 조사 위치에 대응하는 제1 화소와 상호 연관시키는 단계; 및
    상기 제1 화소와 상호 연관된 상기 거리 정보를 상기 화상을 구성하는 제2 화상 내의 화소의 시차 연산에 이용함으로써 시차 화상을 생성하는 단계
    를 포함하고,
    상기 정보 처리 장치는 생성부를 포함하고,
    상기 생성부는, 상기 제1 화소와 연관된 상기 거리 정보와 상기 복수의 촬상부 사이의 알고 있는 거리를 기초로, 상기 제2 화상 내의 화소 중 상기 제1 화상 내의 제1 화소에 대응하는 제2 화소의 시차를 산출하도록 구성되고,
    상기 생성부는, 상기 제1 화상 내의 상기 제1 화소의 휘도치 및 상기 제2 화상 내의 상기 제2 화소의 상기 시차에 따른 위치에 있는 상기 제2 화상 내의 화소의 휘도치를 제2 휘도치로 변경하고, 상기 제1 화소의 상기 휘도치와 상기 화소의 상기 휘도치가 상기 제2 휘도치로 변경된 후, 상기 화상을 처리하도록 구성되는 것인, 정보 처리 방법.
  11. 컴퓨터 판독 가능 코드의 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 프로그램은 컴퓨터에 의한 실행시 상기 컴퓨터로 하여금 제10항에 따른 정보 처리 방법을 수행하게 하는 것인, 비일시적 컴퓨터 판독 가능 기록 매체.
KR1020167016559A 2013-12-26 2014-12-22 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 KR101815407B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013268506 2013-12-26
JPJP-P-2013-268506 2013-12-26
JP2014256864A JP6476831B2 (ja) 2013-12-26 2014-12-19 視差演算システム、情報処理装置、情報処理方法及びプログラム
JPJP-P-2014-256864 2014-12-19
PCT/JP2014/084742 WO2015099193A1 (en) 2013-12-26 2014-12-22 Parallax operation system, information processing apparatus, information processing method, and recording medium

Publications (2)

Publication Number Publication Date
KR20160089445A KR20160089445A (ko) 2016-07-27
KR101815407B1 true KR101815407B1 (ko) 2018-01-04

Family

ID=53479031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167016559A KR101815407B1 (ko) 2013-12-26 2014-12-22 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체

Country Status (6)

Country Link
US (1) US10198830B2 (ko)
EP (1) EP3087342B1 (ko)
JP (1) JP6476831B2 (ko)
KR (1) KR101815407B1 (ko)
CN (1) CN105849504B (ko)
WO (1) WO2015099193A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6776692B2 (ja) * 2016-07-25 2020-10-28 株式会社リコー 視差演算システム、移動体及びプログラム
JP6772639B2 (ja) * 2016-08-02 2020-10-21 株式会社リコー 視差演算システム、移動体及びプログラム
KR102499586B1 (ko) * 2016-09-01 2023-02-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
DE102017130897A1 (de) * 2017-12-21 2019-06-27 Pilz Gmbh & Co. Kg Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
JP7176406B2 (ja) * 2018-01-23 2022-11-22 株式会社リコー 画像処理方法、画像処理装置、車載装置、移動体、システム
EP3514759A1 (en) 2018-01-23 2019-07-24 Ricoh Company, Ltd. Image processing method, image processing apparatus, on-board device, moving body, and system
JP7119444B2 (ja) 2018-03-13 2022-08-17 株式会社リコー 測距システム、測距方法、車載装置、車両
JP7238422B2 (ja) 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム
JP7255259B2 (ja) 2019-03-19 2023-04-11 株式会社リコー 検出装置、測距装置、時間測定方法、プログラム、移動体
CN110376595B (zh) * 2019-06-28 2021-09-24 湖北大学 自动装车机车辆测量系统
JP7298350B2 (ja) 2019-07-08 2023-06-27 株式会社リコー 測距装置、情報処理装置、測距方法、車載装置、移動体、測距システム
JP7463701B2 (ja) 2019-11-19 2024-04-09 株式会社リコー 画像診断装置、故障診断装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141457A (ja) * 1999-11-12 2001-05-25 Minolta Co Ltd ３次元計測装置
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2009047496A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
US5602653A (en) * 1994-11-08 1997-02-11 Xerox Corporation Pixel pair grid halftoning for a hyperacuity printer
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP4265931B2 (ja) 2003-05-22 2009-05-20 富士重工業株式会社 先行車両検出装置
JP4394487B2 (ja) 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
WO2008044911A1 (en) * 2006-10-09 2008-04-17 Tele Atlas B.V. Method and apparatus for generating an orthorectified tile
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP5316805B2 (ja) 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
CN103593851B (zh) 2009-03-31 2017-11-28 松下知识产权经营株式会社 立体图像处理器
JP4934701B2 (ja) 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
WO2011078199A1 (en) 2009-12-25 2011-06-30 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
KR101086305B1 (ko) * 2010-02-03 2011-11-23 한국과학기술연구원 3차원 영상 디스플레이 장치 및 방법
JP5545036B2 (ja) * 2010-05-28 2014-07-09 三菱電機株式会社 画像処理装置、画像処理方法および画像表示装置
JP5494286B2 (ja) * 2010-06-25 2014-05-14 株式会社明電舎 架線位置測定装置
JPWO2012067028A1 (ja) * 2010-11-16 2014-05-12 コニカミノルタ株式会社 画像入力装置および画像処理装置
JP5682065B2 (ja) 2011-03-02 2015-03-11 独立行政法人産業技術総合研究所 ステレオ画像処理装置及びステレオ画像処理方法
WO2013031807A1 (ja) * 2011-09-02 2013-03-07 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2013093013A (ja) 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ３次元計測装置
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
CN103198314B (zh) * 2013-02-20 2015-11-25 北京农业信息技术研究中心 遥感图像辐射校正方法
CN103247033A (zh) * 2013-04-26 2013-08-14 中国科学院东北地理与农业生态研究所 一种基于影像选取控制点的矢量数据纠正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141457A (ja) * 1999-11-12 2001-05-25 Minolta Co Ltd ３次元計測装置
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2009047496A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, CVPR,

Also Published As

Publication number Publication date
US20180165834A1 (en) 2018-06-14
CN105849504B (zh) 2018-09-14
KR20160089445A (ko) 2016-07-27
US10198830B2 (en) 2019-02-05
JP6476831B2 (ja) 2019-03-06
WO2015099193A1 (en) 2015-07-02
EP3087342A4 (en) 2017-01-04
JP2015143679A (ja) 2015-08-06
CN105849504A (zh) 2016-08-10
EP3087342A1 (en) 2016-11-02
EP3087342B1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
KR101815407B1 (ko) 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
JP6187640B2 (ja) 画像合成方法及び装置
KR101893771B1 (ko) 3d 정보 처리 장치 및 방법
JP6328966B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN108513121B (zh) 用于场景的景深图评估的方法和设备
US20140285655A1 (en) Apparatus and method for measuring shape of underwater object
JP2010091426A (ja) 距離計測装置及びプログラム
US10904512B2 (en) Combined stereoscopic and phase detection depth mapping in a dual aperture camera
CN102997891A (zh) 场景深度的测量装置和方法
JP2015135317A (ja) 画像処理装置、システム、画像処理方法およびプログラム
JP2017156306A (ja) 距離センサ、走行体、ロボット及び３次元計測装置
EP2911392B1 (en) Parallax calculation system, information processing apparatus, information processing method, and program
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
TWI571099B (zh) 深度估測裝置及方法
WO2021163406A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP6121746B2 (ja) 撮影位置決定装置、プログラム、および方法
KR101866107B1 (ko) 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
JP2022087978A (ja) 位置姿勢算出装置、位置姿勢算出方法及び測量装置
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
CN113673284B (zh) 深度相机抓拍方法、系统、设备及介质
CN113673285B (zh) 深度相机抓拍时的深度重建方法、系统、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant