KR101820259B1 - 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램 - Google Patents

시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101820259B1
KR101820259B1 KR1020167015408A KR20167015408A KR101820259B1 KR 101820259 B1 KR101820259 B1 KR 101820259B1 KR 1020167015408 A KR1020167015408 A KR 1020167015408A KR 20167015408 A KR20167015408 A KR 20167015408A KR 101820259 B1 KR101820259 B1 KR 101820259B1
Authority
KR
South Korea
Prior art keywords
degree
image
match
value
changing
Prior art date
Application number
KR1020167015408A
Other languages
English (en)
Other versions
KR20160086875A (ko
Inventor
기이치로 사이토
요시카즈 와타나베
소이치로 요코타
료스케 다무라
웨이 종
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20160086875A publication Critical patent/KR20160086875A/ko
Application granted granted Critical
Publication of KR101820259B1 publication Critical patent/KR101820259B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

시차값 도출 장치는, 기준 화상에 있어서의 기준 영역에 대응하는 비교 화상에 있어서의 대응 영역의 후보의 코스트를, 이들 영역의 휘도치에 기초하여 산출하도록 구성된 산출 수단을 구비한다. 시차값 도출 장치는, 임계치를 초과하는 코스트를 임계치보다 높은 소정치로 변경하도록 구성된 변경 수단과, 변경 후의 하나의 기준 영역에 대한 대응 영역의 후보의 코스트와, 변경 후의 다른 기준 영역에 대한 대응 영역의 후보의 코스트를 합성하도록 구성된 합성 수단과, 하나의 기준 영역의 위치와, 합성 후의 코스트가 최소로 되는 대응 영역의 비교 화상에 있어서의 위치에 기초하여 시차값을 도출하도록 구성된 도출 수단을 구비한다.

Description

시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램{DISPARITY VALUE DERIVING DEVICE, MOVABLE APPARATUS, ROBOT, DISPARITY VALUE PRODUCING METHOD, AND COMPUTER PROGRAM}
본 발명은 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램에 관한 것이다.
종래, 스테레오 화상법(stereo imaging)에 의해서, 스테레오 카메라로부터 물체에 대한 시차를 도출하고, 이 시차를 나타내는 시차값을 이용하여 삼각측량의 원리에 기초하여, 스테레오 카메라로부터 물체까지의 거리를 측정하는 거리 측정 방법이 알려져 있다. 이 거리 측정 방법에 의해, 예컨대, 자동차 사이의 거리나, 자동차와 장해물 사이의 거리가 측정되어, 자동차의 충돌 방지에 활용되고 있다.
시차값을 구하는 데에 스테레오 매칭 처리가 이용되고 있다. 이 스테레오 매칭 처리에서는, 스테레오 카메라의 2대의 카메라 중 한쪽의 카메라에 의해서 얻어진 기준 화상 내의 주목하는 기준 화소에 대하여, 다른 쪽의 카메라에 의해서 얻어진 비교 화상 내의 복수의 대응 화소의 후보를 순차 시프트하면서, 화상 신호가 가장 유사한 대응 화소의 위치를 구함으로써 기준 화상과 비교 화상 사이의 시차값을 산출하고 있다. 일반적으로는, 2대의 카메라에 의해서 얻어진 화상 신호의 휘도치를 비교함으로써, 시프트량 사이에서 비교되는 휘도치와 관련하여 코스트(cost: 여기서 코스트는 "비유사도(dissimilarity)"임)가 가장 낮은 화소의 위치가 구해진다(일본 특허 공개 공보 제2006-090896호 참조).
그러나 물체의 휘도 변화의 크기를 나타내는 텍스처가 약하고, 추출하여야 할 특징(features) 자체가 부족한 영역에서는, 에지 검출을 실행하더라도, 충분한 효과를 얻을 수 없다.
따라서 텍스처가 약한 물체에 대해서도 보다 정확한 시차를 도출하는 방법이 제안되어 있다(예컨대, 일본 특허 공개 공보 제2012-181142호 참조). 이 방법에 의해서, 기준 화상에 있어서의 주목하는 기준 화소의 코스트뿐만 아니라, 기준 화소의 주위의 다른 화소의 코스트를 집약하여, 텍스처가 약한 물체에 대한 시차를 도출할 수 있다.
그러나 일본 특허 공개 공보 제2012-181142호에 기재된 방법을 이용하여 자동차 사이의 거리 등을 측정하는 경우에는, 텍스처가 약한 노면 등에 있어서의 코스트가, 선행 차량 등과 같이 텍스처가 강한 주위의 코스트의 영향을 받게 된다. 이에 따라, 정확한 코스트를 도출할 수 없게 된다.
본 발명의 목적은 종래 기술에 있어서의 문제를 적어도 부분적으로 해소하는 것이다.
실시형태에 따르면, 물체의 상을 촬상한 제1 촬상 유닛에 의해서 얻어진 기준 화상 및 상기 물체의 다른 상을 촬상한 제2 촬상 유닛에 의해서 얻어진 비교 화상으로부터 상기 물체의 시차를 나타내는 시차값을 도출하는 시차값 도출 장치가 제공된다. 시차값 도출 장치는, 상기 기준 화상에 있어서의 기준 영역의 휘도치와, 대응 영역의 후보 - 대응 영역의 후보는 대응 영역의 각 후보가 상기 비교 화상에 있어서의 상기 기준 영역에 기초하여 에피폴라선 상에서 개별 시프트량만큼 시프트되는 식으로 특정됨 -의 휘도치에 기초하여, 상기 기준 화상에 있어서의 상기 기준 영역에 대응하는 비교 화상에 있어서의 대응 영역의 후보의 코스트를 산출하도록 구성된 산출 수단과, 상기 산출 수단에 의해서 산출된 코스트들 중에서, 임계치를 초과하는 코스트를, 임계치보다 높은 소정치로 변경하도록 구성된 변경 수단과, 상기 변경 수단에 의한 변경 후의 하나의 기준 영역에 대응하는 대응 영역의 후보의 코스트와, 상기 변경 수단에 의한 변경 후의 다른 기준 영역에 대응하는 대응 영역의 후보의 코스트를, 각각의 시프트량에 대하여 합성하도록 구성된 합성 수단과, 상기 하나의 기준 영역의 상기 기준 화상에 있어서의 위치와, 상기 합성 수단에 의한 합성 후의 코스트가 최소로 되는 대응 영역의 상기 비교 화상에 있어서의 위치에 기초하여, 상기 시차값을 도출하도록 구성된 도출 수단을 구비한다.
본 발명의 상기 및 그 외의 목적, 특징, 이점, 그리고 기술적 및 산업적 중요성은, 첨부 도면과 관련하여, 발명의 현재의 바람직한 실시형태에 대한 이하의 상세한 설명을 읽음으로써 보다 잘 이해될 것이다.
도 1은 촬상 장치로부터 물체까지의 거리를 도출하는 원리의 설명도이다.
도 2의 (a)는 기준 화상의 예를 도시하고, (b)는 고밀도 시차 화상의 예를 도시하고, (c)는 에지 시차 화상의 예를 도시한다.
도 3은 기준 화상에 대한 비교 화상에 있어서의 대응 화소의 후보를 순차 시프트하면서 시프트량을 산출하는 것을 도시한다.
도 4는 시프트량에 대하여 코스트를 도시하는 그래프이다.
도 5는 합성 코스트를 도출하기 위한 개념도이다.
도 6은 시차값에 대하여 합성 코스트를 도시하는 그래프이다.
도 7은 본 발명의 일 실시형태에 따른 시차값 도출 장치를 탑재한 자동차를 도시한다.
도 8은 시차값 도출 장치의 개략도이다.
도 9는 시차값 도출 장치의 전체의 하드웨어 구성도이다.
도 10은 시차값 도출 장치의 주요부의 하드웨어 구성도이다.
도 11은 제1 실시형태에 있어서의 처리를 도시하는 흐름도이다.
도 12는 기준 화상, 기준 화상의 일부, 코스트 변경하지 않는 경우의 고밀도 시차 화상, 임계치(Th) = 40에서 코스트 변경한 경우의 고밀도 시차 화상, 임계치(Th) = 20에서 코스트 변경한 경우의 고밀도 시차 화상의 예를 도시한다.
도 13은 코스트 변경하지 않는 경우의 코스트의 그래프, 코스트 변경한 경우의 코스트의 그래프, 코스트 변경하지 않는 경우의 합성 코스트의 그래프, 코스트 변경한 경우의 합성 코스트의 그래프를 도시한다.
도 14는 물체 인식 장치가 인식하는 물체 인식 결과의 크기를 나타내는 프레임을 포함하는 기준 화상의 개념도이다.
도 15는 제2 실시형태에 있어서의 처리를 도시하는 흐름도이다.
도 16은, 기준 화상, 기준 화상의 일부, 코스트 변경하지 않는 경우의 고밀도 시차 화상, 코스트 변경한 경우의 고밀도 시차 화상의 예를 도시한다.
도 17은, 코스트 변경하지 않는 경우의 코스트의 그래프, 코스트 변경한 경우의 코스트의 그래프, 코스트 변경하지 않는 경우의 합성 코스트의 그래프, 코스트 변경한 경우의 합성 코스트의 그래프를 도시한다.
도 18은 도 17의 (b)와 동일한 그래프, 코스트 변경한 경우의 코스트의 그래프, 도 17의 (d)와 동일한 그래프, 코스트 변경한 경우의 합성 코스트의 그래프를 도시한다.
첨부 도면을 참조하여 본 발명의 실시형태에 관해서 이하에서 설명한다.
〔SGM법을 이용한 거리 측정 방법의 개략〕
우선, 도 1 내지 도 6을 참조하여, SGM(Semi-Global Matching)법을 이용한 거리 측정 방법의 개략에 관해서 설명한다. SGM법은, 비특허문헌(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)에 개시되어 있기 때문에, 이하에서는 개략을 설명한다.
<거리 측정의 원리>
도 1을 참조하여, 스테레오 카메라를 이용한 스테레오 화상법을 실행함으로써 물체의 시차를 시차값으로서 도출하고, 이 시차값을 이용하여 스테레오 카메라로부터 물체까지의 거리를 측정하는 원리를 설명한다. 도 1은, 촬상 장치로부터 물체까지의 거리를 도출하는 원리의 설명도이다. 이하에서는, 설명을 간략화하기 위해서, 복수의 화소를 각각 포함하는 소정 영역에 대해서가 아니라, 각 화소에 대하여 처리하는 것을 설명한다.
화소 단위가 아니라, 복수의 화소를 각각 포함하는 소정 영역 단위로 처리를 행하는 경우, 기준 화소를 포함하는 소정 영역은 기준 영역으로서 표시되고, 대응 화소를 포함하는 소정 영역은 대응 영역으로서 표시된다. 기준 영역은 기준 화소만 포함할 수도 있고, 대응 영역은 대응 화소만 포함할 수도 있다.
(시차값 산출)
도 1에 도시되는 촬상 장치(10a) 및 촬상 장치(10b)에 의해서 촬상된 화상을 각각 기준 화상(Ia) 및 비교 화상(lb)으로 한다. 도 1에서는, 촬상 장치(10a) 및 촬상 장치(10b)가 평행하게 동일 높이에 설치되어 있다. 도 1에 있어서, 3차원 공간 내의 물체(E) 상의 S점은, 촬상 장치(10a)의 한 위치 및 촬상 장치(10b)의 한 위치에 사상되고, 이들 두 위치는 촬상 장치(10a) 및 촬상 장치(10b)의 동일 수평선 상에 있다. 즉, 각 화상에 있어서의 S점은, 기준 화상(Ia)에 있어서의 점 Sa(x, y) 및 비교 화상(Ib)에 있어서의 점 Sb(X, y)에서 촬상된다. 이 때, 시차값(Δ)은, 촬상 장치(10a)의 좌표에 있어서의 Sa(x, y)와 촬상 장치(10b)의 좌표에 있어서의 Sb(X, y)를 이용하여, (식 1)과 같이 표시된다.
Δ = X-x (식 1)
여기서, 도 1의 경우에서와 같이, 기준 화상(Ia)에 있어서의 점 Sa(x, y)와 촬상 렌즈(11a)로부터 촬상면 상에 내린 수선의 교점 사이의 거리를 Δa로 하고, 비교 화상(lb)에 있어서의 점 Sb(X, y)와 촬상 렌즈(11b)로부터 촬상면 상에 내린 수선의 교점 사이의 거리를 Δb로 하면, 시차값(Δ) = Δa+Δb가 된다.
(거리 산출)
시차값(Δ)을 이용하여 촬상 장치(10a, 10b)와 물체(E) 사이의 거리 Z를 도출할 수 있다. 구체적으로는, 거리 Z는, 촬상 렌즈(11a)의 초점 위치와 촬상 렌즈(11b)의 초점 위치를 포함하는 면으로부터 물체(E) 상의 특정점(S)까지의 거리이다. 도 1에 도시된 바와 같이, 촬상 렌즈(11a) 및 촬상 렌즈(11b)의 초점 거리(f), 촬상 렌즈(11a)와 촬상 렌즈(11b) 사이의 길이인 기선 길이(B), 및 시차값(Δ)을 이용하여, (식 2)에 의해, 거리 Z를 산출할 수 있다.
Z = (B × f)/Δ (식 2)
(식 2)로부터, 시차값(Δ)이 클수록 거리(Z)는 작고, 시차값(Δ)이 작을수록 거리(Z)는 커진다.
<SGM법>
이제 도 2 내지 도 6을 참조하여, SGM법을 이용한 거리 측정 방법에 관해서 설명한다. 도 2의 (a)는 기준 화상을 나타내는 개념도이고, 도 2의 (b)는 도 2의 (a)에 대한 고밀도 시차 화상을 나타내는 개념도이고, 도 2의 (c)는 도 2의 (a)에 대한 에지 시차 화상을 나타내는 개념도이다. 여기서, 기준 화상은, 물체를 휘도에 의해서 표시한 화상이다. 고밀도 시차 화상은, SGM법에 의해서, 기준 화상으로부터 도출된 화상이며, 기준 화상에 있어서의 각 좌표 세트에서의 시차값을 나타낸다. 에지 시차 화상은, 종래부터 이용되고 있는 블록 매칭법(Block Matching Method)에 의해서 도출된 화상이며, 기준 화상에 있어서의 에지와 같이 비교적 텍스처가 강한 부분만의 시차값을 나타낸다.
SGM법은, 텍스처가 약한 물체에 대해서도 적절히 시차값을 도출하는 방법으로, 도 2의 (a)에 도시되어 있는 기준 화상에 기초하여, 도 2의 (b)에 도시되어 있는 고밀도 시차 화상을 도출하는 방법이다. 블록 매칭법을 이용한 경우에는, 도 2의 (a)에 도시되어 있는 기준 화상에 기초하여, 도 2의 (c)에 도시되어 있는 에지 시차 화상이 도출된다. 도 2의 (b) 및 (c)에 있어서 파선으로 둘러싸인 타원들을 비교하면 알 수 있는 바와 같이, 고밀도 시차 화상은, 에지 시차 화상에 비교해서 텍스처가 약한 도로 등의 상세한 정보를 나타낼 수 있기 때문에, 보다 상세하게 거리 측정을 행할 수 있다.
SGM법에 있어서는, 비유사도인 코스트를 산출한 직후에 시차값을 도출하지 않고, 코스트를 산출한 후에, 합성 비유사도인 합성 코스트(Synthesized Cost)를 산출함으로써 시차값을 도출한다. 이 방법에서는, 최종적으로 대략 모든 화소에 있어서의 시차값을 나타내는 시차 화상(여기서는, 고밀도 시차 화상)이 도출된다.
블록 매칭법은, 코스트를 산출하는 점에서는 SGM법과 동일하다. 그러나 SGM법과 달리, 합성 코스트를 산출하지 않고서, 에지 등과 같이 비교적 텍스처가 강한 부분의 시차값만을 도출한다.
(코스트의 산출)
우선, 도 3 및 도 4를 참조하여, 코스트(C)(p, d)의 산출 방법에 관해서 설명한다. 도 3의 (a)는 기준 화상에 있어서의 기준 화소를 도시하는 개념도이고, 도 3의 (b)는 도 3의 (a)의 기준 화소에 대하여 비교 화상에 있어서의 대응 화소의 후보를 순차 시프트하면서(변위시키면서) 시프트량(변위량)을 산출할 때의 개념도이다. 도 4는, 시프트량에 대하여 코스트를 도시하는 그래프이다. 여기서, 대응 화소는, 기준 화상에 있어서의 기준 화소에 가장 유사한 비교 화상에 있어서의 화소이다. 이하에서는, C(p, d)는, C(x, y, d)를 나타내는 것으로 한다.
도 3의 (a)에 도시된 바와 같이, 기준 화상에 있어서의 소정의 기준 화소 p(x, y)와, 기준 화소 p(x, y)에 대응하는 비교 화상에 있어서의 에피폴라선(Epipolar Line) 상의 복수의 대응 화소의 후보 q(x+d, y)의 휘도치에 기초하여, 기준 화소 p(x, y)에 대응하는 각 대응 화소 후보 q(x+d, y)의 코스트(C)(p, d)가 산출된다. 변수 d는, 기준 화소 p로부터의 대응 화소의 각 후보 q의 시프트량(편차량)이며, 본 실시형태에서는, 이 시프트량이 화소 단위로 표시된다. 즉, 도 3에서는, 대응 화소의 후보 q(x+d, y)를 미리 지정된 범위(예컨대, 0<d<25)에 있어서 한 화소씩 순차 시프트하면서, 대응 화소의 후보 q(x+d, y)와 기준 화소 p(x, y) 사이의 휘도치의 비유사도인 코스트(C)(p, d)가 산출된다. 코스트(C)가 비유사도를 나타내는 경우, 코스트(C)를 산출하는 방법으로서는, SAD(Sum of Absolute Difference) 등의 공지의 방법이 적용된다.
도 4에 도시된 바와 같이, 이와 같이 산출된 코스트(C)(p, d)는, 시프트량(d)에 대하여 코스트(C)의 세트(set)인 코스트 곡선의 그래프로 나타낼 수 있다. 도 4에서, 코스트(C)는, 시프트량 d가 5, 12, 19일 때에 0(제로)으로 되기 때문에, 최소값을 구할 수 없다. 이에 따라, 텍스처가 약한 물체의 경우에는, 코스트(C)의 최소값을 구하는 것이 곤란하다.
(합성 코스트의 산출)
이제, 도 5 및 도 6을 참조하여, 합성 코스트 Ls(p, d)의 산출 방법에 관해서 설명한다. 도 5는, 합성 코스트를 도출하기 위한 개념도이다. 도 6은, 시차값에 대하여 합성 코스트를 도시하는 합성 코스트 곡선의 그래프이다. 본 실시형태의 합성 코스트의 산출 방법에서는, 기준 화소 p(x, y)에 있어서의 코스트(C)(p, d)가 산출되고, 또한, 기준 화소 p(x, y)의 주변의 각각의 화소 p(xn, yn)에 대한 코스트를, 다른 기준 화소 p(xn, yn)의 각각에 대한 코스트(C)로서 산출한다. 이러한 구성에 의해, 기준 화소 p(x, y)에 대한 산출 코스트(C)(p, d)와 기준 화소 p(x, y)의 주변의 다른 기준 화소 p(xn, yn)에 대한 산출 코스트(C)를 집약시킴으로써 기준 화소 p(x, y)에 대한 합성 코스트 Ls(p, d)가 산출된다. 마찬가지로, 하나의 기준 화소 p(xn, yn)에 대한 산출 코스트(C)와 이 기준 화소 p(xn, yn)의 주변의 다른 기준 화소에 대한 산출 코스트(C)를 집약시킴으로써 기준 화소 p(xn, yn)의 각각에 대한 합성 코스트(Ls)가 산출된다.
이제, 합성 코스트의 산출 방법을 보다 상세하게 설명한다. 합성 코스트 Ls(p, d)를 산출하기 위해서는, 우선, 경로 코스트 Lr(p, d)를 산출할 필요가 있다. (식 3)은, 경로 코스트 Lr(p, d)를 산출하기 위한 식이며, (식 4)는, 합성 코스트 Ls를 산출하기 위한 식이다.
Lr(p, d) = C(p, d)+min{(Lr(p-r, d), Lr(p-r, d-1)+P1, Lr(p-r, d+1)+P1, Lrmin(p-r)+p2} (식 3)
여기서, (식 3)에 있어서, r은, 집약 방향의 방향 벡터를 나타내고, x 방향 및 y 방향의 2 성분을 갖는다. 항 min{}는, 최소값을 구하는 함수이다. Lrmin(p-r)은, p를 r 방향으로 1화소만큼 시프트시킨 좌표에서 시프트량(d)을 변화시켰을 때의 Lr(p-r, d)의 최소값을 나타낸다. Lr은, (식 3)에 표시된 바와 같이, 재귀적으로 적용된다. P1 및 P2는, 미리 실험에 의해 정해진 고정 파라미터로서, 경로상에서 인접하는 기준 화소들의 시차값(Δ)이 연속적으로 되기 쉽도록 되어 있다. 예컨대, P1=48, P2=96이다.
(식 3)에 표시된 바와 같이, Lr(p, d)은, 기준 화소 p(x, y)에 있어서의 코스트(C)에, 도 5에 도시된 r 방향의 화소들에 있어서의 각 화소의 경로 코스트 Lr의 최소값을 가산함으로써 구해진다. 전술한 바와 같이, r 방향의 각 화소에서의 Lr을 구하기 위해서는, 먼저, 기준 화상 p(x, y)의 r 방향의 가장 끝의 화소로부터 Lr을 구하고, r 방향을 따라서 Lr을 구한다.
도 5에 도시된 바와 같이, 8 방향의 Lr0, Lr45, Lr90, Lr135, Lr180, Lr225, Lr270, Lr315를 구하고, 최종적으로 (식 4)에 기초하여, 합성 코스트 Ls를 구한다.
Figure 112016055623125-pct00001
(식 4)
이와 같이 산출된 합성 코스트 Ls(p, d)는, 도 6에 도시된 바와 같이, 시프트량(d)에 대하여 합성 코스트 Ls(p, d)를 나타내는 합성 코스트 곡선의 그래프에 의해서 나타낼 수 있다. 도 6에서, 합성 코스트 Ls는, 시프트량(d) = 3의 경우에 최소치를 가지므로, 시차값(Δ) = 3으로서 산출된다.
이상에서는 r의 수를 8로서 설명하고 있지만, 이로 한정되는 것은 아니다. 예컨대, 8 방향을 둘로 분할하여 16 방향으로 할 수도 있고, 셋으로 분할하여 24 방향으로 할 수도 있다.
"비유사도"로서 표시하고 있지만, 코스트(C)는 비유사도의 역수인 "유사도"로서 표시될 수도 있다. 이 경우, 코스트(C)를 산출하는 방법으로서는, NCC(Normalized Cross Correlation) 등의 공지의 방법이 적용된다. 이 경우, 합성 코스트 Ls가 최소가 아니라 "최대"로 되는 시차값(Δ)이 도출된다. 비유사도와 유사도를 전부 통틀어 "일치도(matching degree)"로서 나타낼 수도 있다.
〔본 실시형태의 구체적인 설명〕
이하, 도면을 참조하여 본 실시형태를 구체적으로 설명한다. 여기서는, 자동차에 탑재되는 물체 인식 시스템(1)에 관해서 설명한다.
물체 인식 시스템(1)은, 차량의 일례로서의 자동차뿐만 아니라, 차량의 다른 예로서 오토바이, 자전거, 휠체어, 농업용 경운기 등에 탑재될 수도 있다. 물체 인식 시스템(1)은, 이동 장치의 일례로서의 차량뿐만 아니라, 이동 장치의 다른 예로서 로봇 등에 탑재될 수도 있다. 로봇은, 이동 장치뿐만 아니라, FA(Factory Automation)에 있어서 고정 설치되는 공업용 로봇 등의 장치일 수도 있다. 고정 설치되는 장치는, 로봇뿐만 아니라, 방범용 감시 카메라일 수도 있다.
<실시형태의 구성>
우선, 도 7 내지 도 9를 참조하여, 본 실시형태들의 각각의 전체 구성에 관해서 설명한다.
(외관 구성)
도 7 및 도 8을 참조하여, 본 실시형태의 물체 인식 시스템(1)의 외관 구성을 설명한다. 도 7의 (a)는 본 발명의 일 실시형태에 따른 물체 인식 시스템을 탑재한 자동차의 측면을 나타내는 개략도이고, 도 7의 (b)는 자동차의 정면을 도시한 개략도이다. 도 8은 물체 인식 시스템의 개관도이다.
도 7의 (a) 및 (b)에 도시된 바와 같이, 본 실시형태의 물체 인식 시스템(1)은, 촬상 장치(10a) 및 촬상 장치(10b)를 구비한다. 촬상 장치(10a) 및 촬상 장치(10b)는 자동차의 진행 방향에 있어서 전방의 광경을 촬상할 수 있도록 설치된다.
도 8에 도시된 바와 같이, 물체 인식 시스템(1)은, 본체부(2)와, 본체부(2)에 설치된 한 쌍의 원통형 촬상 장치(10a) 및 촬상 장치(10b)를 구비한다.
(전체의 하드웨어 구성)
이제 도 9를 참조하여, 물체 인식 시스템(1)의 전체의 하드웨어 구성에 관해서 설명한다. 도 9는, 물체 인식 시스템의 전체의 하드웨어 구성도이다.
도 9에 도시된 바와 같이, 물체 인식 시스템(1)은, 본체부(2)에, 시차값 도출 장치(3) 및 물체 인식 장치(5)를 구비한다. 시차값 도출 장치(3)는, 물체(E)를 촬상하여 얻어진 복수의 화상으로부터, 물체(E)에 대한 시차를 나타내는 시차값(Δ)을 도출하고, 각 화소에 있어서의 시차값(Δ)을 나타내는 고밀도 시차 화상을 출력한다. 물체 인식 장치(5)는, 시차값 도출 장치(3)로부터 출력된 고밀도 시차 화상에 기초하여, 촬상 장치(10a, 10b)로부터 물체(E)까지의 거리를 측정하는 등의 처리를 행한다.
여기서, 우선은, 시차값 도출 장치(3)의 하드웨어 구성에 관해서 설명한다. 도 9에 도시된 바와 같이, 시차값 도출 장치(3)는, 촬상 장치(10a), 촬상 장치(10b), 신호 변환 장치(20a), 신호 변환 장치(20b) 및 화상 처리 장치(30)를 구비한다.
촬상 장치(10a)는, 전방의 광경을 촬상하여 화상을 나타내는 아날로그 신호를 생성하며, 촬상 렌즈(11a), 다이아프램(12a), 화상 센서(13a)를 구비한다. 촬상 렌즈(11a)는, 촬상 렌즈(11a)를 통과하는 빛을 굴절시켜 물체의 상을 결상시키기 위한 광학 소자이다. 다이아프램(12a)은, 촬상 렌즈(11a)를 통과한 빛의 일부를 차단하여 후술하는 화상 센서(13a)에 입력되는 빛의 양을 조정한다. 화상 센서(13a)는, 촬상 렌즈(11a) 및 다이아프램(12a)으로부터 입력된 빛을 전기적인 아날로그의 화상 신호로 변환하는 반도체 소자이며, 예컨대 CCD(Charge Coupled Devices)나 CM0S(Complementary Metal Oxide Semiconductor)에 의해서 실현된다. 촬상 장치(10b)는 촬상 장치(10a)와 동일한 구성을 갖기 때문에, 촬상 장치(10b)에 대한 설명은 생략한다. 촬상 렌즈(11a)와 촬상 렌즈(11b)는, 각각의 렌즈면이 동일 평면 상에 있도록 설치되어 있다.
신호 변환 장치(20a)는, 촬상된 화상을 나타내는 아날로그 신호를 디지털 형식의 화상 데이터로 변환하며, CDS(Correlated Double Sampling; 21a), AGC(Auto Gain Control; 22a), ADC(Ana1og Digital Converter; 23a), 및 프레임 메모리(24a)를 구비한다. CDS(21a)는, 화상 센서(13a)에 의해서 변환된 아날로그 화상 신호로부터 상관 이중 샘플링에 의해서 노이즈를 제거한다. AGC(22a)는, CDS(21a)에 의해서 노이즈가 제거된 아날로그 화상 신호의 강도를 제어하는 이득 제어(gain control)를 행한다. ADC(23a)는, AGC(22a)에 의해서 이득 제어된 아날로그 화상 신호를 디지털 형식의 화상 데이터로 변환한다. 프레임 메모리(24a)는, ADC(23a)에 의해서 변환된 화상 데이터를 기억한다.
마찬가지로, 신호 변환 장치(20b)는, 촬상 장치(10b)에 의해서 변환된 아날로그 화상 신호로부터 화상 데이터를 얻고, CDS(21b), AGC(22b), ADC(23b), 및 프레임 메모리(24b)를 구비한다. CDS(21b), AGC(22b), ADC(23b), 및 프레임 메모리(24b)는 각각 CDS(21a), AGC(22a), ADC(23a), 및 프레임 메모리(24a)와 동일한 구성을 가지므로, 그에 대한 설명은 생략한다.
화상 처리 장치(30)는, 신호 변환 장치(20a) 및 신호 변환 장치(20b)에 의해서 변환된 화상 데이터를 처리하기 위한 장치이다. 화상 처리 장치(30)는, FPGA(Field Programmable Gate Array; 31), CPU(Central Processing Unit; 32), ROM(Read Only Memory; 33), RAM(Random Access Memory; 34), I/F(Interface; 35) 및 이들 구성 요소(31∼35)를 도 9에 도시된 바와 같이 전기적으로 접속하기 위한 어드레스 버스 및 데이터 버스 등의 버스 라인(39)을 구비한다.
FPGA(31)은 집적 회로이며, CPU(32)로부터의 명령에 따라서, 화상 데이터가 나타내는 화상에 있어서의 시차값(Δ)을 산출하는 처리를 행한다. CPU(32)는, 시차값 도출 장치(3)의 각 기능을 제어한다. ROM(33)은, CPU(32)가 시차값 도출 장치(3)의 각 기능을 제어하게 하도록 실행되는 화상 처리용 프로그램을 기억하고 있다. RAM(34)은 CPU(32)의 워크 에리어로서 사용된다.
I/F(35)는, 후술하는 물체 인식 장치(5)의 I/F(55)와 어드레스 버스 및 데이터 버스 등의 버스 라인(4)을 통해 통신하기 위한 인터페이스이다.
이제, 물체 인식 장치(5)의 하드웨어 구성에 관해서 설명한다. 도 9에 도시된 바와 같이, 물체 인식 장치(5)는, FPGA(51), CPU(52), ROM(53), RAM(54), I/F(55), CAN I/F(58) 및 이들 구성요소(51∼55, 58)를 도 9에 도시된 바와 같이 전기적으로 접속하기 위한 어드레스 버스 및 데이터 버스 등의 버스 라인(59)을 구비한다.
FPGA(51), CPU(52), ROM(53), RAM(54), I/F(55) 및 버스 라인(59)은, 각각 화상 처리 장치(30)에 있어서의 FPGA(31), CPU(32), ROM(33), RAM(34), I/F(35) 및 버스 라인(39)과 동일한 구성을 가지므로, 그에 대한 설명을 생략한다. I/F(55)는, 화상 처리 장치(30)에 있어서의 I/F(35)와 버스 라인(4)을 통해 통신하기 위한 인터페이스이다. ROM(53)은, CPU(52)가 물체 인식 장치(5)의 각 기능을 제어하기 위해서 실행되는 물체 인식용 프로그램을 기억하고 있다.
CAN I/F(58)는, 예컨대 외부 컨트롤러와 통신하기 위한 인터페이스이며, 예컨대, 자동차의 CAN(Control Area Network)에 접속될 수 있다.
이러한 구성에 의해, 화상 처리 장치(30)의 l/F(35)로부터 버스 라인(4)을 통해 물체 인식 장치(5)에 고밀도 시차 화상이 송신되면, 물체 인식 장치(5)에 있어서의 CPU(52)로부터의 명령에 의해서, FPGA(51)가, 촬상 장치(10a, 10b)와 물체(E) 사이의 거리 Z를 산출한다. 물체 인식 장치(5)에 있어서의 CPU(52)로부터의 명령에 의해서 FPGA(51)가 거리 Z를 산출하지 않고, 화상 처리 장치(30)의 CPU(32)로부터의 명령에 의해서 FPGA(31)가 거리 Z를 산출할 수도 있다.
전술한 프로그램은, 인스톨 가능한 형식 또는 실행 가능한 형식의 파일로 컴퓨터 판독 가능한 기록 매체에 기록되어 유통될 수도 있다. 기록 매체는, CD-ROM(Compact Disc Read Only Memory) 및 SD 메모리 카드(Secure Digital Memory Card)를 포함한다.
〔실시형태의 구체적인 설명〕
이하, 첨부 도면을 참조하여, 실시형태를 구체적으로 설명한다.
<<제1 실시형태>>
먼저, 본 발명의 제1 실시형태에 관해서 설명한다.
<주요부의 하드웨어 구성>
도 3, 도 9 및 도 10을 참조하여, 제1 실시형태에 따른 시차값 도출 장치(3)의 주요부의 하드웨어 구성을 설명한다. 도 10은, 제1 실시형태에 따른 시차값 도출 장치의 주요부의 하드웨어 구성도이다.
도 9에 있어서의 FPGA(31)는, 도 10에 도시된 바와 같이, 코스트 산출부(310), 코스트 합성부(320), 시차값 도출부(330)를 구비한다. 이들은, FPGA(31)의 회로의 일부이지만, 화상 처리용 프로그램의 실행을 통하여 동일한 처리를 실행할 수도 있다.
코스트 산출부(310)는, 도 3에 도시된 바와 같이, 기준 화상(도 3의 (a) 참조)에 있어서의 기준 화소 p(x, y)의 휘도치와, 비교 화상(도 3의 (b) 참조)에 있어서의 기준 화소 p(x, y)에 기초하는 에피폴라선(EL) 상에서 시프트되고 개별 시프트량(d)에 대하여 특정되는 대응 화소의 후보 q(x+d, y)의 휘도치에 기초하여, 기준 화소 p(x, y)에 대응하는 대응 화소의 후보 q(x+d, y)의 코스트(C)를 산출한다. 또한, 코스트 산출부(310)는, 코스트 변경부로서의 역할도 하며, 산출한 코스트(C) 중에서, 임계치(Th)를 넘은 코스트를, 임계치(Th)보다 높은 소정치(H)로 변경한다.
코스트 합성부(320)는, 코스트 산출부(310)(코스트 변경부)에 의한 변경 후의 하나의 기준 화소 p(x, y)에 대응하는 대응 화소의 후보 q(x+d, y)의 코스트(C)와, 코스트 산출부(310)(코스트 변경부)에 의한 변경 후의 다른 기준 화소 p'(x', y')에 대응하는 대응 화소의 후보 q(x'+d, y')의 코스트(C)를, 각 시프트량(d)에 대하여 합성하여, 합성 코스트 Ls를 출력한다. 이러한 합성 처리는, (식 3)에 기초하여 코스트(C)로부터 경로 코스트 Lr를 산출한 후, (식 4)에 기초하여 각 방향에 대한 경로 코스트 Lr를 추가로 가산하여, 최종적으로 합성 코스트 Ls를 산출하는 처리이다.
시차값 도출부(330)는, 하나의 기준 화소 p(x, y)의 기준 화상에 있어서의 위치(x, y)와, 코스트 합성부(320)에 의한 합성 후의 합성 코스트 Ls가 최소가 되는 비교 화상에 있어서의 대응 화소 q(x+Δ, y)의 위치(x+Δ, y)에 기초하여 시차값(Δ)을 도출하고, 각 화소에 있어서의 시차값을 나타내는 시차 화상을 출력한다.
<실시형태의 처리 또는 동작>
이제 도 9 내지 도 14를 참조하여, 본 실시형태의 처리 또는 동작을 설명한다. 본 실시형태에서는, 도 12의 (a)에 도시된 기준 화상으로부터 합성 코스트 Ls가 도출되는 경우에 관해서 설명한다. 도면을 이해하기 쉽게 설명하기 위해서, 도 12의 (a)의 일부의 화상을, 도 12의 (b)에 도시한다.
도 11은, 본 실시형태에 있어서의 처리를 도시한 흐름도이다. 도 12의 (a)는 기준 화상을 나타내는 개념도이고, 도 12의 (b)는 기준 화상의 일부를 나타내는 개념도이고, 도 12의 (c)는 코스트 변경하지 않는 경우의 도 12의 (b)에 대한 고밀도 시차 화상을 나타내는 개념도이고, 도 12의 (d)는 임계치(Th) = 40에서 코스트 변경한 경우의 도 12의 (b)에 대한 고밀도 시차 화상을 나타내는 개념도이고, 도 12의 (e)는 임계치(Th) = 20에서 코스트 변경한 경우의 도 12의 (b)에 대한 고밀도 시차 화상을 나타내는 개념도이다. 도 13의 (a)는 코스트 변경하지 않는 경우의 코스트를 도시하는 그래프이고, 도 13의 (b)는 코스트 변경한 경우의 코스트를 도시하는 그래프이고, 도 13의 (c)는 코스트 변경하지 않는 경우의 합성 코스트를 도시하는 그래프이고, 도 13의 (d)는 코스트 변경한 합성 코스트를 도시한다. 도 13의 (a) 및 (b)의 그래프에 있어서, 종축은 코스트(C)를 나타내고, 횡축은 시프트량(d)을 나타낸다. 도 13의 (c) 및 (d)에 있어서, 그래프의 종축은 합성 코스트 Ls를 나타내고, 횡축은 시프트량(d)을 나타낸다.
먼저, 도 9에 도시된 촬상 장치(10a)는, 물체(E)를 촬상하여 아날로그 화상 데이터를 생성한다(스텝 S1-1). 마찬가지로, 촬상 장치(10b)는, 물체를 촬상하여 아날로그 화상 데이터를 생성한다(스텝 S1-2).
다음으로, 신호 변환 장치(20a)는, 아날로그 화상 데이터를 디지털 화상 데이터로 변환한다(스텝 S2-1). 마찬가지로, 신호 변환 장치(20b)는, 아날로그 화상 데이터를 디지털 화상 데이터로 변환한다(스텝 S2-2).
다음으로, 신호 변환 장치(20a)는, 화상 처리 장치(30)의 FPGA(31)에, 변환된 디지털 화상 데이터를 기준 화상의 데이터로서 출력한다(스텝 S3-1). 이러한 기준 화상의 개념도가, 도 12의 (a)에 도시되어 있다. 마찬가지로, 신호 변환 장치(20b)는, 화상 처리 장치(30)의 FPGA(31)에, 변환된 디지털 화상 데이터를 비교 화상의 데이터로서 출력한다(스텝 S3-2). 촬상 장치(10b)에 의해서 촬상된 화상인 이러한 비교 화상은, 도 12의 (a)에 도시되어 있는 기준 화상과 크게 다르지 않기 때문에, 비교 화상의 개념도는 도시하지 않고 생략한다.
다음으로, 도 10에 도시된 코스트 산출부(310)는, 기준 화상의 데이터 및 비교 화상의 데이터에 기초하여, 도 13의 (a)의 그래프에 도시된 바와 같이, 개별 시프트량(d)에 대하여 코스트(C)를 산출한다(스텝 S4). 여기서, 만약 코스트 산출부(310)가 코스트 변경부로서 코스트 변경하지 않는다면, 코스트 합성부(320)는, 도 13의 (c)의 그래프에 도시된 바와 같이, 각 시프트량(d)에 대하여 합성 코스트 Ls를 생성하여 출력한다. 이 경우, 합성 코스트 Ls가 최소(Ls1)로 되는 시프트량(d) = 13이기 때문에, 시차값 도출부(330)는, 시차값(Δ) = 13을 출력한다. 이 경우의 고밀도 시차 화상은, 도 12의 (c)에 나타낸 바와 같은 화상으로 된다.
이에 대하여, 본 실시형태에서는, 코스트 산출부(310)가, 코스트 변경부로서 코스트 변경하여, 도 13의 (b)의 그래프에 도시된 바와 같이, 임계치(Th)(예컨대, C = 40)를 넘는 코스트(C)를 소정치(예컨대, C = 80)로 변경한다(스텝 S5). 또한, 코스트 산출부(310)는, 코스트 변경부로서, 도 13의 (b)의 그래프에 도시된 바와 같이, 임계치(Th)(예컨대, C= 40) 이하의 코스트(C)를 소정치(예컨대, C = 0)로 변경한다(스텝 S6). 스텝 S5와 스텝 S6은 역순으로 처리될 수도 있고, 동시에 처리될 수도 있다.
다음으로, 도 10에 도시된 코스트 합성부(320)는, 도 13의 (d)의 그래프에 도시된 바와 같이, 개별 시프트량(d)에 대하여 합성 코스트 Ls를 출력한다(스텝 S7). 이 경우, 합성 코스트 Ls가 최소(Ls2)로 되는 시프트량(d) = 3이므로, 시차값 도출부(330)는, 시차값(Δ) = 3을 출력한다. 이 경우의 고밀도 시차 화상은, 도 12의 (d)에 도시된 것과 같은 실루엣 화상으로 된다. 이 실루엣 화상은, 물체 인식 장치(5)가 인식하는 기준 화상에 있어서의 물체의 개략 화상이며, 임계치(Th)가 낮을수록, 크기가 작아진다. 임계치(Th)가 0에 근접하면, 상기 합성 코스트 Ls(p, d)의 정밀도가 증가하는 메리트가 있지만, 합성 코스트 Ls(p, d)를 산출하기 위한 FPGA(31)의 회로 규모가 커진다고 하는 단점이 있다.
전술한 바와 같이, 코스트 산출부(310)가 코스트 변경하지 않는 경우와 코스트 변경하는 경우에 따라서, 시차값(Δ)이 다르다. 코스트 변경하는 경우의 고밀도 시차 화상(도 12의 (d) 참조)은, 코스트 변경하지 않는 경우의 고밀도 시차 화상(도 12의 (c) 참조)보다, 물체에 충실한 화상으로 된다.
그 후, CPU(32)는, 시차값(Δ)에 의해서 표시되는 고밀도 시차 화상을, 도 9에 도시된 I/F(35)로부터 버스 라인(4)을 통해 물체 인식 장치(5)의 I/F(55)에 송신한다. 이에 따라, 물체 인식 장치(5)에 있어서의 CPU(52)로부터의 명령에 의해서, FPGA(51)가 촬상 장치(10a, 10b)와 물체(E) 사이의 거리 Z를 산출한다.
또한, 물체 인식 장치(5)는, 도 14에 도시된 바와 같이, 기준 화상에 있어서 물체(E)의 크기를 나타내는 프레임을 인식한다. 도 14는, 물체 인식 장치가 인식하는 물체 인식 결과의 크기를 나타내는 프레임을 포함하는 기준 화상의 개념도이다. 이 경우, 도 12의 (d)에 도시된 바와 같이, 임계치(Th) = 40의 경우에는 상기 실루엣 화상이 크기 때문에, 도 14에서는, 프레임(1001; 여기서는 파선으로 표시)이 기준 화상 내에 표시된다. 한편, 도 12의 (e)에 도시된 바와 같이, 임계치(Th) = 20의 경우에는 상기 실루엣 화상이 작기 때문에, 도 14에서는, 프레임(1002; 여기서는 실선으로 표시)이 기준 화상 내에 표시된다. 물체 인식 결과의 크기를 프레임으로 나타내지 않고, 프레임을 마스킹하는 길이 방향이나 타원 등의 형태에 의해서 나타낼 수도 있다.
<실시형태의 주요 효과>
이상 설명한 바와 같이, 본 실시형태에 있어서는, 코스트 산출부(310)에 의해 산출된 코스트(C)가 임계치(Th)를 초과하는 경우에는, 코스트 산출부(310)는, 임계치(Th)를 초과하는 코스트(C)를, 임계치(Th)보다 높은 제1 소정치(H)로 변경한다. 그 결과, 제1 소정치(H)보다 큰 코스트(C)가 제1 소정치(H)까지 감소하므로, 텍스처가 약한 물체에 있어서의 코스트가, 텍스처가 강한 주위의 물체에 있어서의 코스트의 영향을 받기 어렵게 된다. 따라서 보다 정확한 코스트를 도출할 수 있다고 하는 효과를 얻는다.
또한, 다양한 코스트(C)를 제1 소정치(H)로 변경함으로써, 시프트량(d)을 도출하기 위한 RAM 또는 기타 유닛의 회로 규모를 소형화할 수 있다고 하는 효과를 얻는다.
또한, 코스트 산출부(310)는, 임계치(Th) 이하의 코스트를 임계치(Th)보다 낮은 제2 소정치(제로)로 변경한다. 전술한 바와 같이, 제1 소정치(H)로 축소되지 않은 코스트(C)는, 제2 소정치(제로)로 변경된다. 이에 따라, 단지 2개의 값, 즉 제1 소정치(H)와 제2 소정치(제로)에 의한 계산에 의해서, 시프트량(d)을 도출할 수 있고, 이로써 회로 규모를 더욱 소형화할 수 있다고 하는 효과를 얻는다. 단지 2개의 값, 즉 제1 소정치(H)와 제2 소정치(제로)에 의한 계산에 의해서, 합성 코스트 Ls를 산출할 때에 코스트(C)의 크기에 의해 지나치게 영향을 받는 것을 줄일 수 있고, 실제의 물체에 더욱 충실한 시차값을 도출할 수 있다.
<<제2 실시형태>>
이제, 본 발명의 제2 실시형태에 관해서 설명한다. 본 실시형태의 주요부의 하드웨어 구성은, 제1 실시형태의 주요부의 하드웨어 구성과 동일하기 때문에, 그 설명을 생략한다.
<실시형태의 처리 또는 동작>
다음으로, 도 15 내지 도 18을 참조하여, 본 실시형태의 처리 또는 동작을 설명한다. 본 실시형태에서는, 도 16의 (a)에 도시된 기준 화상으로부터 합성 코스트 Ls가 도출되는 경우에 관해서 설명한다. 도면을 이해하기 쉽게 설명하기 위해서, 도 16의 (a)의 일부의 화상을 도 16의 (b)에 도시한다.
도 15는, 제2 실시형태에 있어서의 처리를 도시한 흐름도이다. 도 16의 (a)는 기준 화상의 예이고, 도 16의 (b)는 기준 화상의 일부이고, 도 16의 (c)는 코스트 변경하지 않는 경우의 도 16의 (b)에 대한 고밀도 시차 화상을 나타내는 개념도이고, 도 16의 (d)는 코스트 변경한 경우의 도 16의 (b)에 대한 고밀도 시차 화상을 나타내는 개념도이다. 도 17의 (a)는 코스트 변경하지 않는 경우의 코스트를 도시하는 그래프이고, 도 17의 (b)는 코스트 변경한 경우의 코스트를 도시하는 그래프이고, 도 17의 (c)는 코스트 변경하지 않는 경우의 합성 코스트를 도시하는 그래프이고, 도 17의 (d)는 코스트 변경한 경우의 합성 코스트를 도시한다. 도 18의 (a) 및 (c)는 각각 도 17의 (b) 및 (d)와 동일한 그래프이다. 도 18의 (b) 및 (d)와의 대비를 쉽게 하기 위해서, 도 18의 (a) 및 (c)을 나타내고 있다. 도 18의 (b)는 추가로 코스트 변경한 경우의 코스트를 도시하는 그래프이며, 도 18의 (d)는 추가로 코스트 변경한 경우의 합성 코스트를 도시하는 그래프이다.
도 17의 (a) 및 (b)와 도 18의 (a) 및 (b)의 그래프에 있어서, 종축은 코스트(C)를 나타내고, 횡축은 시프트량(d)을 나타낸다. 도 17의 (c) 및 (d)와 도 18의 (c) 및 (d)의 그래프에 있어서, 종축은 합성 코스트 Ls를 나타내고, 횡축은 시프트량(d)을 나타낸다. 도 11에 도시된 스텝 S11-1 내지 S14는, 도 11에 도시된 스텝 S1 내지 S4와 동일하기 때문에, 그 설명을 생략한다. 이하에서는, 스텝 S15 및 그 후속 스텝을 설명한다,
스텝 S14의 처리 후, 코스트 산출부(310)는, 코스트 변경부로서, 코스트 변경 하고, 도 17의 (b)의 그래프에 도시된 바와 같이, 임계치(Th)(예컨대, C = 80)를 넘는 코스트(C)를 임계치(Th1)로 변경한다(스텝 S15). 이 상태로, 코스트 합성부(320)는, 개별 시프트량(d)에 대하여 합성 코스트 Ls를 생성하여 출력하며, 이는 도 17의 (d)의 그래프로 표시된다. 이 경우, 합성 코스트 Ls가 최소(Ls3)로 되는 시프트량(d) = 3이므로, 시차값 도출부(330)는, 시차값(Δ) = 3을 출력한다. 이 경우의 고밀도 시차 화상은, 도 16의 (d)에 도시된 것과 같은 화상으로 된다.
다음으로, 코스트 산출부(310)는, 코스트 변경부로서 코스트 변경하고, 도 18의 (b)의 그래프에 도시된 바와 같이, 임계치(Th1) 미만이고 임계치(Th2)(예컨대, C = 40) 이상인 코스트(C)를 임계치(Th1)로 변경한다(스텝 S16). 코스트 산출부(310)는, 코스트 변경부로서 추가로 코스트 변경하고, 도 18의 (b)의 그래프에 도시된 바와 같이, 임계치(Th2) 미만의 코스트(C)를 0(제로)으로 변경한다(스텝 S17). 이 상태로, 코스트 합성부(320)는, 각 시프트량(d)에 대하여 합성 코스트 Ls를 생성하여 출력하며, 이는 도 18의 (d)의 그래프로 표시된다. 이 경우, 합성 코스트 Ls가 최소(Ls3)로 되는 시프트량(d) = 3으로 되기 때문에, 시차값 도출부(330)는, 시차값(Δ) = 3을 출력한다. 이 경우에, 도 18의 (d)에 나타내는 바와 같이, 시프트량(d) = 13은, 가장 작은 합성 코스트(즉, 최소 합성 코스트(Ls3))보다는 큰 합성 코스트인 극소 합성 코스트(Ls4)에 대응한다. 도 18의 (d)의 극소 합성 코스트(Ls4)의 합성 코스트가 도 18의 (c)에 비교해서 높기 때문에, 도 18의 (d)의 시프트량(d) = 3 부근의 합성 코스트 Ls의 낮음(lowness)이 현저하게 된다. 스텝 S15 내지 S17의 처리는, 임의의 순서로 실행할 수도 있고, 동시에 실행할 수도 있다.
다음으로, 도 10에 도시된 코스트 합성부(320)는, 도 18의 (d)의 그래프에 도시된 바와 같이, 각 시프트량(d)에 대하여 합성 코스트 Ls를 출력한다(스텝 S18). 이 경우, 합성 코스트 Ls가 최소(Ls3)로 되는 시프트량(d) = 3이기 때문에, 시차값 도출부(330)는 시차값(Δ) = 3을 출력한다. 이 경우의 고밀도 시차 화상은, 도 16의 (e)에 도시된 바와 같은 화상으로 된다. 이와 같이, 코스트 산출부(310)가 코스트 변경하지 않는 경우와 코스트 변경한 경우에 따라서 시차값(Δ)이 다르다. 또한, 코스트 변경한 경우의 고밀도 시차 화상(도 16의 (d) 참조)은, 코스트 변경하지 않는 경우의 고밀도 시차 화상(도 16의 (c) 참조)보다, 물체에 충실한 화상으로 된다. 코스트(C)를 2치화한 경우의 고밀도 시차 화상(도 16의 (e) 참조)은, 코스트(C)를 2치화하지 않는 경우의 고밀도 시차 화상(도 16의 (d) 참조)보다, 물체에 더욱 충실한 화상으로 된다.
그 후, CPU(32)는, 시차값(Δ)에 의해서 표시되는 고밀도 시차 화상을, 도 9에 도시된 I/F(35)로부터 버스 라인(4)을 통해 물체 인식 장치(5)의 I/F(55)에 송신한다. 이에 따라, 물체 인식 장치(5)에 있어서의 CPU(52)로부터의 명령에 의해서, FPGA(51)는 촬상 장치(10a, 10b)와 물체(E) 사이의 거리 Z를 산출한다.
제1 실시형태에서와 마찬가지로, 임계치(Th2) = 40의 경우에는, 상기 실루엣 화상이 크기 때문에, 도 14에 도시된 바와 같이, 프레임(1001)이 기준 화상 내에 표시된다. 한편, 임계치(Th2) = 20의 경우에는, 상기 실루엣 화상이 작기 때문에, 도 14에 도시된 바와 같이, 프레임(1002)이 기준 화상 내에 표시된다.
<실시형태의 주요 효과>
이상 설명한 바와 같이, 본 실시형태에 있어서는, 코스트 산출부(310)에 의해 산출된 코스트(C)가 임계치(Th1)(예컨대, C = 80)를 초과하는 경우에는, 코스트 산출부(310)(코스트 변경부)는, 임계치(Th1)를 초과하는 코스트(C)를 임계치(Th1) 이하로 변경한다. 이에 따라, 임계치(Th1)보다 큰 코스트(C)가 임계치(Th1) 이하까지 감소하여, 텍스처가 약한 물체에 있어서의 코스트가 텍스처가 강한 주위의 물체에 있어서의 코스트의 영향을 받기 어렵게 할 수 있다. 이에 따라, 보다 정확한 코스트를 도출할 수 있다고 하는 효과를 얻는다.
또한, 코스트 산출부(310)(코스트 변경부)는, 임계치(Th1) 미만이며 임계치(Th2)(예컨대, C = 40) 이상의 코스트(C)를 임계치(Th1)로 변경한다. 또한, 코스트 산출부(310)(코스트 변경부)는, 임계치(Th2) 미만의 코스트를 임계치 미만의 소정치(예컨대, C = 0)로 변경한다. 전술한 바와 같이, 코스트(C)를 가능한 한 축소시키고, 도 18의 (b)에 도시된 바와 같이, 최종적으로 2개의 값(C = 0,80)으로 관리한다. 따라서 시프트량(d)을 도출하기 위한 RAM 등의 회로 규모를 소형화할 수 있다고 하는 효과를 얻는다.
<실시형태의 보충>
상기 실시형태에서는, 코스트 산출부(310)가 코스트 변경부의 역할도 하고 있다. 그러나 실시형태는 이로 한정되지 않으며, 코스트 합성부(320)가 코스트 변경부의 역할을 할 수도 있다. 이 경우, 코스트 합성부(320)는, 코스트 변경 후의 코스트 합성을 행한다.
상기 제2 실시형태에서는, 제2 소정치가 0(제로)인 경우에 관해서 설명했다. 그러나 실시형태는 이로 한정되지 않으며, 임계치(Th)보다 작다면, 제2 소정치는 10, 20, 또는 30 등의 임의의 값일 수도 있다.
전술한 바와 같이, 코스트를 합성하기 위해서는, 산출부에 의해 산출된 코스트가 임계치를 초과하면, 임계치를 초과한 코스트는 임계치보다 높은 소정치로 변경된다. 이에 따라, 소정치를 초과한 코스트(C)는 소정치로 감소하므로, 텍스처가 약한 물체에 있어서의 코스트가, 텍스처가 강한 주위의 물체에 있어서의 코스트의 영향을 받기 어렵게 된다. 따라서 본 발명은 보다 정확한 코스트를 도출할 수 있다고 하는 효과를 얻는다.
완전하고 명확한 개시를 위하여 특정의 실시형태를 참고로 본 발명을 설명하였지만, 첨부의 청구범위는 그러한 실시형태로 한정되지 않으며, 본원 명세서에서 설명하는 기본 교시 내에 있어서의 당업자가 알 수 있는 모든 변형 및 수정 구성을 구체화하는 것으로 해석될 수 있다.

Claims (24)

  1. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 임계치에 기초하여 상기 산출 수단에 의해 산출된 일치도를 2치화하는 것을 특징으로 하는 시차값 도출 장치.
  2. 제1항에 있어서, 상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 임계치보다 높은 주어진 값으로 변경하고,
    상기 도출 수단은, 합성 수단에 의한 합성 후의 일치도 중의 최소 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 장치.
  3. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 임계치보다 높은 주어진 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중의 최소 일치도에 기초하여 시차값을 도출하고,
    상기 주어진 값은 제1의 주어진 값이고,
    상기 산출 수단은, 상기 임계치 이하의 일치도를 임계치보다 낮은 제2의 주어진 값으로 변경하는 것을 특징으로 하는 시차값 도출 장치.
  4. 제3항에 있어서, 상기 제2의 주어진 값은 0(제로)인 것을 특징으로 하는 시차값 도출 장치.
  5. 제1항에 있어서, 상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 상기 임계치보다 낮은 주어진 값으로 변경하고,
    상기 도출 수단은, 합성 수단에 의한 합성 후의 일치도 중의 최대 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 장치.
  6. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 상기 임계치보다 낮은 주어진 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중의 최대 일치도에 기초하여 시차값을 도출하고,
    상기 주어진 값은 제1의 주어진 값이고,
    상기 산출 수단은, 상기 임계치 이상의 일치도를 임계치보다 높은 제2의 주어진 값으로 변경하는 것을 특징으로 하는 시차값 도출 장치.
  7. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 임계치 이하의 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중의 최소 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 장치.
  8. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 임계치 이상의 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중의 최대 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 장치.
  9. 삭제
  10. 제1항에 있어서, 상기 변경 수단은, 임계치를 초과하는 일치도를 주어진 값으로 변경하고, 임계치 미만의 일치도를 0(제로)으로 변경하는 것을 특징으로 하는 시차값 도출 장치.
  11. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 주어진 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중 최소의 일치도에 기초하여 시차값을 도출하고, 이 시차값을 기준 화상에 있어서의 물체를 인식하기 위한 물체 인식 장치에 출력하며,
    상기 임계치가 낮을수록, 물체 인식 장치에 의해 인식된 물체 인식 결과의 크기가 작아지는 것을 특징으로 하는 시차값 도출 장치.
  12. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하도록 구성된 산출 수단으로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 수단;
    상기 일치도에 기초하여 일치도를 변경하도록 구성된 변경 수단;
    상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 상기 변경 수단에 의한 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하도록 구성된 합성 수단;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하도록 구성된 도출 수단
    을 구비하고,
    상기 변경 수단은, 상기 산출 수단에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 주어진 값으로 변경하고,
    상기 도출 수단은, 상기 합성 수단에 의한 합성 후의 일치도 중 최대의 일치도에 기초하여 시차값을 도출하고, 이 시차값을 기준 화상에 있어서의 물체를 인식하기 위한 물체 인식 장치에 출력하며,
    상기 임계치가 낮을수록, 물체 인식 장치에 의해 인식된 물체 인식 결과의 크기가 작아지는 것을 특징으로 하는 시차값 도출 장치.
  13. 제1항 내지 제8항, 제10항 내지 제12항 중 어느 한 항에 따른 시차값 도출 장치를 구비하는 것을 특징으로 하는 이동 장치.
  14. 제13항에 있어서, 상기 이동 장치는 차량 또는 로봇인 것을 특징으로 하는 이동 장치.
  15. 제1항 내지 제8항, 제10항 내지 제12항 중 어느 한 항에 따른 시차값 도출 장치를 구비하는 것을 특징으로 하는 로봇.
  16. 제15항에 있어서, 상기 로봇은 고정 설치되는 공업용 로봇인 것을 특징으로 하는 로봇.
  17. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 임계치에 기초하여 상기 산출 단계에 의해 산출된 일치도를 2치화하는 단계를 포함하는 것을 특징으로 하는 시차값 도출 방법.
  18. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 임계치보다 높은 주어진 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중의 최소 일치도에 기초하여 시차값을 도출하고,
    상기 주어진 값은 제1의 주어진 값이고,
    상기 산출 단계는, 상기 임계치 이하의 일치도를 임계치보다 낮은 제2의 주어진 값으로 변경하는 것을 특징으로 하는 시차값 도출 방법.
  19. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 상기 임계치보다 낮은 주어진 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중의 최대 일치도에 기초하여 시차값을 도출하고,
    상기 주어진 값은 제1의 주어진 값이고,
    상기 산출 단계는, 상기 임계치 이상의 일치도를 임계치보다 높은 제2의 주어진 값으로 변경하는 것을 특징으로 하는 시차값 도출 방법.
  20. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 임계치 이하의 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중의 최소 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 방법.
  21. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 임계치 이상의 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중의 최대 일치도에 기초하여 시차값을 도출하는 것을 특징으로 하는 시차값 도출 방법.
  22. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치를 초과하는 일치도를 주어진 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중 최소의 일치도에 기초하여 시차값을 도출하고, 이 시차값을 기준 화상에 있어서의 물체를 인식하기 위한 물체 인식 장치에 출력하며,
    상기 임계치가 낮을수록, 물체 인식 장치에 의해 인식된 물체 인식 결과의 크기가 작아지는 것을 특징으로 하는 시차값 도출 방법.
  23. 제1 촬상 위치에서 촬상된 기준 화상에 있어서의 기준 영역과 제2 촬상 위치에서 촬상된 비교 화상에 있어서의 각 영역의 일치도를 산출하는 단계로서, 상기 비교 화상에 있어서의 영역들은 특정 범위 내에 있고 기준 영역에 대응하는 영역을 포함하는 것인 산출 단계;
    상기 일치도에 기초하여 일치도를 변경하는 변경 단계;
    변경 후의 기준 화상에 있어서의 하나의 기준 영역에 대한 일치도와, 변경 후의 기준 화상에 있어서의 하나의 기준 영역 근방의 다른 기준 영역의 일치도를 합성하는 합성 단계;
    상기 합성된 일치도에 기초하여, 상기 하나의 기준 영역에서 촬상된 물체에 대한 시차값을 도출하는 도출 단계
    를 포함하고,
    상기 변경 단계는, 상기 산출 단계에 의해 산출된 일치도 중에서 임계치 미만의 일치도를 주어진 값으로 변경하고,
    상기 도출 단계는, 상기 합성 단계에 의한 합성 후의 일치도 중 최대의 일치도에 기초하여 시차값을 도출하고, 이 시차값을 기준 화상에 있어서의 물체를 인식하기 위한 물체 인식 장치에 출력하며,
    상기 임계치가 낮을수록, 물체 인식 장치에 의해 인식된 물체 인식 결과의 크기가 작아지는 것을 특징으로 하는 시차값 도출 방법.
  24. 컴퓨터로 하여금 제17항 내지 제23항 중 어느 한 항에 따른 방법을 실행하게 하는 것을 특징으로 하는 기록매체에 기록된 컴퓨터 프로그램.
KR1020167015408A 2013-12-12 2014-12-12 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램 KR101820259B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2013-257217 2013-12-12
JP2013257217 2013-12-12
JP2013268468 2013-12-26
JPJP-P-2013-268468 2013-12-26
JPJP-P-2014-234777 2014-11-19
JP2014234777A JP6417886B2 (ja) 2013-12-12 2014-11-19 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
PCT/JP2014/083626 WO2015088044A1 (en) 2013-12-12 2014-12-12 Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program

Publications (2)

Publication Number Publication Date
KR20160086875A KR20160086875A (ko) 2016-07-20
KR101820259B1 true KR101820259B1 (ko) 2018-01-18

Family

ID=53371338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167015408A KR101820259B1 (ko) 2013-12-12 2014-12-12 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US10104359B2 (ko)
EP (1) EP3080549B1 (ko)
JP (1) JP6417886B2 (ko)
KR (1) KR101820259B1 (ko)
CN (1) CN105814403B (ko)
WO (1) WO2015088044A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6565188B2 (ja) 2014-02-28 2019-08-28 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US10616578B2 (en) * 2015-01-30 2020-04-07 Texas Instruments Incorporated Semi-global matching (SGM) cost compression
JP6601506B2 (ja) 2015-12-28 2019-11-06 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
EP3410415B1 (en) 2016-01-28 2020-11-18 Ricoh Company, Ltd. Image processing device, imaging device, moving body device control system and image processing program
WO2017134936A1 (ja) 2016-02-05 2017-08-10 株式会社リコー 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
EP3428876A4 (en) 2016-03-10 2019-01-23 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, DEVICE CONTROL SYSTEM, IMAGING DEVICE AND PROGRAM
EP3432291A4 (en) 2016-03-15 2019-03-27 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Device Control System, Image Processing Method and Program
EP3432261B1 (en) 2016-03-18 2023-11-15 Ricoh Company, Ltd. Image processing device, image processing method, image processing program, object recognition device, and apparatus control system
CN109314774B (zh) * 2016-07-06 2021-05-25 深圳市大疆创新科技有限公司 用于立体成像的系统和方法
JP7206583B2 (ja) * 2016-11-25 2023-01-18 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP7180074B2 (ja) 2017-01-31 2022-11-30 株式会社リコー 撮像装置
JP6969121B2 (ja) 2017-03-17 2021-11-24 株式会社リコー 撮像システム、画像処理装置および画像処理プログラム
JP7181294B2 (ja) * 2018-07-20 2022-11-30 オリンパス株式会社 撮像ユニット、内視鏡および内視鏡システム
JP7408337B2 (ja) 2019-10-10 2024-01-05 キヤノン株式会社 画像処理方法、および画像処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101160A1 (en) * 1997-04-15 2013-04-25 Tyzx, Inc. Generation of a disparity result with low latency

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602653A (en) * 1994-11-08 1997-02-11 Xerox Corporation Pixel pair grid halftoning for a hyperacuity printer
JP4554316B2 (ja) 2004-09-24 2010-09-29 富士重工業株式会社 ステレオ画像処理装置
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
WO2008044911A1 (en) * 2006-10-09 2008-04-17 Tele Atlas B.V. Method and apparatus for generating an orthorectified tile
JP5371725B2 (ja) 2009-12-16 2013-12-18 富士重工業株式会社 物体検出装置
JP2011163900A (ja) 2010-02-09 2011-08-25 Casio Computer Co Ltd 画像処理装置、画像処理プログラム、及び画像処理方法
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
KR101694292B1 (ko) * 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
JP5682065B2 (ja) * 2011-03-02 2015-03-11 独立行政法人産業技術総合研究所 ステレオ画像処理装置及びステレオ画像処理方法
EP2511875A1 (en) 2011-04-14 2012-10-17 Thomson Licensing Apparatus and method for refining a value of a similarity measure
JP2014096062A (ja) 2012-11-09 2014-05-22 Yamaguchi Univ 画像処理方法及び画像処理装置
JP2014115978A (ja) 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
CN103198314B (zh) * 2013-02-20 2015-11-25 北京农业信息技术研究中心 遥感图像辐射校正方法
CN103247033A (zh) * 2013-04-26 2013-08-14 中国科学院东北地理与农业生态研究所 一种基于影像选取控制点的矢量数据纠正方法
JP6202367B2 (ja) 2013-05-14 2017-09-27 株式会社リコー 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101160A1 (en) * 1997-04-15 2013-04-25 Tyzx, Inc. Generation of a disparity result with low latency

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Accurate and efficient stereo processing by semi-global matching and mutual information.

Also Published As

Publication number Publication date
WO2015088044A1 (en) 2015-06-18
EP3080549B1 (en) 2019-03-06
CN105814403A (zh) 2016-07-27
CN105814403B (zh) 2018-11-09
EP3080549A4 (en) 2016-12-21
EP3080549A1 (en) 2016-10-19
JP2015143677A (ja) 2015-08-06
KR20160086875A (ko) 2016-07-20
US20160301912A1 (en) 2016-10-13
US10104359B2 (en) 2018-10-16
JP6417886B2 (ja) 2018-11-07

Similar Documents

Publication Publication Date Title
KR101820259B1 (ko) 시차값 도출 장치, 이동 장치, 로봇, 시차값 생성 방법 및 컴퓨터 프로그램
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6071422B2 (ja) 画像処理装置
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP6589313B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6519138B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
US10867400B2 (en) System for processing an image obtained by using stereo photography
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム
JP6442911B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、及びプログラム
JP2006318061A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6701738B2 (ja) 視差値導出装置、視差値導出方法及びプログラム
JP2015195019A (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値の生産方法及びプログラム
JP2016095229A (ja) 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6459482B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20160609

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170413

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171024

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180112

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180112

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201230

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211230

Start annual number: 5

End annual number: 5