KR101917515B1 - 물체 인식 장치, 물체 인식 방법 및 프로그램 - Google Patents

물체 인식 장치, 물체 인식 방법 및 프로그램 Download PDF

Info

Publication number
KR101917515B1
KR101917515B1 KR1020170062709A KR20170062709A KR101917515B1 KR 101917515 B1 KR101917515 B1 KR 101917515B1 KR 1020170062709 A KR1020170062709 A KR 1020170062709A KR 20170062709 A KR20170062709 A KR 20170062709A KR 101917515 B1 KR101917515 B1 KR 101917515B1
Authority
KR
South Korea
Prior art keywords
candidate
information
image information
candidates
detector
Prior art date
Application number
KR1020170062709A
Other languages
English (en)
Other versions
KR20170133262A (ko
Inventor
노리마사 고보리
구니마츠 하시모토
미노루 야마우치
Original Assignee
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타지도샤가부시키가이샤 filed Critical 도요타지도샤가부시키가이샤
Publication of KR20170133262A publication Critical patent/KR20170133262A/ko
Application granted granted Critical
Publication of KR101917515B1 publication Critical patent/KR101917515B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G06K9/46—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Abstract

물체 인식 장치는, 인식 대상물의 화상 정보를 취득하는 화상 정보 취득 수단과, 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보와, 물체 후보에 대응지어진 해당 물체 후보의 모델 화상 정보를 기억하는 기억 수단과, 검출 프로파일 정보에 설정된 복수의 검출기를 갖고, 화상 정보 취득 수단에 의해 취득된 화상 정보로부터, 해당 검출기를 사용해서 상기 인식 대상물을 검출하는 물체 검출 수단을 구비한다. 물체 검출 수단의 검출기의 각각은, 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 물체 후보의 모델 화상 정보와, 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보를 비교하여, 물체 후보를 검출하고, 해당 검출한 물체 후보를 인식 대상물로서 출력한다.

Description

물체 인식 장치, 물체 인식 방법 및 프로그램 {OBJECT RECOGNITION APPARATUS, OBJECTION RECOGNITION METHOD, AND PROGRAM}
본 발명은, 물체를 인식하는 물체 인식 장치, 물체 인식 방법 및 프로그램에 관한 것이다.
물체의 촬상 화상으로부터 추출한 윤곽 정보에 기초하여, 물체의 위치 및 자세(위치 자세)를 검출하는 장치가 알려져 있다(일본 특허 공개 제2008-015895호 공보 참조).
그런데 상기와 같은 검출기는, 검출하는데 능숙한 또는 능숙하지 못한 물체(예를 들어, 그 물체가 윤곽 형상이 유니크, 얇은 형상의 경우 등)를 갖고 있다. 따라서, 사용하는 검출기의 종류에 따라서는, 그 물체를 검출할 수 없는 미검출이 될 우려가 있다.
본 발명은, 이러한 문제점을 감안하여 이루어진 것으로, 물체의 미검출을 억제해 인식 정밀도를 향상시킨 물체 인식 장치, 물체 인식 방법 및 프로그램을 제공하는 것을 주된 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 형태는, 인식 대상물의 화상 정보를 취득하는 화상 정보 취득 수단과, 상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보와, 상기 물체 후보에 대응지어진 해당 물체 후보의 모델 화상 정보를 기억하는 기억 수단과, 상기 검출 프로파일 정보에 설정된 복수의 검출기를 갖고, 상기 화상 정보 취득 수단에 의해 취득된 화상 정보에 기초하여, 해당 검출기를 사용해서 상기 인식 대상물을 검출하는 물체 검출 수단을 구비하고, 상기 물체 검출 수단의 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보를 비교하여, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하는 것을 특징으로 하는 물체 인식 장치이다.
이 일 형태에 있어서, 상기 기억 수단은 상기 물체 후보와, 해당 물체 후보에 대하여 판정 가능한 판정기와 대응지은 판정 프로파일 정보를 기억하고 있으며, 상기 판정 프로파일 정보에 설정된 복수의 판정기를 갖고, 상기 화상 정보 취득 수단에 의해 취득된 화상 정보로부터, 해당 판정기를 사용해서 상기 물체 검출 수단으로부터 출력된 물체 후보에 대하여 판정을 행하는 물체 판정 수단을 더 구비하고, 상기 물체 판정 수단은, 상기 기억 수단의 판정 프로파일 정보에 기초하여, 상기 물체 검출 수단에 의해 검출된 물체 후보에 대응하는 판정기를 선택하고, 해당 판정기를 사용하여, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽과, 상기 물체 검출 수단으로부터 출력된 물체 후보의 모델 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽을 비교하여, 상기 물체 후보가 소정값 이상의 신뢰도를 갖는지 여부를 판정하고, 해당 소정값 이상의 신뢰도를 갖는다고 판정한 물체 후보를 상기 인식 대상물로서 출력해도 된다.
이 일 형태에 있어서, 상기 물체 검출 수단은, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보의 특징량과, 상기 검출한 물체 후보의 모델 화상 정보의 특징량에 기초하여, 상기 물체 후보의 위치 자세 후보를 검출해도 된다.
이 일 형태에 있어서, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보 중에서, 유사한 것끼리를 동일한 것으로서 통합하는 클러스터링 처리 수단을 더 구비하고 있어도 된다.
이 일 형태에 있어서, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보의 모델 화상의 모델과, 상기 화상 정보의 인식 대상물 사이의 기하량을 구하고, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보 중에서, 해당 구한 기하량이 소정량 이상이 되는 물체 후보 및 해당 위치 자세 후보를 제외한 트래킹 처리를 행하고, 해당 트래킹 처리된 물체 후보 및 해당 위치 자세 후보를 출력하는 트래킹 처리 수단을 더 구비하고 있어도 된다.
이 일 형태에 있어서, 상기 기억 수단은, 상기 모델 화상의 모델을 둘러싸는 3차원 복셀의 각 그리드로부터 상기 모델까지의 해당 모델 상의 최근방점의 정보를 기억하고 있고, 상기 트래킹 처리 수단은, 상기 기억 수단에 기억된 상기 최근방점의 정보를 사용하여, 상기 트래킹 처리를 행해도 된다.
이 일 형태에 있어서, 상기 인식 대상물의 후보인 물체 후보의 색 정보, 형상 정보, 표기 정보 및 물성 정보 중 적어도 하나를 포함하는 상기 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 해당 물체 후보와 적어도 하나의 검출기와 대응지은 상기 검출 프로파일 정보 및, 상기 물체 후보의 색 정보 및 표기 정보 중 적어도 하나를 포함하는 상기 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 해당 물체 후보와 적어도 하나의 판정기와 대응지은 상기 판정 프로파일 정보 중 적어도 한쪽을 생성하는 프로파일 정보 생성 수단을 더 구비하고 있어도 된다.
상기 목적을 달성하기 위한 본 발명의 일 형태는, 인식 대상물의 화상 정보를 취득하는 스텝과, 상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보에 설정된 복수의 검출기를 사용하여, 상기 취득된 화상 정보에 기초하여, 상기 인식 대상물을 검출하는 스텝을 포함하는 물체 인식 방법이며, 상기 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 취득된 인식 대상물의 화상 정보를 비교하여, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하는 것을 특징으로 하는 물체 인식 방법이라도 된다.
상기 목적을 달성하기 위한 본 발명의 일 형태는, 인식 대상물의 화상 정보를 취득하는 처리와, 상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보에 설정된 복수의 검출기를 갖고, 상기 취득된 화상 정보로부터, 해당 검출기를 사용해서 상기 인식 대상물을 검출하는 처리를 컴퓨터에 실행시키는 프로그램이며, 상기 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 취득된 인식 대상물의 화상 정보를 비교하여, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하는 것을 특징으로 하는 프로그램이어도 된다.
본 발명에 따르면, 물체의 미검출을 억제해 인식 정밀도를 향상시킨 물체 인식 장치, 물체 인식 방법 및 프로그램을 제공할 수 있다.
본 발명의 다른 특징, 목적, 장점은, 본 발명을 제한하기 위한 것이 아닌 예로서 부수되는 도면에 대한 참조와 함께 이하의 상세한 설명을 읽는 것에 의해 보다 명백해질 것이다.
도 1은, 본 발명의 실시 형태 1에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다.
도 2는, 물체 후보와 검출기를 대응짓는 처리 플로우의 일례를 도시하는 도면이다.
도 3은, 물체 후보와 검출기를 대응지은 검출 프로파일 정보의 일례를 도시하는 도면이다.
도 4는, 본 발명의 실시 형태 2에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다.
도 5는, 클러스터링 처리를 설명하기 위한 도면이다.
도 6은, 본 발명의 실시 형태 3에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다.
도 7은, CLBP 판정기의 판정 방법을 설명하기 위한 도면이다.
도 8은, 물체 후보와 판정기를 대응지은 판정 프로파일 정보의 일례를 도시하는 도면이다.
도 9는, 물체 후보와 판정기를 대응짓는 처리 플로우의 일례를 도시하는 도면이다.
도 10은, 본 발명의 실시 형태 4에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다.
도 11은, 포인트 클라우드의 대응짓기를 설명하기 위한 도면이다.
도 12는, 물체 위치 자세 후보의 모델과 인식 대상물 간의 기하량을 구하는 방법의 일례를 도시하는 도면이다.
도 13은, 3차원 복셀 그리드의 일례를 도시하는 도면이다.
도 14는, 본 발명의 실시 형태 1 내지 4를 조합한 구성의 일례를 도시하는 도면이다.
실시 형태 1
이하, 도면을 참조하여 본 발명의 실시 형태에 대해서 설명한다. 도 1은, 본 발명의 실시 형태 1에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다. 본 실시 형태 1에 관한 물체 인식 장치(1)는, 임의의 3차원 형상의 인식 대상물(이제부터 인식하는 대상물) 및 그 위치 및 자세(위치 자세)를 검출하는 장치이다.
물체 인식 장치(1)는, 예를 들어 연산 처리 등을 행하는 CPU(Central Processing Unit), CPU에 의해 실행되는 연산 프로그램 등이 기억된 ROM(Read Only Memory)이나 RAM(Random Access Memory)으로 이루어지는 메모리, 외부와 신호의 입출력을 행하는 인터페이스부(I/F) 등으로 이루어지는 마이크로컴퓨터를 중심으로 해서, 하드웨어 구성되어 있다. CPU, 메모리 및 인터페이스부는, 데이터 버스 등을 개재하여 서로 접속되어 있다.
물체 인식 장치(1)는, 화상 정보 취득부(2)와, 프로파일 정보 생성부(3)와, 기억부(4)와, 물체 검출부(5)를 구비하고 있다.
화상 정보 취득부(2)는, 화상 정보 취득 수단의 일 구체예이다. 화상 정보 취득부(2)는, 카메라나 거리 센서(거리 화상 센서, 밀리미터파 센서, 초음파 센서 등) 등 센서를 사용하여, 물체의 화상 정보[RGB 휘도 정보(색 정보)나 거리 정보를 포함함]를 취득한다.
프로파일 정보 생성부(3)는, 프로파일 정보 생성 수단의 일 구체예이다. 프로파일 정보 생성부(3)는, 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능하고, 해당 물체 후보를 검출하는데 최적인 검출기를 대응지은 검출 프로파일 정보를 생성한다. 검출 프로파일 정보에는, 각 물체 후보와, 특성이 다른 적어도 하나의 검출기가 대응지어져 있다. 프로파일 정보 생성부(3)는, 미리 설정된 복수의 검출기 중에서 그 물체 후보를 검출하는데 최적인 검출기를 선택하고, 그 물체 후보와 선택한 검출기를 대응짓는다.
여기서, 복수의 검출기는, 예를 들어 LineMode 검출기(51), PnP 검출기(52), SHOT 검출기(53) 및 Bayse 검출기(54) 등을 포함한다.
LineMode 검출기(51)는, 이산화된 복수 종류의 특징량을 사용한 템플릿에 대해서, 메모리 배치를 고안함으로써 병렬 계산을 행하고, 고속으로 물체를 검출하는 검출기이다. LineMode 검출기(51)는, 예를 들어 전화기의 스탠드 등의, 일정 이상의 크기를 갖고, 또한 특징적인 윤곽 형상을 갖고 있거나, 또는 직육면체, 정육면체, 원기둥, 원뿔, 공기 형상 등의 입체 형상의 물체를 검출하는데도 최적이다.
상세한 알고리즘은, 예를 들어 비특허문헌
S.Hinterstoisser, C.Cagniart, S.Iiic, P.Sturm, N.Navab, P.Fua, V.Lepetit Gradient Response Maps for Real-Time Detection of Texture-Less Objects IEEE Transactions on Pattern Analysis and Maschine Intelligence(TPAMI)
에 상세하게 개시되어 있으며, 이것을 원용할 수 있는 것으로 한다.
PnP 검출기(52)는, SIFT(Scale-Invariant Feature Transform) 또는 A-KAZE(Accelerated KAZE) 특징량을 사용한 검출기이다. PnP 검출기(52)는, 예를 들어 과자 상자 등의, 일정 이상의 크기를 갖고, 또한 텍스처를 갖는 물체를 검출하는데도 최적이다.
SIFT에 대해서는, 예를 들어 비특허문헌
David G.Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2(2004), pp.91-110에 상세하게 개시되어 있으며, 이것을 원용할 수 있는 것으로 한다.
A-KAZE에 대해서는, 예를 들어 비특허문헌
Fast Explicit Diffusion for Accelerrated Features in Nonlinear Scale Spaces Pablo F.Alcantarilla, Jesus Nuevo and Adrien Bartoli. In British Machine Vision Conference(BMVC). Bristol, UK. September 2013
에 상세하게 개시되어 있으며, 이것을 원용할 수 있는 것으로 한다.
SHOT 검출기(53)는, SHOT(Signature of Histograms of OrienTations) 특징량을 사용한 검출기이다. SHOT 검출기(53)는, 예를 들어 공기(볼) 등의, 곡률 변화를 갖거나 또는 선 대칭의 물체를 검출하는데도 최적이다.
SHOT에 대해서는, 예를 들어 비특허문헌 Tombari et al. Unique signatures of histograms for local surface description. ECCV 2010에 상세하게 개시되어 있으며, 이것을 원용할 수 있는 것으로 한다.
Bayse 검출기(54)는, 베이지안 네트워크에서 로컬 패치를 학습한 네트워크에 기초하여 검출을 행하는 검출기이다. Bayse 검출기(54)는, 예를 들어 리모컨 등의, 그 색이 흑색 및 투명한, 또는 강체가 아닌 물체를 검출하는데도 최적이다.
또한, 상기 검출기(51 내지 54)는 일례이며, 이에 한정되지 않는다. 프로파일 정보 생성부(3)는, 또한 HOG(Histograms of Oriented Gradients) 검출기, SURF(Speeded Up Robust Features) 검출기 등의 검출기를 선택해도 되고, 선택되는 검출기의 수 및 종류는 임의라도 된다.
프로파일 정보 생성부(3)는, 물체 후보의 색 정보, 형상 정보, 표기 정보 및 물성 정보 중 적어도 하나를 포함하는 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 물체 후보와, 해당 물체 후보를 검출하는데 최적인 검출기를 대응짓는다.
프로파일 정보 생성부(3)는, 예를 들어 도 2의 흐름도에 따라, 미리 설정된 복수의 검출기(51 내지 54) 중에서 그 물체 후보를 검출하는데 최적인 검출기(51 내지 54)를 선택하고, 그 물체 후보와 선택한 검출기(51 내지 54)를 대응짓는다.
프로파일 정보 생성부(3)는, 화상 정보 취득부(2)에 의해 취득된 물체 후보의 화상 정보와, 기억부(4)에 미리 설정된 물성 정보에 기초하여, 물체 후보가 강체인지 여부를 판정한다(스텝 S101). 물성 정보는, 예를 들어 물체와 그 물성(강체, 탄성체 등)을 대응지은 정보를 포함하고 있고, 기억부(4)에 미리 설정되어 있다.
프로파일 정보 생성부(3)는, 물체 후보가 강체가 아니라고 판정하면(스텝 S101의 "아니오"), Bayse 검출기(54)를 선택한다(스텝 S102). 한편, 프로파일 정보 생성부(3)는, 물체 후보가 강체라고 판정하면(스텝 S101의 "예"), 물체 후보의 색이 흑색 또는 투명색은 아닌지 여부를 판정한다(스텝 S103).
프로파일 정보 생성부(3)는, 물체 후보의 색이 흑색 또는 투명색이라고 판정하면(스텝 S103의 "아니오"), Bayse 검출기(54)를 선택한다(스텝 S102). 한편, 프로파일 정보 생성부(3)는, 물체 후보의 색이 흑색 또는 투명색이 아니라고 판정하면(스텝 S103의 "예"), 물체 후보의 표면에 표기 정보(텍스처, 기호, 도형, 상형 문자 등을 포함함)가 있는지 여부를 판정한다(스텝 S104).
프로파일 정보 생성부(3)는, 물체 후보의 표면에 표기 정보가 없다고 판정하면(스텝 S104의 "아니오"), 후술하는 (스텝 S108)로 이행한다. 한편, 프로파일 정보 생성부(3)는, 물체 후보의 표면에 표기 정보가 있다고 판정하면(스텝 S104의 "예"), 그 표기 정보의 사이즈(문자 사이즈, 폭, 면적 등)가 소정값 A 이상인지 여부를 판정한다(스텝 S105).
프로파일 정보 생성부(3)는, 물체 후보의 표기 정보의 사이즈가 소정값 A 이상이 아니라고 판정하면(스텝 S105의 "아니오"), 후술하는 (스텝 S108)로 이행한다. 한편, 프로파일 정보 생성부(3)는, 물체 후보의 표기 정보의 사이즈가 소정값 A 이상이라 판정하면(스텝 S105의 "예"), 그 표기 정보가 비대칭 또는 비주기성인지 여부를 판정한다(스텝 S106).
프로파일 정보 생성부(3)는, 물체 후보의 표기 정보가 비대칭 또는 비주기성이 아니라고 판정하면(스텝 S106의 "아니오"), 후술하는 (스텝 S108)로 이행한다. 한편, 프로파일 정보 생성부(3)는, 물체 후보의 표기 정보가 비대칭 또는 비주기성이라고 판정하면(스텝 S106의 "예"), PnP 검출기(52)를 선택한다(스텝 S107).
프로파일 정보 생성부(3)는, 물체 후보의 사이즈(체적, 높이, 폭, 종횡 치수 등)가 소정값 B 이상인지 여부를 판정한다(스텝 S108). 프로파일 정보 생성부(3)는, 물체 후보의 사이즈가 소정값 B 이상이라 판정하면(스텝 S108의 "예"), 물체 후보가 직육면체, 정육면체, 원기둥, 원뿔, 또는 공기에 가까운 3차원 형상인지 여부를 판정한다(스텝 S109). 프로파일 정보 생성부(3)는, 물체 후보가 직육면체, 정육면체, 원기둥, 원뿔, 또는 공기에 가까운 3차원 형상이라고 판정하면(스텝 S109의 "예"), LineMode 검출기(51)를 선택한다(스텝 S110). 한편, 프로파일 정보 생성부(3)는, 물체 후보가 직육면체, 정육면체, 원기둥, 원뿔, 또는 공기에 가까운 3차원 형상이 아니라고 판정하면(스텝 S109의 "아니오"), 후술하는 (스텝 S111)로 이행한다.
프로파일 정보 생성부(3)는, 물체 후보의 사이즈가 소정값 B 이상이 아니라고 판정하면(스텝 S108의 "아니오"), 물체 후보에 3차원 형상이 선 대칭이 아닌지 여부를 판정한다(스텝 S111).
프로파일 정보 생성부(3)는, 물체 후보의 3차원 형상이 선 대칭이 아니라고 판정하면(스텝 S111의 "예"), LineMode 검출기(51)를 선택한다(스텝 S110). 한편, 프로파일 정보 생성부(3)는, 물체 후보의 3차원 형상이 선 대칭이라고 판정하면(스텝 S111의 "아니오"), 물체 후보의 3차원 형상에 곡률 변화가 있고, 그 곡률이 소정값 C 이상인지 여부를 판정한다(스텝 S112).
프로파일 정보 생성부(3)는, 물체 후보의 3차원 형상에 곡률 변화가 있고, 그 곡률이 소정값 C 이상이라 판정하면(스텝 S112의 "예"), LineMode 검출기(51)를 선택한다(스텝 S110). 한편, 프로파일 정보 생성부(3)는, 물체 후보의 3차원 형상에 곡률 변화가 없고, 그 곡률이 소정값 C 이상이 아니라고 판정하면(스텝 S112의 "아니오"), SHOT 검출기(53)를 선택한다(스텝 S113).
이와 같이, 프로파일 정보 생성부(3)에 의해, 물체 후보의 색 정보, 형상 정보, 표기 정보 및 물성 정보 중 적어도 하나를 포함하는 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 물체 후보와, 해당 물체 후보를 검출하는데 최적인 검출기(51 내지 54)를, 대응지은 검출 프로파일 정보를 자동으로 생성할 수 있다.
프로파일 정보 생성부(3)는, 상술한 플로우에 따라, 물체 후보와 선택한 검출기(51 내지 54)를 대응지은 검출 프로파일 정보를 생성하고, 생성한 검출 프로파일 정보를 기억부(4)에 기억시킨다.
또한, 물체 인식 장치(1)는, 상술한 프로파일 정보 생성부(3)를 갖지 않은 구성이라도 된다. 이 경우, 물체 후보와 해당 물체 후보를 검출하는데 최적인 검출기(51 내지 54)를 대응지은 검출 프로파일 정보는, 미리 기억부(4)에 기억되어 있어도 된다. 또한, 유저가 상기 흐름도에 따라, 각 검출기(51 내지 54)의 선택을 행하고, 그 선택한 검출 프로파일 정보를 기억부(4)에 기억시켜도 된다. 기억부(4)에 기억된 검출 프로파일 정보는, 예를 들어 유저에 의해 임의로 설정 변경할 수 있도록 구성되어 있다.
기억부(4)는, 기억 수단의 일 구체예이다. 기억부(4)는, 상기 프로파일 정보 생성부(3)에 의해 생성된 검출 프로파일 정보를 기억한다. 또한, 기억부(4)는, 예를 들어 물체 후보 및 해당 위치 자세 후보의 3차원 물체 형상을 나타내는 복수의 모델 화상(물체의 CAD 데이터 등이며, 포인트 클라우드 데이터에 면을 덮은 메시 데이터나 색 정보 등을 포함함)을 기억하고 있다. 기억부(4)는, 예를 들어 상기 메모리에 의해 구성되어 있다.
물체 검출부(5)는, 물체 검출 수단의 일 구체예이다. 물체 검출부(5)는, 화상 정보 취득부(2)에 의해 취득된 인식 대상물의 화상 정보에 의해, 검출기(51 내지 54)를 사용하여, 인식 대상물의 물체 후보 및 해당 위치 자세의 후보(위치 자세 후보)를 검출한다.
물체 검출부(5)는, 기억부(4)의 검출 프로파일 정보에 설정된 검출기[예를 들어, LineMode 검출기(51), PnP 검출기(52), SHOT 검출기(53) 및 Bayse 검출기(54)]를 갖고 있다. 물체 검출부(5)는, 이들 검출기(51 내지 54)를 사용하여, 물체 후보 및 해당 위치 자세 후보를 검출한다.
그런데 상기와 같은 검출기(51 내지 54)는, 검출하는데 능숙한 또는 능숙하지 못한 물체를 갖고 있다. 예를 들어, LineMode 검출기(51)는, 물체가 어떤 일정 이상의 사이즈를 갖고, 그 윤곽 형상이 유니크한 물체를 고정밀도로 검출할 수 있다. 한편, LineMode 검출기(51)는 센서 노이즈 등에 기인하여 물체의 일부 윤곽 형상을 취득할 수 없는 경우나, 얇은 형상의 물체일 경우, 그 물체를 검출할 수 없는 미검출이 될 우려가 있다. 이와 같이, 사용하는 검출기의 종류에 따라서는, 그 물체의 미검출이 될 우려가 있다.
이에 반해, 본 실시 형태 1에 관한 물체 인식 장치(1)에 있어서, 검출기(51 내지 54)의 각각은, 검출 프로파일 정보에 있어서 해당 검출기(51 내지 54)에 대응지어진 물체 후보의 모델 화상 정보와, 화상 정보 취득부(2)에 의해 취득된 인식 대상물의 화상 정보를 비교하여, 물체 후보를 검출한다. 물체 검출부(5)의 검출기(51 내지 54)는, 검출한 물체 후보를 인식 대상물로서 출력한다.
이에 의해, 물체 검출부(5)의 검출기(51 내지 54)에는, 검출하는데 최적인 물체 후보의 모델 화상이 대응지어진다. 이로 인해, 검출기(51 내지 54)는, 대응지어진 검출하는데 최적인 물체 후보의 모델 화상을 사용하여, 검출하는데 최적인 물체 후보만을 검출하게 된다. 따라서, 상술한 검출기의 능숙 또는 능숙하지 못함에 기인하는 문제를 해소할 수 있으므로, 인식 대상물의 미검출을 억제해 인식 정밀도를 향상시킬 수 있다.
예를 들어, 물체 검출부(5)의 검출기[LineMode 검출기(51), PnP 검출기(52), SHOT 검출기(53) 및 Bayse 검출기(54)]는 기억부(4)의 검출 프로파일 정보에 기초하여, 기억부(4)로부터 해당 검출기(51 내지 54)에 대응지어진 물체 후보의 모델 화상을 취득한다. 그리고 검출기(51 내지 54)는, 화상 정보 취득부(2)에 의해 취득된 인식 대상물의 화상 정보(대상물 화상)의 특징량과, 기억부(4)로부터 취득한 대응지어진 물체 후보의 모델 화상의 특징량을 비교하여, 물체 후보를 검출한다.
보다 구체적으로는, 각 검출기(51 내지 54)는 화상 정보 취득부(2)에 대상물 화상의 특징량과, 기억부(4)의 물체 후보의 모델 화상의 특징량과의 상관값을 산출하고, 산출한 상관값이 소정값 이상이 되는 모델 화상의 물체 후보를 인식 대상물로서 검출한다.
기억부(4)의 검출 프로파일 정보에 있어서, 1개의 물체 후보와 복수의 검출기(51 내지 54)가 각각 대응지어져 있어도 된다. 이 경우, 각 검출기(51 내지 54)는, 중복해서 동일한 물체 후보를 검출하게 된다.
도 3은, 물체 후보와 검출기를 대응지은 검출 프로파일 정보의 일례를 도시하는 도면이다. 도 3에 도시한 바와 같이, 물체 후보 B(과자 상자)에는, LineMode 검출기(51) 및 PnP 검출기(52)가 대응지어져 있다. 이에 의해, LineMode 검출기(51)가 물체 후보 B의 윤곽 형상(크기 등)에 기초해서 그 물체 B를 검출할 뿐만 아니라, 또한 PnP 검출기(52)가 물체 후보 B의 텍스처에 기초하여 그 물체 후보 B를 검출한다. 따라서, 단일 물체 후보 B를 특성이 다른 LineMode 검출기(51) 및 PnP 검출기(52)를 사용해서 중복해서 검출함으로써 그 미검출을 더욱 억제할 수 있다.
마찬가지로, 물체 후보 C(공기)에는, LineMode 검출기(51) 및 SHOT 검출기(53)가 대응지어져 있다. 이에 의해, LineMode 검출기(51)가 물체 후보 C의 윤곽 형상(크기 등)에 기초해서 그 물체 후보 C를 검출할 뿐만 아니라, 또한 SHOT 검출기(53)가 물체 후보 C의 국소적인 3차원 형상의 곡률 변화에 기초하여 그 물체 후보 C를 검출한다. 따라서, 단일 물체 후보 C를 특성이 다른 LineMode 검출기(51) 및 SHOT 검출기(53)를 사용해서 중복해서 검출함으로써 그 미검출을 더욱 억제할 수 있다.
또한, 물체 후보 A에는 LineMode 검출기(51)만이 대응지어져 있다. 이것은, LineMode 검출기(51)만으로, 물체 후보 A를 확실하게 검출할 수 있기 때문이다. 한편, 물체 후보 D에는 Bayse 검출기(54)만이 대응지어져 있다. 이것은, 물체 후보 D는 흑색이기 때문에 거리 정보를 취득할 수 없고 LineMode 검출기(51)에서의 검출은 불가능하므로, 물체 후보 D에는 LineMode 검출기(51)가 대응지어져 있지 않다. 그러나 Bayse 검출기(54)는, 물체 후보 D의 RGB 휘도 정보만으로, 확실하게 물체 후보 D를 검출할 수 있다. 따라서, 물체 후보 D에는 Bayse 검출기(54)만이 대응지어져 있다.
이와 같이, 물체 후보의 특징을 나타내는 특징 정보에 따라, 특성이 다른 복수의 검출기(51 내지 54)를 단일인 물체 후보에 대응짓고, 이들 검출기(51 내지 54)를 사용하여, 물체 후보를 검출함으로써, 또한 물체 후보의 미검출을 억제할 수 있다.
또한, 물체 검출부(5)의 검출기(51 내지 54)는, 화상 정보 취득부(2)에 의해 취득된 대상물 화상의 특징량과, 검출한 물체 후보의 모델 화상의 특징량에 기초하여, 해당 물체 후보의 위치 자세 후보를 검출한다.
이에 의해, 물체 검출부(5)의 검출기(51 내지 54)는, 검출하는데 최적인 물체 후보만을 검출하고, 또한 그 최적인 물체 후보의 위치 자세 후보를 검출하게 된다. 따라서, 인식 대상물의 위치 자세의 미검출을 억제해 인식 정밀도를 향상시킬 수 있다.
예를 들어, 물체 검출부(5)의 검출기(51 내지 54)는, K 근방법(k-nearest neighbor법)에 의해, 대상물 화상의 특징량과, 검출한 물체 후보의 모델 화상의 특징량의 대응짓기를 행하고, 또한 RANSAC(Random Sample Consensus)법을 이용하여, 그 기하학적인 구성에 기초하여, 물체 후보의 위치 자세 후보를 검출한다.
또한, 상기 물체 검출 방법 및 위치 자세의 산출 방법은 일례이며, 이에 한정되지 않는다.
이상과 같이 하여, 물체 검출부(5)는, 적어도 하나의 검출기(51 내지 54)를 사용하여, 물체 후보 및 그 위치 자세 후보를 검출한다. 물체 인식 장치(1)의 물체 검출부(5)는, 각 검출기(51 내지 54)에 의해 검출된 물체 후보 및 해당 위치 자세 후보를, 인식 대상물 및 그 위치 자세로서 출력한다.
또한, 상기 실시 형태 1에 있어서, 물체 검출부(5)는 인식 대상물의 물체 후보 및 해당 위치 자세 후보를 검출하고 있지만, 이에 한정되지 않고, 인식 대상물의 물체 후보만을 검출해도 된다.
본 실시 형태 1에 관한 물체 인식 장치(1)를 사용함으로써, 종래의 물체 인식 장치에 비하여, 재현율(recall, 검출률 및 미검출률에 관한 지표)을 약 18% 향상시킬 수 있었다.
실시 형태 2
도 4는, 본 발명의 실시 형태 2에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다. 본 실시 형태 2에 관한 물체 인식 장치(20)는, 상기 실시 형태 1에 관한 물체 인식 장치(1)의 구성에 추가하여, 물체 검출부(5)에 의해 검출된 물체 후보 및 해당 위치 자세 후보(물체 위치 자세 후보)군 중에서, 유사한 것끼리를 동일한 것으로서 통합하는 클러스터링 처리를 행하는 클러스터링 처리부(6)를 더 구비하고 있다. 이에 의해, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보군 중에서, 유사한 것을 하나로 통합하여, 유저에 대하여 출력할 수 있으므로, 편리성이 향상된다.
클러스터링 처리부(6)는, 클러스터링 처리 수단의 일 구체예이다.
예를 들어, 도 5에 도시한 바와 같이, 물체 검출부(5)는, 예를 들어 선택한 복수의 검출기[LineMode 검출기(51) 및 PnP 검출기(52)]를 사용하여, 인식 대상물의 물체 위치 자세 후보(1)-(3)을 검출한다. 클러스터링 처리부(6)는, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보(1)-(3) 중에서, 유사한 것 동지를 동일한 것으로서 통합하는 클러스터링 처리를 행한다. 구체적으로는, 클러스터링 처리부(6)는, MeanShfit법 등을 이용해서 클러스터링 처리를 행한다. MeanShfit법에 있어서, 도 5에 도시한 바와 같이, 물체 위치 자세 후보(1)과 물체 위치 자세 후보(2)는 거리가 가까워 유사하다. 이로 인해, 물체 위치 자세 후보(1) 및 (2)는 양자의 평균이 되는 물체 위치 자세 후보(4)에 통합된다. 또한, 물체 위치 자세 후보(3)은 유사한 것이 없으므로, 통합되지 않는다.
물체 인식 장치(1)는, 클러스터링 처리부(6)에 의해 통합시킨 물체 위치 자세 후보를, 인식 대상물 및 해당 위치 자세로서 출력한다. 또한, 본 실시 형태 2에 있어서, 상기 실시 형태 1과 동일 부분에는 동일 부호를 붙여서 상세한 설명은 생략한다.
실시 형태 3
도 6은, 본 발명의 실시 형태 3에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다. 본 실시 형태 3에 관한 물체 인식 장치(30)는, 상기 실시 형태 1에 관한 물체 인식 장치(1)의 구성에 추가하여, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보를, 그 색 정보 및 거리 정보 중 적어도 한쪽에 기초하여 판정하는 물체 판정부(7)를 더 구비하고 있다.
물체 판정부(7)는, 물체 검출부(5)에 의한 물체 위치 자세 후보의 오검출을 억제하기 위해서, 물체 검출부(5)가 물체 위치 자세 후보를 검출한 후, 또한 그 물체 위치 자세 후보를, 색 정보 및 거리 정보 중 적어도 한쪽에 기초하여 판정한다. 물체 판정부(7)는, 이 판정 처리에 의해, 모델 화상과 대상물 화상 간의, 색 정보나 거리 정보의 비교를 픽셀 단위로 실시하여, 일치하고 있는지 여부를 판정한다.
물체 판정부(7)는, 물체 판정 수단의 일 구체예이다. 물체 판정부(7)는, 화상 정보 취득부(2)에 의해 취득된 대상물 화상의 거리 정보 및 색 정보 중 적어도 한쪽과, 물체 검출부(5)로부터 출력된 물체 위치 자세 후보의 모델 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽을 비교하여, 판정을 행한다.
물체 판정부(7)는, 예를 들어 렌더링 처리 등을 행하여, 상기 대상물 화상과 모델 화상을 비교한다. 물체 판정부(7)는, 이 렌더링 처리에 있어서, 모델 화상 상의 3차원 물체(모델로서 미리 등록된 3차원 물체)를, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보에 기초하여, 대상물 화상 상에 투영한다.
물체 판정부(7)는, 물체 위치 자세 후보마다, 그 모델 화상과 대상물 화상과의 비교를 행한다. 물체 판정부(7)는, 대상물 화상과 모델 화상을 비교한 결과, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보 중에서, 소정값 이상의 신뢰도가 있는 물체 위치 자세 후보를 인식 물체 및 해당 위치 자세로서 출력한다.
물체 판정부(7)는, 예를 들어 화상 정보 취득부(2)에 의해 취득된 대상물 화상의 거리 정보와, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보의 모델 화상의 거리 정보를 비교하고, 그 일치도의 차분이 판정 임계치 이상일 때, 소정값 이상의 신뢰도가 있다고 판정한다.
또는, 물체 판정부(7)는, 예를 들어 화상 정보 취득부(2)에 의해 취득된 대상물 화상의 색 정보[하기 (A) 내지 (D) 중 적어도 하나]와, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보의 모델 화상의 색 정보를 비교하여, 그 일치도의 차분이 판정 임계치 이상일 때, 그 물체 위치 자세 후보는 소정값 이상의 신뢰도가 있다고 판정한다. 또한, 물체 판정부(7)는, 상기 불일치도의 차분이 판정 임계치 이하일 때, 그 물체 위치 자세 후보는 소정값 이상의 신뢰도가 있다고 판정해도 된다.
물체 인식 장치(1)는, 물체 판정부(7)에 의해 소정값 이상의 신뢰도가 있다고 판정된 물체 위치 자세 후보를, 인식 대상물 및 해당 위치 자세로서 출력한다. 또한, 상기 판정 임계치는, 미리 기억부(4) 등에 설정되어 있고, 유저에 의해 임의로 설정 변경할 수 있도록 구성되어 있다.
물체 판정부(7)는, 후술하는 판정 프로파일 정보에 설정된, 특성이 다른 복수의 판정기를 갖고 있다. 물체 판정부(7)는, 예를 들어 색상 판정기(71), RGB 판정기(72), Gray_Scale 판정기(73), CLBP 판정기(74)를 갖고 있다.
(A) 색상
색상 판정기(71)는, RGB 휘도 정보를, HSV 정보[색상(Hue), 채도(Saturation·Chroma), 명도(Value·Lightness·Brightness)의 3개의 성분으로 이루어지는 색 공간 정보]로 변환하고, 그 색상 H를 사용해서 상기 비교 행한다. 색상 판정기(71)는, 동일 단순색으로 황색, 적색, 청색, 녹색, 마젠타, 또는 시안의 물체(컵 등)의 판정을 행하는 경우에, 그 오판정을 낮게 억제할 수 있다.
(B) RGB
RGB 판정기(72)는, RGB 휘도 정보의 본래 값을 사용해서 상기 비교를 행한다. RGB 판정기(72)는, 복합색(백색과 황녹색의 복합색 등)이나 흑색의 물체(리모컨 등)의 판정을 행하는 경우에, 그 오판정을 낮게 억제할 수 있다.
(C) 그레이 스케일(Gray Scale)
Gray_Scale 판정기(73)는, RGB 휘도 정보를, 그레이스케일 정보(흑백 정보)로 변환하고, 그 변환한 값을 사용하여, 상기 비교를 행한다. Gray_Scale 판정기(73)는, 백 기조의 물체(공기 등)의 판정을 행하는 경우에, 그 오판정을 낮게 억제할 수 있다.
(D) CLBP(Color Local Binray Pattern)
CLBP 판정기(74)는, 도 7에 도시한 바와 같이, 대상물 화상 및 모델 화상을 컬러 채널 분리(R 화상, G 화상, B 화상)를 행하고(2), 각 채널의 LBP[LBP(R), LBP(G), LBP(B)]를 산출한다(3). 그리고 CLBP 판정기(74)는, 산출한 LBP에 기초하여, 히스토그램을 작성하고(4), 작성한 히스토그램을 사용해서 상기 비교를 행한다. 또한, LBP는 화상의 조명 변화의 변동에 강하게, LBP를 히스토그램화함으로써 또한 상기 렌더링했을 때의 섭동에 강해져, 판정 정밀도가 향상된다. CLBP 판정기(74)는, 텍스처를 갖는 물체의 판정을 행하는 경우에, 그 오판정을 낮게 억제할 수 있다.
또한, 상기 판정기는 일례이며 이에 한정되지 않고, 물체 판정부(7)는 임의의 판정기를 갖고 있어도 되고, 판정기의 수 및 종류는 임의라도 된다.
그런데 상술한 바와 같이, 판정기도 상기 검출기와 마찬가지로, 판정하는데 능숙한 또는 능숙하지 못한 물체를 갖고 있다. 따라서, 사용하는 판정기의 종류에 따라서는, 오판정(판정하지 않아야 할 물체를 판정하는 등)을 초래할 우려가 있다. 예를 들어, RGB 판정기는 외란(RGB 휘도 변화)이 발생하면 오판정을 일으킬 가능성이 높아진다.
이에 반해, 본 실시 형태 3에 관한 물체 인식 장치(30)에 있어서, 기억부(4)는, 물체 후보와 해당 물체 후보에 대하여 판정 가능한 판정기(71 내지 74)를 대응지은 판정 프로파일 정보를 기억하고 있다. 물체 판정부(7)는, 기억부(4)의 판정 프로파일 정보에 기초하여 물체 검출부(5)에 의해 검출된 물체 후보에 대응하는 판정기(71 내지 74)를 선택하고, 해당 선택한 판정기(71 내지 74)를 사용하여, 화상 정보 취득부(2)에 의해 취득된 인식 대상물의 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽과, 물체 검출부(5)로부터 출력된 물체 후보의 모델 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽을 비교함으로써, 물체 후보가 소정값 이상의 신뢰도를 갖는지 여부를 판정한다. 물체 판정부(7)는, 해당 소정값 이상의 신뢰도를 갖는다고 판정한 물체 후보를 인식 대상물로서 출력한다.
이에 의해, 판정기(71 내지 74)는, 미리 판정 프로파일 정보에 설정된, 판정하는데 최적인 물체 후보 및 그 위치 자세 후보에 대하여 판정을 행하게 된다. 따라서, 인식 대상물의 오검출을 억제해 인식 정밀도를 더욱 향상시킬 수 있다.
기억부(4)는, 물체 후보와 적어도 하나의 판정기(71 내지 74)를 각각 대응지은 판정 프로파일 정보를 기억하고 있다. 판정 프로파일 정보에 있어서, 물체 후보의 색 정보(동일 단순색, 복합색, 물체색 등) 및 표기 정보(텍스처의 유무 등) 중 적어도 하나를 포함하는 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 물체 후보와 판정기(71 내지 74)는 대응지어져 있다.
도 8은, 물체 후보와 판정기를 대응지은 판정 프로파일 정보의 일례를 도시하는 도면이다. 도 8에 도시한 바와 같이, 물체 후보 A는 백색과 황녹색의 복합 색을 갖고 있다. 이로 인해, 복합색을 양호하게 판정할 수 있는 RGB 판정기(72)를 물체 후보 A에 대응짓고 있다. 물체 후보 B는 텍스처를 갖는다. 이로 인해, 텍스처를 양호하게 판정할 수 있는 CLBP 판정기(74)가 물체 후보 B에 대응지어져 있다. 물체 후보 C는 백 기조의 색을 갖고 있다. 이로 인해, 백 기조의 색을 양호하게 판정할 수 있는 Gray_Scale 판정기(73)가 물체 후보 C에 대응지어져 있다. 물체 후보 D는 흑색을 갖고 있다. 이로 인해, 흑색을 양호하게 판정할 수 있는 RGB 판정기(72)가 물체 후보 D에 대응지어져 있다. 물체 후보 E는 황색을 갖고 있다. 이로 인해, 황색을 양호하게 판정할 수 있는 색상 판정기(71)가 물체 후보 E에 대응지어져 있다.
프로파일 정보 생성부(3)는, 예를 들어 도 9의 흐름도에 따라, 미리 설정된 복수의 판정기(71 내지 74) 중에서 그 물체 후보를 판정하는데 최적인 판정기(71 내지 74)를 선택하고, 그 물체 후보와 선택한 판정기(71 내지 74)를 대응짓는다.
프로파일 정보 생성부(3)는, 화상 정보 취득부(2)에 의해 취득된 물체 후보의 화상 정보에 기초하여, 물체 후보의 색이 동일 단순색 중심인지 여부를 판정한다(스텝 S201). 또한, 동일 단순색 중심이라 함은, 예를 들어 그 단순색 영역의 면적 비율이 일정값 이상으로 높은 것을 가리킨다.
프로파일 정보 생성부(3)는, 물체 후보의 색이 동일 단순색 중심이라고 판정하면(스텝 S201의 "예"), 화상 정보 취득부(2)에 의해 취득된 물체 후보의 화상 정보에 기초하여, 물체 후보의 색이 황색, 적색, 청색, 녹색, 마젠타 및 시안 중 어느 것인지 여부를 판정한다(스텝 S202). 한편, 프로파일 정보 생성부(3)는, 물체 후보의 색이 동일 단순색이 아니라고 판정하면(스텝 S201의 "아니오"), 후술하는 (스텝 S204) 처리로 이행한다.
프로파일 정보 생성부(3)는, 물체 후보의 색이 황색, 적색, 청색, 녹색, 마젠타 및 시안 중 어느 하나라고 판정하면(스텝 S202의 "예"), 색상 판정기(71)를 선택한다(스텝 S203).
프로파일 정보 생성부(3)는, 물체 후보의 색이 황색, 적색, 청색, 녹색, 마젠타 및 시안 중 어느 것도 아니라고 판정하면(스텝 S202의 "아니오"), 화상 정보 취득부(2)에 의해 취득된 물체 후보의 화상 정보에 기초하여, 물체 후보가 표기 정보를 갖는지 여부를 판정한다(스텝 S204).
프로파일 정보 생성부(3)는, 물체 후보가 표기 정보를 갖는다고 판정하면(스텝 S204의 "예"), CLBP 판정기를 선택한다(스텝 S205). 한편, 프로파일 정보 생성부(3)는, 물체 후보가 표기 정보를 갖지 않는다고 판정하면(스텝 S204의 "아니오"), 화상 정보 취득부(2)에 의해 취득된 물체 후보의 화상 정보에 기초하여, 물체 후보의 색이 백 기조 또는 그레이 기조인지 여부를 판정한다(스텝 S206). 또한, 백 기조 또는 그레이 기조라고 하는 것은, 예를 들어 그 백색 또는 그레이색의 면적 비율이 일정값 이상으로 높은 것을 가리킨다.
프로파일 정보 생성부(3)는, 물체 후보의 색이 백 기조 또는 그레이 기조라고 판정하면(스텝 S206의 "예"), Gray_Scale 판정기(73)를 선택한다(스텝 S207). 한편, 프로파일 정보 생성부(3)는, 물체 후보의 색이 백 기조 또는 그레이 기조가 아니라고 판정하면(스텝 S206의 "아니오"), RGB 판정기(72)를 선택한다(스텝 S208).
이와 같이, 프로파일 정보 생성부(3)에 의해, 물체 후보의 색 정보 및 표기 정보 중 적어도 하나를 포함하는 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 물체 후보와, 해당 물체 후보를 판정하는데 최적인 판정기(71 내지 74)를, 대응지은 판정 프로파일 정보를 자동으로 생성할 수 있다.
프로파일 정보 생성부(3)는, 상술한 플로우에 따라, 물체 후보와 선택한 판정기(71 내지 74)를 대응지은 판정 프로파일 정보를 생성하고, 생성한 판정 프로파일 정보를 기억부(4)에 기억시킨다. 또한, 물체 후보와, 해당 물체 후보를 검출하는데 최적인 판정기(71 내지 74)를 대응지은 판정 프로파일 정보는, 미리 기억부(4)에 기억되어 있어도 된다. 또한 유저가 상기 흐름도에 따라, 각 판정기(71 내지 74)의 선택을 행해도 된다. 기억부(4)에 기억된 판정 프로파일 정보는, 예를 들어 유저에 의해 임의로 설정 변경할 수 있도록 구성되어 있다.
기억부(4)의 판정 프로파일 정보에 있어서, 1개의 물체 후보와 복수의 판정기(71 내지 74)가 각각 대응지어져 있어도 된다. 이 경우, 각 판정기(71 내지 74)는, 중복해서 동일한 물체 후보를 판정하게 된다. 이에 의해, 물체 후보의 특징을 나타내는 특징 정보에 따라, 특성이 다른 복수의 판정기(71 내지 74)를 단일인 물체 후보에 대응지어, 이들 판정기(71 내지 74)를 사용하여, 물체 후보를 판정함으로써, 물체 후보의 오판정을 더욱 억제할 수 있다.
이상과 같이 하여, 물체 판정부(7)는, 적어도 하나의 판정기(71 내지 74)를 사용하여, 물체 후보 및 그 위치 자세 후보를 판정한다. 물체 인식 장치(1)의 물체 판정부(7)는, 각 판정기(71 내지 74)에 의해 소정값 이상의 신뢰도가 있다고 판정된 물체 후보 및 해당 위치 자세 후보를, 인식 대상물 및 그 위치 자세로서 출력한다.
또한, 상기 실시 형태 3에 있어서, 물체 판정부(7)는 인식 대상물의 물체 후보 및 해당 위치 자세 후보를 판정하고 있지만, 이에 한정되지 않고, 인식 대상물의 물체 후보만을 판정해도 된다.
본 실시 형태 3에 관한 물체 인식 장치(30)를 사용함으로써, 종래의 물체 인식 장치에 비하여, 정밀도(precision, 정답율 및 오검출률에 관한 지표)를 약 18% 향상시킬 수 있었다.
본 실시 형태 3에 있어서, 상기 실시 형태 1 및 2와 동일 부분에는 동일 부호를 붙여서 상세한 설명은 생략한다.
실시 형태 4
도 10은, 본 발명의 실시 형태 4에 관한 물체 인식 장치의 개략적인 시스템 구성을 도시하는 블록도이다. 본 실시 형태 4에 관한 물체 인식 장치(40)는, 상기 실시 형태 3에 관한 물체 인식 장치(30)의 구성에 추가하여, 물체의 기하 형상 정보에 기초하여, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보를 추적하는 트래킹 처리부(8)를 더 구비하고 있다.
상기 물체 판정부(7)에 의한 판정을 행하는데 있어서, 정확하게 위치 자세를 추정하지 않으면, 대상물 화상과 모델 화상 사이에서 픽셀 오차가 발생하여, 그 오판정이 발생하기 쉬워진다. 따라서, 본 실시 형태 4에 있어서, 물체 판정부(7)의 판정 전에, 물체 위치 자세 후보의 기하 형상 정보에 기초하는 추적을 행함으로써, 정확하게 위치 자세를 추정할 수 있어, 오판정을 더욱 억제할 수 있다.
트래킹 처리부(8)는, 트래킹 처리 수단의 일 구체예이다. 트래킹 처리부(8)는, 예를 들어 물체 위치 자세 후보의 기하 형상 정보에 기초하여 물체 위치 자세 후보를 추적하는 ICP(Iterative Closest Point) 트래킹(ICP 알고리즘을 사용한 트래킹 처리)을 행한다.
ICP 트래킹이라 함은, 예를 들어 도 11에 도시한 바와 같이, 물체 위치 자세 후보의 모델 화상의 모델과 대상물 화상의 인식 대상물과의 포인트 클라우드의 대응짓기를 행하고, 그 오차가 작아지도록 최소 2제곱을 이용하여, 도 12에 도시한 바와 같이, 물체 위치 자세 후보의 모델 화상의 모델과 대상물 화상의 인식 대상물 간의 기하량(회전 및 병진량)을 구하는 방법이다.
또한, ICP 트래킹은, 일반적으로 계산 비용이 드는 처리이다. 이로 인해, 본 실시 형태 4에 있어서는, 사전에 ICP 트래킹에 필요한 최근방점을 계산하고, 이 최근방점을 사용해서 ICP 트래킹을 행한다. 여기서, 최초에 상기 점의 대응짓기를 행할 필요가 있다. 이로 인해, 본 수법에 있어서는, 예를 들어 도 13에 도시한 바와 같이, 모델 화상의 모델에 대하여 3차원 복셀(모델을 둘러싸는 3차원 그리드 복셀)을 구축하고, 각 그리드로부터 모델까지의 모델 상의 최근방점을 미리 산출한다. 그리고 산출한 최근방점의 정보(최근방점의 좌표나 최근방점의 Index)를 각 복셀에 대응시켜서 기억부(4)에 기억시킨다.
또한, 각 복셀에는 인식 대상물까지의 최근방점의 정보를 저장하지만, 복셀 밖의 레인지의 점은 무시한다. 본 실시 형태 4에 있어서, 최근방점은 point to plane(점에서 면)이지만, 이에 한정되지 않고, point to point(점에서 점)라도 된다. 도 13에 나타내는 거리 X, Y, Z는, 복셀 1변당의 그리드수와 격자 단위(수㎜)로부터 결정할 수 있다.
이상과 같이, 실제 ICP 트래킹을 행하기 전에, ICP 트래킹에 필요한 최근방점을 계산하고, 이 최근방점의 정보를 기억부(4)에 미리 보존한다. 그리고 트래킹 처리부(8)는, 이 기억부(4)에 기억된 최근방점의 정보를 사용하여, 상기 실시간으로 ICP 트래킹을 행한다. 이에 의해, ICP 트래킹에 걸리는 계산 비용을 대폭으로 저감할 수 있다.
트래킹 처리부(8)는, 상술한 ICP 트래킹을 행하고, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보 중에서, 예를 들어 구한 기하량이 소정량 이상으로 큰 경우에, 기하 형상에 일관성이 없다고 해서, 그 물체 위치 자세 후보를 파기한다. 트래킹 처리부(8)는, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보 중에서, 파기한 물체 위치 자세 후보를 제외한 물체 위치 자세 후보를 물체 판정부(7)에 출력한다. 물체 판정부(7)는, 화상 정보 취득부(2)에 의해 취득된 대상물 화상의 거리 정보 및 색 정보 중 적어도 한쪽과, 트래킹 처리부(8)로부터 출력된 물체 위치 자세 후보의 모델 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽을 비교하여, 상기 판정을 행한다.
본 실시 형태 4에 있어서, 상기 실시 형태 1 내지 3과 동일 부분에는 동일 부호를 붙여서 상세한 설명은 생략한다.
본 발명은 상기 실시 형태에 한정된 것이 아닌, 취지를 일탈하지 않는 범위에서 적절히 변경하는 것이 가능하다.
상기 실시 형태 1 내지 4를 임의로 조합해도 된다. 예를 들어, 물체 인식 장치(50)는, 화상 정보 취득부(2)와, 프로파일 정보 생성부(3)와, 기억부(4)와, 물체 검출부(5)와, 클러스터링 처리부(6)와, 물체 판정부(7)와, 트래킹 처리부(8)를 구비하는 구성이라도 된다(도 14). 이 경우, 인식 대상물의 미검출이나 오검출을 가장 양호하게 억제해 인식 정밀도를 향상시킬 수 있다.
물체 검출부(5)는, 검출기(51 내지 54)를 사용하여, 인식 대상물의 물체 위치 자세 후보를 검출하고, 클러스터링 처리부(6)에 출력한다. 클러스터링 처리부(6)는, 물체 검출부(5)에 의해 검출된 물체 위치 자세 후보군 중에서 유사한 것을 통합하고, 통합한 물체 위치 자세 후보군을 트래킹 처리부(8)에 출력한다. 트래킹 처리부(8)는, 기하 형상 정보에 기초하여, 클러스터링 처리부(6)로부터의 물체 위치 자세 후보를 추적하는 ICP 트래킹을 행하고, 그 ICP 트래킹 후의 물체 위치 자세 후보를 물체 판정부(7)에 출력한다. 물체 판정부(7)는, 판정기(71 내지 74)를 사용하여, 트래킹 처리부(8)로부터의 물체 위치 자세 후보를 판정하고, 판정한 물체 위치 자세 후보를, 인식 대상물의 위치 자세로서 출력한다.
본 발명은, 예를 들어 상기 프로파일 정보 생성부(3), 물체 검출부(5), 클러스터링 처리부(6), 물체 판정부(7) 및 트래킹 처리부(8)가 실행하는 처리 중 적어도 하나를, CPU 또는 GPU(Graphics Processing Unit)에 컴퓨터 프로그램을 실행시킴으로써 실현하는 것도 가능하다.
프로그램은, 여러 가지 타입의 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 사용해서 저장되어, 컴퓨터에 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는, 여러 가지 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는, 자기 기록 매체(예를 들어 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들어 광자기 디스크), CD-ROM(Read Only Memory), CD-R, CD-R/W, 반도체 메모리[예를 들어, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory)]를 포함한다.
프로그램은, 여러 가지 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 컴퓨터에 공급되어도 된다. 일시적인 컴퓨터 가독 매체의 예는, 전기 신호, 광 신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는, 전선 및 광 파이버 등의 유선 통신로, 또는 무선 통신로를 통해, 프로그램을 컴퓨터에 공급할 수 있다.
이상의 본 발명의 설명으로부터, 본 발명을 다양하게 변형할 수 있는 것은 명확하다. 그러한 변형은 본 발명의 사상 및 범위로부터 일탈하는 것이라 간주되는 것은 아니며, 또한 모든 당업자에게 있어서 자명한 그러한 개량은 이하의 청구범위에 포함되는 것이다.

Claims (9)

  1. 인식 대상물의 화상 정보를 취득하는 화상 정보 취득 수단과,
    상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보와, 상기 물체 후보에 대응지어진 해당 물체 후보의 모델 화상 정보를 기억하는 기억 수단과,
    상기 검출 프로파일 정보에 설정된 복수의 검출기를 갖고, 상기 화상 정보 취득 수단에 의해 취득된 화상 정보에 기초하여, 해당 검출기를 사용해서 상기 인식 대상물을 검출하는 물체 검출 수단을 구비하고,
    상기 물체 검출 수단의 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보를 비교하여, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하고,
    상기 기억 수단은, 상기 물체 후보와, 해당 물체 후보에 대하여 판정 가능한 판정기와 대응지은 판정 프로파일 정보를 기억하고 있으며,
    상기 판정 프로파일 정보에 설정된 복수의 판정기를 갖고, 상기 화상 정보 취득 수단에 의해 취득된 화상 정보로부터, 해당 판정기를 사용해서 상기 물체 검출 수단으로부터 출력된 물체 후보에 대하여 판정을 행하는 물체 판정 수단을 더 구비하고,
    상기 물체 판정 수단은,
    상기 기억 수단의 판정 프로파일 정보에 기초하여, 상기 물체 검출 수단에 의해 검출된 물체 후보에 대응하는 판정기를 선택하는 것을 특징으로 하는, 물체 인식 장치.
  2. 제1항에 있어서,
    상기 판정기를 사용하여, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽과, 상기 물체 검출 수단으로부터 출력된 물체 후보의 모델 화상 정보의 색 정보 및 거리 정보 중 적어도 한쪽을 비교하여, 상기 물체 후보가 소정값 이상의 신뢰도를 갖는지 여부를 판정하고,
    해당 소정값 이상의 신뢰도를 갖는다고 판정한 물체 후보를 상기 인식 대상물로서 출력하는 것을 특징으로 하는, 물체 인식 장치.
  3. 제2항에 있어서, 상기 물체 검출 수단은, 상기 화상 정보 취득 수단에 의해 취득된 인식 대상물의 화상 정보의 특징량과, 상기 검출한 물체 후보의 모델 화상 정보의 특징량에 기초하여, 상기 물체 후보의 위치 자세 후보를 검출하는 것을 특징으로 하는, 물체 인식 장치.
  4. 제3항에 있어서, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보 중에서, 유사한 것끼리를 동일한 것으로서 통합하는 클러스터링 처리 수단을 더 구비하는 것을 특징으로 하는, 물체 인식 장치.
  5. 제3항에 있어서, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보의 모델 화상의 모델과, 상기 화상 정보의 인식 대상물 사이의 기하량을 구하고, 상기 물체 검출 수단에 의해 검출된 물체 후보 및 해당 위치 자세 후보 중에서, 해당 구한 기하량이 소정량 이상이 되는 물체 후보 및 해당 위치 자세 후보를 제외하는 것으로 트래킹 처리를 행하고, 해당 트래킹 처리된 물체 후보 및 해당 위치 자세 후보를 출력하는 트래킹 처리 수단을 더 구비하는 것을 특징으로 하는, 물체 인식 장치.
  6. 제5항에 있어서, 상기 기억 수단은, 상기 모델 화상의 모델을 둘러싸는 3차원 복셀의 각 그리드로부터 상기 모델까지의 해당 모델 상의 최근방점의 정보를 기억하고 있으며,
    상기 트래킹 처리 수단은, 상기 기억 수단에 기억된 상기 최근방점의 정보를 사용하여, 상기 트래킹 처리를 행하는 것을 특징으로 하는, 물체 인식 장치.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서, 상기 인식 대상물의 후보인 물체 후보의 색 정보, 형상 정보, 표기 정보 및 물성 정보 중 적어도 하나를 포함하는 상기 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 해당 물체 후보와 적어도 하나의 검출기와 대응지은 상기 검출 프로파일 정보 및, 상기 물체 후보의 색 정보 및 표기 정보 중 적어도 하나를 포함하는 상기 물체 후보의 특징을 나타내는 특징 정보에 기초하여, 해당 물체 후보와 적어도 하나의 판정기와 대응지은 상기 판정 프로파일 정보 중 적어도 한쪽을 생성하는 프로파일 정보 생성 수단을 더 구비하는 것을 특징으로 하는, 물체 인식 장치.
  8. 인식 대상물의 화상 정보를 취득하는 스텝과,
    상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보에 설정된 복수의 검출기를 사용하여, 상기 취득된 화상 정보에 기초하여, 상기 인식 대상물을 검출하는 스텝을 포함하는 물체 인식 방법이며,
    상기 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 취득된 인식 대상물의 화상 정보를 비교하고, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하고,
    상기 물체 후보와, 해당 물체 후보에 대하여 판정 가능한 판정기와 대응지은 판정 프로파일 정보에 설정된 복수의 판정기를 사용하여, 상기 취득된 화상 정보로부터, 상기 출력된 물체 후보에 대하여 판정을 행하고,
    상기 판정 프로파일 정보에 기초하여, 상기 검출된 물체 후보에 대응하는 판정기를 선택하는 것을 특징으로 하는, 물체 인식 방법.
  9. 인식 대상물의 화상 정보를 취득하는 처리와,
    상기 인식 대상물의 후보인 물체 후보와, 해당 물체 후보에 대하여 검출 가능한 검출기를 대응지은 검출 프로파일 정보에 설정된 복수의 검출기를 갖고, 상기 취득된 화상 정보로부터, 해당 검출기를 사용해서 상기 인식 대상물을 검출하는 처리를 컴퓨터에 실행시키는 비일시적인 컴퓨터 가독 매체에 저장된 프로그램이며,
    상기 검출기의 각각은, 상기 검출 프로파일 정보에 있어서 해당 검출기에 대응지어진 상기 물체 후보의 모델 화상 정보와, 상기 취득된 인식 대상물의 화상 정보를 비교하여, 상기 물체 후보를 검출하고, 해당 검출한 물체 후보를 상기 인식 대상물로서 출력하고,
    상기 물체 후보와, 해당 물체 후보에 대하여 판정 가능한 판정기와 대응지은 판정 프로파일 정보에 설정된 복수의 판정기를 사용하여, 상기 취득된 화상 정보로부터, 상기 출력된 물체 후보에 대하여 판정을 행하고,
    상기 판정 프로파일 정보에 기초하여, 상기 검출된 물체 후보에 대응하는 판정기를 선택하는 것을 특징으로 하는, 비일시적인 컴퓨터 가독 매체에 저장된 프로그램.
KR1020170062709A 2016-05-25 2017-05-22 물체 인식 장치, 물체 인식 방법 및 프로그램 KR101917515B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016104124A JP6528723B2 (ja) 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム
JPJP-P-2016-104124 2016-05-25

Publications (2)

Publication Number Publication Date
KR20170133262A KR20170133262A (ko) 2017-12-05
KR101917515B1 true KR101917515B1 (ko) 2018-11-09

Family

ID=58714943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170062709A KR101917515B1 (ko) 2016-05-25 2017-05-22 물체 인식 장치, 물체 인식 방법 및 프로그램

Country Status (5)

Country Link
US (1) US10452950B2 (ko)
EP (1) EP3249579B1 (ko)
JP (1) JP6528723B2 (ko)
KR (1) KR101917515B1 (ko)
CN (1) CN107437060B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970577B1 (en) * 2017-09-29 2021-04-06 Snap Inc. Machine learned single image icon identification
KR102444693B1 (ko) * 2017-11-15 2022-09-20 삼성전자 주식회사 청소용 이동장치 및 그 제어방법
CN108037765A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 一种用于输电线路巡检的无人机避障系统
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
JP7111586B2 (ja) * 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
JP7111297B2 (ja) * 2018-11-26 2022-08-02 株式会社豊田中央研究所 位置ずれ補正装置及びプログラム
CN110232387B (zh) * 2019-05-24 2022-08-05 河海大学 一种基于kaze-hog算法的异源图像匹配方法
CN113906438A (zh) 2019-06-03 2022-01-07 三星电子株式会社 用于对象标识的电子设备及其控制方法
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US10970550B1 (en) 2020-01-14 2021-04-06 Geenee Gmbh Systems and methods for stream recognition
JP7272296B2 (ja) * 2020-02-07 2023-05-12 トヨタ自動車株式会社 判定方法、判定装置及び判定プログラム
KR102643324B1 (ko) * 2020-10-29 2024-03-07 닛폰세이테츠 가부시키가이샤 식별 장치, 식별 방법 및 프로그램

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259114A (ja) 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2009128075A (ja) 2007-11-20 2009-06-11 Ihi Corp 物体認識方法
JP2011209116A (ja) 2010-03-30 2011-10-20 Dainippon Screen Mfg Co Ltd ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
JP2012163450A (ja) 2011-02-07 2012-08-30 Ihi Corp 形状認識装置、形状認識方法、および、そのプログラム
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP2013158845A (ja) 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム
US20150023602A1 (en) 2013-07-19 2015-01-22 Kamil Wnuk Fast recognition algorithm processing, systems and methods
JP2015130093A (ja) 2014-01-08 2015-07-16 株式会社東芝 画像認識アルゴリズム組合せ選択装置
JP2015143951A (ja) 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
US7680748B2 (en) * 2006-02-02 2010-03-16 Honda Motor Co., Ltd. Creating a model tree using group tokens for identifying objects in an image
JP4876742B2 (ja) 2006-07-07 2012-02-15 トヨタ自動車株式会社 画像処理装置及び画像処理プログラム
JP5287390B2 (ja) * 2009-03-16 2013-09-11 ソニー株式会社 半導体装置、伝送システム、半導体装置の製造方法及び伝送システムの製造方法
EP2569721A4 (en) * 2010-05-14 2013-11-27 Datalogic Adc Inc SYSTEMS AND METHODS FOR OBJECT DETECTION USING A LARGE DATABASE
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
JP2013054547A (ja) 2011-09-05 2013-03-21 Kddi Corp 物体認識装置および物体認識方法
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
CN105164700B (zh) * 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP2015056057A (ja) 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
US9582516B2 (en) * 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10606885B2 (en) * 2016-11-15 2020-03-31 Evolv Technology Solutions, Inc. Data object creation and recommendation using machine learning based online evolution
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
US10522186B2 (en) * 2017-07-28 2019-12-31 Adobe Inc. Apparatus, systems, and methods for integrating digital media content
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259114A (ja) 2003-02-27 2004-09-16 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2009128075A (ja) 2007-11-20 2009-06-11 Ihi Corp 物体認識方法
JP2011209116A (ja) 2010-03-30 2011-10-20 Dainippon Screen Mfg Co Ltd ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
JP2012163450A (ja) 2011-02-07 2012-08-30 Ihi Corp 形状認識装置、形状認識方法、および、そのプログラム
JP2012203668A (ja) 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP2013158845A (ja) 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム
US20150023602A1 (en) 2013-07-19 2015-01-22 Kamil Wnuk Fast recognition algorithm processing, systems and methods
JP2015130093A (ja) 2014-01-08 2015-07-16 株式会社東芝 画像認識アルゴリズム組合せ選択装置
JP2015143951A (ja) 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lilita Kiforenko et al., "Object Detection Using a Combination of Multiple 3D Feature Descriptors", ICVS 2015, Copenhagen, Denmark, pp. 343-353, 6-9 July 2015.*
Paul J. Besl et al., "A method for registration of 3-D shapes", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, no. 2, pp. 239-256, February 1992.*

Also Published As

Publication number Publication date
CN107437060B (zh) 2021-01-15
EP3249579A1 (en) 2017-11-29
JP6528723B2 (ja) 2019-06-12
EP3249579B1 (en) 2022-01-19
JP2017211807A (ja) 2017-11-30
CN107437060A (zh) 2017-12-05
KR20170133262A (ko) 2017-12-05
US10452950B2 (en) 2019-10-22
US20170344850A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
KR101917515B1 (ko) 물체 인식 장치, 물체 인식 방법 및 프로그램
US9633278B2 (en) Object identification device, method, and storage medium
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN110546651B (zh) 用于识别对象的方法、系统和计算机可读介质
JP2018067120A (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路
US10006762B2 (en) Information processing apparatus, information processing method, and storage medium
JP6369131B2 (ja) 物体認識装置及び物体認識方法
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US9430711B2 (en) Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
CN109447061A (zh) 基于巡检机器人的电抗器油位计识别方法
WO2014123619A1 (en) System and method for identifying similarities in different images
EP3358526A1 (en) System and method for scoring color candidate poses against a color image in a vision system
CN105957107A (zh) 行人检测与跟踪方法及装置
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP6589144B2 (ja) 姿勢推定方法および姿勢推定装置
WO2023024766A1 (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
JP4625949B2 (ja) 物体追跡方法および物体追跡装置ならびにプログラム
CN107527348B (zh) 基于多尺度分割的显著性检测方法
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
JPWO2018131163A1 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
JP6540577B2 (ja) 物体認識装置
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
KR20120074356A (ko) 물체의 시점 변화에 강건한 윤곽선 기반의 범주 물체 인식 방법 및 장치
JP2009289075A (ja) 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant