KR101244822B1 - 육면체 검출 장치 및 방법 - Google Patents

육면체 검출 장치 및 방법 Download PDF

Info

Publication number
KR101244822B1
KR101244822B1 KR1020120044741A KR20120044741A KR101244822B1 KR 101244822 B1 KR101244822 B1 KR 101244822B1 KR 1020120044741 A KR1020120044741 A KR 1020120044741A KR 20120044741 A KR20120044741 A KR 20120044741A KR 101244822 B1 KR101244822 B1 KR 101244822B1
Authority
KR
South Korea
Prior art keywords
camera
image
hexahedron
space
unit
Prior art date
Application number
KR1020120044741A
Other languages
English (en)
Inventor
전석
류아름
원선진
Original Assignee
(주)린소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)린소프트 filed Critical (주)린소프트
Priority to KR1020120044741A priority Critical patent/KR101244822B1/ko
Application granted granted Critical
Publication of KR101244822B1 publication Critical patent/KR101244822B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/025—Testing optical properties by measuring geometrical properties or aberrations by determining the shape of the object to be tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 육면체 검출 장치 및 방법에 관한 것이다. 본 발명은 촬영할 공간 영역이 지정되면 그 촬영 대상 공간을 2차원 이미지와 3차원 거리 값(x, y, z)을 동시에 획득하는 카메라와 상기 촬영 대상 공간에 위치하고 있는 적어도 하나의 객체가 육면체인지를 판별하는 영상정보 처리모듈을 포함하여 구성한다. 그리고 상기 영상정보 처리모듈은, 상기 카메라의 촬영 시점에서 상기 객체의 3면이 보이면 상기 카메라에서 가장 가까운 거리에 있는 점(c)을 중심으로 하여 만들어지는 세 개의 삼각형의 ∠acb + ∠acd + ∠bcd 의 합이 180°가 되는 객체를 육면체로 판별하고, 상기 카메라의 촬영 시점에서 상기 객체의 2면이 보이면 전방에서 봤을 때 상기 객체의 3개의 선분이 평행하고 그 길이가 동일할 때 육면체로 판별한다. 이와 같은 본 발명에 따르면, 카메라에 의해 촬영할 범위 영역의 제한으로 인해 데이터 처리량이 감소하여 오류 발생 확률이 저하되고, 객체 이미지의 3면 또는 2면을 이용하여 객체가 육면체인지를 검출하기 때문에 그 구현과정의 단순화로 인하여 전체 시스템의 성능이 개선되는 이점이 있다.

Description

육면체 검출 장치 및 방법{CUBE DETECTION APPARATUS AND CUBE DETECTION METHOD}
본 발명은 육면체 검출 장치에 관한 것으로, 특히 일정한 공간상에 위치하는 육면체를 카메라 영상을 통해 검출하는 육면체 검출 장치 및 방법에 관한 것이다.
물체 인식은 카메라로 획득한 영상으로부터 2차원 또는 3차원 정보를 추출하여 물체를 인식하는 일련의 과정을 말한다. 여기서 2차원 정보만을 추출하는 과정은 간단하다. 즉 카메라의 전방에 노출된 물체 중 관심 물체들에 대하여 카메라가 촬영하면, 촬영된 정보는 카메라와 연결된 컴퓨터 장치로 입력된다. 그리고 상기 컴퓨터 장치는 카메라를 통해 입력된 영상정보에 대해 공지된 다양한 2차원적인 영상정보 처리기술 들을 이용하여 원하는 형태로 가공하여 제공하게 된다. 아울러 물체 인식은 인식하고자 하는 물체들의 데이터베이스를 구축하여 훈련과정을 거쳐 등록한 후 특징 추출 알고리즘를 통해 등록된 물체들을 인식하는 형태이다.
반면 2차원 정보로부터 3차원 정보를 인식하는 과정은 2차원 이미지만 추출하는 카메라를 이용하는 경우 복잡한 과정을 수행해야만 한다. 이러한 2차원 정보만을 입력받는 카메라를 이용하여 3차원 정보를 추출하는 방법의 일 예로, 물체의 표면에 레이저를 주사하고 물체로부터 오는 시간을 측정하여 거리를 측정하는 방법이나, 물체에 일정한 패턴을 가진 빛을 주사하고 그 결과 물체의 표면에 나타난 패턴의 왜곡 정도를 분석하여 표면의 굴곡과 거리를 계산하는 방법, 그리고 모이레(moire) 패턴을 이용하는 방법 등을 말할 수 있다.
하지만, 상기의 3차원 정보를 인식하는 방법들은 다음과 같은 문제점을 초래하고 있다.
먼저, 카메라가 영상정보를 입력받기까지 적지 않은 노이즈(noise)가 발생한다. 물론 노이즈의 최소화 방안으로 카메라나 카메라로부터 영상정보를 입력받는 컴퓨터 장치에 노이즈 제거 모듈을 탑재하고 입력되는 영상의 노이즈를 제거하는 방안이 모색될 수 있다. 그러나 이 경우 노이즈의 제거를 위한 시간이 필요하게 된다. 특히 2차원 정보를 3차원 정보로 가공하는 경우에는 더 많은 시간이 소요된다. 또한 카메라에 의해 촬영된 영상정보에 노이즈가 미 포함된 상태로 입력된다 하더라도 입력되는 영상정보의 양은 만만치 않고, 따라서 입력된 영상정보를 가공하는데 적지않은 시간이 필요할 수밖에 없다. 즉 입력되는 영상정보를 제한할 필요가 요구된다.
그리고 물체와 카메라와의 거리에 따라 해상도가 저하되기 때문에, 경우에 따라서는 물체 인식보다는 단순하게 거리를 측정하는 기술 범위로 한정되는 경우가 있어, 실질적인 물체 인식을 수행하지 못하는 경우도 발생한다.
특히 본 발명은 특정 공간에 구성된 사물 객체, 즉 육면체를 인식하는 기술을 제안하고자 하는 것인데, 카메라를 통해 입력되는 영상정보 중 배경이미지에서 분리되는 객체(육면체)의 깊이 정보를 알 수 없기 때문에 객체가 육면체인지를 정확하게 인식하지 못하는 문제를 안고 있다. 물론, 최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있어, 카메라를 통해 입력되는 2차원 영상정보를 3차원 영상정보로 가공하여 객체의 이미지를 인지하는 기술이 있으나, 이는 그 구현 과정이 복잡하다는 단점을 내포한다.
무엇보다도 외부 요인에 의한 성능 저하 문제점이 야기된다. 즉 카메라의 위치변화, 조명변화, 물체의 회전, 복잡한 배경 이미지 등으로 인하여 물체를 인식하는 성능이 탁월하지 못하는 문제가 있다.
이에 본 발명은 카메라의 촬영범위 중 관심 공간 영역을 설정하여 객체가 포함된 영상 정보를 획득하고, 영상 정보에 포함된 객체의 3면 또는 2면을 기초로 하여 객체가 육면체인지를 쉽게 인지할 수 있도록 하는 육면체 검출 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따르면, 촬영 대상 공간을 2차원 이미지와 3차원 거리 값(x, y, z)을 동시에 획득하는 카메라; 상기 촬영 대상 공간에 위치하고 있는 적어도 하나의 객체가 육면체인지를 판별하는 영상정보 처리모듈을 포함하고, 상기 영상정보 처리모듈은, 상기 카메라의 촬영 시점에서 상기 객체의 3면이 보이면 상기 카메라에서 가장 가까운 거리에 있는 점(c)을 중심으로 하여 만들어지는 세 개의 삼각형의 ∠acb + ∠acd + ∠bcd 의 합이 180°가 되는 객체를 육면체로 판별하고, 상기 카메라의 촬영 시점에서 상기 객체의 2면이 보이면 전방에서 봤을 때 상기 객체의 3개의 선분이 평행하고 그 길이가 동일할 때 육면체로 판별하는 객체 판별부를 포함하여 구성하는 육면체 검출 장치를 제공한다.
상기 영상정보 처리모듈은, 상기 촬영 대상 공간 중에서 일부 공간만을 6개의 변수를 이용하여 지정하는 공간 지정부; 상기 공간 지정부에 의해 지정된 공간에서 상기 6개의 변수 중 깊이 값의 차이 정보를 이용하여 객체 이미지를 분리하는 분리부; 상기 분리된 객체에 대한 이진화를 수행하는 이진화부; 그리고 상기 이진화된 상기 객체가 다수 개인 경우 객체를 구별하도록 객체마다 고유번호를 부여하는 고유번호 부여부를 더 포함하여 구성한다.
본 발명의 다른 특징에 따르면, 카메라의 촬영 가능한 공간 중에서 6개의 변수를 이용하여 적어도 하나의 객체가 위치하는 공간을 포함한 특정 공간을 지정하는 단계; 상기 카메라가 촬영한 특정 공간에서 특정 공간의 배경을 이루는 배경 이미지에서 적어도 하나의 상기 객체의 이미지를 분리하는 단계; 분리된 상기 객체의 이미지가 둘 이상인 경우 픽셀 값을 이용하여 객체를 구별하는 단계; 그리고 상기 객체의 이미지를 구별하는 단계에서 구별된 적어도 하나 이상의 객체의 이미지가 육면체인지를 검출하는 단계를 포함하고, 상기 육면체인지를 검출하는 단계는, 상기 카메라의 촬영 시점에서 상기 객체의 3면이 보이는 경우, 상기 카메라에서 가장 가까운 거리에 있는 점(c)을 중심으로 하여 만들어지는 세 개의 삼각형의 ∠acb + ∠acd + ∠bcd 의 합이 180°임을 상기 객체의 이미지를 육면체로 판별하는 육면체 검출 방법을 제공한다.
여기서, 상기 카메라의 촬영 시점에서 상기 객체의 이미지의 2면만이 보이는 경우, 상기 객체의 이미지의 전면에 보이는 3개의 선분 중 상기 카메라가 검출하는 가장 가까운 점이 상기 3개의 선분 중 어느 하나의 선분에 존재하면서, 상기 3개의 선분이 평행하고 그 길이가 동일할 경우에 육면체로 판별하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 카메라가 촬영할 영역을 촬영 전에 미리 6개의 변수를 이용하여 촬영하고자 하는 영역을 제한하고 있기 때문에, 카메라가 및 카메라로부터 영상을 전달받아 처리하는 영상정보 처리모듈의 데이터 처리량이 현저하게 감소하게 된다. 이는 영상정보를 처리함에 있어 발생할 수 있는 데이터 처리 오류의 발생 확률이 그만큼 줄어드는 효과가 있다.
그리고 객체이미지의 3면 또는 2면을 참조하고 소정 알고리즘에 의하여 그 객체 이미지가 육면체인지를 판별하기 때문에, 종래 물체 인식 방법에 비해 간단하게 육면체를 검출하는 효과도 제공할 수 있다.
도 1은 본 발명의 육면체 검출방법을 설명하기 위해 마련된 미니어처 무대의 구성도
도 2는 본 발명의 바람직한 실시 예에 따른 육면체 검출방법을 보인 흐름도
도 3은 본 발명의 실시 예에서 카메라의 촬영 범위를 지정하기 위하여 거리 값을 지정하는 예시도
도 4는 본 발명의 실시 예에서 카메라의 촬영 범위를 지정하기 위하여 좌우상하를 지정하는 예시도
도 5a는 본 발명에 따라 카메라가 인식하는 미니어처 무대의 전체 공간을 나타내는 화면 예시도
도 5b는 도 5a의 화면에서 6개의 변수를 이용하여 일부 특정한 관심 공간을 지정하여 촬영된 화면 예시도
도 6a는 본 발명에 따라 미니어처 무대에 객체가 있기 전의 이미지 데이터를 보인 화면 예시도
도 6b는 본 발명에 따라 미니어처 무대에 객체가 놓여진 후의 이미지 데이터를 보인 화면 예시도
도 7a는 본 발명에 따라 배경이미지에서 분리된 객체이미지를 이진화하여 표시하고 있는 화면 예시도
도 7b는 도 7a에 의해 이진화된 각각의 객체에 고유번호가 부여된 상태를 보인 화면 예시도
도 8a 및 도 8b는 본 발명에 따른 육면체 검출 시 카메라 시점에서 객체의 세 면이 보인 객체의 구성도
도 9a 및 도 9b는 본 발명에 따른 육면체 검출 시 카메라 시점에서 객체의 두 면이 보인 객체의 구성도
이하 본 발명에 의한 육면체 검출방법의 바람직한 실시 예를 첨부된 도면을 참고하여 상세하게 설명한다.
도 1은 본 발명의 육면체 검출방법을 설명하기 위해 마련된 미니어처 무대의 구성도를 나타내고 있다. 도 1을 보면, 소형으로 제작된 미니어처 무대(100)는 실제 공연을 위한 무대는 아니고 실제 무대를 일정한 크기 비율로 축소해서 만든 모형을 말한다. 물론, 본 실시 예는 이러한 미니어처 무대(100)를 예를 들어 설명하지만 다른 구조나 형상을 가지는 미니어처 무대도 얼마든지 적용할 수 있다. 상기의 미니어처 무대(100)는 전면 및 상면은 개방되고 후면 및 측면은 밀폐된 구조로서, 전방에서 봤을 때 미니어처 무대(100)의 바닥면이 무대 위치가 된다.
상기 미니어처 무대에는 객체(object)(110)가 올려진다. 상기 객체(110)는 미니어처 무대(100) 위에서 임의의 동선을 따라 이동 가능하게 제작되며, 하나 이상일 수 있고, 주연, 조연, 단역 등과 같이 각각 다른 배역을 맡은 출연자나, 무대에 필요한 각종 소품 등을 나타낸다. 이러한 상기 객체(110)는 본 실시 예에서는 육면체를 이용한다. 즉 본 실시 예는 미니어처 무대(100)의 배경이미지에서 분리한 객체(110)의 이미지가 육면체인가를 확인하는 것이다. 그래서 객체(110)의 이미지가 육면체가 아닌 다른 다면체나 다른 형상의 객체는 인식할 필요성은 요구되지 않는다.
상기 미니어처 무대(100)에서 이동하는 객체(110)의 동선을 추적하여 상기 객체(110)의 거리 값에 대한 정보(즉, 3D depth -map)를 실시간으로 검출하는 카메라(120)가 제공된다. 상기 카메라(120)는 상기 미니어처 무대(100)의 전방에 위치하며, 3차원 공간에서 상기 객체(110)들에 대한 거리 추출이 가능한 카메라이다. 즉 상기 카메라(120)는 촬영하고 있는 상기 미니어처 무대(100)의 공간에 대하여 2차원 이미지와 3차원의 거리 값(x,y,z)을 동시에 획득할 수 있는 깊이 정보 카메라(이하, '카메라'라 칭함)로써, 이에 상기 카메라(120)는 미니어처 무대(100), 그리고 미니어처 무대(100)에 제공된 객체(110)의 사이즈, 위치, 동선 등의 정보를 파악할 수 있다.
상기 카메라(120)에는 영상정보 처리모듈(이하, '처리모듈'이라 칭함)(130)이 연결된다. 상기 처리모듈(130)은 촬영하고자 하는 미니어처 무대(100)의 촬영 범위를 지정하고, 미니어처 무대(100)에 있는 객체(110)를 촬영하여 상기 객체(110)가 육면체임을 판별하는 기능을 수행한다. 상기의 처리모듈(130)의 구성은 다음과 같다.
먼저 미니어처 무대(100)를 촬영하기 이전에 상기의 미니어처 무대(100) 중 특정 공간을 지정하는 공간 지정부(131)를 구비한다. 상기 공간 지정부(131)는 상기 카메라(120)가 인식하는 전체 인식범위 중에서 객체(110)가 놓여져 있는 특정한 관심 공간을 지정하는 것이다. 이렇게 하는 이유는 카메라(120)의 처리량을 줄이고 오류 발생확률을 낮추기 위함이다. 또한 상기 처리모듈(130)은 상기 공간 지정부(131)가 지정한 공간에 대하여 촬영한 공간 정보로부터 배경이미지와 객체이미지를 분리하는 분리부(132)를 구비한다. 배경이미지는 상기 미니어처 무대(100)의 배경을 나타내는 이미지이고, 객체이미지는 객체의 이미지를 말한다. 상기 분리부(132)는 미니어처 무대(100)에 객체(110)가 제공되기 이전과 이후의 영상정보를 기초로 한다. 또한 상기 처리모듈(130)은 상기 분리부(132)가 분리한 객체이미지를 이진화하는 이진화부(133), 그리고 상기 이진화된 객체가 다수 개인 경우 이를 구분하도록 객체별로 고유번호를 부여하는 고유번호 부여부(134), 상기 고유번호 부여부(134)에 의해 구분된 각 객체이미지가 육면체인지를 판별하는 객체 판별부(135)를 구비한다. 상기 객체 판별부(135)는 카메라(120)가 촬영하는 방향을 기초로 하여 객체이미지의 3면 또는 2면을 관찰하고 아래에서 상세하게 설명하는 로직에 의해 육면체를 판별한다. 여기서 판별하고자 하는 객체이미지는 모든 면이 직각 사각형으로 이루어진 육면체이다.
이어 상기한 바와 같은 구성에 따라 본 발명의 구체적인 실시 예에 의한 육면체 판별방법을 첨부된 도면을 참조하여 상세하게 설명한다. 도 2는 본 발명의 바람직한 실시 예에 따른 육면체 검출방법을 보인 흐름도이다. 이하에서는 도 1과 도 2 및 도 2를 설명하는데 필요한 다른 도면들을 함께 인용하여 설명할 것이다.
우선 본 발명의 실시 예는 카메라(120)의 전체 인식범위 중에서 특정 공간 즉 미니어처 무대(100)상에 객체가 있는 부분만을 지정하는 과정이 수행된다(s100). 이는 카메라(120)가 촬영하여 처리하게 될 데이터의 처리량을 줄임으로써 영상 정보의 처리 시간을 단축함은 물론 오류의 발생 확률을 최소화하기 위함이다. 이러한 작업은 상기 처리모듈(130)의 공간 지정부(131)가 수행한다. 상기 공간 지정부(131)에 의한 관심 공간 지정은 'near', 'far', 'left', 'right', 'top', 'bottom'의 6개의 변수가 이용된다. 'near'는 카메라(120)에 의해 인식 가능한 영역 내에서 직선 상에서의 최단 거리를 지정하고, 'far'는 최장거리를 지정하는 변수이다. 즉 공간 좌표상에서 'z' 값으로 표시된다. 그리고 'left' 및 'right'는 공간 좌표에서의 x축의 최소값 및 최대값을 지정하고, 'top' 및 'bottom'은 공간 좌표에서의 y축의 최소값 및 최대값을 지정하는 변수이다. 이와 같이 상기의 6개의 변수에 의해 특정 공간을 지정하는 예가 도 3 및 도 4에 도시하고 있다. 도 3은 'near' 및 'far'의 2가지 변수를 사용하여 전체 영역 중 z값으로 표시하는 거리 값을 지정하는 예이고, 도 4는 처리할 특정 공간의 좌우상하를 지정하는 예를 나타낸다.
상술한 과정에 따라 미니어처 무대(100)에서 특정 공간이 지정된 전 후의 실제 이미지는 도 5a 및 도 5b에 도시되어 있다. 예컨대, 도 5a는 카메라(120)가 인식하는 미니어처 무대(100)의 전체 공간을 나타내고 있고, 도 5b는 6개의 변수를 이용하여 도 5a의 미니어처 무대(100) 중 객체(110)가 놓여져 있는 특정 공간이 촬영된 상태를 나타내고 있다. 한편, 도 5b와 같이 6개의 변수에 의하여 특정 공간이 지정되면, 지정된 특정 공간 이외의 공간은 카메라(120)로 입력되는 데이터가 존재하지 않은 상태로서 대부분 검은색으로 표시된다. 검은색으로 표시된 공간은 데이터를 처리할 필요가 없음을 의미한다.
다음으로, 상술한 특정 공간에서 배경과 객체를 분리하는 과정이 수행된다(s110). 이때 객체(110)는 임의의 동선에 따라 사용자에 의해 움직임이 발생하는 물체로서 어느 한 곳에 고정된 상태는 아니다. 이에 배경과 객체를 분리하는 것은 미니어처 무대(100)에 객체가 있기 전 후의 이미지를 비교하여 수행할 수 있다. 즉 도 6a는 미니어처 무대(100)에 객체(110)가 있기 전의 이미지 데이터이고 도 6b는 미니어처 무대(100)에 객체(110)가 놓여진 후의 이미지 데이터를 나타낸다. 따라서 배경과 객체의 분리는 처리모듈(130)의 분리부(132)가 상술한 도 6a와 도 6b의 이미지 데이터를 서로 비교하고 서로 차이가 있는 부분을 객체가 있는 영역으로 인식한다. 이렇게 함으로써 일단 특정 공간상에 위치하고 있는 적어도 하나의 객체(110)를 인식할 수 있다.
하지만, 상기 특정 공간에는 다수의 다면체가 있을 수 있으며, 본 실시 예는 육면체에 대해서만 일정한 의미를 부여하고 있기 때문에, 육면체만을 판별해야 한다. 즉 도 6a 및 도 6b에서는 공간의 배경에서 객체를 추출하였을 뿐, 추출된 객체가 육면체인지는 알지 못한 상태이다. 본 실시 예는 육면체를 검출하는 것이 핵심이기 때문에 추출된 객체가 육면체인지를 알기 위한 과정이 후속 과정에서 수행되어야 한다.
상술한 객체가 육면체인지를 판별하기 위해서는 배경에서 분리된 객체의 이미지에 대하여 이진화 과정이 필요하다. 이진화 과정은 객체가 육면체인지를 검출하기 위한 선행과정이다. 따라서, 도 6b로부터 추출된 객체 이미지에 대하여 각각의 이진화 작업을 수행하면(s120), 미니어처 무대(100)에 있는 객체(110)에 대한 이미지는 도 7a와 같이 나타낼 수 있다. 이진화 작업은 영상 정보를 이진화하는 공지된 기술로서, 예컨대 픽셀 단위를 참조하여 서로 이웃한 픽셀이 동일한 값을 가지면 동일한 객체로 인식하는 것이고, 좌우상하 방향으로 다른 값이 나타나기 전의 영역 내에 속하는 부분을 하나의 객체로 인식한다.
계속해서, 도 7a와 같이 객체(110)가 이진화된 상태로 표시되면 각각의 객체들을 구별하기 위하여 객체들에 대한 고유한 값으로 고유번호를 부여한다(s130). 즉, 상기 객체(110)는 미니어처 무대(100)에서 서로 다른 배역이나 소품 등을 나타내고 있기 때문에, 각 객체들을 서로 다른 객체로 인식해줘야 하는 필요성이 있다. 물론 객체(110)가 하나인 경우에는 고유번호를 부여할 필요는 없다. 참고로 상기의 객체들이 자신의 고유번호를 부여받게 되면 이 고유번호에 대응되어 링크된 영상 정보가 미니어처 무대(100)에 위치한 객체에 투영된다. 상기의 고유번호를 부여하는 과정은 추출된 객체에 대하여 서로 중복되지 않은 번호를 순차적으로 부여한다. 즉, 도 7a는 3개의 객체가 추출된 상태를 보이고 있고, 따라서 고유번호 부여부(134)는 추출된 각각의 객체에 대하여 중복되지 않도록 고유번호를 순서대로 부여한다. 부여된 고유번호는 각 객체의 이미지에 표시되고 이는 화면을 통해 확인할 수 있다. 이의 예는 7b에 도시되어 있다.
다음에는 도 7b에 도시된 객체가 실제로 육면체인지를 판별하는 과정이 수행된다(s140). 본 실시 예에서 객체(110)가 육면체인지를 검출하는 방법은 2가지 방법이 제안된다. 즉 카메라(120)의 촬영 시점에서 봤을 때 객체의 3면이 보이는 경우와 객체의 2면만이 보이는 경우에 대해 구분한다. 이하의 육면체 검출 과정은 처리모듈(130)의 객체 판별부(135)가 수행한다.
첫 번째, 객체 이미지의 3면이 보이는 경우의 육면체 검출 과정이다(s150). 즉 도 8a와 같이 육면체의 상면 및 그 상면과 인접한 2개의 측면이 보이는 경우를 말한다.
이 경우 상기 객체가 육면체인지를 판단하기 위해서는 먼저 객체(110)의 꼭지점 4개를 구한다(s151). 꼭지점은 도 8a와 같이 카메라(120)에서 가장 가까운 거리에 위치한 제 1 꼭지점(c)을 구하고, 그 다음 상기 제 1 꼭지점(c)을 기준으로 좌측 및 우측 방향으로 가장 거리가 먼 제 2 꼭지점(a) 및 제 3 꼭지점(b), 그리고 제 1 꼭지점(c)을 기준으로 상단 영역에서 가장 먼 거리에 위치한 제 4 꼭지점(d)을 구한다.
이처럼 4개의 꼭지점(a,b,c,d)이 추출되면, 도 8b에서와 같이 꼭지점 c, a, b로 이루어진 제1삼각형(△abc), 꼭지점 a, c, d로 이루어진 제2삼각형(△acd), 꼭지점 b, c, d로 이루어진 제3삼각형(△bcd)을 유추할 수 있다(s152).
이때, 객체가 육면체인 조건은 3개의 삼각형에서 ∠acb + ∠acd + ∠bcd가 180°가 되면 된다. 따라서 상기의 조건을 만족하는지를 판단하는 것으로 육면체임을 확인할 수 있다(s153). 상기 조건을 판단하기 위해서는 꼭지점 c의 각도(θ)를 구하여 상기 세 개의 삼각형인 ∠acb + ∠acd + ∠bcd가 180°가 되는지를 확인하면 된다. 이때 상기 c의 각도(θ)는 벡터의 내적을 이용하게 되며, 제1삼각형 △abc에서 점 a는 (xa, ya, za), 점 b는 (xb, yb, zb), 점c는 (xc, yc, zc)이라 할 때, 다음의 수학식(1)을 이용한다.
수학식 (1)은 다음과 같다.
Figure 112012034009519-pat00001
상기의 수학식 (1)를 이용하여 ∠acb + ∠acd + ∠bcd가 180°가 되면, 객체 판별부(135)는 상기 객체를 육면체로 판별한다. 즉, 세 삼각형의 c(θ)의 합이 180°라는 것은 △abc, △acd 및 △bcd가 서로 합동임을 말한다.
한편, 세 면을 이용하여 판별된 육면체의 중심점(v)은, 원점에서 점 a,b,c 까지를 벡터
Figure 112012034009519-pat00002
,
Figure 112012034009519-pat00003
,
Figure 112012034009519-pat00004
라고 했을 때,
Figure 112012034009519-pat00005
이 된다.
또한 육면체가 회전된 경우 그 회전각은 점 c에서 중심점(v)까지의 벡터
Figure 112012034009519-pat00006
과
Figure 112012034009519-pat00007
사이의 각을 벡터 내적을 이용하여 구하면 된다. 즉
Figure 112012034009519-pat00008
과
Figure 112012034009519-pat00009
사이의 각을 벡터의 내적을 이용하여 구하게 된다. 여기서 y성분은 불필요하다. 이는 육면체가 지정된 평면 위에서만 움직이기 때문이다.
두 번째, 객체의 2면만이 보이는 경우의 육면체 검출 과정이다(s160). 이러한 예는 도 9a와 같다. 그리고 객체의 2면만이 보이는 경우에 객체가 육면체로 판정받기 위해서는 객체의 3개의 선분이 모두 길이가 동일하고 평행이어야 하는 조건을 만족해야 한다.
이는 도 9a와 같이 점 A, B, C, D, E, F가 부여된 상태에서 선분
Figure 112012034009519-pat00010
상에 카메라(120)가 검출하는 가장 가까운 임의의 점 N이 존재하는지 판단하는 것에 의해 수행된다(s161). 이때, 점 A 및 점 B는 점 N을 기준으로 하여 객체(110)의 상단 영역에서 거리가 가장 먼 지점에 위치하는 점이고, 점 E 및 점 F는 객체의 하단 영역에서 거리가 가장 먼 지점에 위치하는 점이 된다. 이에 점 A는 점 F에서 가장 먼 점이 되고, 점 B는 점 E에서 가장 먼 점이 된다.
그리고 점 N은 객체의 점 C 및 점 D 상에 존재하는지를 알기 위해서는 선분
Figure 112012034009519-pat00011
가 (x1, y1, z1)이고 선분
Figure 112012034009519-pat00012
이 (x2, y2, z2)일 때
Figure 112012034009519-pat00013
를 만족하는지를 확인하면 된다. 그 결과 선분
Figure 112012034009519-pat00014
위에 점 N이 존재하면 선분
Figure 112012034009519-pat00015
와
Figure 112012034009519-pat00016
은 평행하고 육면체의 특정에 따라 선분
Figure 112012034009519-pat00017
, 선분
Figure 112012034009519-pat00018
및 선분
Figure 112012034009519-pat00019
의 길이는 동일하고 서로 평행이기 때문에 육면체로 판단한다.
한편, 육면체의 중심점은 선분
Figure 112012034009519-pat00020
의 중심이 육면체의 중심으로 중심점(v)는
Figure 112012034009519-pat00021
된다.
또한 2면을 이용해 육면체를 인식한 경우 육면체의 회전각은 0°이다. 이는 카메라(120)와 육면체가 정면으로 마주 보고 있는 경우이기 때문에 별도의 연산과정이 수행되지 않는다.
이상에서 설명한 바와 같이 본 발명은 3차원 공간상에 위치하는 객체가 육면체인지를 검출하는 방법을 제공함을 알 수 있다. 육면체 검출 방법은 공간의 배경 이미지에서 추출된 객체 이미지가 카메라의 촬영 시점에서 3면 또는 2면이 보이는 경우로 각각 구분하고, 각각의 경우에 대하여 육면체가 되는 조건을 확인하여 객체가 육면체임을 검출하고 있다.
본 발명의 권리범위는 위에서 설명된 실시 예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 기술분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
100 : 미니어처 무대 110 : 객체
120 : 카메라 130 : 영상정보 처리모듈
131 : 공간 지정부 132 : 분리부
133 : 이진화부 134 : 고유번호 부여부
135 : 객체 판별부

Claims (4)

  1. 촬영 대상 공간을 2차원 이미지와 3차원 거리 값(x, y, z)을 동시에 획득하는 카메라;
    상기 촬영 대상 공간에 위치하고 있는 적어도 하나의 객체가 육면체인지를 판별하는 영상정보 처리모듈을 포함하고,
    상기 영상정보 처리모듈은, 상기 카메라의 촬영 시점에서 상기 객체의 3면이 보이면 상기 카메라에서 가장 가까운 거리에 있는 점(c)을 중심으로 하여 만들어지는 세 개의 삼각형의 ∠acb + ∠acd + ∠bcd 의 합이 180°가 되는 객체를 육면체로 판별하고, 상기 카메라의 촬영 시점에서 상기 객체의 2면이 보이면 전방에서 봤을 때 상기 객체의 3개의 선분이 평행하고 그 길이가 동일할 때 육면체로 판별하는 객체 판별부를 포함하여 구성하는 육면체 검출 장치.
  2. 제 1항에 있어서, 상기 영상정보 처리모듈은,
    상기 촬영 대상 공간 중에서 객체가 포함된 일부 공간을, x,y,z축에 대한 각각의 최대값 및 최소값을 포함하는 6개의 변수를 이용하여 지정하는 공간 지정부;
    상기 공간 지정부에 의해 지정된 공간에서 상기 6개의 변수 중 깊이 값의 차이 정보를 이용하여 객체 이미지를 분리하는 분리부;
    상기 분리된 객체에 대한 이진화를 수행하는 이진화부; 그리고
    상기 이진화된 상기 객체가 다수 개인 경우 객체를 구별하도록 객체마다 고유번호를 부여하는 고유번호 부여부를 더 포함하여 구성됨을 특징으로 하는 육면체 검출장치.
  3. 카메라의 촬영 가능한 공간 중에서, x,y,z축에 대한 각각의 최대값 및 최소값을 포함하는 6개의 변수를 이용하여 적어도 하나의 객체가 위치하는 공간을 포함한 특정 공간을 지정하는 단계;
    상기 카메라가 촬영한 특정 공간에서 특정 공간의 배경을 이루는 배경 이미지에서 적어도 하나의 상기 객체의 이미지를 분리하는 단계;
    분리된 상기 객체의 이미지가 둘 이상인 경우 픽셀 값을 이용하여 객체를 구별하는 단계; 그리고
    상기 객체의 이미지를 구별하는 단계에서 구별된 적어도 하나 이상의 객체의 이미지가 육면체인지를 검출하는 단계를 포함하고,
    상기 육면체인지를 검출하는 단계는, 상기 카메라의 촬영 시점에서 상기 객체의 3면이 보이는 경우, 상기 카메라에서 가장 가까운 거리에 있는 점(c)을 중심으로 하여 만들어지는 세 개의 삼각형의 ∠acb + ∠acd + ∠bcd 의 합이 180°임을 상기 객체의 이미지를 육면체로 판별하는 것을 특징으로 하는 육면체 검출 방법.
  4. 제 3항에 있어서, 상기 카메라의 촬영 시점에서 상기 객체의 이미지가 2면만이 보이는 경우, 상기 객체의 이미지의 전면에 보이는 3개의 선분 중 상기 카메라가 검출하는 가장 가까운 점이 상기 3개의 선분 중 어느 하나의 선분에 존재하면서, 상기 3개의 선분이 평행하고 그 길이가 동일할 경우에 육면체로 판별하는 것을 특징으로 하는 육면체 검출 방법.
KR1020120044741A 2012-04-27 2012-04-27 육면체 검출 장치 및 방법 KR101244822B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120044741A KR101244822B1 (ko) 2012-04-27 2012-04-27 육면체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120044741A KR101244822B1 (ko) 2012-04-27 2012-04-27 육면체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101244822B1 true KR101244822B1 (ko) 2013-03-18

Family

ID=48182094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044741A KR101244822B1 (ko) 2012-04-27 2012-04-27 육면체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101244822B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160886A (ja) * 1993-12-10 1995-06-23 Ricoh Co Ltd 対象物抽出方法およびカラー画像認識方法
KR20100020117A (ko) * 2008-08-12 2010-02-22 성균관대학교산학협력단 실시간 피사체형태비교를 위한 영상처리장치 및 방법
JP4645433B2 (ja) 2005-12-14 2011-03-09 株式会社デンソー 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2012084056A (ja) 2010-10-14 2012-04-26 Foundation For The Promotion Of Industrial Science 物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160886A (ja) * 1993-12-10 1995-06-23 Ricoh Co Ltd 対象物抽出方法およびカラー画像認識方法
JP4645433B2 (ja) 2005-12-14 2011-03-09 株式会社デンソー 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
KR20100020117A (ko) * 2008-08-12 2010-02-22 성균관대학교산학협력단 실시간 피사체형태비교를 위한 영상처리장치 및 방법
JP2012084056A (ja) 2010-10-14 2012-04-26 Foundation For The Promotion Of Industrial Science 物体検出装置

Similar Documents

Publication Publication Date Title
CN108475433B (zh) 用于大规模确定rgbd相机姿势的方法和系统
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
US10824895B2 (en) Image processing apparatus, image processing method, and storage medium
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
WO2018232518A1 (en) DETERMINING POSITIONS AND OBJECT ORIENTATIONS
US9613425B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
JP2012118698A (ja) 画像処理装置
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
US20220375170A1 (en) System for generation of floor plans and three-dimensional models
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN115533902A (zh) 一种基于视觉引导的拆垛方法、装置、电子设备及系统
JPH09251544A (ja) ワークエッジ検出画像処理装置
EP3035234A1 (en) Method and electronic device for object tracking in a light-field capture
CN111354038A (zh) 锚定物检测方法及装置、电子设备及存储介质
US20200250845A1 (en) Evaluation method and information processing apparatus
KR20180025135A (ko) 단일 이미지를 사용한 내벽 구조 검출 장치 및 방법
US9948926B2 (en) Method and apparatus for calibrating multiple cameras using mirrors
JP2015045919A (ja) 画像認識方法及びロボット
KR101244822B1 (ko) 육면체 검출 장치 및 방법
JP2012234432A (ja) 消失点算出装置、消失点算出方法、及びプログラム
JP4550768B2 (ja) 画像検出方法および画像検出装置
CN115019069A (zh) 模板匹配方法、模板匹配装置以及存储介质
JP2013114381A (ja) 対象物識別装置および対象物識別方法
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190318

Year of fee payment: 7