KR102056728B1 - 평면 물체의 자세 인식 방법 및 이를 위한 장치 - Google Patents

평면 물체의 자세 인식 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102056728B1
KR102056728B1 KR1020170169512A KR20170169512A KR102056728B1 KR 102056728 B1 KR102056728 B1 KR 102056728B1 KR 1020170169512 A KR1020170169512 A KR 1020170169512A KR 20170169512 A KR20170169512 A KR 20170169512A KR 102056728 B1 KR102056728 B1 KR 102056728B1
Authority
KR
South Korea
Prior art keywords
measurement
posture
vertices
rotation angle
figures
Prior art date
Application number
KR1020170169512A
Other languages
English (en)
Other versions
KR20190069111A (ko
Inventor
이주행
김재홍
윤우한
이재연
장진혁
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170169512A priority Critical patent/KR102056728B1/ko
Priority to JP2018231071A priority patent/JP7097285B2/ja
Publication of KR20190069111A publication Critical patent/KR20190069111A/ko
Application granted granted Critical
Publication of KR102056728B1 publication Critical patent/KR102056728B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

평면 물체의 자세 인식 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 자세 인식 방법은 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출하고, 평행이동 값을 기반으로 두 도형들이 겹쳐지게 하고, 측정 도형의 회전 각도 별로 산출되는 두 도형들의 꼭지점들 간의 거리를 기반으로 측정 도형의 회전 각도를 검출하고, 두 도형들의 꼭지점들 간의 거리와 임계값을 비교하여 측정 도형의 뒤집힘 여부를 판단하고, 평행이동 값, 회전 각도 및 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 참조 도형을 비교한 결과를 고려하여 측정 도형의 자세를 인식하는 단계를 포함한다.

Description

평면 물체의 자세 인식 방법 및 이를 위한 장치 {METHOD FOR ESTIMATING POSE OF PLANAR OBJECT AND APPARATUS USING THE SAME}
본 발명은 평면 물체의 자세를 인식하는 기술에 관한 것으로, 특히 빠른 시간에 물체의 회전을 정확히 계산할 수 있으며, 그 결과를 증강현실 및 인간과 로봇의 상호작용에 활용할 수 있는 평면 물체의 자세 인식 방법 및 이를 위한 장치에 관한 것이다.
최근 실세계와 가상세계를 연결하는 기술의 발전으로 물체 인식에 대한 기술 수요가 매우 높다. 특히, 증강현실과 로봇 분야에서는 물체의 인식, 구별, 자세 인식이 매우 중요한 요소 기술 중 하나이다. 다양한 물체 중에서도 학습 교구 등에 큰 수요가 있는 평면 물체의 자세를 정확하게 계산하는 것은 매우 기본적인 요소 기술이지만 의외로 정확하면서도 효율적인 계산이 가능한 방법이 알려져 있지 않다. 또한, 자세 계산 결과를 증강현실과 로봇 응용에서 적당히 활용할 수 있는 장치도 필요하다. 알려져 있는 기존의 방법을 활용하게 되면 계산이 매우 느리고, 또한 단순한 평면 도형에서 발생하는 대칭성을 해결하기 어렵다.
한국 공개 특허 제10-2011-0050759호, 2011년 5월 17일 공개(명칭: 폴리곤 모델에 대한 하우스도르프 거리 산출 방법)
본 발명의 목적은 평면 도형에 대한 입력 영상에서 그 도형의 정확한 자세를 계산하여 기준에 대한 위치와 회전을 알아내는 것이다.
또한, 본 발명의 목적은 대칭성과 뒤집힘이 존재하는 환경에서도 효과적으로 평면 도형의 자세를 추정하는 것이다.
또한, 본 발명의 목적은 검출된 평면 도형의 자세를 증강현실 및 인간과 로봇간의 상호작용 응용에 활용하는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 실세계의 평면 도형에 가상세계의 정보 및 콘텐츠를 증강함으로써 물체 자체의 사용성을 높이는 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 평면 물체의 자세 인식 방법은 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출하는 단계; 상기 평행이동 값을 기반으로 상기 두 도형들이 겹쳐지게 하고, 상기 측정 도형의 회전 각도 별로 산출되는 상기 두 도형들의 꼭지점들 간의 거리를 기반으로 상기 측정 도형의 회전 각도를 검출하는 단계; 상기 두 도형들의 꼭지점들 간의 거리와 상기 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 상기 측정 도형의 뒤집힘 여부를 판단하는 단계; 및 상기 평행이동 값, 상기 회전 각도 및 상기 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 상기 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 단계를 포함한다.
이 때, 회전 각도를 검출하는 단계는 상기 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출하는 단계; 및 상기 거리들 중 최소 거리를 상기 회전 각도 별로 산출하고, 상기 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산한 결과값들 중 최소값에 대응하는 각도를 상기 회전 각도로 결정하는 단계를 포함할 수 있다.
이 때, 뒤집힘 여부를 판단하는 단계는 상기 최소값이 상기 임계값을 초과하는 경우 상기 측정 도형이 뒤집힌 것으로 판단할 수 있다.
이 때, 자세를 인식하는 단계는 상기 측정 도형이 뒤집힌 것으로 판단되는 경우, 상기 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식할 수 있다.
이 때, 평행이동 값을 산출하는 단계는 측정 대상이 포함된 입력 영상을 이진화하여 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하는 단계; 상기 복수개의 제2 꼭지점들에 대응하는 상기 참조 도형을 추출하는 단계; 및 상기 복수개의 제2 꼭지점들을 기반으로 상기 측정 도형의 무게 중심을 계산하고, 상기 복수개의 제1 꼭지점들을 기반으로 상기 참조 도형의 무게 중심을 계산하는 단계를 포함할 수 있다.
이 때, 자세 인식 방법은 상기 측정 도형의 자세를 평가하여 사용자에게 제공하기 위한 가이드 정보를 생성하는 단계; 및 디스플레이를 통해 상기 가이드 정보를 상기 사용자에게 출력하는 단계를 더 포함할 수 있다.
이 때, 측정 도형의 자세는 실세계에서 상기 사용자에 의해 제어되는 측정 대상의 자세일 수 있다.
또한, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 장치는, 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출하고, 상기 평행이동 값을 기반으로 상기 두 도형들이 겹쳐지게 하고, 상기 측정 도형의 회전 각도 별로 산출되는 상기 두 도형들의 꼭지점들 간의 거리를 기반으로 상기 측정 도형의 회전 각도를 검출하고, 상기 두 도형들의 꼭지점들 간의 거리와 상기 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 상기 측정 도형의 뒤집힘 여부를 판단하고, 상기 평행이동 값, 상기 회전 각도 및 상기 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 상기 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 프로세서; 및 상기 참조 도형에 대한 정보 및 상기 임계값 중 적어도 하나를 저장하는 메모리를 포함한다.
이 때, 프로세서는 상기 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출하고, 상기 거리들 중 최소 거리를 상기 회전 각도 별로 산출하고, 상기 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산한 결과값들 중 최소값에 대응하는 각도를 상기 회전 각도로 결정할 수 있다.
이 때, 프로세서는 상기 최소값이 상기 임계값을 초과하는 경우 상기 측정 도형이 뒤집힌 것으로 판단할 수 있다.
이 때, 프로세서는 상기 측정 도형이 뒤집힌 것으로 판단되는 경우, 상기 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식할 수 있다.
이 때, 프로세서는 측정 대상이 포함된 입력 영상을 이진화하여 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하고, 상기 복수개의 제2 꼭지점들에 대응하는 상기 참조 도형을 추출하고, 상기 복수개의 제2 꼭지점들을 기반으로 상기 측정 도형의 무게 중심을 계산하고, 상기 복수개의 제1 꼭지점들을 기반으로 상기 참조 도형의 무게 중심을 계산할 수 있다.
이 때, 프로세서는 상기 측정 도형의 자세를 평가하여 사용자에게 제공하기 위한 가이드 정보를 생성하고, 디스플레이를 통해 상기 가이드 정보를 상기 사용자에게 출력할 수 있다.
이 때, 측정 도형의 자세는 실세계에서 상기 사용자에 의해 제어되는 측정 대상의 자세일 수 있다.
본 발명에 따르면, 평면 도형에 대한 입력 영상에서 그 도형의 정확한 자세를 계산하여 기준에 대한 위치와 회전을 알아낼 수 있다.
또한, 본 발명은 대칭성과 뒤집힘이 존재하는 환경에서도 효과적으로 평면 도형의 자세를 추정할 수 있다.
또한, 본 발명은 검출된 평면 도형의 자세를 증강현실 및 인간과 로봇간의 상호작용 응용에 활용하는 방법을 제공할 수 있다.
또한, 본 발명은 실세계의 평면 도형에 가상세계의 정보 및 콘텐츠를 증강함으로써 물체 자체의 사용성을 높이는 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법을 나타낸 동작 흐름도이다.
도 2 내지 도 6은 물체의 이동이나 회전에 따른 하우스도르프 거리의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 참조 도형의 한 꼭지점과 측정 도형의 각 꼭지점들 사이의 거리를 측정 도형의 회전 각도 별로 표시한 그래프의 일 예를 나타낸 도면이다.
도 8은 도 7에 도시된 그래프의 거리들 중 최소 거리들을 표시한 그래프의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 참조 도형의 꼭지점들에 대해 도 7에 도시된 것과 같은 최소 거리들을 표시한 그래프의 일 예를 나타낸 도면이다.
도 10은 도 9에 도시된 최소 거리들을 본 발명에 따른 MMM 연산 및 MSM 연산으로 연산한 값을 표시한 그래프의 일 예를 나타낸 도면이다.
도 11 내지 도 18은 본 발명에 따른 측정 도형의 회전을 측정한 결과와 과정의 일 예를 나타낸 도면이다.
도 19 내지 도 24는 본 발명에 따른 자세 인식 방법을 통해 local minimum의 오류를 해결하는 과정의 일 예를 나타낸 도면이다.
도 25 내지 도 31은 본 발명에 따른 실사물 교구재를 이용한 자세 인식 과정의 일 예를 나타낸 도면이다.
도 32 내지 도 37은 본 발명에 따른 측정 도형의 뒤집힘을 판단하는 과정의 일 예를 나타낸 도면이다.
도 38은 본 발명에 따라 측정 도형의 뒤집힘을 고려한 경우와 그렇지 않은 경우의 정합 오차에 대한 MMM 연산 결과의 일 예를 나타낸 도면이다.
도 39는 본 발명에 따른 자세 인식 방법과 이를 사용자 상호작용 시나리오 및 증강현실 장치와 결합하는 구조의 일 예를 나타낸 도면이다.
도 40은 본 발명의 일실시예에 따른 자세 인식 방법을 상세하게 나타낸 도면이다.
도 41은 본 발명의 일실시예에 따른 자세 인식 장치를 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법을 나타낸 동작 흐름도이다.
실세계 사물을 촬영한 영상으로부터 어떤 평면 도형의 자세를 인식함에 있어서, 평면 도형이 기준으로부터 얼마나 위치 이동을 하였는지 또는 얼마나 회전을 해 있는지를 검출하는 것은 매우 중요하다. 예를 들어, 칠교놀이와 같은 평면 교구를 가상 컨텐츠와 결합하는 경우, 사용자의 현재 해를 기하학적으로 정확하게 측정하는 것은 응용에서 결정적인 정보가 될 수 있다. 또한, 이에 기반하여 증강현실이나 인간과 로봇간의 상호작용 응용에서 적당한 출력을 준다면 인터랙티브한 시나리오를 작성하는 것이 가능해질 수도 있다.
평면도형의 자세를 계산하는 것은 기하학적으로 단순해 보임에도 불구하고 일반적으로 최적화 계산으로 해를 구할 수 있다. 그러나, 이러한 방법은 계산시간을 많이 요구하므로 인터랙티브한 응용에 적용하기에는 적합하지 않다. 따라서, 본 발명에서는 평면도형의 자세를 효과적으로 계산하는 방법을 제공하고자 한다.
먼저, 기존의 최적화 방법으로 평면도형의 자세 인식을 구현하는 방식은 영상에서 도형을 추출하고, 기준 도형과 추출된 도형의 자세를 비교하여 위치와 회전을 계산한 뒤 응용에서 활용하는 것일 수 있다. 즉, 영상 장치로부터 평면도형의 기하학적 표현을 먼저 취득할 수 있다. 이 때, 평면도형의 기하학적 표현이란 평면도형의 윤곽선 다각형(boundary polygon)에 대한 꼭지점으로 표현되는 것을 의미할 수 있다.
이와 같이 취득된 기하학적 정보를 자세 계산에 있어서 기준이 되는 참조 도형의 꼭지점과 비교하여 평면도형의 자세를 계산하게 되는데, 문제는 이 과정에서 취득된 평면도형의 꼭지점과 참조 도형의 꼭지점의 대응관계가 주어지지 않았다는 점이다. 예를 들어, 참조 도형 P의 각 꼭지점 Pi가 평면 도형 Q의 어느 꼭지점에 대응되는지 모르기 때문에 평면 도형에 대한 회전 계산이 어려워질 수 있다. 이를 해결하기 위한 간단한 방법은 모든 점과의 대응을 고려하는 것이지만, 이는 계산이 매우 비효율적이므로 인터랙티브한 시나리오를 작성하는데 적합하지 않다.
일반적으로 대응관계가 주어지지 않았을 때 두 도형의 기하학적 관계를 표현하기 위해 하우스도르프 거리(Hausdorff Distance, HD)를 이용할 수 있다. 예를 들어, 두 개의 도형 P와 Q의 하우스도르프 거리 HD(P, Q)는 MAX(hd(P, Q), hd(Q, P))로 정의된다, 즉, 두 hd값의 최대값으로 HD가 결정되는데, hd는 방향성이 존재하는 하우스도르프 거리에 해당한다. 다시 말해서, hd(P, Q)는 도형 P의 각 점에서 도형 Q까지의 최소거리를 구할 때, 그 최소거리들의 최대값에 해당할 수 있다. 또한, hd(Q, P)는 반대로, 도형 Q의 각 점에서 도형 P까지의 최소거리를 구할 때, 그 최소거리들의 최대값에 해당할 수 있다. 따라서, 도형 P와 도형 Q의 자세가 완전히 일치하는 경우, 두 도형간의 하우스도르프 거리는 0이 될 수 있다.
도 2는 하우스도르프 거리의 일 예를 나타낸 것으로, 도 2에 도시된 실선(210, 220)과 같이 각각의 방향에 따른 hd가 계산될 수 있으며, 이 중 최대값이 HD가 될 수 있다.
또한, 도 3 내지 도 4와 같이 참조 도형(301)과 측정 도형(302)의 중심이 일치한 상황이라면, 회전에 의해서 하우스도르프 거리가 바뀔 수 있다. 예를 들어, 도 3에 도시된 경우의 하우스도르프 거리(310)보다 도 4에 도시된 것과 같이 회전이 많이 된 경우의 하우스도르프 거리(410)가 더 크게 산출될 수 있다.
따라서, 하우스도르프 거리가 최소가 되는 회전 각도를 찾을 수 있다면, 참조 도형(301)을 기준으로 한 측정 도형(302)의 상대적 회전 각도를 획득할 수 있다.
또한, 상기에서 설명한 것과 같이 하우스도르프 거리는 두 도형의 각 점들간 최소거리의 최대값으로 결정되지만, 도 5에 도시된 것과 같이 참조 도형(510)과 측정 도형(502)이 대칭적인 형태로 평행이동만 있는 경우에는 대칭에 의해 대응되는 꼭지점들 간의 거리 중 어느 하나만 계산하여 하우스도르프 거리(510, 520)를 획득할 수도 있다.
그러나, 도 6에 도시된 것과 같이 측정 도형(502)이 평행이동과 회전을 동시에 한 경우에는 도 3 내지 도 4에 도시된 것과 같은 방식으로 측정 도형(502)의 회전 각도를 계산하는 과정을 수행할 필요가 있다.
이와 같은 하우스도르프 거리의 계산은 보로노이 다이어그램을 이용하여 비교적 효율적으로 계산할 수 있지만, 이를 최적화 과정에 적용하여 회전 각도를 찾아내기에는 효율적이지 않다. 우선, 하우스도르프 거리는 유클리드 거리를 계산하는 과정 외에는 최대값과 최소값의 비교로 구성되어 있으므로 계산 방식이 절차적이라 할 수 있다. 이 때, 최적화 계산에는 미분이 가능한 연속적인 수식이 도움이 되는 반면에, 평면도형의 자세에 상응하는 회전 각도를 계산하기 위해서는 회전 각도를 계속 변경해가면서 하우스도르프 거리를 구하는 중간 과정이 필요하므로 계산 과정이 부담이 될 수 있다. 예를 들어, Mathematica 11.1에서 이를 테스트하면, 두 삼각형 간의 하우스도르프 거리를 계산하는 것은 0.00013초 정도가 걸리지만, 이를 회전하면서 최적화 계산을 수행하는 경우에는 1.36초 정도가 걸린다. 즉, 인터랙티브 응용에 적용하기에 어렵다는 것을 알 수 있다.
본 발명에서는 다음과 같은 과정을 통해 상기한 문제를 해결하기 위한 방법을 제시하고자 한다.
먼저, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출한다(S110).
예를 들어, 기준이 되는 참조 도형의 무게 중심으로부터 측정 도형의 무게중심이 이동한 값을 두 도형들 사이의 평행이동 값으로 산출할 수 있다.
이 때, 측정 도형과 참조 도형은 동일한 형태의 평면 도형일 수 있다. 즉, 참조 도형은 측정 도형의 자세를 인식하기 위해 기준으로 사용될 도형에 해당할 수 있다.
이 때, 측정 대상이 포함된 입력 영상을 이진화하여 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하고, 복수개의 제2 꼭지점들에 대응하는 참조 도형을 추출할 수 있다.
예를 들어, 측정 대상이 입력된 영상을 이진화하여 측정 도형에 상응하는 윤곽선 다각형(boundary polygon)을 검출하고 이를 통해 복수개의 제2 꼭지점들을 검출할 수 있다. 이후, 복수개의 제2 꼭지점들의 위치를 고려하여 이에 상응하는 복수개의 제1 꼭지점들을 갖는 참조 도형을 추출할 수 있다.
이 때, 복수개의 제1 꼭지점들이나 복수개의 제2 꼭지점들은 단순히 측정 도형과 참조 도형을 구분하기 위해 사용된 것으로 그 의미가 한정되게 적용되지 않는다.
이 때, 복수개의 제2 꼭지점들을 기반으로 측정 도형의 무게 중심을 계산하고, 참조 도형에 상응하는 복수개의 제1 꼭지점들을 기반으로 참조 도형의 무게 중심을 계산할 수 있다.
또한, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 평행이동 값을 기반으로 두 도형들이 겹쳐지게 하고, 측정 도형의 회전 각도 별로 산출되는 두 도형들의 꼭지점들 간의 거리를 기반으로 측정 도형의 회전 각도를 검출한다(S120).
이 때, 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출할 수 있다.
먼저, 참조 도형의 자세를 기준으로 측정 도형을 θ만큼 회전하는 연산을 수행할 수 있다. 예를 들어, 측정 도형에 상응하는 하나의 제2 꼭지점의 좌표가 (tx, ty)라고 가정할 경우에 이를 θ만큼 회전하면 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
{tx cos(θ) - ty sin(θ), tx sin(θ) + ty cos(θ)}
이 후, 참조 도형에 상응하는 하나의 제1 꼭지점인 (rx, ry)로부터 (tx, ty)까지의 거리 제곱인 d(r, t, θ)를 계산하면 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
d(r, t, θ) = d((rx, ry), (tx, ty), θ) =
rx2 + ry2 + tx2 + ty2 + 2sin(θ)(rx ty - ry tx) - 2cos(θ)(rx tx + ry ty)
이와 같은 근사된 거리 계산 방법은 최적화 과정에서 큰 계산 효율을 가질 수 있다.
이러한 방식으로 참조 도형에 상응하는 복수개의 제1 꼭지점인 ri = (rxi, ryi)에 대해서 측정 도형에 상응하는 복수개의 제2 꼭지점인 ti = (txi, tyi)와의 거리를 계산하여 [수학식 3]과 같이 이들의 최소값을 나타낼 수 있다.
[수학식 3]
Figure 112017123205926-pat00001
이 때, min은 함수 d()의 최소값을 j를 변경시키면 찾는 것을 의미할 수 있다.
이 때, 거리들 중 최소 거리를 회전 각도 별로 산출하고, 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산할 결과값들 중 최소값에 대응하는 각도를 회전 각도로 결정할 수 있다.
만약, 하우스도르프 거리와 유사한 접근을 하게 된다면, 참조 도형의 관점에서 [수학식 3]의 값을 최대로 하는 어느 하나의 제1 꼭지점을 찾아서 그 거리를 측정하게 된다. 예를 들어, 아래의 [수학식 4]에서와 같이 i를 변경시키며 함수의 최대값을 추출할 수 있다.
[수학식 4]
Figure 112017123205926-pat00002
그러나, 본 발명에서는 이러한 과정에서 max 연산을 수행하는 대신 sum 연산을 쓰는 [수학식 5]의 방식을 이용할 수 있다. 즉, 회전각도 별로 산출된 최소 거리들을 모두 더할 수 있다.
[수학식 5]
Figure 112017123205926-pat00003
따라서, 최종적으로 본 발명에 따른 자세 인식 방법을 이용한 최적화 과정은 [수학식 6]과 같이 나타낼 수 있다. 즉, [수학식 6]에 따르면 ()를 최소화하는 θ를 측정 도형의 회전 각도로 검출할 수 있다.
[수학식 6]
Figure 112017123205926-pat00004
이 때, [수학식 6]에서의 거리 측정은 Min-Sum-Min의 과정을 거치게 되므로, 이러한 측정 방식을 MSM 거리라고 할 수 있다.
또한, [수학식 7]과 같이 [수학식 4]의 방법에 근거하여 계산하는 경우에는 Min-Max-Min의 과정을 거치게 되므로, 이러한 측정 방식을 MMM 거리라고 할 수 있다.
[수학식 7]
Figure 112017123205926-pat00005
이 때, MSM 거리와 MMM 거리의 계산 시간은 유사한 편이지만, MMM 거리는 max에 의존하기 때문에 MSM 거리에 비해서 노이즈에 강건하지 않을 수 있다. 반면에, MSM 거리는 최소 거리들을 모두 더한 결과를 제공하기 때문에 MMM 거리에 비해 값이 크지만 전체적인 경향성 파악에 유리할 수 있다. 만약, 특이한 특징 하나가 회전 각도를 결정하는 경우라면 MMM 거리를 이용하는 것이 더 유리할 수도 있다.
예를 들어, [수학식 1] 내지 [수학식 7]을 그래프로 나타내면 도 7 내지 도 10과 같이 나타낼 수 있다. 이 때, 도 7 내지 도 10은 측정 도형이 직각이등변 삼각형인 경우의 값을 나타낸 것일 수 있다.
먼저, 도 7은 [수학식 1] 내지 [수학식 2]를 기반으로 측정 도형을 θ만큼 회전시키고 참조 도형의 어느 하나의 꼭지점인 r1에서 측정 도형의 각 꼭지점들인 tj까지의 거리 d(r1, tj, θ)를 나타낸 그래프일 수 있다. 즉, 측정 도형이 직각이등변 삼각형이므로 3개의 꼭지점들에 대해서 회전 각도 별 거리를 측정하여 그래프로 나타낼 수 있다.
또한, 도 8은 θ를 변화시킬 때, [수학식 3]을 기반으로 r1에서 tj까지의 거리들 중 최소거리들만 나타낸 그래프에 상응할 수 있다. 즉, 도 7에 도시된 그래프의 값들 중에서 회전 각도 별로 최소값만을 나타낸 것일 수 있다.
이러한 최소값을 참조 도형의 모든 꼭지점들마다 검출하여 나타낸 그래프가 도 9에 상응할 수 있다. 즉, 참조 도형도 측정 도형과 마찬가지로 직각이등변 삼각형이므로 3개의 그래프 값으로 표현될 수 있다.
또한, 도 9에 도시된 MSM 연산 결과(1010)는 도 8에 도시된 그래프 값을 [수학식 5]를 기반으로 연산한 결과를 나타낸 것이고, 도 9에 도시된 MMM 연산 결과(1020)는 도 8에 도시된 그래프 값을 [수학식 4]를 기반으로 연산한 결과를 나타낸 것에 해당할 수 있다.
이 때, MSM 연산 결과(1010)나 MMM 연산 결과(1020)에 의한 최소값(1030)에 상응하는 회전 각도가 약 1.6 라디안(radian)이므로, 측정 도형의 회전 각도가 1.6 라디안임을 알 수 있다.
이 때, 검출된 측정 도형의 회전 각도는 측정 도형을 검출된 회전 각도만큼 역으로 회전해서 참조 도형과 정합했을 경우에 그 유효성을 확인할 수 있다.
또한, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 두 도형들의 꼭지점들 간의 거리와 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 측정 도형의 뒤집힘 여부를 판단한다(S130).
이 때, 도형의 뒤집힘(flip)은 측정 도형에 대한 정확한 회전 각도를 계산하기 위해 고려될 수 있다. 예를 들어, 평행사변형의 경우에는 도형이 뒤집어져 있는 경우의 MSM 연산 결과와 도형이 뒤집어져 있지 않은 경우의 MSM 연산 결과가 상이할 수 있다. 따라서, 이와 같이 도형의 뒤집힘을 고려해야 하는 도형에 대해서는 이를 판단하기 위한 임계값을 사전에 설정해두고, MSM 연산 결과와 임계값을 비교하여 뒤집힘 여부를 판단할 수 있다.
이 때, 최소값이 임계값을 초과하는 경우에 측정 도형이 뒤집힌 것으로 판단할 수 있다.
이 때, 측정 도형의 뒤집힘을 판단하는 과정은 도 32 내지 도 37을 통해서 상세하게 설명하도록 한다.
또한, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 평행이동 값, 회전 각도 및 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 참조 도형을 비교한 결과를 고려하여 측정 도형의 자세를 인식한다(S140).
이 때, 자세를 보정한 측정 도형과 참조 도형을 비교한 결과가 일치하는 경우, 검출된 평행이동 값, 회전 각도 및 뒤집힘 여부에 상응하게 측정 도형의 자세를 인식할 수 있다.
이 때, 측정 도형이 뒤집힌 것으로 판단되는 경우, 자세를 뒤집은 참조 도형을 기준으로 측정 도형의 최소값을 다시 측정하여 회전 각도를 산출할 수 있다.
또한, 측정 도형이 뒤집힌 것으로 판단되는 경우, 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 측정 도형의 자세를 인식할 수 있다.
이와 같이 본 발명에 따른 단순한 계산과정을 통해 효율적으로 평면도형의 자세를 계산하면서 대칭성과 뒤집힘 까지 고려하는 기법은 전무하다고 할 수 있다. 본 발명에 따른 자세 인식 방법의 유효성은 기하학적 또는 해석학적 증명을 통해 입증될 수 있다.
또한, 본 발명에 따른 자세 인식 방법은 매우 실용적이다, 예를 들면, 우리의 일상 환경에는 교구, 작업 물체, 인테리어, 문서 등과 같이 매우 많은 평면 도형들이 존재하는데, 이러한 실세계의 평면 도형에 가상세계의 정보나 콘텐츠를 증강함으로써 물체 자체의 사용성을 높일 수 있다. 즉, 증강현실이나 인간과 로봇간의 상호작용을 위한 응용 장치에 활용할 수도 있다.
또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 측정 도형의 자세를 평가하여 사용자에게 제공하기 위한 가이드 정보를 생성하고, 디스플레이를 통해 가이드 정보를 사용자에게 출력할 수 있다.
예를 들어, 칠교놀이와 같은 평면 교구를 이용한 가상 컨텐츠의 경우, 교구재들을 이용하여 만들 수 있는 다양한 모양에 대한 가이드 정보를 제공할 수 있다.
이 때, 측정 도형의 자세는 실세계에서 사용자에 의해 제어되는 측정 대상의 자세일 수 있다. 즉, 사용자가 실세계에서 측정 대상을 움직였을 때의 해당하는 자세를 그대로 측정 도형의 자세로 인식할 수 있다.
또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 평면 물체의 자세 인식 방법은 상술한 바와 같이 평면 물체의 자세 인식 과정에서 발생하는 다양한 정보를 저장한다.
이와 같은 평면 물체의 자세 인식 방법을 통해, 평면 도형에 대한 입력 영상에서 그 도형의 정확한 자세를 계산하여 기준에 대한 위치와 회전을 알아낼 수 있다.
또한, 대칭성과 뒤집힘이 존재하는 환경에서도 효과적으로 평면 도형의 자세를 추정할 수 있으며, 검출된 평면 도형의 자세를 증강현실 및 인간과 로봇간의 상호작용 응용에 활용할 수 있다.
도 11 내지 도 18은 본 발명에 따른 측정 도형의 회전을 측정한 결과와 과정의 일 예를 나타낸 도면이다.
먼저 도 11 내지 도 12는 별 모양의 참조 도형(1101)과 실세계에서 측정된 측정 도형(1102)간의 회전을 측정한 결과와 과정을 보여준다.
이 때, 도 11에 도시된 것과 같이 회전되어 있는 측정 도형(1102)의 회전을 본 발명의 일실시예에 따른 MSM 연산 또는 MMM 연산으로 계산하여 회전 각도를 산출하고, 산출한 회전 각도를 측정 도형(1102)에 역으로 적용하면 도 12에 도시된 것과 같이 정합된 영상을 획득할 수 있고, 이 결과를 응용에서 활용할 수 있다.
이 때, 도 13은 도 11에 도시된 참조 도형(1101)을 기준으로 측정 도형(1102)의 회전을 계산할 경우의 MSM 연산 결과와 MMM 연산 결과를 나타낸다.
이 때, 별 모양은 5개의 대칭적인 형상이 반복되기 때문에, 도 13에 도시된 것과 같이 MSM 연산 또는 MMM 연산에서의 최소값 영역이 주기적으로 반복됨을 알 수 있다. 이와 같이 반복되는 조건을 알고 있는 상황에서는 최적화 구간을 1/5로 축소하여 계산을 가속할 수도 있다.
또한, 본 발명에 따른 자세 인식 방법은 도 12에 도시된 것처럼 참조 도형(1101)과 측정 도형(1102)의 크기가 정확히 일치하지 않아도 오류 없이 계산할 수 있다.
예를 들어, 도 14 내지 도 15에 도시된 것과 같이 참조 도형(1401)과 측정 도형(1402)의 크기뿐만 아니라 형상에 차이가 있다고 하여도 도 16에 도시된 것과 같이 측정 도형의 회전 각도를 찾아내는 데에는 문제가 없을 수 있다.
다른 예를 들어, 도 17과 같이 대칭적인 형상이 반복되는 도형이 아니면서, 참조 도형과 측정 도형의 크기가 차이 나는 경우에도 본 발명에 따른 자세 인식 방법을 통해 측정 도형의 회전 각도를 검출할 수 있다.
또 다른 예를 들어, 도 18과 같이 대칭적인 형상이 반복되는 도형이 아니면서, 참조 도형과 측정 도형의 형상이 유사한 경우에도 본 발명에 따른 자세 인식 방법을 통해 측정 도형의 회전 각도를 검출할 수 있다.
즉, 본 발명에 따른 평면 도형의 자세 인식 방법은 입력 영상으로부터 측정 도형을 추출하는 과정에서 발생할 수 있는 오류로 인해 측정 도형이 정확하게 추출되지 않아도 이를 감안하고 측정 도형의 회전 각도를 검출할 수 있다.
또한, 본 발명은 PCA(Principal Component Analysis)와 같은 방식으로 적어도 2개의 축이 확실하고 길쭉한 직사각형에 대해서만 자세 인식이 가능했던 종래의 문제점을 해결하여 복잡한 형상에 대해서도 자세 인식이 가능한 자세 인식 방법을 제공할 수 있다.
도 19 내지 도 24는 본 발명에 따른 자세 인식 방법을 통해 local minimum의 오류를 해결하는 과정의 일 예를 나타낸 도면이다.
먼저, 도 19 내지 도 20을 참조하면, 본 발명에 따른 자세 인식 방법을 통해 직각이등변 삼각형이나 정사각형처럼 대칭성이 있는 평면 도형에 대한 자세를 인식하는 과정에서 local minimum에 빠지는 오류를 방지할 수 있음을 알 수 있다.
예를 들어, 도 19에 도시된 직각이등변 삼각형 모양의 측정 도형(1902)에 대해서 이에 대한 참조 도형(1901)을 기준으로 MSM 연산과 MMM 연산을 수행한 결과는 도 20과 같다. 이 때, 도 20을 참조하면, MMM 연산 결과의 최소값이 1.6 라디안 근처에서 발생하지만, 직각이등변 삼각형의 대칭성으로 인해 3.8 라디안과 5.8 라디안 근처에서도 국소 최소값이 검출되는 것을 확인할 수 있다. 이러한 결과는 측정 도형의 회전 각도를 산출하는데 오류를 발생시킬 수 있다.
반면에, 도 20에 도시된 MSM 연산 결과에서는 최소값이 MMM 연산 결과와 동일하게 1.6 라디안 근처에서 발생하지만, 3.8 라디안과 5.8 라디안 근처의 값들을 MMM 연산 결과에서처럼 국소 최소값으로 보기 어렵다. 즉, 본 발명에 따라 MSM 연산을 통해 최소값을 검출하는 경우, 대칭성이 있는 측정 도형에서 발생할 수 있는 local minimum의 오류를 방지할 수 있다.
또한, 도 21 내지 도 24를 참조하면, 본 발명에 따른 자세 인식 방법은 대칭성이 존재하는 평면 도형의 자세를 인식할 때, 계산 효율을 높이기 위해서 회전 각도의 탐색 범위를 제한하거나 split 하여 평행으로 계산할 수 있다.
예를 들어, 도 21에 도시된 정사각형 모양의 측정 도형(2102)에 대해서 이에 대한 참조 도형(2101)을 기준으로 MSM 연산과 MMM 연산을 수행한 결과는 도 22와 같다. 이 때, 도 22를 참조하면, π/2 라디안의 주기로 회전 각도를 검출할 수 있는 최소값이 반복되는 것을 알 수 있다. 이러한 경우, 회전 각도의 탐색 범위를 2π 라디안보다 작게 설정함으로써 측정 도형의 회전 각도를 검출하기 위한 계산의 효율을 향상시킬 수 있다.
다른 예를 들어, 도 23에 도시된 평행사변형 모양의 측정 도형(2302)에 대해서 이에 대한 참조 도형(2301)을 기준으로 MSM 연산과 MMM 연산을 수행한 결과는 도 24와 같다. 이 때, 도 24를 참조하면, π 라디안의 주기로 회전 각도를 검출할 수 있는 최소값이 반복되는 것을 알 수 있다. 이러한 경우에도 회전 각도의 탐색 범위를 2π 라디안보다 작게 설정함으로써 계산의 효율을 향상시킬 수 있다.
도 25 내지 도 31은 본 발명에 따른 실사물 교구재를 이용한 자세 인식 과정의 일 예를 나타낸 도면이다.
도 25 내지 도 31을 참조하면, 본 발명에 따른 자세 인식 방법은 실사물을 활용하는 증강현실 응용에 활용하기에 적합하다.
이 때, 기하 및 공간 지각 능력 향상에 도움이 되는 칠교놀이(tangram)는 매우 간단한 실사물 교구재로 본 발명에 따른 자세 인식 방법을 통해 증강현실 응용으로 구현할 수 있다.
예를 들어, 도 25에 도시된 것과 같이 칠교놀이를 위한 7개의 실제 조각들(2510, 2520, 2530, 2540, 2550, 2560, 2570)에 대한 정확한 자세를 인식하고, 증강된 영상으로 인식된 조각들(2511, 2521, 2531, 2541, 2551, 2561, 2571)을 출력할 수 있다.
이러한 증강현실 응용을 구현하기 위해서는 먼저, 도 26에 도시된 것과 같이 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)이 포함된 입력 영상을 분할하여 각각의 실제 조각을 분리해낼 수 있다.
이 후, 도 27에 도시된 것과 같이 분할된 영상을 기반으로 이진화를 수행하여 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)에 대한 꼭지점을 검출할 수 있다.
이 후, 도 25 내지 도 31에 도시하지는 아니하였으나, 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)의 꼭지점에 대응하는 참조 도형을 획득하고, 무게중심 방법으로 7개의 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)들 각각에 대한 평행이동 값을 검출할 수 있다.
이 후, 도 28에 도시된 것과 같이 7개의 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)들 각각에 대해 MSM 연산과 MMM 연산을 수행하여 7개의 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)들 각각에 대한 회전 각도를 검출할 수 있다.
이 후, 검출된 회전 각도를 기반으로 7개의 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)들의 자세를 인식하여 증강된 영상으로 인식된 조각들(2511, 2521, 2531, 2541, 2551, 2561, 2571)을 출력할 수 있다.
이러한 과정을 통해, 최종적으로는 도 29 내지 도 31과 같이 사용자가 이동시킨 실제 조각(2510, 2520, 2530, 2540, 2550, 2560, 2570)들의 자세를 평가하고, 이에 대한 가이드를 출력하는데 활용할 수 있다.
도 32 내지 도 37은 본 발명에 따른 측정 도형의 뒤집힘을 판단하는 과정의 일 예를 나타낸 도면이다.
도 32 내지 도 37을 참조하면, 본 발명에 따른 자세 인식 방법에서는 측정 도형의 뒤집힘(flip)을 고려하여 측정 도형의 정확한 회전 각도를 검출할 수 있다.
예를 들어, 도 32에 도시된 것과 같이 측정 도형(3202)과 참조 도형(3201)이 뒤집힘 관계에 있는 경우에는 도 33과 같이 본 발명에 따른 MSM 연산이나 MMM 연산을 수행하여 측정 도형(3202)의 회전 각도를 검출할 수 있다. 그러나, 이렇게 검출된 회전 각도를 측정 도형(3202)에 역으로 적용하여 회전하면, 도 34에 도시된 것과 같이 참조 도형(3201)과 측정 도형(3202)간에 정합 오차가 크게 발생할 수 있다.
또한, 도 32와 같이 두 도형이 뒤집힘 관계에 있는 경우, 도 33에 도시된 것과 같이 MSM 연산 결과의 최소값이 일반적인 경우보다 크게 나타남을 알 수 있다.
따라서, 본 발명에 따른 자세 인식 방법에서는 평행사변형과 같이 flipping이 발생할 수 있는 도형에 대해서는 최소값에 대한 임계값을 사전에 설정해두고, MSM 연산을 통해 검출된 최소값이 임계값보다 크게 검출되는 경우에는 측정 도형이 flipping 되었다고 판단할 수 있다.
이 때, 측정 도형이 뒤집힌 것으로 판단되는 경우, 도 35에 도시된 것과 같이 뒤집힌 자세의 참조 도형(3501)을 기준으로 뒤집힌 측정 도형(3502)에 대한 회전 각도를 검출할 수 있다. 또한, 참조 도형(3501)을 뒤집은 자세에서 측정 도형(3502)에 대한 MSM 연산을 수행하는 경우, 도 36에 도시된 것과 같이 MSM 연산의 최소값이 0에 가까운 값으로 검출되는 것을 확인할 수 있다.
이렇게 검출된 회전 각도를 측정 도형(3502)에 역으로 적용하여 회전하면, 도 37에 도시된 것과 같이 뒤집힌 자세의 참조 도형(3501)과 뒤집힌 측정 도형(3502)의 정합 오차가 적게 발생하므로, 결론적으로는 측정 도형(3502)의 자세가 뒤집힌 것으로 확정할 수 있다.
또는, 본 발명에 따른 자세 인식 방법에서는 뒤집힘을 고려해야 하는 측정 도형에 대한 자세를 인식하는 경우, 입력 영상에서 검출된 측정 도형의 자세와 뒤집힌 자세에 대해 모두 MSM 연산을 수행하여 최소값이 작게 나오는 자세의 회전 각도를 측정 도형의 회전 각도 및 자세로 취할 수도 있다.
도 38은 본 발명에 따라 측정 도형의 뒤집힘을 고려한 경우와 그렇지 않은 경우의 정합 오차에 대한 MMM 연산 결과의 일 예를 나타낸 도면이다.
도 38을 참조하면, 본 발명에 따라 측정 도형의 뒤집힘을 고려한 경우(normal)의 정합 오차를 MMM 연산한 결과의 최소값이 뒤집힘을 고려하지 않은 경우(flipped)의 정합 오차를 MMM 연산한 결과의 최소값 보다 적게 검출되는 것을 확인할 수 있다.
즉, 본 발명과 같이 측정 도형의 뒤집힘을 고려하여 평명 도형의 자세를 인식함으로써 평면 도형의 자세를 보다 정확하게 인식할 수 있음을 알 수 있다.
도 39는 본 발명에 따른 자세 인식 방법과 이를 사용자 상호작용 시나리오 및 증강현실 장치와 결합하는 구조의 일 예를 나타낸 도면이다.
도 39를 참조하면, 본 발명의 일실시예에 따른 자세 인식 방법은 실세계에 존재하는 사물을 기반으로 한 사용자와의 상호작용 시나리오에 따라 동작할 수 있으며, 이 과정에서 증강현실 장치와 결합되어 관련된 콘텐츠를 사용자에게 제공할 수 있다.
예를 들어, 도 39에 도시된 것과 같이, 사용자가 실세계에 존재하는 사물의 위치와 자세를 변화시킨 후, 해당 사물을 포함하는 작업 공간을 촬영하여 입력 영상을 제공할 수 있다.
이 때, 본 발명의 일실시예에 따른 자세 인식 장치는 입력 영상으로부터 자세를 측정할 대상인 측정 도형을 추출할 수 있다.
이 후, 자세 인식 장치는 측정 도형의 꼭지점을 기반으로 참조 도형을 추출할 수 있고, 참조 도형을 기반으로 측정 도형의 평행이동 값, 회전 각도 및 뒤집힘 여부 등을 계산하여 측정 도형의 자세를 획득할 수 있다.
이와 같이 획득한 측정 도형의 자세에 관련된 정보는 증강현실 장치로 제공될 수 있다.
이 때, 증강현실 장치는 측정 도형의 자세를 평가하여 사용자에게 제공될 가이드 정보를 생성할 수 있고, 별도의 디스플레이 모듈을 기반으로 사용자에게 가이드 정보를 출력해줌으로써 사용자와의 상호작용을 수행할 수 있다.
이와 같이 실세계에서의 평면 도형의 자세를 빠르고 정확하게 인식하는 것은 실세계와 가상세계를 연결하는 증강현실 응용 및 인간과 로봇 간의 상호작용 응용에 있어서 매우 중요한 요소가 될 수 있다. 따라서, 본 발명에 따른 평면 도형의 자세 인식 방법은 다양한 물리적 교구재를 증강현실 응용으로 확장하는 경우나 실제 사물에 대한 작업을 두고 인간과 로봇이 협업하는 상황에서 작업할 물체의 상태를 파악하여 대응하는 문제에 매우 유용하게 활용될 수 있다.
도 40은 본 발명의 일실시예에 따른 자세 인식 방법을 상세하게 나타낸 도면이다.
도 40을 참조하면, 본 발명의 일실시예에 따른 자세 인식 방법은 먼저 측정 대상을 포함한 입력 영상을 획득한다(S4010).
이 후, 입력 영상에 대해 이진화를 수행하여 측정 도형을 검출한다(S4020).
이 후, 측정 도형의 꼭지점을 산출하여 참조 도형을 검출한다(S4030).
예를 들어, 측정 대상이 입력된 영상을 이진화하여 측정 도형에 상응하는 윤곽선 다각형(boundary polygon)을 검출하고 이를 통해 측정 도형에 대한 복수개의 제2 꼭지점들을 검출할 수 있다. 이후, 복수개의 제2 꼭지점들의 위치를 고려하여 이에 상응하는 복수개의 제1 꼭지점들을 갖는 참조 도형을 검출할 수 있다.
이 후, 두 도형의 무게중심을 기반으로 측정 도형의 평행이동 값을 산출한다(S4040).
예를 들어, 두 도형의 무게중심을 연결한 벡터 값에 상응하게 평행이동 값을 산출할 수 있다.
이 후, 평행이동 값을 기반으로 두 도형을 겹쳐지게 하고, 측정 도형의 회전 각도 별로 산출되는 겹쳐진 두 도형들의 꼭지점들 간 최소 거리들을 기반으로 MMM 연산 또는 MSM 연산을 수행하여 최소값을 산출한다(S4050).
이 후, 측정 도형의 뒤집힘 여부를 판단하기 위해서, 단계(S4050)에서 산출된 최소값이 기설정된 임계값을 초과하는지 여부를 판단하고(S4055), 최소값이 임계값을 초과하는 경우, 측정 도형이 뒤집힌 것으로 판단한다(S4056).
이 때, 측정 도형이 뒤집힌 것으로 판단되면, 참조 도형의 자세를 뒤집은 상태에서 단계(S4050)을 다시 수행하여 최소값을 다시 산출할 수 있다.
또한, 단계(S4055)의 판단결과 최소값이 임계값을 초과하지 않으면, 최소값에 상응하는 각도에 상응하게 측정 도형의 회전 각도를 산출한다(S4060).
이 후, 산출된 평행이동 값, 회전 각도 및 뒤집힘 여부를 고려하여 측정 도형의 자세를 보정한 뒤, 보정된 측정 도형과 참조 도형을 비교하여 측정 도형의 자세를 인식한다(S4070).
이 때, 인식된 측정 도형의 자세를 평가하여 가이드 정보가 필요한지 여부를 판단하고(S4075), 가이드 정보가 필요하면 가이드 정보를 생성하여 사용자에게 출력한다(S4080).
또한, 단계(S4075)의 판단결과 가이드 정보가 필요하지 않으면, 별도의 가이드 정보는 출력하지 않고 증강된 영상만을 생성하여 제공할 수도 있다.
도 41은 본 발명의 일실시예에 따른 자세 인식 장치를 나타낸 블록도이다.
도 41을 참조하면, 본 발명의 일실시예에 따른 자세 인식 장치는 통신부(4110), 프로세서(4120) 및 메모리(4130)을 포함한다.
통신부(4110)는 평면 도형의 자세 인식을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(4110)는 측정 대상이 포함된 입력 영상을 수신하거나 디스플레이를 통해 사용자에게 가이드 정보를 제공할 수도 있다.
프로세서(4120)는 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출한다.
예를 들어, 기준이 되는 참조 도형의 무게 중심으로부터 측정 도형의 무게중심이 이동한 값을 두 도형들 사이의 평행이동 값으로 산출할 수 있다.
이 때, 측정 도형과 참조 도형은 동일한 형태의 평면 도형일 수 있다. 즉, 참조 도형은 측정 도형의 자세를 인식하기 위해 기준으로 사용될 도형에 해당할 수 있다.
이 때, 측정 대상이 포함된 입력 영상을 이진화하여 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하고, 복수개의 제2 꼭지점들에 대응하는 참조 도형을 추출할 수 있다.
예를 들어, 측정 대상이 입력된 영상을 이진화하여 측정 도형에 상응하는 윤곽선 다각형(boundary polygon)을 검출하고 이를 통해 복수개의 제2 꼭지점들을 검출할 수 있다. 이후, 복수개의 제2 꼭지점들의 위치를 고려하여 이에 상응하는 복수개의 제1 꼭지점들을 갖는 참조 도형을 추출할 수 있다.
이 때, 복수개의 제1 꼭지점들이나 복수개의 제2 꼭지점들은 단순히 측정 도형과 참조 도형을 구분하기 위해 사용된 것으로 그 의미가 한정되게 적용되지 않는다.
이 때, 복수개의 제2 꼭지점들을 기반으로 측정 도형의 무게 중심을 계산하고, 참조 도형에 상응하는 복수개의 제1 꼭지점들을 기반으로 참조 도형의 무게 중심을 계산할 수 있다.
또한, 프로세서(4120)는 평행이동 값을 기반으로 두 도형들이 겹쳐지게 하고, 측정 도형의 회전 각도 별로 산출되는 두 도형들의 꼭지점들 간의 거리를 기반으로 측정 도형의 회전 각도를 검출한다.
이 때, 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출할 수 있다.
먼저, 참조 도형의 자세를 기준으로 측정 도형을 θ만큼 회전하는 연산을 수행할 수 있다. 예를 들어, 측정 도형에 상응하는 하나의 제2 꼭지점의 좌표가 (tx, ty)라고 가정할 경우에 이를 θ만큼 회전하면 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
{tx cos(θ) - ty sin(θ), tx sin(θ) + ty cos(θ)}
이 후, 참조 도형에 상응하는 하나의 제1 꼭지점인 (rx, ry)로부터 (tx, ty)까지의 거리 제곱인 d(r, t, θ)를 계산하면 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
d(r, t, θ) = d((rx, ry), (tx, ty), θ) =
rx2 + ry2 + tx2 + ty2 + 2sin(θ)(rx ty - ry tx) - 2cos(θ)(rx tx + ry ty)
이와 같은 근사된 거리 계산 방법은 최적화 과정에서 큰 계산 효율을 가질 수 있다.
이러한 방식으로 참조 도형에 상응하는 복수개의 제1 꼭지점인 ri = (rxi, ryi)에 대해서 측정 도형에 상응하는 복수개의 제2 꼭지점인 ti = (txi, tyi)와의 거리를 계산하여 [수학식 3]과 같이 이들의 최소값을 나타낼 수 있다.
[수학식 3]
Figure 112017123205926-pat00006
이 때, min은 함수 d()의 최소값을 j를 변경시키면 찾는 것을 의미할 수 있다.
이 때, 거리들 중 최소 거리를 회전 각도 별로 산출하고, 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산할 결과값들 중 최소값에 대응하는 각도를 회전 각도로 결정할 수 있다.
만약, 하우스도르프 거리와 유사한 접근을 하게 된다면, 참조 도형의 관점에서 [수학식 3]의 값을 최대로 하는 어느 하나의 제1 꼭지점을 찾아서 그 거리를 측정하게 된다. 예를 들어, 아래의 [수학식 4]에서와 같이 i를 변경시키며 함수의 최대값을 추출할 수 있다.
[수학식 4]
Figure 112017123205926-pat00007
그러나, 본 발명에서는 이러한 과정에서 max 연산을 수행하는 대신 sum 연산을 쓰는 [수학식 5]의 방식을 이용할 수 있다. 즉, 회전각도 별로 산출된 최소 거리들을 모두 더할 수 있다.
[수학식 5]
Figure 112017123205926-pat00008
따라서, 최종적으로 본 발명에 따른 자세 인식 방법을 이용한 최적화 과정은 [수학식 6]과 같이 나타낼 수 있다. 즉, [수학식 6]에 따르면 ()를 최소화하는 θ를 측정 도형의 회전 각도로 검출할 수 있다.
[수학식 6]
Figure 112017123205926-pat00009
이 때, [수학식 6]에서의 거리 측정은 Min-Sum-Min의 과정을 거치게 되므로, 이러한 측정 방식을 MSM 거리라고 할 수 있다.
또한, [수학식 7]과 같이 [수학식 4]의 방법에 근거하여 계산하는 경우에는 Min-Max-Min의 과정을 거치게 되므로, 이러한 측정 방식을 MMM 거리라고 할 수 있다.
[수학식 7]
Figure 112017123205926-pat00010
이 때, MSM 거리와 MMM 거리의 계산 시간은 유사한 편이지만, MMM 거리는 max에 의존하기 때문에 MSM 거리에 비해서 노이즈에 강건하지 않을 수 있다. 반면에, MSM 거리는 최소 거리들을 모두 더한 결과를 제공하기 때문에 MMM 거리에 비해 값이 크지만 전체적인 경향성 파악에 유리할 수 있다. 만약, 특이한 특징 하나가 회전 각도를 결정하는 경우라면 MMM 거리를 이용하는 것이 더 유리할 수도 있다.
또한, 프로세서(4120)는 두 도형들의 꼭지점들 간의 거리와 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 측정 도형의 뒤집힘 여부를 판단한다.
이 때, 도형의 뒤집힘(flip)은 측정 도형에 대한 정확한 회전 각도를 계산하기 위해 고려될 수 있다. 예를 들어, 평행사변형의 경우에는 도형이 뒤집어져 있는 경우의 MSM 연산 결과와 도형이 뒤집어져 있지 않은 경우의 MSM 연산 결과가 상이할 수 있다. 따라서, 이와 같이 도형의 뒤집힘을 고려해야 하는 도형에 대해서는 이를 판단하기 위한 임계값을 사전에 설정해두고, MSM 연산 결과와 임계값을 비교하여 뒤집힘 여부를 판단할 수 있다.
이 때, 최소값이 임계값을 초과하는 경우에 측정 도형이 뒤집힌 것으로 판단할 수 있다.
이 때, 측정 도형의 뒤집힘을 판단하는 과정은 도 32 내지 도 37을 통해서 상세하게 설명하였으므로 생략하도록 한다.
또한, 프로세서(4120)는 평행이동 값, 회전 각도 및 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 참조 도형을 비교한 결과를 고려하여 측정 도형의 자세를 인식한다.
이 때, 자세를 보정한 측정 도형과 참조 도형을 비교한 결과가 일치하는 경우, 검출된 평행이동 값, 회전 각도 및 뒤집힘 여부에 상응하게 측정 도형의 자세를 인식할 수 있다.
이 때, 측정 도형이 뒤집힌 것으로 판단되는 경우, 자세를 뒤집은 참조 도형을 기준으로 측정 도형의 최소값을 다시 측정하여 회전 각도를 산출할 수 있다.
또한, 측정 도형이 뒤집힌 것으로 판단되는 경우, 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 측정 도형의 자세를 인식할 수 있다.
메모리(4130)는 참조 도형에 대한 정보 및 임계값 중 적어도 하나를 저장한다.
이 때, 임계값은 뒤집힘이 발생할 수 있는 도형에 따라 설정되어 저장될 수 있다.
또한, 메모리(4130)는 상술한 바와 같이 본 발명의 일실시예에 따른 자세 인식 장치에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(4130)는 자세 인식 장치와 독립적으로 구성되어 평면 도형의 자세 인식을 위한 기능을 지원할 수 있다. 이 때, 메모리(4130)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 자세 인식 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 자세 인식 장치를 이용함으로써, 평면 도형에 대한 입력 영상에서 그 도형의 정확한 자세를 계산하여 기준에 대한 위치와 회전을 알아낼 수 있다.
또한, 대칭성과 뒤집힘이 존재하는 환경에서도 효과적으로 평면 도형의 자세를 추정할 수 있으며, 검출된 평면 도형의 자세를 증강현실 및 인간과 로봇간의 상호작용 응용에 활용할 수 있다.
이상에서와 같이 본 발명에 따른 평면 물체의 자세 인식 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
210, 220: 실선
310, 410, 510, 520, 610, 620: 하우스도르프 거리
301,501,1101, 1401, 1901, 2101, 2301, 3201, 3401, 3501, 3701: 참조 도형
302,502,1102, 1402, 1902, 2102, 2302, 3202, 3402, 3502, 3702: 측정 도형
1010: MSM 연산 결과 1020: MMM 연산 결과
1030: 최소값
2510, 2520, 2530, 2540, 2550, 2560, 2570: 실제 조각
2511, 2521, 2531, 2541, 2551, 2561, 2571: 인식된 조각
4110: 통신부 4120: 프로세서
4130: 메모리

Claims (14)

  1. 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출하는 단계;
    상기 평행이동 값을 기반으로 상기 두 도형들이 겹쳐지게 하고, 상기 측정 도형의 회전 각도 별로 산출되는 상기 두 도형들의 꼭지점들 간의 거리를 기반으로 상기 측정 도형의 회전 각도를 검출하는 단계;
    상기 두 도형들의 꼭지점들 간의 거리와 상기 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 상기 측정 도형의 뒤집힘 여부를 판단하는 단계; 및
    상기 평행이동 값, 상기 회전 각도 및 상기 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 상기 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 단계
    를 포함하고,
    상기 회전 각도를 검출하는 단계는
    상기 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출하는 단계; 및
    상기 거리들 중 최소 거리를 상기 회전 각도 별로 산출하고, 상기 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산한 결과값들 중 최소값에 대응하는 각도를 상기 회전 각도로 결정하는 단계를 포함하고,
    상기 뒤집힘 여부를 판단하는 단계는
    상기 최소값이 상기 임계값을 초과하는 경우 상기 측정 도형이 뒤집힌 것으로 판단하는 것을 특징으로 하는 평면 물체의 자세 인식 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 자세를 인식하는 단계는
    상기 측정 도형이 뒤집힌 것으로 판단되는 경우, 상기 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 것을 특징으로 하는 평면 물체의 자세 인식 방법.
  5. 청구항 1에 있어서,
    상기 평행이동 값을 산출하는 단계는
    측정 대상이 포함된 입력 영상을 이진화하여 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하는 단계;
    상기 복수개의 제2 꼭지점들에 대응하는 상기 참조 도형을 추출하는 단계; 및
    상기 복수개의 제2 꼭지점들을 기반으로 상기 측정 도형의 무게 중심을 계산하고, 상기 복수개의 제1 꼭지점들을 기반으로 상기 참조 도형의 무게 중심을 계산하는 단계를 포함하는 것을 특징으로 하는 평면 물체의 자세 인식 방법.
  6. 청구항 1에 있어서,
    상기 자세 인식 방법은
    상기 측정 도형의 자세를 평가하여 사용자에게 제공하기 위한 가이드 정보를 생성하는 단계; 및
    디스플레이를 통해 상기 가이드 정보를 상기 사용자에게 출력하는 단계를 더 포함하는 것을 특징으로 하는 평면 물체의 자세 인식 방법.
  7. 청구항 6에 있어서,
    상기 측정 도형의 자세는 실세계에서 상기 사용자에 의해 제어되는 측정 대상의 자세인 것을 특징으로 하는 평면 물체의 자세 인식 방법.
  8. 측정 도형의 무게 중심과 참조 도형의 무게 중심을 기반으로 두 도형들 사이의 평행이동 값을 산출하고, 상기 평행이동 값을 기반으로 상기 두 도형들이 겹쳐지게 하고, 상기 측정 도형의 회전 각도 별로 산출되는 상기 두 도형들의 꼭지점들 간의 거리를 기반으로 상기 측정 도형의 회전 각도를 검출하고, 상기 두 도형들의 꼭지점들 간의 거리와 상기 측정 도형의 뒤집힘 여부를 판단하기 위한 임계값을 비교하여 상기 측정 도형의 뒤집힘 여부를 판단하고, 상기 평행이동 값, 상기 회전 각도 및 상기 뒤집힘 여부 중 적어도 하나에 기반하여 자세를 보정한 측정 도형과 상기 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 프로세서; 및
    상기 참조 도형에 대한 정보 및 상기 임계값 중 적어도 하나를 저장하는 메모리
    를 포함하고,
    상기 프로세서는
    상기 참조 도형에 상응하는 복수개의 제1 꼭지점들 각각에 대해서 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들까지의 거리들을 산출하고, 상기 거리들 중 최소 거리를 상기 회전 각도 별로 산출하고, 상기 회전 각도 별로 산출된 복수개의 최소 거리들의 길이를 합산한 결과값들 중 최소값에 대응하는 각도를 상기 회전 각도로 결정하고, 상기 최소값이 상기 임계값을 초과하는 경우 상기 측정 도형이 뒤집힌 것으로 판단하는 것을 특징으로 하는 평면 물체의 자세 인식 장치.
  9. 삭제
  10. 삭제
  11. 청구항 8에 있어서,
    상기 프로세서는
    상기 측정 도형이 뒤집힌 것으로 판단되는 경우, 상기 자세를 보정한 측정 도형과 자세를 뒤집은 참조 도형을 비교한 결과를 고려하여 상기 측정 도형의 자세를 인식하는 것을 특징으로 하는 평면 물체의 자세 인식 장치.
  12. 청구항 8에 있어서,
    상기 프로세서는
    측정 대상이 포함된 입력 영상을 이진화하여 상기 측정 도형에 상응하는 복수개의 제2 꼭지점들을 검출하고, 상기 복수개의 제2 꼭지점들에 대응하는 상기 참조 도형을 추출하고, 상기 복수개의 제2 꼭지점들을 기반으로 상기 측정 도형의 무게 중심을 계산하고, 상기 복수개의 제1 꼭지점들을 기반으로 상기 참조 도형의 무게 중심을 계산하는 것을 특징으로 하는 평면 물체의 자세 인식 장치.
  13. 청구항 8에 있어서,
    상기 프로세서는
    상기 측정 도형의 자세를 평가하여 사용자에게 제공하기 위한 가이드 정보를 생성하고, 디스플레이를 통해 상기 가이드 정보를 상기 사용자에게 출력하는 것을 특징으로 하는 평면 물체의 자세 인식 장치.
  14. 청구항 13에 있어서,
    상기 측정 도형의 자세는 실세계에서 상기 사용자에 의해 제어되는 측정 대상의 자세인 것을 특징으로 하는 평면 물체의 자세 인식 장치.
KR1020170169512A 2017-12-11 2017-12-11 평면 물체의 자세 인식 방법 및 이를 위한 장치 KR102056728B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170169512A KR102056728B1 (ko) 2017-12-11 2017-12-11 평면 물체의 자세 인식 방법 및 이를 위한 장치
JP2018231071A JP7097285B2 (ja) 2017-12-11 2018-12-10 平面物体の姿勢認識方法およびそのための装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169512A KR102056728B1 (ko) 2017-12-11 2017-12-11 평면 물체의 자세 인식 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20190069111A KR20190069111A (ko) 2019-06-19
KR102056728B1 true KR102056728B1 (ko) 2019-12-17

Family

ID=67062468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169512A KR102056728B1 (ko) 2017-12-11 2017-12-11 평면 물체의 자세 인식 방법 및 이를 위한 장치

Country Status (2)

Country Link
JP (1) JP7097285B2 (ko)
KR (1) KR102056728B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052909B (zh) * 2020-09-17 2023-12-01 科大讯飞股份有限公司 图形匹配方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160188938A1 (en) * 2013-08-15 2016-06-30 Gideon Summerfield Image identification marker and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4502361B2 (ja) * 2003-09-30 2010-07-14 キヤノン株式会社 指標姿勢検出方法および装置
JP4793170B2 (ja) * 2006-08-24 2011-10-12 大同特殊鋼株式会社 羽根車の羽根形状検査方法及び検査装置
KR101067826B1 (ko) 2009-10-27 2011-09-27 이화여자대학교 산학협력단 폴리곤 모델에 대한 하우스도르프 거리 산출 방법
US8942512B2 (en) * 2011-12-24 2015-01-27 Ecole De Technologie Superieure Methods and systems for processing a first image with reference to a second image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160188938A1 (en) * 2013-08-15 2016-06-30 Gideon Summerfield Image identification marker and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yi and Camps. Line feature based recognition using Hausdorff distance. IEEE ISCV, 1995년 11월, pp. 79-84. 1부.*

Also Published As

Publication number Publication date
KR20190069111A (ko) 2019-06-19
JP2019106184A (ja) 2019-06-27
JP7097285B2 (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
US9959455B2 (en) System and method for face recognition using three dimensions
CN105612401B (zh) 标记图像处理系统
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
JP5618569B2 (ja) 位置姿勢推定装置及びその方法
JP5924862B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10719740B2 (en) Method and a system for identifying reflective surfaces in a scene
JP6067175B2 (ja) 位置測定装置及び位置測定方法
US20170140211A1 (en) Face comparison device, method, and recording medium
KR20130135361A (ko) 증강 현실을 위한 온라인 참조 패치 생성 및 포즈 추정
CN105320954A (zh) 人脸认证装置和方法
Kurz et al. Handheld augmented reality involving gravity measurements
CN107300382A (zh) 一种用于水下机器人的单目视觉定位方法
JP2015049776A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20180114339A1 (en) Information processing device and method, and program
US11127193B2 (en) System and method for determining an approximate transformation between coordinate systems
KR102056728B1 (ko) 평면 물체의 자세 인식 방법 및 이를 위한 장치
Yousif et al. Real-time RGB-D registration and mapping in texture-less environments using ranked order statistics
KR102565444B1 (ko) 객체를 식별하기 위한 장치 및 방법
CN110046554A (zh) 一种人脸对齐方法和相机
Janković et al. System for indoor localization of mobile robots by using machine vision
US20220292717A1 (en) 3D Object Detection Using Random Forests
Yousif et al. A real-time RGB-D registration and mapping approach by heuristically switching between photometric and geometric information
KR20240015464A (ko) 소실점을 이용한 특징선 기반 slam 시스템
dos Santos Fernandes et al. Visual and inertial data fusion for Globally consistent point cloud registration
Zhuang et al. Deep Learning based Visual Simultaneous Localization and Mapping for a Mobile Robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant