KR101141686B1 - 회전각 측정 장치 및 이의 회전각 측정 방법 - Google Patents

회전각 측정 장치 및 이의 회전각 측정 방법 Download PDF

Info

Publication number
KR101141686B1
KR101141686B1 KR20100002255A KR20100002255A KR101141686B1 KR 101141686 B1 KR101141686 B1 KR 101141686B1 KR 20100002255 A KR20100002255 A KR 20100002255A KR 20100002255 A KR20100002255 A KR 20100002255A KR 101141686 B1 KR101141686 B1 KR 101141686B1
Authority
KR
South Korea
Prior art keywords
rotation angle
image
hmd
detected
angle
Prior art date
Application number
KR20100002255A
Other languages
English (en)
Other versions
KR20110082329A (ko
Inventor
노영식
강희준
서영수
김철희
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR20100002255A priority Critical patent/KR101141686B1/ko
Publication of KR20110082329A publication Critical patent/KR20110082329A/ko
Application granted granted Critical
Publication of KR101141686B1 publication Critical patent/KR101141686B1/ko

Links

Images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Human Computer Interaction (AREA)

Abstract

회전각 측정 장치 및 이의 회전각 측정 방법이 제공된다. 사용자가 착용한 HMD의 회전각 측정을 위한 회전각 측정 장치는, 영상을 촬영하기 위한 카메라부; 촬영된 영상을 처리하는 영상처리부; 처리된 영상에서 복수 개의 특징점의 중심좌표을 추출하는 특징점 추출부; 추출된 특징점의 중심좌표를 통해 HMD의 제1 회전각을 산출하는 제1 회전각 산출부; HMD의 3축의 가속도를 검출하는 가속도 센서부; 및 검출된 3축의 가속도를 이용하여 HMD의 제2 회전각을 산출하는 제2 회전각 산출부;를 포함한다. 따라서, 사용자가 착용한 HMD의 회전각을 측정하여, 측정된 회전각을 통해 외부 기기를 실시간으로 원격 제어할 수 있게 된다.

Description

회전각 측정 장치 및 이의 회전각 측정 방법{rotation angle estimation apparatus and method for rotation angle estimation thereof}
본 발명은 회전각 측정 시스템 및 이의 회전각 측정 방법에 관한 것으로, 보다 상세하게는 사용자가 착용한 HMD(head mounted display)의 회전각을 검출할 수 있는 회전각 측정 장치 및 이의 회전각 측정 방법에 관한 것이다.
원격 제어(Tele-operation)란 작업 공간에 있는 로봇이나 기계와 같은 시스템을 직접 사람의 손이나 발로 조작하지 않고 어떤 장치를 이용하여 간접적으로 제어하는 것을 의미한다. 원격 제어의 적용 분야로는 공장과 같은 산업 현장이나 NASA에서 현재 진행하고 있는 우주 무인탐사, 핵 처리와 관련된 원전 설비 유지보수, 공장 자동화, 심해 작업 등에서 많이 이루어지고 있다. 현재 컴퓨터와 네트워크 기술의 발전과 더불어 원격제어에 관한 연구는 더욱 활발히 이루어지고 있다. 원격제어 이동로봇은 인간이 직접 작업하기에 위험하고 복잡한 환경에서의 작업이나 무인탐사와 같은 일을 하기 위해서 독자적으로 주변 환경을 인식하고 작업을 수행, 완료할 수 있는 기능을 필요로 한다. 원격제어를 하기 위한 한 분야로서 원격 비전시스템은 사람의 눈과 같은 중요한 역할은 한다. 특히, 원격제어 이동로봇의 비전 시스템을 제어하기 위한 연구의 한 분야로 HMD를 착용한 사용자 머리의 회전을 측정하고자 하는 노력이 계속되었다.
기존의 원격제어는 pan-tilt 회전의 조이스틱을 사용하여 제어하였기 때문에 실시간으로 로봇의 위치를 컨트롤하는 점에서 불편하였다. 즉, 사람이 직접 원격제어를 하는 것이 아닌 기계로 원격제어를 하기 때문에 미세한 컨트롤에 어려움이 있었다.
따라서, 사용자의 움직임을 통해 로봇을 직접 원격제어를 하기 위한 사용자 머리에 부착된 HMD의 회전각을 측정하는 방법의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라를 이용하여 검출된 복수 개의 특징점을 이용하여 제1 회전각을 측정하고, 가속도 센서를 이용하여 제2 회전각을 측정하는 회전각 측정 장치 및 이의 회전각 측정 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자가 착용한 HMD(head mounted display)의 회전각 측정을 위한 회전각 측정 장치는, 영상을 촬영하기 위한 카메라부; 상기 촬영된 영상을 처리하는 영상처리부; 상기 처리된 영상에서 복수 개의 특징점의 중심좌표를 검출하는 특징점 검출부; 상기 검출된 특징점의 중심좌표를 통해 상기 HMD의 제1 회전각을 산출하는 제1 회전각 산출부; 상기 HMD의 가속도를 검출하는 가속도 센서부; 상기 검출된 가속도를 이용하여 상기 HMD의 제2 회전각을 산출하는 제2 회전각 산출부;를 포함한다.
그리고, 상기 영상처리부는, 상기 카메라로부터 촬영된 영상을 그레이 스케일(gray scale)로 변환하고, 상기 변환된 영상을 이진화하며, 상기 이진화된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 영상을 라벨링(labeling)하여 처리하는 것이 바람직하다.
또한, 상기 특징점 검출부는, 상기 처리된 영상으로부터 4개의 특징점의 중심좌표를 검출하는 것이 바람직하다.
그리고, 상기 제1 회전각은, 요(yaw)각이고, 상기 제2 회전각은, 피치(pitch)각인 것이 바람직하다.
또한, 상기 제1 회전각 검출부를 통해 검출된 상기 제1 회전각과 상기 제2 회전각 검출부를 통해 검출된 상기 제2 회전각의 데이터를 외부기기로 송신하는 무선 통신부;를 더 포함하는 것이 바람직하다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자가 착용한 HMD의 회전각 측정하는 회전각 측정 방법은, 영상을 촬영하는 단계; 상기 촬영된 영상을 처리하는 단계; 상기 처리된 영상에서 복수 개의 특징점의 중심좌표를 검출하는 단계; 상기 검출된 특징점의 중심좌표를 통해 상기 HMD의 제1 회전각을 산출하는 단계; 상기 HMD의 가속도를 검출하는 단계; 및 상기 검출된 가속도를 이용하여 상기 HMD의 제2 회전각을 산출하는 단계;를 포함한다.
그리고, 상기 처리 단계는, 상기 촬영 단계로부터 촬영된 영상을 그레이 스케일로 변환하는 단계; 상기 변환된 영상을 이진화하는 단계; 상기 이진화된 영상의 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 영상을 라벨링하는 단계;를 포함하는 것이 바람직하다.
또한, 상기 중심좌표 검출 단계는, 상기 처리된 영상으로부터 4개의 특징점의 중심좌표를 검출하는 것이 바람직하다.
그리고, 상기 제1 회전각은, 요각이고, 상기 제2 회전각은, 피치각인 것이 바람직하다.
또한, 상기 제1 회전각 검출 단계를 통해 검출된 상기 제1 회전각과 상기 제2 회전각 검출 단계를 통해 검출된 상기 제2 회전각의 데이터를 외부기기로 송신하는 단계;를 더 포함하는 것이 바람직하다.
이에 따라 사용자가 착용한 HMD의 회전각을 측정하여, 측정된 회전각을 통해 외부 기기를 실시간으로 원격 제어할 수 있게 된다.
도 1은 본 발명의 일 실시례에 따른, HMD의 회전각 측정 장치를 이용하는 회전각 측정 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, HMD의 회전각을 측정하는 회전각 측정 장치의 블럭도를 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, HMD의 회전각을 측정하는 방법을 설명하기 위한 흐름도,
도 4는 본 발명의 일 실시예에 따른, 라벨링된 영상으로부터 표시된 점의 중심좌표 검출알고리즘을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, Y축을 중심으로 회전하는 요각을 측정하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른, Y축을 기준으로 회전할 때 점들의 중심사영을 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른, 요각을 계산하기 위해 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 요각을 측정한 실험 결과를 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 3축 방향의 가속도를 측정할 수 있는 가속도 센서를 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 가속도 센서가 부착된 HMD를 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 가속도 센서의 피치각 검출 범위를 도시한 도면, 그리고,
도 12는 본 발명의 일 실시예에 따른, 가속도 센서를 이용하여 측정된 피치각의 실험 결과를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시례에 따른 HMD(110)의 회전각 측정 장치를 이용하는 회전각 측정 시스템(100)을 도시한 도면이다. 여기서 HMD(110)의 회전각은 HMD(110)의 요(yaw)각과 피치(pitch)각을 포함한다. 도 1에 도시된 바와 같이, 요각은 사용자의 머리가 좌우로 회전하는 각을 말하며, 피치각은 사용자의 머리가 앞뒤로 회전하는 각을 말한다.
회전각 측정 시스템(100)은 HMD(Head Mounted Display)(110), 카메라부(120), 무선 네트워크부(130) 및 모바일 로봇(140)을 포함한다.
HMD(110)는 특징점과 가속도 센서가 부착되어 있다. HMD(110)는 특징점을 이용하여 요(yaw)각을 측정하고, 가속도 센서를 이용하여 피치(pitch)각을 측정한다. 특징점을 이용하여 요각을 측정하는 방법은 도 4 내지 도 7을 참조하여 추후에 자세히 설명한다. 또한, 가속도 센서를 이용하여 피치각을 측정하는 방법은 도 8 내지 도 11을 참조하여 추후에 자세히 설명하기로 한다.
카메라부(120)는 특징점을 이용하여 요각을 측정할 때, 사용자가 착용한 HMD(110)의 특징점의 위치가 포함된 영상을 촬영한다. 그리고, 카메라부(120)는 촬영된 영상을 영상처리부에 전송한다.
무선 네트워크부(130)는 측정된 요각과 피치각 데이터를 모바일 로봇(140)으로 전송한다.
모바일 로봇(140)은 측정된 요각과 피치각 데이터 값을 수신하고, 수신된 요각과 피치각에 의하여 움직이게 된다.
이하, 도 2 내지 도 11을 참조하여, 사용자가 착용한 HMD(110)의 회전각을 측정하는 방법에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, HMD(110)의 회전각을 측정하는 회전각 측정 장치의 블럭도를 도시한 도면이다.
도 2에 도시된 바와 같이, 회전각 측정 장치는 카메라부(120), 영상처리부(220), 특징점 검출부(230), 요각 산출부(240), 가속도 센서부(250), 피치각 산출부(260) 및 무선 통신부(270)을 포함한다.
카메라부(120)는 특징점이 포함된 HMD(110)의 영상을 촬영한다.
영상처리부(220)는 영상에 포함된 특징점의 중심좌표를 검출하기 위해서 촬영된 영상을 처리한다. 구체적으로, 영상처리부(220)는 촬영된 컬러 영상을 그레이 스케일(gray scale)로 변환한다. 그리고, 영상처리부(220)는 그레이 스케일로 변환된 영상을 이진화한다. 또한, 영상처리부(220)는 이진화된 영상에 대해 모폴로지(morphology) 기법을 이용하여 노이즈를 제거한다. 그리고, 영상처리부(220)는 노이즈가 제거된 영상을 라벨링(labeling)하여 그레이 밸류(gray value)값을 산출한다. 그리고 영상처리부(220)는 산출된 그레이 밸류값을 바탕으로 영상 좌표계를 검출한다. 자세한 영상 처리 방법은 도 3을 참고하여 추후 설명하기로 한다.
특징점 검출부(230)는 영상 처리된 영상좌표계를 통해 특징점의 중심좌표를 검출한다. 요각 산출부(240)는 특징점 검출부(230)에서 검출된 특징점의 중심좌표를 이용하여 요각을 측정한다. 특징점의 중심좌표를 검출하는 방법과 요각을 측정하는 방법은 도 3을 참고하여 추후 자세히 설명하기로 한다.
가속도 센서부(250)는 HMD(110)의 3축 방향의 가속도를 측정한다. 구체적으로 가속도 센서부(250)는 외부의 충격량과 방향을 감지하는 센서이다. 외부의 충격이 없을 경우에는 항상 중력 방향을 감지하기 때문에 중력 방향을 기준으로 하여, 물체의 기울어진 방향과 그 정도를 감지할 수 있다. Z축은 중력방향이고 센서를 좌우로 기울이면 X축 값이 변화하고, 상하로 기울이면 Y축 값이 변하게 된다. Z축의 경우는 중력가속도와 관련되어 센서를 들어올리거나 아래로 내리면, 중력가속도를 기준으로 Z축의 값이 +/- 로 변하게 된다.
피치각 산출부(260)는 가속도 센서부(250)에서 측정한 3축 방향의 가속도를 이용하여 피치각을 산출한다.
무선 통신부(270)는 요각 산출부(240)에서 산출된 요각값과 피치각 산출부(260)에서 산출된 피치각값을 무선 네트워크부(130)를 통해 모바일 로봇(140)에 송신한다.
도 3은 본 발명의 일 실시예에 따른, HMD(110)의 회전각을 측정하는 방법을 설명하기 위한 흐름도이다.
카메라부(310)는 4개의 특징점이 포함된 영상을 촬영한다(S310).
회전각 측정 장치는 카메라부(310)로부터 촬영된 영상을 컬러 영상에서 그레이 스케일로 변환한다(S320). 구체적으로, 일반적인 카메라는 RGB 모델을 이용한다. RGB모델은 개인용 PC 앞에 놓여있는 컬러 모니터와 컴퓨터의 그래픽스에서 사용하는 직각 좌표계이다. RGB는 “빛”의 삼원색이며 각각을 적당히 더하여 원하는 컬러를 만들어 낸다. RGB를 더하기 삼원색이라고 하는 것은 R, G, B를 적당히 첨가하여 원하는 색을 만들어 내기 때문이다. 본 발명에서도 카메라부(310)로부터 들어오는 영상은 RGB모델을 가지고 있으므로 이를 그레이 스케일로 바꾸는 것이 필요하다. 아래의 수식을 사용하여 영상의 그레이 스케일를 얻을 수 있다.
Figure 112010001596129-pat00001
회전각 측정 장치는 그레이 스케일로 변환된 영상을 이진화한다(S330). 그레이 스케일로 변환된 영상은 픽셀의 밝기 값이 0~255사이에 골고루 존재한다. 이진화된 영상은 픽셀의 밝기 값이 0아니면 255의 두 값 중 하나를 가진다. 픽셀의 좌표를 x, y로 표현하고, f(x, y)는 픽셀의 그레이 레벨을 나타낼 때 아래와 같이 정의 할 수 있다.
Figure 112010001596129-pat00002
수학식 2에서 b(x, y)는 이진화된 영상을 의미하고 T는 임계치(threshold value)를 의미한다. 수학식 2에서 보듯이 0으로 표시된 픽셀은 8개의 점을 표시하고 255로 표시된 픽셀들은 배경에 해당된다.
T가 f(x, y)에만 의존할 경우 이 이진화는 전역적이라 하고 T가 f(x, y)와 g(x, y)에 모두 의존하게 되면 이 이진화는 국부적이라 한다. 또, T가 공간좌표 x와 y에도 의존하면 동적 이진화라 한다.
그레이 스케일로 변환된 영상을 이진화하였으면, 회전각 측정 장치는 이진화된 영상의 노이즈를 제거한다(S340). 본 발명의 일 실시예에 따르면, 노이즈를 제거하는 방법은 모폴로지 기법이 이용된다. 구체적으로, 모폴로지란 사전적 단어로 해석하여 형태처리 또는 형태론이란 의미를 가지고 있으며 모폴로지 기법이란 어떤 영상의 형태적인 면을 조작하는 영상처리이다.
이 기법은 영상 전처리 작업이나 초기 객체분류 등 또는 이러한 처리 뒤에 이어서 물체의 내재된 구조를 명확히 하는데 사용된다. 이것은 물체의 외곽선을 물체의 가장 현저한 1-픽셀 두께의 외곽선이나 골격선을 간단하게 함으로써 이루어진다. 즉 외각선의 픽셀을 빼거나 더하는 작업을 말한다. 그러므로 한 픽셀의 잡음은 제거될 수도 있고 두 픽셀로 확장시킬 수도 있다.
모폴로지 기법에는 이진 영상에서의 모폴로지 기법과 그레이 영상에서의 모폴로지 기법이 있다. 모폴로지 알고리즘으로는 침식 연산, 팽창 연산, 열림 연산, 닫힘 연산으로 분류할 수 있고 각 연산들은 독립적으로 사용되지만 일반적으로 원하는 결과 영상을 얻기 위해 몇 개의 연산을 병행하여 수행하는 경우가 많다.
본 발명의 일 실시예에서 적용한 모폴로지 기법 중 하나인 채움 연산은 팽창 연산으로 물체의 확장을 수행한 뒤 침식 연산으로 다시 축소 연산을 행한다. 이 채움 연산은 확장이 먼저 일어나므로 작은 홀들은 매워지고 축소 작용 때에 원 영상의 크기로 복원된다.
이 채움 연산은 집합 A의 구조 요소 B에 의한 닫힘은 로 표기하며, 다음과 같이 정의한다.
Figure 112010001596129-pat00003
수학식 3을 말로 표현하면 B에 의한 A의 닫힘은 단순히 B에 의한 A의 팽창 결과를 B에 의해 침식하는 것이다.
점들의 위치가 밝은 부분으로 회전을 주었을 때 점부분에서 노이즈가 발생한다. 이 조명에 의한 노이즈를 제거하기 위해서 채움(Closing) 연산을 사용한다.
모폴로지 기법에 의해 노이즈를 제거하면, 회전각 측정 장치는 영상을 라벨링한다(S350). 라벨링은 영상 내에서 서로 떨어져 있는 물체 영역들을 구별하고자 할 때 사용되는 영상처리 알고리즘이다. 즉, 영상 내에 여러 종류의 물체가 있는 경우 라벨링이라는 과정을 통해 물체마다 고유 번호를 붙일 수 있다. 또한 관심 있는 물체만을 화면에 출력하고자 할 때도 물체에 해당하는 고유 번호를 가진 화소들만 출력하게 되는 것이다. 라벨링은 입력 영상을 이진화 시킨 후 라벨링 처리를 하는데 이진영상에서 픽셀의 연결성을 분석하여 각각의 물체를 구성하는 개개의 픽셀들을 하나의 영역으로 묶어냄으로서, 인접 화소 영역들은 동일한 그레이 레벨을 갖게 된다.
라벨링의 방법에는 Glassfire 알고리즘과 반복문을 사용한 영역 라벨링 방법이 있다. Glassfire 알고리즘은 이진화 된 영상을 라벨링하는 가장 간단한 방법으로 마른 잔디(glass)에서 불(fire)이 번져나가는 모양과 비슷하게 화소를 라벨링하기 때분에 붙여진 이름이다. 이 방법은 자기호출을 이용하여 모든 인접요소가 라벨링될 때까지 현재 관심화소의 주변 인접화소를 차례롤 검사하면서 라벨링하는 방법이다.
반복문을 사용한 영역 라벨링 방법은 스택을 직접 설계하여 사용하므로 스택의 크기를 프로그램 내에서 사용자가 정의하는 것이 가능하다. 이 방법은 고속으로 동작하면서 아주 큰 영역을 라벨링하는 것도 가능하다.
영상의 라벨링 과정 후, 회전각 측정 장치는 라벨링된 영상을 이용하여 특징점의 중심좌표를 검출한다(S360). 특징점의 중심좌표를 검출하는 방법은 도 4를 참고하여 이하에서 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른, 라벨링된 영상으로부터 표시된 점의 중심좌표 검출알고리즘을 설명하기 위한 도면이다. 특징점의 중심좌표는 라벨링된 영상 좌표계에서 특징점의 중심이 되는 좌표를 말한다.
Figure 112010001596129-pat00004
수학식 4에서
Figure 112010001596129-pat00005
는 라벨링 된 점의 그레이 레벨을 의미하고
Figure 112010001596129-pat00006
는 각각 좌표의 그레이 레벨이다. 즉
Figure 112010001596129-pat00007
와
Figure 112010001596129-pat00008
가 같을 때 x좌표의 모든 값과 y좌표의 모든 값을 합하면 X, Y의 값을 얻을 수 있다.
Figure 112010001596129-pat00009
수학식 5와 같이
Figure 112010001596129-pat00010
의 값을 가지는 모든 픽셀 x, y 좌표를 더한 후 점의 픽셀 수 만큼 나누어 주면 특징점의 중심좌표
Figure 112010001596129-pat00011
를 얻을 수 있다.
특징점의 중심좌표를 구하면, 회전각 측정 장치는 특징점의 중심좌표를 이용하여 요각을 측정한다(S370). HMD(110)의 회전각 중 요각이라 함은 도 5에 도시된 바와 같이 Y축을 중심으로 회전하는 각을 말한다. 즉, 요각은 사용자의 머리가 좌우로 회전할 때의 회전각을 나타낸다.
도 6은 본 발명의 일 실시예에 따른, Y축을 기준으로 회전할 때 점들의 중심사영을 나타낸 도면이다.
도 6에 도시된 바와 같이, 물체의 점과 핀 홀, 영상평면위의 점은 일직선상에 있다. 위와 같은 사영을 중심 사영(perspective projection)이라 한다. 이러한 중심사영을 이용하여 아래의 4개의 식을 구할 수 있다.
Figure 112010001596129-pat00012
Figure 112010001596129-pat00013
Figure 112010001596129-pat00014
Figure 112010001596129-pat00015
위의 식 중에서 수학식 7을 이용해서 아래의 수학식 10 및 수학식 11을 유도할 수 있다.
Figure 112010001596129-pat00016
Figure 112010001596129-pat00017
여기서 β는 Y축을 기준으로 회전한 각이다. 도 7에 도시된 바와 같이, 아래와 같은 수학식 12가 성립하는 것을 알 수 있다.
Figure 112010001596129-pat00018
수학식 11에서
Figure 112010001596129-pat00019
라 하였을 때, 이 식으로부터 Y축을 기준으로 회전하는 각(β)을 얻을 수 있다.
Figure 112010001596129-pat00020
Figure 112010001596129-pat00021
수학식 14에서 f는 카메라의 초점거리이므로 쉽게 구할 수인T는 값이다. 하지만 u1과 S는 구해야 하는 변수이다. 이 두 변수는 X축에 존재하는 중심사영된 4개의 점들의 상대적인 거리로부터 결정할 수 있다.
그리고, 수학식 6 내지 수학식 9를 이용하여 S를 구할 수 있다.
Figure 112010001596129-pat00022
수학식 15에서 우측에 있는 분자의 식을 A라고 하고 분모의 식을 B라고 가정하면, 아래의 식 수학식 16 및 수학식 17을 구할 수 있다.
Figure 112010001596129-pat00023
Figure 112010001596129-pat00024
수학식 16과 수학식 17을 각각 정리하면 아래와 같은 식을 구할 수 있다.
Figure 112010001596129-pat00025
Figure 112010001596129-pat00026
Figure 112010001596129-pat00027
Figure 112010001596129-pat00028
수학식 19와 수학식 21을 각각 수학식 15에 대입해보면 아래와 같은 식을 구할 수 있다.
Figure 112010001596129-pat00029
수학식 11을 통해
Figure 112010001596129-pat00030
를 구했으므로, 수학식 22를 아래와 같이 수정할 수 있다.
Figure 112010001596129-pat00031
Figure 112010001596129-pat00032
도 7에 도시된 바와 같이,
Figure 112010001596129-pat00033
이고
Figure 112010001596129-pat00034
임을 알 수 있다. 이 식을 수학식 23 및 수학식 24에 대입해보면 아래의 식을 알 수 있다.
Figure 112010001596129-pat00035
도 6을 통해 cross-ration invariance을 이용하여 아래의 식을 유도할 수 있다.
Figure 112010001596129-pat00036
Figure 112010001596129-pat00037
여기서
Figure 112010001596129-pat00038
라고 정의하자. 그러면
Figure 112010001596129-pat00039
라고 할 수 있다. 이 식을 수학식 25에 대입하면, 아래의 식이 유도된다.
Figure 112010001596129-pat00040
수학식 28을 정리해서 풀면 변수S에 대한 이차 방정식이 나타나고 이를 이용하여 S를 얻을 수 있다.
Figure 112010001596129-pat00041
앞에서 Y축을 기준으로 회전한 각 β를 구하기 위해 필요한 S를 구하였고, 남은 변수 u1 을 결정해야 한다.
이 u1을 구하기 위해서 다른 두 개의 cross-ratio 불변성을 이용한다. 도 6을 이용하여 다음의 두 식을 얻을 수 있다.
Figure 112010001596129-pat00042
Figure 112010001596129-pat00043
위 두 식을 보면
Figure 112010001596129-pat00044
와
Figure 112010001596129-pat00045
가 같음을 알 수 있다. 수학식 31을 u1에 대하여 정리하면 아래의 식을 획득한다.
Figure 112010001596129-pat00046
수학식 32에서 u1을 구하기 위해서는 v1를 알아야 하므로 위의 식을 다음과 같이 정리할 수 있다. 여기서
Figure 112010001596129-pat00047
라고 하자.
Figure 112010001596129-pat00048
수학식 33에서 v2에 관한 식을 얻었고, 이 식을 수학식 32에 대입하면 아래와 같은 식을 얻을 수 있다.
Figure 112010001596129-pat00049
Figure 112010001596129-pat00050
수학식 35에서 u1과 v1을 제외한 나머지는 이미지 상에서 구할 수 있는 상대적인 거리이다. u1과 v1을 제거하기 위해서 수학식 30과 수학식 31을 이용하여 다음의 식을 획득한다.
Figure 112010001596129-pat00051
수학식 36을 수학식 35에 대입하면 영상에서 얻을 수 있는 점들의 상대적인 거리만을 이용해서 u1을 결정할 수 있다.
Figure 112010001596129-pat00052
앞에서 구한 S와 u1을 수학식 14에 대입하면 Y축에 기준으로 회전한 각 β를 얻을 수 있다.
도 8은 본 발명의 일 실시예에 따른, HDM(110)이 회전했을 때 요각을 측정한 실험 결과이다. 본 발명의 일 실시예에 따른 요각 측정은, 이미지 사이즈가 320×240인 영상을 사용하였는데 픽셀수가 더 정교한 영상을 사용한다면 오차는 줄어들 것이다.
회전각 측정 장치는 가속도 센서부(accelorometer)(250)를 이용하여 HDM(110)의 피치각을 측정한다(S380). 도 10에 도시된 바와 같이, 가속도 센서부(250)는 HMD의 측면에 부착되어 HMD의 3축 가속도를 측정할 수 있다. 본 발명의 일 실시예에 따른, 가속도 센서부(250)는 측면 여유 공간에 부착 가능하도록 소형으로 제작된 것일 수 있다.
가속도 센서부(250)는 외부의 충격량과 방향을 감지하는 센서이다. 외부의 충격이 없을 경우에는 항상 중력 방향을 감지하기 때문에 중력 방향을 기준으로 하여, 물체의 기울어진 방향과 그 정도를 감지할 수 있다. 이러한 원리를 이용하여 회전된 피치각을 측정한다.
도 9에 도시된 바와 같이, Z축은 중력방향이고 센서를 좌우로 기울이면 X축 값이 변화하고, 상하로 기울이면 Y축 값이 변하게 된다. Z축의 경우는 중력가속도와 관련되어 센서를 들어올리거나 아래로 내리면, 중력가속도를 기준으로 Z축의 값이 +/- 로 변하게 된다.
우선, 가속도 센서부(250)는 가속도 센서부(250)의 위치가 착용자의 머리가 정중앙을 바라보고 있을 때 초기값이 되도록 설정한다. 그리고, 가속도 센서부(250)는 초기값을 기준으로, HMD(110)가 피치각으로 회전하였을 때, 가속도 센서부(250)는 피치각을 검출할 수 있다.
도 11은 가속도 센서부(250)가 피치 방향으로 회전할 때 검출되는 회전각의 범위를 보여준다.
도 12는 가속도 센서부(250)를 이용하여 피치각을 측정한 결과이다. 본 실험에서 사용한 가속도 센서부(250)는 STMicroelectric 사의 LIS302DL이다. 다만, 본 발명의 일 실시예에서 사용된 가속도 센서가 아닌 다른 가속도 센서를 이용하여 피치각을 측정할 수 있음을 물론이다.
또한, 더욱 정밀한 각도 측정기를 사용하고, 가속도 센서부(250)의 부착 위치를 정확히 한다면 오차를 줄일 수 있다. 그리고 적절한 보상필터를 사용한다면 더 정확한 결과값을 얻을 수 있다.
상술한 바와 같이 가속도 센서를 이용하여 피치각을 측정하면, 회전각 측정 장치는 무선 통신부를 통해 측정된 요각과 피치각 데이터를 외부로봇으로 송신한다(S390).
상술한 바와 같이 카메라와 가속도 센서부(250)를 이용하여 HMD의 회전각을 측정한다면, 회전각 측정 장치는 측정된 회전각을 통해 외부 기기를 실시간으로 원격 제어할 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
110: HMD 120: 카메라부
130: 무선 네트워크부 140: 모바일 로봇
220: 영상처리부 230: 특징점 추출부
240: 요각 산출부 250: 가속도 센서부
260: 피치각 산출부 270: 무선 통신부

Claims (10)

  1. 사용자가 착용한 HMD(head mounted display)의 회전각 측정을 위한 회전각 측정 장치에 있어서,
    영상을 촬영하기 위한 카메라부;
    상기 촬영된 영상을 처리하는 영상처리부;
    상기 처리된 영상에서 복수 개의 특징점의 중심좌표를 검출하는 특징점 검출부;
    상기 검출된 특징점의 중심좌표을 통해 상기 HMD의 제1 회전각을 산출하는 제1 회전각 산출부;
    상기 HMD의 가속도를 검출하는 가속도 센서부; 및
    상기 검출된 가속도를 이용하여 상기 HMD의 제2 회전각을 산출하는 제2 회전각 산출부;를 포함하는 회전각 측정 장치
  2. 제1항에 있어서,
    상기 영상처리부는,
    상기 카메라로부터 촬영된 영상을 그레이 스케일(gray scale)로 변환하고, 상기 변환된 영상을 이진화하며, 상기 이진화된 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 영상을 라벨링(labeling)하여 처리하는 것을 특징으로 하는 회전각 측정 장치.
  3. 제1항에 있어서,
    상기 특징점 검출부는,
    상기 처리된 영상으로부터 4개의 특징점의 중심좌표을 검출하는 것을 특징으로 하는 회전각 측정 장치.
  4. 제1항에 있어서,
    상기 제1 회전각은,
    요(yaw)각이고,
    상기 제2 회전각은,
    피치(pitch)각인 것을 특징으로 하는 회전각 측정 장치.
  5. 제1항에 있어서,
    상기 제1 회전각 검출부를 통해 검출된 상기 제1 회전각과 상기 제2 회전각 검출부를 통해 검출된 상기 제2 회전각의 데이터를 외부기기로 송신하는 무선 통신부;를 더 포함하는 회전각 측정 장치.
  6. 사용자가 착용한 HMD의 회전각 측정하는 회전각 측정 방법에 있어서,
    영상을 촬영하는 단계;
    상기 촬영된 영상을 처리하는 단계;
    상기 처리된 영상에서 복수 개의 특징점의 중심좌표를 검출하는 단계;
    상기 검출된 특징점의 중심좌표를 통해 상기 HMD의 제1 회전각을 산출하는 단계;
    상기 HMD의 가속도를 검출하는 단계; 및
    상기 검출된 가속도를 이용하여 상기 HMD의 제2 회전각을 산출하는 단계;를 포함하는 회전각 측정 방법
  7. 제6항에 있어서,
    상기 처리 단계는,
    상기 촬영 단계로부터 촬영된 영상을 그레이 스케일로 변환하는 단계;
    상기 변환된 영상을 이진화하는 단계;
    상기 이진화된 영상의 노이즈를 제거하는 단계; 및
    상기 노이즈가 제거된 영상을 라벨링하는 단계;를 포함하는 것을 특징으로 하는 회전각 측정 방법.
  8. 제6항에 있어서,
    상기 중심좌표 검출 단계는,
    상기 처리된 영상으로부터 4개의 특징점의 중심좌표를 검출하는 것을 특징으로 하는 회전각 측정 방법.
  9. 제6항에 있어서,
    상기 제1 회전각은,
    요각이고,
    상기 제2 회전각은,
    피치각인 것을 특징으로 하는 회전각 측정 방법.
  10. 제6에 있어서,
    상기 제1 회전각 검출 단계를 통해 검출된 상기 제1 회전각과 상기 제2 회전각 검출 단계를 통해 검출된 상기 제2 회전각의 데이터를 외부기기로 송신하는 단계;를 더 포함하는 회전각 측정 방법.
KR20100002255A 2010-01-11 2010-01-11 회전각 측정 장치 및 이의 회전각 측정 방법 KR101141686B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20100002255A KR101141686B1 (ko) 2010-01-11 2010-01-11 회전각 측정 장치 및 이의 회전각 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100002255A KR101141686B1 (ko) 2010-01-11 2010-01-11 회전각 측정 장치 및 이의 회전각 측정 방법

Publications (2)

Publication Number Publication Date
KR20110082329A KR20110082329A (ko) 2011-07-19
KR101141686B1 true KR101141686B1 (ko) 2012-05-04

Family

ID=44920375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100002255A KR101141686B1 (ko) 2010-01-11 2010-01-11 회전각 측정 장치 및 이의 회전각 측정 방법

Country Status (1)

Country Link
KR (1) KR101141686B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929533A (zh) * 2015-02-18 2016-09-07 Lg电子株式会社 头戴式显示器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015046669A1 (en) * 2013-09-26 2015-04-02 Lg Electronics Inc. Head mounted display device and method of controlling the same
KR101658096B1 (ko) * 2015-02-18 2016-09-21 엘지전자 주식회사 헤드 마운티드 디스플레이

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
2008 정보 및 제어 심포지엄(ICS 08) 논문집, pp. 254, 2008. *
제어.자동화.시스템공학회지, pp. 42-60, 1996. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929533A (zh) * 2015-02-18 2016-09-07 Lg电子株式会社 头戴式显示器

Also Published As

Publication number Publication date
KR20110082329A (ko) 2011-07-19

Similar Documents

Publication Publication Date Title
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
JP5612916B2 (ja) 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
US11068056B2 (en) Wearable eye tracking system with slippage detection and correction
KR101930652B1 (ko) 보행 해석 시스템 및 기록 매체에 기록된 컴퓨터 프로그램
US10067610B2 (en) Method and apparatus for recognizing touch gesture
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN112434669B (zh) 一种多信息融合的人体行为检测方法及系统
CN105892633A (zh) 手势识别方法及虚拟现实显示输出设备
CN109872355A (zh) 一种基于深度相机的最短距离获取方法及装置
CN106919254A (zh) 一种头戴式虚拟现实设备及安全保护方法
KR101141686B1 (ko) 회전각 측정 장치 및 이의 회전각 측정 방법
CN112270807A (zh) 一种老人跌倒预警系统
CN112492195A (zh) 光学传感装置及方法
WO2022221249A1 (en) Video-based hand and ground reaction force determination
CN113888715A (zh) 一种基于虚拟多目内窥镜的高炉料面三维重建方法及系统
CN113701750A (zh) 一种井下多传感器的融合定位系统
Paudel et al. A deep-learning based worker’s pose estimation
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
CN108140256B (zh) 基于显示器的取向信息显示对象的3d表示的方法、设备和程序
CN111489376B (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
JP2017227687A (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2021036109A (ja) 評価支援システム、評価支援方法、及びプログラム
Chen et al. A real-time photogrammetric system for acquisition and monitoring of three-dimensional human body kinematics
Wang et al. A novel approach to detect the posture of excavator’s manipulator

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150421

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170525

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee