KR20180106276A

KR20180106276A - 동작 인식 장치

Info

Publication number: KR20180106276A
Application number: KR1020170034346A
Authority: KR
Inventors: 유태경; 김대원; 원예림
Original assignee: 주식회사 루멘스
Priority date: 2017-03-20
Filing date: 2017-03-20
Publication date: 2018-10-01

Abstract

객체의 동작을 입체적으로 인식하기 위한 동작 인식 장치가 개시된다. 이 동작 인식 장치는, 매트릭스 배열로 배열된 다수의 발광소자; 상기 다수의 발광소자에 대응되게 매트릭스 배열로 배열된 다수의 수광 그룹; 및 상기 다수의 수광 그룹으로부터 받은 광 신호들을 처리하여, 객체의 입체적 동작 정보를 획득하는 프로세서를 포함하며, 상기 다수의 발광소자 각각은 동작 중인 객체의 표면 각 지점을 향해 광을 조사하며, 상기 다수의 수광 그룹 각각은, 객체의 동작 변화에 따라 객체의 표면 각 지점에서 다른 방향으로 반사되어 나오는 광을 여러 방향에서 수광하도록, 상기 발광소자 주변에 적어도 2개 이상 나란하게 배치된 복수의 수광소자를 포함한다.

Description

동작 인식 장치{motion recognition apparatus}

본 발명은 객체 동작 인식 장치에 관한 것으로서, 더 상세하게는, 객체의 동작을 입체적으로 인식하는 동작 인식 장치에 관한 것이다.

2차원 영상으로부터 객체의 동작을 인식하는 기술이 오랜 시간 동안 연구되어 왔다. 그리고, 이러한 기술은 영상감시(visual surveillance), 사람-컴퓨터 상호작용(human-computer interaction), 지능로봇(intelligent robot) 등 다양한 분야에 적용되고 있다. 하지만, 이러한 기술은 3차원 공간에 속해 있는 객체의 동작을 2차원 영상으로 획득해 인식하는 것이므로, 많은 정보의 손실이 수반되어야 한다. 이에 대한 대안으로 깊이 맵(depth map)을 이용한 입체적 영상 인식 기술이 종래에 제안된 바 있다. 이 기술은 좌안 및 우안의 이미지를 동시에 다른 각도에서 촬영하고, 촬영된 두 영상에서 각 점들의 거리를 정하는 깊이 맵을 추출하여, 이 깊이 맵을 손가락 등과 같은 객체의 동작 인식에 이용한다. 그러나, 이 기술은 다른 각도에서 촬영한 이미지로 가상의 입체를 추정해 객체를 인식하는 기술로 실제 객체의 동작을 인식하는데 있어서는 한계가 있다.

미국특허 US9,002,099

본 발명이 해결하고자 하는 과제는 매트릭스 배열된 다수의 수광소자 그룹들을 포함하고, 각 수광소자 그룹이 객체의 일 지점을 맞고 반사되는 광을 객체의 미세 움직임에 따라 여러 각도에서 수광하는 수광소자들을 이용함으로써, 객체의 동작을 입체적으로 인식하는 동작 인식 장치를 제공하는 것이다.

본 발명의 일측면에 따라, 객체의 동작을 입체적으로 인식하기 위한 동작 인식 장치가 제공되며, 상기 동작 인식 장치는, 매트릭스 배열로 배열된 다수의 발광소자; 상기 다수의 발광소자에 대응되게 매트릭스 배열로 배열된 다수의 수광 그룹; 및 상기 다수의 수광 그룹으로부터 받은 광 신호들을 처리하여, 객체의 입체적 동작 정보를 획득하는 프로세서를 포함하며, 상기 다수의 발광소자 각각은 동작 중인 객체의 표면 각 지점을 향해 광을 조사하며, 상기 다수의 수광 그룹 각각은, 객체의 동작 변화에 따라 객체의 표면 각 지점에서 다른 방향으로 반사되어 나오는 광을 여러 방향에서 수광하도록, 상기 발광소자 주변에 적어도 2개 이상 나란하게 배치된 복수의 수광소자를 포함한다.

일 실시예에 따라, 상기 다수의 수광그룹은 제1 기판 상에 매트릭스 배열로 배열되고, 상기 다수의 발광소자는 상기 객체와 상기 제1 기판 사이에 상기 제1 기판과 평행하게 위치한 광 투과성 제2 기판 상에 매트릭스 배열로 배열된다.

일 실시예에 따라, 상기 수광그룹 내 복수의 수광소자는 상기 발광소자의 중심축선의 주변에 위치한다.

일 실시예에 따라, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 기준으로 x축 방향을 따라 서로 대칭되게 배치된 x1 수광소자 및 x2 수광소자와, 상기 발광소자의 중심을 기준으로 y축 방향을 따라 대칭되게 배치된 y1 수광소자 및 y2 수광소자를 포함한다.

일 실시예에 따라, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 중심으로 하는 가상의 원을 따라 일정 간격으로 배열된 복수의 수광소자를 포함한다.

일 실시예에 따라, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 중심으로 하는 가상의 제1 원을 따라 일정 간격으로 배열된 복수의 수광소자와, 상기 중심축선을 중심으로 하는 가상의 제2 원을 따라 일정 간격으로 배열된 복수의 수광소자를 포함한다.

일 실시예에 따라, 상기 다수의 발광소자는 마이크로미터 크기 이하의 크기를 가지고 마이크로미터 크기 이하의 간격으로 배열된 마이크로 발광소자일 수 있다.

일 실시예에 따라, 상기 다수의 발광소자 각각은 직진성을 높이는 옵틱을 포함한다.

본 발명에 따른 동작 인식 장치는, 다수의 광원(발광소자) 각각에서 발광된 후 객체의 입체 표면을 특정 지점을 맞고 되돌아오는 광을 수광소자로 받아 그 입체 표면의 형상 및 움직임을 파악할 수 있으며, 이와 같은 파악을 객체의 여러 표면에 대해 동일한 방식으로 수행함으로써, 객체의 동작을 높은 정밀도로 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따른 동작 인식 장치를 전반적으로 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 동작 인신 장치의 발광-수광 모듈을 설명하기 위한 평면도이다.
도 3의 (a)와 (b)는 도 2의 I-I 및 도 2의 II-II를 따라 취한 단면도로서, 객체를 가상선으로 함께 나타낸 도면이다.
도 4는 객체 일 지점의 미시적인 움직임에 의한 해당 수광소자의 수광량이 달라지는 예를 설명하기 위한 도면이다.
도 5는 객체 일 시점의 미시적인 움직임에 의해 두 인접하는 수광소자의 수광량이 상대적으로 변하는 예를 설명하기 위한 도면이다.
도 6은 객체의 일 지점이 함몰되었을 때 두 인접하는 수광소자가 광을 수광하는 상태를 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 다른 실시예들을 설명하기 위한 도면들이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

도 1은 본 발명의 일 실시예에 따른 동작 인식 장치를 전반적으로 설명하기 위한 개념도이고, 도 2는 본 발명의 일 실시예에 따른 동작 인신 장치의 발광-수광 모듈을 설명하기 위한 평면도이고, 도 3의 (a)와 (b)는 도 2의 I-I 및 도 2의 II-II를 따라 취한 단면도로서, 객체를 가상선으로 함께 나타낸 도면이고, 도 4는 객체 일 지점의 미시적인 움직임에 의한 해당 수광소자의 수광량이 달라지는 예를 설명하기 위한 도면이고, 도 5는 객체 일 시점의 미시적인 움직임에 의해 두 인접하는 수광소자의 수광량이 상대적으로 변하는 예를 설명하기 위한 도면이며, 도 6은 객체의 일 지점이 함몰되었을 때 두 인접하는 수광소자가 광을 수광하는 상태를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 동작 인식 장치는, 3차원 공간에 있는 3차원 객체(O)의 동작을 인식하기 위한 장치이다. 상기 객체(O)는 사람의 손일 수 있다. 이 경우, 상기 동작 인식 장치는, 사람 손의 포즈 변화를 인식하여, 3차원으로 영상화하는 것이 가능하다.

상기 동작 인식 장치는 마주하는 객체(O)의 표면 여러 지점에 대해 매트릭스 배열의 규칙적 패턴으로 광을 조사하고, 그 조사된 광이 객체(O) 표면에서 반사되어 되돌아 올 때, 이 되돌아오는 광 신호를 검출하여 전기 신호로 출력하는 발광-수광 모듈(1)을 기반으로 한다.

상기 발광-수광 모듈(1)은 평판 형태로 책상 등에 눕혀지거나 또는 세워져 배치될 수 있으며, 객체(O)를 발광-수광 모듈(1)의 발광면과 수광면을 향하게 위치한 상태로 객체(O)를 움직이면서, 상기 발광-수광 모듈(1)을 동작시켜 이용한다.

발광-수광 모듈(1)은 객체(O)의 입체적 형상을 대표할 수 있는 다수의 광 신호들을 이용하는 것이므로, 주변의 외부 광에 의한 간섭이나 방해를 막기 위해, 발광-수광 모듈(1)과 객체(O) 사이를 광 쉴드 재료로 덮는 것도 고려될 수 있다.

상기 발광-수광 모듈(1)과 마주하고 있는 객체(O) 표면의 거의 전 영역에 걸쳐 있는 여러 지점으로부터 반사되어 돌아오는 광은 객체(O)의 표면 각 지점의 형상에 따라 다른 방향/각도로 반사되어 돌아오므로, 이 광은 객체(O)의 형상을 대표한다. 그리고, 객체(O)의 움직임이 있을 때에는 객체(O)의 여러 미세 지점들의 미시적인 변형도 수반되며, 이 지점들의 변형은 광 입사각 및 출사각의 변화를 일으켜, 광의 방향도 변화된 것이다.

또한, 상기 동작 인식 장치는 컴퓨터(2)를 포함하며, 이 컴퓨터(2)는 전술한 발광-수광 모듈(1)로부터 받은 신호들을 처리하여 객체(O)의 3차원 동작 정보를 인식하게 해주는 프로세서를 포함한다. 객체(O)의 동작 정보 데이터는 DB에 저장되며, 객체(O)의 동작 정보로부터 얻은 객체의 동작 관련 영상은 디스플레이부(4)를 통해 출력된다. 디스플레이부(4)를 통해 출력되는 영상은 예컨대, 음영에 의해 입체감이 부여된 깊이 맵(depth map)과 같은 영상일 수 있다. 상기 컴퓨터(2)의 프로세서는 발광-수광 모듈(1)로부터 받은 신호들로부터 높은 레벨의 객체 동작 정보를 만든다.

도 2 및 도 3을 참조하면, 상기 발광-수광 모듈(1)은 2차원적으로 매트릭스 배열된 다수의 발광소자(100)와, 상기 다수의 발광소자(100)에 대응되게 2차원적으로 매트릭스 배열된 다수의 수광 그룹(G)을 포함한다. 상기 다수의 발광소자(100) 각각은 동작 중인 객체(O)의 표면 일 지점을 향해 수직 방향으로 광을 조사한다. 상기 다수의 수광 그룹(G) 각각은, 객체의 동작 변화에 따라 객체의 표면 각 지점에서 다른 방향으로 반사되어 나오는 광을 여러 방향에서 수광하도록, 해당 발광소자(100) 주변에 배치된 복수의 수광소자(200x1, 200x2, 200y1, 200y2)를 포함한다.

상기 다수의 발광소자(100) 각각은 직진성을 높이는 옵틱(optic)을 포함하는 마이크로 LED(Light Emitting Diode) 또는 LD(Laser Diode)일 수 있다. 그리고, 상기 다수의 수광그룹(G) 내 각 복수의 수광소자(200x1, 200x2, 200y1, 200y2) 각각은 포토 디텍터(photo detector)일 수 있으며, 마이크로미터 크기를 가지고 마이크로미터 간격으로 배치될 수 있다.

상기 다수의 수광그룹(G)은 제1 기판(400) 상에 매트릭스 배열로 배열된다. 또한, 상기 다수의 발광소자(100)는 상기 객체(O)와 상기 제1 기판(400) 사이에 상기 제1 기판(400)과 평행하게 위치한 광 투과성 제2 기판(300) 상에 매트릭스 배열로 배열된다.

또한, 상기 발광소자(100)는 가상의 중심축선(C)을 가지며, 상기 다수의 수광그룹(G) 각각을 구성하는 복수의 수광소자(200x1, 200x2, 200y1, 200y2)는 해당 발광소자(100)의 중심축선(C)의 주변에 위치한다. 이때, 상기 복수의 수광소자(200x1, 200x2, 200y1, 200y2)는 서로 등간격으로 배치되는 한편, 상기 발광소자(100)의 중심축선(C)에 대하여는 모두 동일한 거리만큼 떨어져 있다.

해당 발광소자(100)와 그 해당 발광소자(100)의 주변에 위치한 복수의 수광소자(200x1, 200x2, 200y1, 200y2)로 구성된 발광소자-수광그룹 세트가 객체(O)가 정해진 발광소자(100)의 수직방향 광 조사와 객체(O)의 미세 움직임에 의한 광 반사 방향 변화로부터 객체(O)의 해당 지점에 대한 미세 움직임을 측정할 수 있다.

해당 발광소자-수광그룹 세트와 인접한 다른 해당 발광소자-수광그룹 세트는 객체(O)의 다른 지점에 대한 미세 움직임을 측정한다. 이웃하는 발광소자-수광그룹 세트가 정보를 획득한 이웃하는 두 영역 사이에 정보의 획득이 불가한 암 영역이 존재하지만, 정보가 획득된 영역들을 점과 점을 연결하듯이 연결하면, 객체(O)의 전반적인 입체 형상을 얻을 수 있어 해상도에 있어서 큰 문제가 없다. 필요한 경우 이웃하는 발광소자-수광그룹 세트의 간격을 광 간섭이 발생하지 않는 범위 내에서 최대로 줄이면, 해상도를 높일 수 있다,

선호되는 실시예에 따라, 상기 수광 그룹(G) 각각은, 전술한 투광성 제2 기판(300) 상에 매트릭스 배열로 배치된 다수의 발광소자 중 해당 발광소자(100)의 중심축선(C)을 기준으로 x축 방향을 따라 대칭되게 제1 기판(400) 상에 배치된 x1 수광소자(200x1) 및 x2 수광소자(200x2)와, 해당 발광소자(100)의 중심(C)을 기준으로 y축 방향을 따라 대칭되게 제2 기판(400) 상에 배치된 y1 수광소자(200y1) 및 y2 수광소자(200y2)를 포함한다. 이때, x축 방향과 y축 방향은 2차원 평면 좌표 상에서 서로 직교하는 방향을 의미한다.

발광소자(100)는 수직 방향으로 대략 평행광에 가까운 광을 객체(O)의 특정 지점에 조사하며, 특정 지점에 조사된 광은 그 특정 지점의 형상에 따라 반사되어 x1 수광소자(200x1), x2 수광소자(200x2), y1 수광소자(200y1) 및/또는 y2 수광소자(200y2)로 반사되어, x1 수광소자(200x1), x2 수광소자(200x2), y1 수광소자(200y1) 및/또는 y2 수광소자(200y2)에 의해 검출된다.

발광소자(100)로부터 수직 방향으로 조사된 광의 객체(O)의 특정 지점에 대한 입사 방향과 입사각이 객체(O)의 특정 지점의 미세 움직임에 의해 달라지므로, 객체(O)의 특정 지점으로부터 수광그룹(G) 안에서 4 방위에 등간격으로 배열된 4개의 수광소자(200x1, 200x2, 200y1, 200y2) 각각이 수광하는 광의 양도 그에 따라 달라진다. 따라서, 상기 복수의 수광소자(200x1, 200x2, 200y1, 200y2)를 포함하는 수광그룹(G)에 의해 얻어진 다수의 신호는 객체(O)의 형상 특성을 대변한다.

도 4의 (a) 및 (b)는 객체(O)의 특정 지점의 미세 움직임에 의한 광 입사 방향 변화로 인해 두 수광소자(200x1, 200x2)의 광 검출량이 달라지는 것을 보여주며, 도 5의 (a) 및 (b)는 객체(O)의 특정 지점의 미세 움직임에 의한 광 입사각 변화로 인해, 특정 수광소자(200y1)의 광 검출량이 감소하여 0이 되고, 인접 수광소자(200y2)의 광 검출량이 0으로부터 증가된 것을 보여준다. 도 6은 객체(O)의 특정 지점이 함몰 형태로 변형되어 광이 두 수광소자(200x1, 200x2)로 나뉘어 수광되는 경우를 보여준다. 도 6에 도시된 것과 같은 경우, 발광소자(O)의 직하에 수광소자가 없어 중심축선을 통과하는 방향으로 진행하는 광이 수광소자들에 의해 수광되지 않지만, 이 경우는, 각 수광소자에 수광되는 광의 배분량에 따라 특정 지점의 움직임을 예측하는데 큰 무리가 없다. 그러함에도 불구하고, 발광소자의 중심축선(C)이 통과하는 위치에 중심 수광소자를 추가로 두어 더 정확한 측정이 가능하다.

도 7은 본 발명의 다른 실시예를 설명하기 위한 도면으로서, 도 7을 참조하면, 발광소자(100)의 중심축선(C)을 중심으로 하는 가상의 원(A)을 따라 일정 간격으로 배열된 8개의 수광소자(200)가 배열된 발광-수광 모듈을 볼 수 있다. 수광소자들이 발광소자의 중심축선을 중심으로 하는 가상의 원을 따라 등간격으로 배열된 것은 앞선 실시예와 같지만, 앞선 실시예의 경우, 4개의 수광소자가 90도 간격으로 배열되어 있어서, 90도 간격으로 이웃하는 두 수광소자 사이에 수광이 안 되는 암 영역(dark area) 면적이 커질 수 있다. 앞선 실시예의 수광소자 폭을 늘려 이러한 점을 보완하지만, 발광소자(100)에 대한 등간격 그리고 이웃하는 수광소자들간 등간격 조건을 유지하면서, 수광소자 개수를 늘려 암 영역(dark area)을 줄이도록 발광소자(100)의 중심축선(C)을 중심으로 하는 가상의 원(A)을 따라 일정 간격으로 배열되는 수광소자(200)의 개수를 늘리는 것이 유요할 수 있다.

도 8은 본 발명의 또 다른 실시예를 설명하기 위한 도면으로서, 도 8을 참조하면, 수광 그룹이 해당 발광소자의 중심축선을 중심으로 하는 가상의 제1 원(A1)을 따라 일정 간격으로 배열된 복수의 수광소자(200A1)와, 상기 중심축선을 중심으로 하는 가상의 제2 원(A2)을 따라 일정 간격으로 배열된 복수의 수광소자(200A2)를 포함한다. 제1 원(A1)을 따라 배열된 복수의 수광소자(200A1)의 개수와 제2 원(A2)을 따라 배열된 복수의 수광소자(200A2)의 개수는 같다. 또한, 제1 원(A1)을 따라 배열된 복수의 수광소자(200A1)의 배열 각도와 제2 원(A2)을 따라 배열된 복수의 수광소자(200A2)의 배열 각도 또한 같다.

객체의 표면 반사도나 산란과 같은 조건들은 광의 직경을 미세화하는 것에 의해 무시할 수 있을 정도로 줄일 수 있다. 또한, 수광 그룹 사이의 간극 존재로 인해 객체 표면으로부터 정보를 얻을 수 없는 조건은 정보를 얻은 영역들로부터 근사시키는 것만으로도 충분하다. 이러한 근사는 동작을 인식하고하는 객체가 사람의 손가락과 같이 관절이나 신경에 의해 움직임이 미세하게 이루어질 수 없는 조건인 경우 특히 더 쉬울 수 있다.

100: 발광소자
200, 200x1, 200x2, 200y1, 200y2, 200A1, 200A2: 수광소자
G: 수광그룹
400: 제1 기판
300: 제2 기판

Claims

객체의 동작을 입체적으로 인식하기 위한 동작 인식 장치로서,
매트릭스 배열로 배열된 다수의 발광소자;
상기 다수의 발광소자에 대응되게 매트릭스 배열로 배열된 다수의 수광 그룹; 및
상기 다수의 수광 그룹으로부터 받은 광 신호들을 처리하여, 객체의 입체적 동작 정보를 획득하는 프로세서를 포함하며,
상기 다수의 발광소자 각각은 동작 중인 객체의 표면 각 지점을 향해 광을 조사하며, 상기 다수의 수광 그룹 각각은, 객체의 동작 변화에 따라 객체의 표면 각 지점에서 다른 방향으로 반사되어 나오는 광을 여러 방향에서 수광하도록, 상기 발광소자 주변에 적어도 2개 이상 나란하게 배치된 복수의 수광소자를 포함하는 것을 특징으로 하는 객체의 동작 인식 장치.
청구항 1에 있어서, 상기 다수의 수광그룹은 제1 기판 상에 매트릭스 배열로 배열되고, 상기 다수의 발광소자는 상기 객체와 상기 제1 기판 사이에 상기 제1 기판과 평행하게 위치한 광 투과성 제2 기판 상에 매트릭스 배열로 배열되는 것을 특징으로 하는 동작 인식 장치.
청구항 2에 있어서, 상기 수광그룹 내 복수의 수광소자는 상기 발광소자의 중심축선의 주변에 위치하는 것을 특징으로 하는 동작 인식 장치.
청구항 1에 있어서, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 기준으로 x축 방향을 따라 서로 대칭되게 배치된 x1 수광소자 및 x2 수광소자와, 상기 발광소자의 중심을 기준으로 y축 방향을 따라 대칭되게 배치된 y1 수광소자 및 y2 수광소자를 포함하는 것을 특징으로 하는 객체의 동작 인식 장치.
청구항 1에 있어서, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 중심으로 하는 가상의 원을 따라 일정 간격으로 배열된 복수의 수광소자를 포함하는 것을 특징으로 하는 객체의 동작 인식 장치.
청구항 1에 있어서, 상기 수광 그룹 각각은, 상기 발광소자의 중심축선을 중심으로 하는 가상의 제1 원을 따라 일정 간격으로 배열된 복수의 수광소자와, 상기 중심축선을 중심으로 하는 가상의 제2 원을 따라 일정 간격으로 배열된 복수의 수광소자를 포함하는 것을 특징으로 하는 동작 인식 장치.
청구항 1에 있어서, 상기 다수의 발광소자는 마이크로미터 크기 이하의 크기를 가지고 마이크로미터 크기 이하의 간격으로 배열된 마이크로 발광소자인 것을 특징으로 하는 동작 인식 장치.
청구항 1에 있어서, 상기 다수의 발광소자 각각은 직진성을 높이는 옵틱을 포함하는 것을 특징으로 하는 동작 인식 장치.