KR101653281B1 - 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법 - Google Patents

설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법 Download PDF

Info

Publication number
KR101653281B1
KR101653281B1 KR1020150010704A KR20150010704A KR101653281B1 KR 101653281 B1 KR101653281 B1 KR 101653281B1 KR 1020150010704 A KR1020150010704 A KR 1020150010704A KR 20150010704 A KR20150010704 A KR 20150010704A KR 101653281 B1 KR101653281 B1 KR 101653281B1
Authority
KR
South Korea
Prior art keywords
camera
user
image
face
depth information
Prior art date
Application number
KR1020150010704A
Other languages
English (en)
Other versions
KR20160090650A (ko
Inventor
임윤섭
최종석
안기진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020150010704A priority Critical patent/KR101653281B1/ko
Publication of KR20160090650A publication Critical patent/KR20160090650A/ko
Application granted granted Critical
Publication of KR101653281B1 publication Critical patent/KR101653281B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서의 일 실시예에 따른 사용자 위치 추정 방법은 제1 카메라에 의해 촬영대상 영역을 촬영하여 깊이 정보를 포함하는 제1 영상을 획득하는 단계와, 제2 카메라에 의해 상기 촬영대상 영역내의 특정 영역을 확대 촬영하여 제2 영상을 획득하는 단계와, 제1 영상으로부터 사용자의 몸체를 검출하고, 몸체의 3차원 위치를 산출하는 단계와, 몸체의 3차원 위치에 기초하여 제2 카메라의 포즈를 제어함으로써 제2 영상으로부터 사용자의 얼굴을 검출하고, 얼굴의 3차원 위치를 산출하는 단계와, 몸체의 3차원 위치 및 얼굴의 3차원 위치에 기초하여 사용자의 3차원 위치를 추정하는 단계를 포함할 수 있다.

Description

설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATION OF USER LOCATION OVER A CONFIGURABLE SENSOR NETWORK}
본 명세서는 사용자 인식 분야에 관한 것으로, 보다 상세하게는, 이종의 카메라로 구성된 센서네트워크에서 촬영된 복수의 영상을 이용하여 사용자의 위치를 추정하는 장치 및 방법에 관한 것이다.
센서 기술 및 영상 처리 기술이 발달함에 따라 카메라와 같은 센서에 의해 촬영된 영상으로부터 특정 목표물을 인식하고 위치를 추정하는 기술이 많은 분야에서 사용되고 있다. 예를 들면, 사용자정보기반 로봇서비스를 제공하기 위하여 이러한 목표물 인식 기술이 활용될 수 있다. 또한, 방범 및 위험상황 방지시스템 등 영상보안관리체계에도 이러한 목표물 인식 기술이 활용될 수 있다.
이러한 특정 목표물을 인식하는 장치는 다양한 환경 또는 다양한 거리에 있는 목표물을 효과적으로 인식할 수 있어야 한다. 그런데, 종래의 목표물 인식 장치들은 단일 센서 또는 동종의 센서들만으로 센서 네트워크를 구성하고, 이를 이용하여 목표물을 인식하는 방법을 택하는데, 이러한 경우, 목표물의 인식 영역이 좁으며, 환경이 자주 바뀌는 실제 환경에서 목표물의 인식률이 떨어지는 문제점을 갖는다.
특허공개공보 제10-2009-0022099호
이에 본 명세서는 이종의 다중센서들로 구성된 센서 네트워크를 이용하여 사용자를 인식하고 사용자의 위치를 추정하는 사용자 위치 추정 장치 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 명세서는 센서 네트워크를 자동으로 보정하는 사용자 위치 추정 장치 및 방법을 제공하는 것을 그 목적으로 한다.
본 명세서의 일 측면에 따르면, 제1 카메라에 의해 촬영대상 영역을 촬영하여 깊이 정보를 포함하는 제1 영상을 획득하는 단계; 제2 카메라에 의해 상기 촬영대상 영역내의 특정 영역을 확대 촬영하여 제2 영상을 획득하는 단계; 상기 제1 영상으로부터 사용자의 몸체를 검출하고, 상기 제1 카메라의 제1 포즈 파라미터 및 상기 몸체의 깊이 정보에 기초하여 상기 몸체의 3차원 위치를 산출하는 단계; 상기 몸체의 3차원 위치에 기초하여 상기 제2 카메라의 포즈를 제어함으로써 상기 제2 영상으로부터 상기 사용자의 얼굴을 검출하고, 상기 제2 카메라의 제2 포즈 파라미터 및 상기 얼굴의 깊이 정보에 기초하여 상기 얼굴의 3차원 위치를 산출하는 단계-상기 얼굴의 깊이 정보는 상기 몸체의 깊이 정보로부터 추정됨-; 및 상기 몸체의 3차원 위치 및 상기 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정하는 단계를 포함하는, 사용자 위치 추정 방법을 제공할 수 있다.
본 명세서의 일 측면에 따르면, 상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ(pan-tilt-zoom) 카메라일 수 있다.
본 명세서의 일 측면에 따르면, 상기 제1 포즈 파라미터는 상기 RGB-D 카메라의 틸팅(tilting) 각도를 나타내는 파라미터를 포함하고, 상기 제2 포즈 파라미터는 상기 PTZ 카메라의 패닝(panning) 각도, 틸팅(tilting) 각도 및 줌(zoom) 비율을 나타내는 파라미터를 포함할 수 있다.
본 명세서의 일 측면에 따르면, 상기 제1 영상을 획득하는 단계 이전에, 상기 RGB-D 카메라를 이용하여 상기 RGB-D 카메라 및 상기 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정하는 단계를 더 포함하되, 상기 센서 포즈 파라미터는 상기 센서 네트워크의 높이를 나타내는 파라미터를 포함할 수 있다.
본 명세서의 일 측면에 따르면, 상기 얼굴의 3차원 위치를 산출하는 단계는, 상기 몸체의 깊이 정보 및 상기 PTZ 카메라의 제2 포즈 파라미터를 이용하여 상기 얼굴의 깊이 정보를 추정할 수 있다.
본 명세서의 일 측면에 따르면, 촬영대상 영역을 촬영하여 깊이 정보를 포함하는 제1 영상을 획득하는 제1 카메라; 상기 촬영대상 영역내의 특정 영역을 확대 촬영하여 제2 영상을 획득하는 제2 카메라; 및 상기 제1 카메라 및 상기 제2 카메라를 제어하는 제어부를 포함하되, 상기 제어부는, 상기 제1 영상으로부터 사용자의 몸체를 검출하고, 상기 제1 카메라의 제1 포즈 파라미터 및 상기 몸체의 깊이 정보에 기초하여 상기 몸체의 3차원 위치를 추정하는 제1 위치 추정 모듈; 상기 몸체의 3차원 위치에 기초하여 상기 제2 카메라의 포즈를 제어함으로써 상기 제2 영상으로부터 상기 사용자의 얼굴을 검출하고, 상기 제2 카메라의 제2 포즈 파라미터 및 상기 얼굴의 깊이 정보에 기초하여 상기 얼굴의 3차원 위치를 추정하는 제2 위치 추정 모듈-상기 얼굴의 깊이 정보는 상기 몸체의 깊이 정보로부터 추정됨-; 및 상기 몸체의 3차원 위치 및 상기 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정하는 사용자 위치 결정 모듈을 포함하는, 사용자 위치 추정 장치를 제공할 수 있다.
본 명세서의 일 측면에 따르면, 상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ 카메라일 수 있다.
본 명세서의 일 측면에 따르면, 상기 제1 포즈 파라미터는 상기 RGB-D 카메라의 틸팅(tilting) 각도를 나타내는 파라미터를 포함하고, 상기 제2 포즈 파라미터는 상기 PTZ 카메라의 패닝(panning) 각도, 틸팅(tilting) 각도 및 주밍(zooming) 비율을 나타내는 파라미터를 포함할 수 있다.
본 명세서의 일 측면에 따르면, 상기 제어부는, 상기 RGB-D 카메라를 이용하여 상기 RGB-D 카메라 및 상기 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정하는 센서 포즈 파라미터 보정부를 더 포함하되, 상기 센서 포즈 파라미터는 상기 센서 네트워크의 높이를 나타내는 파라미터를 포함할 수 있다.
본 명세서의 일 측면에 따르면, 제2 위치 산출부는, 상기 몸체의 깊이 정보 및 상기 PTZ 카메라의 제2 포즈 파라미터를 이용하여 상기 얼굴의 깊이 정보를 추정할 수 있다.
본 명세서에 따르면, 사용자 위치 추정 장치 및 방법은 이종의 다중 센서로 구성된 센서네트워크를 이용하여 사용자를 인식함으로써, 단일의 센서를 이용하는 것에 비해 사용자 인식의 영역이 확대되고, 또한 각 센서의 장점들을 이용해 사용자를 인식할 수 있어 사용자 인식률을 높일 수 있다.
또한, 사용자 위치 추정 장치 및 방법은 센서네트워크를 자동으로 보정함으로써 설치되는 환경에 관계없이 자동적으로 센서네트워크의 시스템 파라미터를 획득할 수 있어 비교적 넓은 실내 환경에서 사용자 인식 서비스를 제공할 수 있다.
도 1은 본 명세서의 일 실시예에 따른, 사용자 위치 추정 장치의 개략도이다.
도 2는 본 명세서의 일 실시예에 따른 사용자 위치 추정 장치의 구성도이다.
도 3은 본 명세서의 일 실시예에 따른 PTZ 카메라의 줌 비율에 따라 PTZ 카메라의 카메라변환행렬의 초점 거리의 변화를 나타내는 그래프이다.
도 4는 본 명세서의 일 실시예에 따른, 사용자 위치 추정 장치가 사용자의 몸체의 깊이 정보와 PTZ 카메라의 포즈 파라미터에 기초하여 얼굴의 깊이 정보를 추정하는 기법을 나타낸다.
도 5는 본 명세서의 일 실시예에 따른 사용자 위치 추정 장치가 센서 네트워크의 센서 포즈 파라미터를 보정하는 방법을 나타낸다.
도 6은 본 명세서의 일 실시예에 따른 사용자 위치 추정 장치에서 센서 네트워크의 동적 파라미터를 변화시킴에 따라 사용자의 몸체 및 얼굴의 3차원 위치 추정의 오차율을 나타내는 표이다.
도 7은 본 명세서의 일 실시예에 따른 센서 네트워크 상에서 사용자의 이동에 따라 몸체의 3차원 위치 좌표, 얼굴의 3차원 위치 좌표 및 오차를 보여주는 도면이다.
도 8은 본 명세서의 일 실시예에 따른 사용자 위치 추정 방법의 순서도이다.
도 9는 본 명세서의 다른 실시예에 따른 사용자 위치 추정 방법의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", "로봇" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 로봇 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.
도 1은 본 명세서의 일 실시예에 따른, 사용자 위치 추정 장치의 개략도이다. 도 1을 참조하면, 사용자 위치 추정 장치(100)는 제1 카메라(110), 제2 카메라(120) 및 제어부(130)를 포함할 수 있다.
본 명세서에서 사용자 위치 추정 장치(100)는 이종의 카메라로 구성된 센서 네트워크에서, 센서 네트워크 내의 이종의 카메라에 의해 각각 촬영된 제1 영상 및 제2 영상을 이용하여 사용자(10)를 검출하고, 검출된 사용자(10)의 위치를 추정하는 장치를 말한다. 예를 들면, 사용자 위치 추정 장치(100)는 이종의 카메라인 제1 카메라(110)(예컨대, RGB-D 카메라)와 제2 카메라(120)(예컨대, PTZ 카메라)로 구성된 센서 네트워크에서, 제1 카메라(110)에 의해 촬영된 제1 영상(예컨대, RGB-D 영상)으로부터 사용자(10)의 몸체를 검출하고, 제2 카메라(120)에 의해 촬영된 제2 영상(예컨대, PTZ 영상)으로부터 사용자(10)의 얼굴을 검출하고, 검출된 몸체 및 얼굴의 3차원 위치에 기초하여 사용자(10)의 3차원 위치를 추정하는 장치일 수 있다.
도 1에 도시된 것처럼, 사용자 위치 추정 장치(100)의 제1 카메라(110)와 제2 카메라(120)는 동일한 삼각대에 마운팅되어 하나의 센서 네트워크를 구성할 수 있다. 이 경우, 제1 카메라(110)와 제2 카메라(120) 간의 상대적인 위치는 고정될 수 있다. 이러한 사용자 위치 추정 장치(100)는 이종의 카메라로 구성된 센서 네트워크를 이용하기 때문에, 이를 통해 사용자 인식 시스템을 구현하기 위하여 각 카메라 또는 센서 네트워크의 동적이며 제어 가능한 포즈 파라미터들을 정확히 제어할 필요가 있다.
본 명세서에서, 포즈 파라미터는 제1 카메라의 제1 포즈 파라미터, 제2 카메라의 제2 포즈 파라미터 및 센서 네트워크의 센서 포즈 파라미터를 포함할 수 있다.
여기서, 제1 포즈 파라미터는 제1 카메라의 자세를 나타내는 파라미터로서, 예컨대, 제1 카메라의 틸팅 각도(예컨대, 0~90도)를 나타내는 파라미터(
Figure 112015006961338-pat00001
)일 수 있다. 또한, 제2 포즈 파라미터는 제2 카메라의 자세를 나타내는 파라미터로서, 예컨대, 제2 카메라의 패닝 각도, 틸팅 각도 및 줌 비율를 나타내는 파라미터들(
Figure 112015006961338-pat00002
)일 수 있다. 제1 포즈 파라미터 및 제2 포즈 파라미터는 사용자 위치 추정 장치에 의한 각 카메라에 대한 모터제어에 대한 피드백을 통해 정확한 제1 및 제2 포즈 파라미터 값을 획득할 수 있다.
여기서, 센서 포즈 파라미터는 센서 네트워크의 자세를 나타내는 파라미터로서, 예컨대, 센서 네트워크의 높이를 나타내는 파라미터(
Figure 112015006961338-pat00003
)일 수 있다. 일 실시예에서, 센서 포즈 파라미터는 미리 보정된(calibarated) 파라미터일 수 있다. 다른 실시예에서, 센서 포즈 파라미터는 보정되지 않은 파라미터일 수 있다. 이 경우, 사용자 위치 추정 장치(100)는 미리 설정된 방법에 따라 센서 포즈 파라미터를 보정할 수 있다. 이에 대하여는, 도 5를 참조하여 이하에서 상세히 설명하도록 한다.
제1 카메라(110)는 촬영대상 영역을 촬영하여 3차원의 제1 영상을 획득할 수 있다. 여기서, 촬영대상 영역은 카메라로 촬영이 가능한 영역으로서, 적어도 하나의 오브젝트(object)(예컨대, 사용자(10))가 포함된 영역일 수 있다. 일 실시예에서, 제1 카메라(110)는 제1 카메라의 제1 포즈 파라미터에 따라 다양한 포즈로 동작할 수 있다. 사용자 위치 추정 장치(100)는 제1 포즈 파라미터를 조정하여 제1 카메라의 포즈를 조정함으로써, 다양한 각도에서 촬영된 제1 영상을 획득할 수 있다.
일 실시예에서, 제1 카메라(110)는 적색(R), 녹색(G) 및 청색(B) 픽셀들로 이루어지는 RGB 영상과 제1 카메라(110)에 의해 촬영되는 오브젝트의 깊이 정보(즉, 제1 카메라(110)로부터 오브젝트까지의 거리)를 함께 출력하는 RGB-D 카메라일 수 있다. 그러나 이는 예시적인 것으로서, 제1 카메라(110)는 전하결합소자(Charge Coupled Device) 등 컬러 영상을 얻기 위한 구성과 레이저 센서 등 깊이 영상을 얻기 위한 구성을 포함하는 임의의 카메라일 수 있다.
제2 카메라(120)는 촬영대상 영역 내의 특정 영역을 확대 촬영하여 2차원의 제2 영상을 획득할 수 있다. 일 실시예에서, 제2 카메라(120)는 패닝(panning), 틸팅(tilting) 및 주밍(zooming)이 가능한 PTZ 카메라일 수 있다. 그러나, 이는 예시적인 것으로, 제2 카메라(120)는 회전이 가능하고, 줌인 또는 줌아웃을 통해 촬영대상물의 확대 또는 축소가 가능한 임의의 카메라일 수 있다.
일 실시예에서, 제2 카메라(120)는 제2 카메라의 제2 포즈 파라미터에 따라 다양한 포즈로 동작할 수 있다. 사용자 위치 추정 장치(100)는 제2 포즈 파라미터를 조정하여 제2 카메라의 포즈를 조정함으로써, 다양한 각도 및 다양한 줌 비율로 촬영된 제2 영상을 획득할 수 있다.
제어부(140)는 제1 카메라(110) 및 제2 카메라(120)를 제어할 수 있다. 일 실시예에서, 제어부(140)는 제1 카메라(110) 및 제2 카메라(120)의 포즈를 제어할 수 있다. 이 경우, 제어부(140)는 각 카메라에 연결된 회전 모터, 줌 모터 등을 구동함으로써 각 카메라의 포즈를 제어할 수 있다. 또한, 제어부(140)는 제1 카메라(110)에 의해 촬영된 제1 영상 및 제2 카메라(120)에 의해 촬영된 제2 영상에 기초하여 사용자의 3차원 위치를 추정할 수 있다. 이러한, 제어부(140)에 대하여는 도 2를 참조하여 이하에서 상세히 설명하도록 한다.
이하에서는, 제1 카메라가 RGB-D 카메라이고, 제2 카메라가 PTZ 카메라인 경우를 중심으로 실시예들에 대하여 설명하도록 한다. 다만, 이러한 실시예들은 상술한 다른 종류의 제1 카메라 및 제2 카메라에도 동일하게 적용될 수 있다.
도 2는 본 명세서의 일 실시예에 따른 사용자 위치 추정 장치의 구성도이다. 도 2를 참조하면, 사용자 위치 추정 장치(100)는 제1 카메라(110), 제2 카메라(120) 및 제어부(130)를 포함할 수 있다. 또한, 제어부(110)는 제1 위치 산출 모듈(131), 제2 위치 산출 모듈(132) 및 사용자 위치 결정 모듈(133)을 포함할 수 있다. 또한, 제어부(130)는 옵셔널한 구성으로서, 센서 포즈 파라미터 보정부(134)를 더 포함할 수 있다. 제1 카메라(110) 및 제 2 카메라(120)에 대한 설명은 도 1에서 상세히 설명하였으므로 이하에서는 이에 대한 자세한 설명은 생략한다.
제1 위치 산출 모듈(131)은 RGB-D 카메라의 제1 영상으로부터 사용자의 몸체를 검출할 수 있다. 여기서, 몸체(body)는 사람으로 식별될 수 있는 사용자의 신체 전체 또는 신체의 일부(예컨대, 얼굴, 팔, 다리를 제외한 몸통)를 지칭한다.
일 실시예에서, 제1 위치 산출 모듈(131)은 제1 영상의 RGB 영상 및 깊이 정보에 기초하여, 제1 영상에서 오브젝트를 검출하고 검출된 오브젝트가 사용자의 몸체인지 여부를 판단함으로써, 제1 영상으로부터 사용자의 몸체를 검출할 수 있다. 예를 들면, 제1 위치 산출 모듈(131)은 제1 영상의 RGB 영상 및 깊이 정보에 기초하여, 제1 영상에서 움직임이 발생하는 부분 중 소정의 크기 이상인 부분을 오브젝트로 검출하고, 검출된 오브젝트의 형태와 미리 저장된 사용자의 몸체의 형태와 비교하여 검출된 오브젝트가 사용자의 몸체인지 여부를 판단할 수 있다. 다만, 이는 예시적인 것이고, 제1 위치 산출 모듈(131)은 다양한 방법들을 이용하여 제1 영상에서 오브젝트를 검출하고, 검출된 오브젝트가 사용자의 몸체인지 여부를 판단할 수 있다.
또한, 제1 위치 산출 모듈(131)은 제1 카메라의 포즈 파라미터 및 몸체의 깊이 정보에 기초하여 몸체의 3차원 위치를 산출할 수 있다. 제1 위치 산출 모듈(131)이 몸체의 3차원 위치를 산출하는 방법에 대하여는 이하에서 수식들을 참조하여서 상세히 설명하도록 한다.
제2 위치 산출 모듈(132)은 몸체의 3차원 위치에 기초하여 PTZ 카메라의 포즈를 제어함으로써 제2 영상으로부터 사용자의 얼굴을 검출할 수 있다. 일 실시예에서, 제2 위치 산출 모듈(132)은 몸체의 3차원 위치에 기초하여 PTZ 카메라의 포즈 파라미터(예컨대, PTZ 카메라의 줌 비율, 패닝 각도 및 틸팅 각도를 나타내는 파라미터)를 조정함으로써, 사용자의 얼굴 영역을 확대 촬영(예컨대, 줌인 또는 포커싱)하여 제2 영상을 획득하고, 제2 영상으로부터 사용자의 얼굴을 검출할 수 있다. 예를 들면, 제2 위치 산출 모듈(132)은 제2 영상의 2차원 얼굴 영역에 대한 영상과 미리 저장된 사용자의 얼굴의 영상을 비교하여 사용자의 얼굴을 검출할 수 있다. 다만, 이는 예시적인 것이고, 제2 위치 산출 모듈(132)은 다양한 방법들을 이용하여 제2 영상에서 사용자의 얼굴을 검출할 수 있다.
또한, 제2 위치 산출 모듈(132)은 제2 카메라의 포즈 파라미터 및 얼굴의 깊이 정보에 기초하여 몸체의 3차원 위치를 산출할 수 있다. 여기서, 얼굴의 깊이 정보는, 도 4를 참조하여 이하에서 상세히 설명될 것처럼, 몸체의 깊이 정보에 기초하여 추정될 수 있다.
이하에서는, 수식들을 참조하여, 제1 위치 산출 모듈(131) 및 제2 위치 산출 모듈(132)이 각각 사용자의 몸체 및 얼굴의 3차원 위치를 산출하는 방법에 대하여 설명하고자 한다. 우선, 카메라 환경에서의 픽셀의 2차원 좌표(x)와 이에 대응하는 실 환경에서의 3차원 좌표(X)와의 관계는 아래의 수학식 1로 표현될 수 있다.
Figure 112015006961338-pat00004
여기서, K는 카메라변환행렬을 나타내고, R은 로테이션행렬을 나타내고, t는 전이 벡터(transitive vector)를 나타낸다. 각 카메라는 고유의 카메라변환행렬을 갖는데, RGB-D 카메라 및 PTZ 카메라는 아래의 수학식 2와 같은 고유의 카메라변환행렬을 갖는다.
Figure 112015006961338-pat00005
이때, f ’는 RGB-D 카메라의 초점 거리(focal length)를 의미하고, f 는 PTZ 카메라의 초점거리를 의미한다. 이러한 PTZ 카메라의 줌 비율에 따른 카메라변환행렬은 실험적인 방법을 통해 2차원 식으로 추정가능한데, 도 3은 이러한 PTZ 카메라의 줌 비율에 따라 PTZ 카메라의 카메라변환행렬의 초점 거리의 값이 변화하는 것을 나타내는 그래프이다. 수학식 1과 수학식 2를 통해, 사용자의 몸체의 중심을 나타내는 픽셀의 2차원 좌표
Figure 112015006961338-pat00006
를 3차원 지역좌표로 변환하는 식은 아래의 수학식 3과 같고, 사용자의 얼굴의 중심을 나타내는 픽셀의 2차원 좌표
Figure 112015006961338-pat00007
를 3차원 지역좌표로 변환하는 식은 아래의 수학식 4와 같다.
Figure 112015006961338-pat00008
Figure 112015006961338-pat00009
여기서,
Figure 112015006961338-pat00010
는 몸체의 중심을 나타내는 픽셀의 깊이 정보를 나타내고,
Figure 112015006961338-pat00011
는 얼굴의 중심을 나타내는 픽셀의 깊이 정보를 나타낸다. 여기에, RGB-D 카메라의 제1 포즈 파라미터를 적용하여 사용자의 몸체의 3차원 지역좌표로부터 3차원 글로벌좌표를 획득하는 식은 아래의 수학식 5와 같고, PTZ 카메라의 제2 포즈 파라미터를 적용하여 사용자의 얼굴의 3차원 지역좌표로부터 3차원 글로벌좌표를 획득하는 식은 아래의 수학식 6와 같다.
Figure 112015006961338-pat00012
Figure 112015006961338-pat00013
여기서,
Figure 112015006961338-pat00014
는 상기 제1 파라미터로서, RGB-D 카메라의 틸팅 각도를 나타내는 파라미터이고,
Figure 112015006961338-pat00015
는 상기 제2 파리미터로서, 각각 PTZ 카메라의 줌 비율, 패닝 각도, 틸팅 각도를 나타내는 파라미터들이다. 또한,
Figure 112015006961338-pat00016
는 상기 센서 파리미터로서, RGB-D 카메라 및 PTZ 카메라로 구성된 센서 네트워크의 높이를 나타내는 파라미터이다.
제1 위치 산출 모듈(131) 및 제2 위치 산출 모듈(132)은 각각 상술한 수식들을 이용하여 몸체의 3차원 위치 및 얼굴의 3차원 위치를 산출할 수 있다. 다만, RGB-D 카메라에 의해 촬영된 제1 영상은 각 픽셀의 깊이 정보를 포함하므로
Figure 112015006961338-pat00017
값은 제1 영상으로부터 직접 추정될 수 있으나, PTZ 카메라에 의해 촬영된 제2 영상은 각 픽셀의 깊이 정보를 포함하고 있지 않으므로
Figure 112015006961338-pat00018
값을 제2 영상으로부터 직접적으로 정확히 추정하기는 어렵다. 이에, 도 4에서처럼, 제2 위치 산출 모듈(132)은 다음 식 5를 이용하여
Figure 112015006961338-pat00019
값을 추정하고, 이를
Figure 112015006961338-pat00020
값으로 이용할 수 있다.
Figure 112015006961338-pat00021
사용자 위치 결정 모듈(133)은 몸체의 3차원 위치 및 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정할 수 있다. 일 실시예에서, 사용자 위치 결정 모듈(133)은 몸체의 3차원 위치 및 얼굴의 3차원 위치의 차를 이용하여 사용자의 3차원 위치를 추정할 수 있다. 이를 통해, 사용자 위치 추정 장치는 사용자의 3차원 위치를 정확하게 추정 가능하므로, 이를 높은 신뢰도의 사용자 정보로 활용할 수 있다.
센서 포즈 파라미터 보정부(134)는 RGB-D 카메라를 이용하여 RGB-D 카메라 및 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정할 수 있다. 이에 대하여는, 도 5를 참조하여 이하에서 상세히 설명하도록 한다.
도 2는 본 명세서의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 장치의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 장치의 구성요소들은 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 이하에서는, 제어부(140)가 사용자 위치 추정 장치(100) 또는 사용자 위치 추정 장치(100)에 포함된 적어도 하나의 구성요소를 제어한다고 표현할 수 있으며, 제어부(140)와 사용자 위치 추정 장치(100)를 동일시하여 설명할 수 있다.
도 5는 본 명세서의 일 실시예에 따른 사용자 위치 추정 장치가 센서 네트워크의 센서 포즈 파라미터를 보정하는 방법을 나타낸다.
도 5의 왼쪽에 도시된 것처럼, 센서 네트워크의 센서 포즈 파라미터가 미리 보정되지 않은 경우, 사용자 위치 추정 장치는 통해 RGB-D 카메라의 제1 포즈 파라미터를 제어함으로써, RGB-D 카메라가 지면과 수직(틸팅 각도가 90도)이 되도록 조정할 수 있다. 그리고, 도 5의 가운데에 도시된 것처럼, 사용자 위치 추정 장치는 평면 모델에 기반하여 지면을 추출할 수 있다. 그리고, 도 5의 오론쪽에 도시된 것처럼, 사용자 위치 추정 장치는 지면과 RGD-D 카메라의 평균 높이를 미리 설정된 시간 동안 추정함으로써, 센서 포즈 파라미터를 보정할 수 있다. 일 실시예에서, 사용자 위치 추정 장치는 제어부를 통해 상술한 기능을 수행할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 센서 네트워크의 동적 파라미터를 변화시킴에 따라 사용자의 몸체 및 얼굴의 3차원 위치 추정의 오차율을 나타내는 표이다. 여기서, 동적 파라미터는 상술한 제1 포즈 파라미터, 제2 포즈 파라미터 및 센서 포즈 파라미터를 포함하는 개념이다.
보다 상세하게, 도 6은 제어가능한 5개의 포즈 파라미터 중에서 RGBD 카메라의 틸팅 각도를 나타내는 파라미터인
Figure 112015006961338-pat00022
와 센서 네트워크의 높이를 나타내는 파라미터인
Figure 112015006961338-pat00023
를 센서 네트워크 상에서 동적으로 변화시킨 경우, 고정된 사용자의 몸체의 3차원 위치와 얼굴의 3차원 위치를 실험적으로 구한 값이다. 이렇게 추정된 사용자의 위치 오차의 평균값은 몸체의 경우 0.19미터이고, 얼굴의 경우 0.25미터를 갖는다.
도 7은 본 명세서의 일 실시예에 따른 센서 네트워크 상에서 사용자의 이동에 따라 몸체의 3차원 위치 좌표, 얼굴의 3차원 위치 좌표 및 오차를 보여주는 도면이다. 도 7에서 파란색의 “x”표시는 얼굴의 3차원 위치를 나타내고, 빨간색의 “*”는 몸체의 3차원 위치를 나타내고, 둘 사이를 연결하는 선은 얼굴의 3차원 위치와 몸체의 3차원 위치 간의 차이를 나타낸다. 도 7을 참조하면, 얼굴 위치의 오차는 약 0.158미터로 나타난다.
도 8은 본 명세서의 일 실시예에 따른 사용자 위치 추정 방법의 순서도이다. 도 8에서는 도 1 내지 7에서 설명한 내용과 동일하거나 유사한 부분에 대한 상세한 설명은 생략하도록 한다.
도 8을 참조하면, 사용자 위치 추정 장치는 제1 카메라를 통해 촬영대상 영역을 촬영하여 3차원의 제1 영상을 획득할 수 있다(S10). 여기서, 촬영대상 영역은 카메라로 촬영이 가능한 영역으로서, 적어도 하나의 오브젝트(object)(예컨대, 사용자)가 포함된 영역일 수 있다. 일 실시예에서, 제1 카메라는 제1 카메라의 제1 포즈 파라미터에 따라 다양한 포즈로 동작할 수 있다. 단계(S10)에서, 사용자 위치 추정 장치는 제1 포즈 파라미터를 조정하여 제1 카메라의 포즈를 조정함으로써, 다양한 각도에서 촬영된 제1 영상을 획득할 수 있다.
사용자 위치 추정 장치는 제2 카메라를 통해 촬영대상 영역 내의 특정 영역을 확대 촬영하여 2차원의 제2 영상을 획득할 수 있다. 일 실시예에서, 제2 카메라는 제2 카메라의 제2 포즈 파라미터에 따라 다양한 포즈로 동작할 수 있다. 단계(S20)에서, 사용자 위치 추정 장치는 제2 포즈 파라미터를 조정하여 제2 카메라의 포즈를 조정함으로써, 다양한 각도 및 다양한 줌 비율로 촬영된 제2 영상을 획득할 수 있다.
사용자 위치 추정 장치는 제1 영상으로부터 사용자의 몸체를 검출하고, 몸체의 3차원 위치를 산출할 수 있다(S30). 단계(S30)에서, 사용자 위치 추정 장치는 제1 카메라의 제1 영상으로부터 사용자의 몸체를 검출하고, 제1 카메라의 제1 포즈 파라미터 및 몸체의 깊이 정보에 기초하여 상기 몸체의 3차원 위치를 산출할 수 있다.
사용자 위치 추정 장치는 제2 영상으로부터 사용자의 얼굴을 검출하고, 얼굴의 3차원 위치를 산출할 수 있다(S40). 단계(S40)에서, 사용자 위치 추정 장치는 몸체의 3차원 위치에 기초하여 제2 카메라의 포즈를 제어함으로써 제2 영상으로부터 상기 사용자의 얼굴을 검출하고, 제2 카메라의 제1 포즈 파라미터 및 얼굴의 깊이 정보에 기초하여 얼굴의 3차원 위치를 산출할 수 있다. 이 경우, 사용자 위치 추정 장치는 상기 몸체의 깊이 정보로부터 얼굴의 깊이 정보를 추정할 수 있다.
사용자 위치 추정 장치는 몸체의 3차원 위치 및 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정할 수 있다(S50).
도 9는 본 명세서의 다른 실시예에 따른 사용자 위치 추정 방법의 순서도이다. 도 9에서는 도 1 내지 8에서 설명한 내용과 동일하거나 유사한 부분에 대한 상세한 설명은 생략하도록 한다. 이에, 도 9의 단계(S10) 내지 단계(S50)에 대한 설명은 도 8의 단계(S10) 내지 단계(S50)에 대한 설명과 동일하므로 생략하도록 한다.
도 9를 참조하면, 사용자 위치 추정 장치는 제1 영상을 획득하는 단계(S10) 이전에, RGB-D 카메라를 이용하여 RGB-D 카메라 및 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정하는 단계(S1)를 더 포함할 수 있다. 여기서, 센서 포즈 파라미터는 센서 네트워크의 높이를 나타내는 파라미터일 수 있다.
이에 대하여는 도 5에서 설명된 것처럼, 센서 네트워크의 센서 포즈 파라미터가 미리 보정되지 않은 경우, 사용자 위치 추정 장치는 통해 RGB-D 카메라의 제1 포즈 파라미터를 제어함으로써, RGB-D 카메라가 지면과 수직(틸팅 각도가 90도)이 되도록 조정할 수 있다. 그리고, 사용자 위치 추정 장치는 평면 모델에 기반하여 지면을 추출할 수 있다. 그리고, 사용자 위치 추정 장치는 지면과 RGD-D 카메라의 평균 높이를 미리 설정된 시간 동안 추정함으로써, 센서 포즈 파라미터를 보정할 수 있다.
이와 같은, 사용자 위치 추정 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: 사용자 위치 추정 장치 110: 제1 카메라
120: 제2 카메라 130: 제어부

Claims (10)

  1. 제1 카메라에 의해 촬영대상 영역을 촬영하여 깊이 정보를 포함하는 제1 영상을 획득하는 단계;
    제2 카메라에 의해 상기 촬영대상 영역내의 특정 영역을 확대 촬영하여 제2 영상을 획득하는 단계;
    상기 제1 영상으로부터 사용자의 몸체를 검출하고, 상기 제1 카메라의 제1 포즈 파라미터 및 상기 몸체의 깊이 정보에 기초하여 상기 몸체의 3차원 위치를 산출하는 단계;
    상기 몸체의 3차원 위치에 기초하여 상기 제2 카메라의 포즈를 제어함으로써 상기 제2 영상으로부터 상기 사용자의 얼굴을 검출하고, 상기 제2 카메라의 제2 포즈 파라미터 및 상기 얼굴의 깊이 정보에 기초하여 상기 얼굴의 3차원 위치를 산출하는 단계-상기 얼굴의 깊이 정보는 상기 몸체의 깊이 정보로부터 추정됨-; 및
    상기 몸체의 3차원 위치 및 상기 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정하는 단계를 포함하는, 사용자 위치 추정 방법.
  2. 제 1 항에 있어서,
    상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ 카메라인, 사용자 위치 추정 방법.
  3. 제 2 항에 있어서,
    상기 제1 포즈 파라미터는 상기 RGB-D 카메라의 틸팅(tilting) 각도를 나타내는 파라미터를 포함하고, 상기 제2 포즈 파라미터는 상기 PTZ 카메라의 패닝(panning) 각도, 틸팅(tilting) 각도 및 줌(zoom) 비율을 나타내는 파라미터를 포함하는, 사용자 위치 추정 방법.
  4. 제 2 항에 있어서,
    상기 제1 영상을 획득하는 단계 이전에,
    상기 RGB-D 카메라를 이용하여 상기 RGB-D 카메라 및 상기 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정하는 단계를 더 포함하되, 상기 센서 포즈 파라미터는 상기 센서 네트워크의 높이를 나타내는 파라미터를 포함하는, 사용자 위치 추정 방법.
  5. 제 2 항에 있어서,
    상기 얼굴의 3차원 위치를 산출하는 단계는,
    상기 몸체의 깊이 정보 및 상기 PTZ 카메라의 제2 포즈 파라미터를 이용하여 상기 얼굴의 깊이 정보를 추정하는, 사용자 위치 추정 방법.
  6. 촬영대상 영역을 촬영하여 깊이 정보를 포함하는 제1 영상을 획득하는 제1 카메라;
    상기 촬영대상 영역내의 특정 영역을 확대 촬영하여 제2 영상을 획득하는 제2 카메라; 및
    상기 제1 카메라 및 상기 제2 카메라를 제어하는 제어부를 포함하되,
    상기 제어부는,
    상기 제1 영상으로부터 사용자의 몸체를 검출하고, 상기 제1 카메라의 제1 포즈 파라미터 및 상기 몸체의 깊이 정보에 기초하여 상기 몸체의 3차원 위치를 추정하는 제1 위치 추정 모듈;
    상기 몸체의 3차원 위치에 기초하여 상기 제2 카메라의 포즈를 제어함으로써 상기 제2 영상으로부터 상기 사용자의 얼굴을 검출하고, 상기 제2 카메라의 제2 포즈 파라미터 및 상기 얼굴의 깊이 정보에 기초하여 상기 얼굴의 3차원 위치를 추정하는 제2 위치 추정 모듈-상기 얼굴의 깊이 정보는 상기 몸체의 깊이 정보로부터 추정됨-; 및
    상기 몸체의 3차원 위치 및 상기 얼굴의 3차원 위치에 기초하여 상기 사용자의 3차원 위치를 추정하는 사용자 위치 결정 모듈을 포함하는, 사용자 위치 추정 장치.
  7. 제 6 항에 있어서,
    상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ 카메라인, 사용자 위치 추정 장치.
  8. 제 7 항에 있어서,
    상기 제1 포즈 파라미터는 상기 RGB-D 카메라의 틸팅(tilting) 각도를 나타내는 파라미터를 포함하고, 상기 제2 포즈 파라미터는 상기 PTZ 카메라의 패닝(panning) 각도, 틸팅(tilting) 각도 및 주밍(zooming) 비율을 나타내는 파라미터를 포함하는, 사용자 위치 추정 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    상기 RGB-D 카메라를 이용하여 상기 RGB-D 카메라 및 상기 PTZ 카메라로 구성된 센서 네트워크의 센서 포즈 파라미터를 보정하는 센서 포즈 파라미터 보정부를 더 포함하되, 상기 센서 포즈 파라미터는 상기 센서 네트워크의 높이를 나타내는 파라미터를 포함하는, 사용자 위치 추정 장치.
  10. 제 7 항에 있어서,
    제2 위치 산출부는,
    상기 몸체의 깊이 정보 및 상기 PTZ 카메라의 제2 포즈 파라미터를 이용하여 상기 얼굴의 깊이 정보를 추정하는, 사용자 위치 추정 장치.
KR1020150010704A 2015-01-22 2015-01-22 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법 KR101653281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150010704A KR101653281B1 (ko) 2015-01-22 2015-01-22 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150010704A KR101653281B1 (ko) 2015-01-22 2015-01-22 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160090650A KR20160090650A (ko) 2016-08-01
KR101653281B1 true KR101653281B1 (ko) 2016-09-01

Family

ID=56706876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150010704A KR101653281B1 (ko) 2015-01-22 2015-01-22 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101653281B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225321B1 (ko) * 2019-04-19 2021-03-09 주식회사 스트리스 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005233639A (ja) 2004-02-17 2005-09-02 Mitsubishi Electric Corp ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090022099A (ko) 2007-08-29 2009-03-04 엘지전자 주식회사 사용자 인터페이스 제어 방법 및 사용자 인터페이스 제어장치
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
KR20120002723A (ko) * 2010-07-01 2012-01-09 (주) 비전에스티 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
KR101769177B1 (ko) * 2012-10-09 2017-08-18 한국전자통신연구원 시선 추적 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005233639A (ja) 2004-02-17 2005-09-02 Mitsubishi Electric Corp ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法

Also Published As

Publication number Publication date
KR20160090650A (ko) 2016-08-01

Similar Documents

Publication Publication Date Title
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US8805021B2 (en) Method and apparatus for estimating face position in 3 dimensions
KR101590530B1 (ko) 자동 장면 교정
US8798387B2 (en) Image processing device, image processing method, and program for image processing
WO2019114617A1 (zh) 快速抓拍的方法、装置及系统
EP2652948B1 (en) Zooming factor computation
KR102101438B1 (ko) 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
WO2017045315A1 (zh) 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统
JP2020527263A (ja) 視覚測位方法、装置、電子機器およびシステム
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR101672732B1 (ko) 객체 추적 장치 및 방법
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP2007278845A (ja) 画像処理装置及びその処理方法
CN107403447B (zh) 深度图像获取方法
CN110751685B (zh) 深度信息确定方法、确定装置、电子装置和车辆
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
WO2018159398A1 (ja) 移動体の位置推定装置及び方法
JP5183152B2 (ja) 画像処理装置
CN106796726B (zh) 运动检测方法和系统
KR101653281B1 (ko) 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법
JP6577595B2 (ja) 車両用外界認識装置
CN107274447B (zh) 深度图像获取装置和深度图像获取方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant