KR20230034723A - 포인팅 방향 기반 비접촉 센싱 장치 및 방법 - Google Patents

포인팅 방향 기반 비접촉 센싱 장치 및 방법 Download PDF

Info

Publication number
KR20230034723A
KR20230034723A KR1020210117820A KR20210117820A KR20230034723A KR 20230034723 A KR20230034723 A KR 20230034723A KR 1020210117820 A KR1020210117820 A KR 1020210117820A KR 20210117820 A KR20210117820 A KR 20210117820A KR 20230034723 A KR20230034723 A KR 20230034723A
Authority
KR
South Korea
Prior art keywords
pointing direction
contact sensing
user
time
camera
Prior art date
Application number
KR1020210117820A
Other languages
English (en)
Inventor
유철환
김호원
유장희
장재윤
한병옥
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210117820A priority Critical patent/KR20230034723A/ko
Publication of KR20230034723A publication Critical patent/KR20230034723A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

포인팅 방향 기반 비접촉 센싱 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치는 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출하는 영상 검출부; 상기 검출된 사용자의 신체포즈에 기반하여 상기 사용자가 지시하는 방향에 상응하는 포인팅 방향을 예측하는 예측부; 상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측하고, 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출하는 산출부 및 상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행하는 비접촉 센싱 처리부를 포함한다.

Description

포인팅 방향 기반 비접촉 센싱 장치 및 방법 {APPARATUS AND METHOD FOR NON-CONTACT SENSING BASED ON POINTING DIRECTION}
본 발명은 포인팅 방향 예측 및 비접촉 센싱 기술에 관한 것으로, 보다 상세하게는 영상 내 스켈레톤 검출, 3차원 포즈 추정 및 포인팅 방향 기반 비접촉 센싱 기술에 관한 것이다.
Covid-19등의 감염병에 대한 전파 우려가 커지면서 종래의 많은 기술들이 비접촉, 비대면의 방향성을 향해 개발되고 있다. 그 중 우리가 일상생활에서 흔히 접할 수 있는 엘리베이터 상하행 버튼, 층수 버튼, 자동문 버튼 등의 물리적 접촉이 필요한 센서 장치들은 여전히 항균 보호필름에 의존하고 있으며 위생적으로 많은 문제점을 야기하고 있다.
특히, ATM, 키오스크 등의 터치 스크린을 활용한 기기들은 항균 필름에 대한 부착이 용이하지 않고 수 많은 사람의 간접 접촉이 발생함으로 인해 바이러스 전달의 매개체 역할을 하고 있다.
이러한 상황 하에서 종래의 방법들은 습도센서, IR센서, 홀로그램 등의 비접촉 센싱 방식을 개발하여 비접촉으로 버튼을 작동할 수 있는 기술을 도입하고 있다. 하지만, 이러한 센서들은 추가적인 센서 설치비용과 더불어 계절에 따른 제약, 터치스크린에 대한 장착의 한계 등 다양한 사용환경에서의 취약점을 드러내고 있다. 더불어 대부분의 종래의 기술들은 버튼과 2cm이하의 거리에서 센싱을 하기 때문에 이러한 과정에서 버튼과 손이 물리적으로 접촉할 수 있는 가능성에 노출되어 있다.
또한, 앞서 언급된 센서들의 경우 다소 높은 센서 가격과 더불어 추가적인 센서의 설치가 필수적이라는 단점이 있다. 이러한 기존 기술들의 단점을 극복하기 위한 새로운 센싱 시스템이 필요하다.
한편, 한국공개특허 제 10-2011-0032740 호“3-Ｄ 포인팅 감지 장치 및 방법”는 3-D 포인팅을 감지함으로써, 3-D 위치 및 방향을 계산할 수 있는 3-D 포인팅 감지 장치 및 방법에 관하여 개시하고 있다.
본 발명은 저비용으로 효율적인 설치가 가능한 카메라(CCTV) 등을 활용한 영상 기술 기반의 비접촉 센싱 기술을 제공하는 것을 목적으로 한다.
또한, 본 발명은 종래의 비접촉 센싱 방법들이 갖는 계절에 대한 한계, 필수적인 추가 센서의 설치의 필요성 및 높은 설치 비용, 짧은 센싱 거리 등의 문제점을 해결하는 것을 목적으로 한다.
또한, 본 발명은 날씨, 장소, 계절, 센서 등에 구애받지 않고 사용자가 원하는 메뉴를 선택하거나 작업을 수행하는 비접촉 센싱을 위한 시스템을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치는 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출하는 영상 검출부; 상기 검출된 사용자의 신체포즈에 기반하여 상기 사용자가 지시하는 방향에 상응하는 포인팅 방향을 예측하는 예측부; 상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측하고, 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출하는 산출부 및 상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행하는 비접촉 센싱 처리부를 포함한다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출하는 단계; 상기 검출된 사용자의 신체포즈에 기반하여 상기 사용자가 지시하는 방향에 상응하는 포인팅 방향을 예측하는 단계; 상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측하는 단계; 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출하는 단계 및 상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행하는 단계를 포함한다.
본 발명은 저비용으로 효율적인 설치가 가능한 카메라(CCTV) 등을 활용한 영상 기술 기반의 비접촉 센싱 기술을 제공할 수 있다.
또한, 본 발명은 종래의 비접촉 센싱 방법들이 갖는 계절에 대한 한계, 필수적인 추가 센서의 설치의 필요성 및 높은 설치 비용, 짧은 센싱 거리 등의 문제점을 해결할 수 있다.
또한, 본 발명은 날씨, 장소, 계절, 센서 등에 구애받지 않고 사용자가 원하는 메뉴를 선택하거나 작업을 수행하는 비접촉 센싱을 위한 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치를 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 과정을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 포인팅 방향 예측을 위한 스크린 칼리브레이션을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치를 통한 작업 수행 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법을 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치는 영상 검출부(10), 예측부(20), 산출부(30) 및 비접촉 센싱 처리부(35)를 포함한다.
영상 검출부(10)는 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출할 수 있다.
이 때, 영상 검출부(10)는 카메라 영상 획득부(40) 및 신체포즈 검출부(50)를 포함할 수 있다.
카메라 영상 획득부(40)는 비접촉 센싱 장치에 빌트 인으로 장착된 카메라, 추가적으로 설치된 모듈형 카메라, 혹은 기존의 장소에 설치되어 있던 CCTV와 같은 RGB 카메라로부터 사용자를 촬영한 영상을 입력 받을 수 있다.
신체포즈 검출부(50)는 상기 사용자를 촬영한 영상으로부터 기설정된 카메라 좌표계 기준의 3차원 포즈 좌표, 혹은 픽셀 좌표계 내에서의 2차원 픽셀좌표 등을 추론하고 신체포즈에 상응하는 스켈레톤(skeleton)을 검출할 수 있다.
이 때, 신체포즈 검출부(50)는 신체 포즈 검출을 위해서 기존의 전통적인 방법들의 활용할 수도 있고, 최근의 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 한 OpenPose와 같은 신체 포즈 검출 알고리즘을 이용하여 상기 사용자의 포즈를 검출할 수도 있다.
예측부(20)는 상기 검출된 사용자의 신체포즈에 기반하여 상기 사용자가 지시하는 방향에 상응하는 포인팅 방향을 예측할 수 있다.
이 때, 예측부(20)는 랜드마크 선택부(60) 및 포인팅 방향 예측부(70)를 포함할 수 있다.
랜드마크 선택부(60)는 앞선 신체 포즈 검출부(405)에서 검출된 스켈레톤(skeleton)에서 포인팅 방향 예측에 사용될 랜드마크(landmark)를 선택할 수 있다.
이 때, 랜드마크 선택부(60)는 추정된 포즈 중, 포인팅 방향 예측에 필요한 랜드마크의 신뢰도를 판단하여 신뢰도가 기설정된 Threshold T1이하 일 때는 자세 변경 요청 문구를 출력할 수 있고, 신뢰도가 기설정된 Threshold T1이상 일 때 선택된 랜드마크를 바탕으로 포인팅 방향을 예측할 수 있다.
포인팅 방향 예측부(70)는 상기 선택된 랜드마크에 기반하여 상기 사용자가 지시하는 포인팅 방향을 예측할 수 있다.
포인팅 방향은 보편적으로 눈-검지 캐스팅(casting), 손-검지 캐스팅, 팔꿈치-손 캐스팅 등의 방법을 이용하여 정의될 수 있으며, 눈-검지 캐스팅을 통한 포인팅 방향 예측이 성능적으로 우수하다고 알려져 있다.
이 때, 포인팅 방향 예측부(70)는 상기 스켈레톤에서 적어도 두 개의 3차원 랜드마크를 통과하는 3차원 라인(line)을 정의할 수 있다.
이 때, 포인팅 방향 예측부(70)는 상기 정의된 3차원 라인에 기반하여 상기 사용자에 지시하는 포인팅 방향을 예측할 수 있다.
이 때, 포인팅 방향 예측부(70)는 예측된 교차점을 디스플레이 하여 교차점에 대한 GUI 표현을 통해 사용자가 현재 가리키고 있는 방향 및 물체에 대한 피드백을 제공할 수 있다.
산출부(30)는 상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측하고, 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출할 수 있다.
이 때, 산출부(30)는 3차원 교차점 산출부(80) 및 멈춤 시간 산출부(90)를 포함할 수 있다.
3차원 교차점 산출부(80)는 상기 포인팅 방향이 상기 관심 영역에 해당하는 스크린 혹은 엘리베이터 버튼 등과의 교차점을 예측할 수 있다.
이 때, 3차원 교차점 산출부(80)는 카메라 좌표계를 기준으로 3차원 공간정보가 연동된 스크린 평면 혹은 엘리베이터 버튼과 같은 3차원 타겟에 대해 포인팅 방향을 나타내는 광선(ray)과의 교차점을 계산하여 손쉽게 사용자가 포인팅하는 방향에 놓인 메뉴 혹은 버튼을 인식할 수 있다.
멈춤 시간 산출부(90)는 교차점이 관심영역에 내에 머문 시간을 계산하여 최종적인 센싱 결과값을 산출할 수 있다.
이 때, 멈춤 시간 산출부(90)는 교차점이 관심영역에 머문 시간이 기설정된 Threshold값 보다 큰지 판단할 수 있다.
이 때, 멈춤 시간 산출부(90)는 교차점이 특정 관심 영역 내에 머문 시간이 기설정된 Threshold T2 이하인 경우, 계속해서 포인팅 방향 예측 및 교차점에 대한 표시를 수행하고, 머문 시간이 기설정된 Threshold T2 이상인 경우, 비접촉 센싱 작업을 수행할 수 있다.
이 때, 멈춤 시간 산출부(90)는 교차점이 관심영역에 머문 시간이 Threshold값 보다 큰 경우 비접촉 센싱 처리부(35)에 작업 수행을 요청할 수 있다.
비접촉 센싱 처리부(35)는 상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행할 수 있다.
이 때, 비접촉 센싱 처리부(35)는 교차점이 관심영역에 머문 시간이 Threshold값 보다 큰 경우, 선택된 메뉴 혹은 버튼에 대한 기설정된 작업을 실행할 수 있다.
이를 통해, 비접촉 센싱 처리부(35)는 사용자는 메뉴 혹은 버튼을 손으로 가리키는 것 만으로 메뉴를 선택하거나 버튼을 입력하는 비접촉 센싱 작업을 수행할 수 있다.
도 2 및 도 3은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 과정을 나타낸 도면이다.
도 2 및 도 3에서는 영상 검출 기반 비접촉 센싱 장치는 RGB 카메라를 통해 검출된 사용자에 대해 3차원 포즈분석을 수행하고, 추정된 포즈에서 선택된 랜드마크를 이용하여 사용자가 포인팅하는 방향을 예측하며 이를 통해 엘리베이터 버튼, 키오스크 등의 기기에서 비접촉 센싱을 수행하는 과정이 도시된 것을 알 수 있다.
도 2를 참조하면, 영상 검출 기반 비접촉 센싱 장치는 사용자(104)의 포인팅 방향 예측을 통해 키오스크(101)에 표시된 주문메뉴에 대한 선택 및 엘리베이터 상하행 버튼(108)에 대한 선택을 비접촉 센싱 방식으로 수행하는 것을 알 수 있다.
RGB 카메라(102)는 비접촉 센싱이 필요한 버튼 혹은 기기 근처의 상단, 하단, 측면 등 어느 곳이든 부착 가능하며 공장 생산 단계에서의 외부 칼리브레이션(extrinsic calibration) 수행을 통해 비접촉 센싱 기기와의 3차원 회전 및 이동을 포함한 3차원 공간정보를 저장할 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 빌트 인(built-in) 방식으로 RGB 카메라가 내장되었을 경우 물리적 위치가 고정되어 있기 때문에 초기 칼리브레이션을 제외한 추가적인 칼리브레이션이 필요하지 않을 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 빌트 인 카메라가 내장되지 않은 기존의 키오스크 등에 대해서도 키오스크를 촬영하는 CCTV(103)를 활용해 사용자가 포인팅 하는 방향을 예측할 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 RGB 카메라를 통해 입력된 사용자 영상에 대한 3차원 포즈 분석을 수행하고 예측된 포즈 중 포인팅 방향 예측에 필요한 랜드마크(105)를 선택하여 최종적으로 사용자가 포인팅 하는 방향(106)에 대한 예측을 수행할 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 포인팅 방향 예측을 위한 랜드마크로 팔꿈치-손, 눈-검지손가락 등의 다양한 ray casting 방법을 이용할 수 있다.
도 3을 참조하면, 영상 검출 기반 비접촉 센싱 장치는 엘리베이터 상하버튼(108) 혹은 엘리베이터 층별버튼 등에 대해서도 모듈형 RGB 카메라(107)등의 설치를 통해 사용자(104)가 지시하는 포인팅 방향을 효과적으로 예측하는 것을 알 수 있다.
도 4는 본 발명의 일실시예에 따른 포인팅 방향 예측을 위한 스크린 칼리브레이션을 나타낸 도면이다.
도 4를 참조하면, 사용자의 포인팅 방향 예측을 위해 새로운 RGB 카메라의 설치 없이 기존의 장소에 설치된 카메라나 CCTV 등을 활용하여 비접촉 센싱을 수행하기 위한 스크린 칼리브레이션(screen calibration) 방법을 나타낸 것을 알 수 있다.
영상 검출 기반 비접촉 센싱 장치는 검출부(10)에서 비접촉 센싱을 수행하고자 하는 키오스크의 스크린에 가로, 세로 길이를 알고 있는 체커보드(checker board) 패턴을 표출하고, 상기 체커보드 패턴을 CCTV와 같은 RGB 카메라로 촬영 후, 코너 검출 알고리즘을 통해 2차원 픽셀 좌표를 예측할 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 산출부(30)에서 예측된 2차원 픽셀좌표와 기정의된 키오스크 스크린을 중심으로 한 3차원 좌표 쌍으로부터 PnP(Perspective-n-Point)등의 방법을 이용하여 카메라 좌표계(201)와 월드 좌표계(202) 사이의 기하학적 위치관계(203)을 산출할 수 있다.
이 때, 영상 검출 기반 비접촉 센싱 장치는 카메라의 렌즈로부터 키오스크의 스크린이 보이지 않는 경우에도 거울을 이용한 외부 칼리브레이션(mirror-based extrinsic camera calibration) 방법을 이용하여 카메라와 키오스크 사이의 3차원 위치관계를 파악할 수 있다.
도 5는 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치를 통한 작업 수행 과정을 나타낸 도면이다.
도 5를 참조하면, 포인팅 방향 기반 비접촉 센싱 장치를 통한 키오스크에서의 작업 수행 과정의 일 예를 나타낸 것을 알 수 있다. 도 5에 도시된 바와 같이, 포인팅 방향과 3차원 스크린과의 교차점의 표시의 예(301), 교차점 기반의 관심영역 표시의 예(302), 그리고 이러한 관심영역 내에 교차점이 머문 시간(dwell time)이 미리 정해진 Threshold값 이상일 때 메뉴가 최종 선택되었다는 표시의 예(303)을 나타낸 것을 알 수 있다. 이러한 교차점에 대한 표시를 통해 사용자가 현재 포인팅하고 있는 위치 및 대상을 인지하고 피드백을 통해 자발적인 개인화(personalization)을 수행할 수 있으며 관심영역(Reign of Interest, ROI)설정을 통해 정확한 포인팅에 대한 요구를 경감하고 손쉽게 원하는 지역을 선택할 수 있다. 또한, 각 태스크(예: 엘리베이터 버튼, 키오스크 메뉴선택)에서의 머문 시간(dwell time)에 대한 Threshold는 초기 휴리스틱(heuristic) 접근에서 시작하여 이후 저장된 사용자 데이터에 대한 통계를 바탕으로 미세조정 될 수 있다. 이 때, 머문 시간(dwell time)에 대한 Threshold는 딥러닝 알고리즘을 통해 학습될 수도 있다.
도 6은 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법을 나타낸 동작흐름도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 먼저 카메라 입력 영상의 실시간 포즈를 추정할 수 있다(S401).
즉, 단계(S401)는 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출할 수 있다.
이 때, 단계(S401)는 비접촉 센싱 장치에 빌트 인으로 장착된 카메라, 추가적으로 설치된 모듈형 카메라, 혹은 기존의 장소에 설치되어 있던 CCTV와 같은 RGB 카메라로부터 사용자를 촬영한 영상을 입력 받을 수 있다.
이 때, 단계(S401)는 먼저 엘리베이터 혹은 키오스크 등에 부착된 RGB 카메라에 사용자가 다가오면 이를 감지하여 사용자의 실시간 포즈 추정을 수행할 수 있다.
이 때, 단계(S401)는 상기 사용자를 촬영한 영상으로부터 기설정된 카메라 좌표계 기준의 3차원 포즈 좌표, 혹은 픽셀 좌표계 내에서의 2차원 픽셀좌표 등을 추론하고 신체포즈에 상응하는 스켈레톤(skeleton)을 검출할 수 있다.
이 때, 단계(S401)는 신체 포즈 검출을 위해서 기존의 전통적인 방법들의 활용할 수도 있고, 최근의 합성곱 신경망(Convolutional Neural Network, CNN)을 기반으로 한 OpenPose와 같은 신체 포즈 검출 알고리즘을 이용하여 상기 사용자의 포즈를 검출할 수도 있다.
또한, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 포인팅 방향 예측을 위한 랜드마크를 선택할 수 있다(S402).
즉, 단계(S402)는 검출된 스켈레톤(skeleton)에서 포인팅 방향 예측에 사용될 랜드마크(landmark)를 선택할 수 있다.
또한, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 랜드마크 신뢰도를 판단할 수 있다(S403).
즉, 단계(S403)는 추정된 포즈 중, 포인팅 방향 예측에 필요한 랜드마크의 신뢰도를 판단하여 신뢰도가 기설정된 Threshold T1이하 일 때는 자세 변경 요청 문구를 출력할 수 있고(S404), 신뢰도가 기설정된 Threshold T1이상 일 때 선택된 랜드마크를 바탕으로 포인팅 방향을 예측할 수 있다(S405).
또한, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 포인팅 방향을 예측할 수 있다(S405).
즉, 단계(S405)는 상기 선택된 랜드마크에 기반하여 상기 사용자가 지시하는 포인팅 방향을 예측할 수 있다.
포인팅 방향은 보편적으로 눈-검지 캐스팅(casting), 손-검지 캐스팅, 팔꿈치-손 캐스팅 등의 방법을 이용하여 정의될 수 있으며, 눈-검지 캐스팅을 통한 포인팅 방향 예측이 성능적으로 우수하다고 알려져 있다.
이 때, 단계(S405)는 상기 스켈레톤에서 적어도 두 개의 3차원 랜드마크를 통과하는 3차원 라인(line)을 정의할 수 있다.
이 때, 단계(S405)는 상기 정의된 3차원 라인에 기반하여 상기 사용자에 지시하는 포인팅 방향을 예측할 수 있다.
또한, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 교차점 산출 및 디스플레이를 수행할 수 있다(S406).
즉, 단계(S406)는 상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측할 수 있다
이 때, 단계(S406)는 상기 포인팅 방향이 상기 관심 영역에 해당하는 스크린 혹은 엘리베이터 버튼 등과의 교차점을 예측할 수 있다.
이 때, 단계(S406)는 예측된 교차점을 디스플레이 하여 교차점에 대한 GUI 표현을 통해 사용자가 현재 가리키고 있는 방향 및 물체에 대한 피드백을 제공할 수 있다.
이 때, 단계(S406)는 카메라 좌표계를 기준으로 3차원 공간정보가 연동된 스크린 평면 혹은 엘리베이터 버튼과 같은 3차원 타겟에 대해 포인팅 방향을 나타내는 광선(ray)과의 교차점을 계산하여 손쉽게 사용자가 포인팅하는 방향에 놓인 메뉴 혹은 버튼을 인식할 수 있다.
또한, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 방법은 교차점이 상기 관심 영역에 머문 시간을 계산할 수 있다(S407).
즉, 단계(S407)는 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출할 수 있다.
이 때, 단계(S407)는 교차점이 관심영역에 머문 시간이 기설정된 Threshold값 보다 큰지 판단할 수 있다.
이 때, 단계(S407)는 교차점이 특정 관심 영역 내에 머문 시간이 기설정된 Threshold T2 이하인 경우, 계속해서 포인팅 방향 예측 및 교차점에 대한 표시를 수행하고(S405), 머문 시간이 기설정된 Threshold T2 이상인 경우, 비접촉 센싱 작업을 수행할 수 있다(S408).
이 때, 단계(S408)는 상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행할 수 있다.
이 때, 단계(S408)는 교차점이 관심영역에 머문 시간이 Threshold값 보다 큰 경우, 선택된 메뉴 혹은 버튼에 대한 기설정된 작업을 실행할 수 있다.
이 때, 단계(S408)는 사용자가 메뉴 혹은 버튼을 손으로 가리키는 것 만으로 메뉴를 선택하거나 버튼을 입력하여 비접촉 센싱 작업을 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 포인팅 방향 기반 비접촉 센싱 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 영상 검출부 20: 검출부
30: 산출부 35: 비접촉 센싱 처리부
40: 카메라 영상 획득부 50: 신체포즈 검출부
60: 랜드마크 선택부 70: 포인팅 방향 예측부
80: 3차원 교차점 산출부 90: 멈춤 시간 산출부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (1)

  1. 카메라로부터 사용자를 촬영한 영상을 입력 받아 상기 사용자의 신체포즈를 검출하는 영상 검출부;
    상기 검출된 사용자의 신체포즈에 기반하여 상기 사용자가 지시하는 방향에 상응하는 포인팅 방향을 예측하는 예측부;
    상기 포인팅 방향이 비접촉 센싱을 통한 작업 수행을 위한 관심 영역을 관통하는 교차점을 예측하고, 상기 교차점이 상기 관심 영역에 머문 시간을 계산하여 센싱 결과값을 산출하는 산출부; 및
    상기 센싱 결과값에 기반하여 상기 관심 영역에 대한 기설정된 작업을 실행하는 비접촉 센싱 처리부
    를 포함하는 것을 특징으로 하는 포인팅 방향 기반 비접촉 센싱 장치.
KR1020210117820A 2021-09-03 2021-09-03 포인팅 방향 기반 비접촉 센싱 장치 및 방법 KR20230034723A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210117820A KR20230034723A (ko) 2021-09-03 2021-09-03 포인팅 방향 기반 비접촉 센싱 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117820A KR20230034723A (ko) 2021-09-03 2021-09-03 포인팅 방향 기반 비접촉 센싱 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230034723A true KR20230034723A (ko) 2023-03-10

Family

ID=85570444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117820A KR20230034723A (ko) 2021-09-03 2021-09-03 포인팅 방향 기반 비접촉 센싱 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230034723A (ko)

Similar Documents

Publication Publication Date Title
US9569005B2 (en) Method and system implementing user-centric gesture control
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP2020534592A5 (ko)
TWI534661B (zh) 畫像辨識裝置及操作判定方法以及電腦程式
JP4897939B2 (ja) ジェスチャ認識装置及びジェスチャ認識方法
US20140139429A1 (en) System and method for computer vision based hand gesture identification
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US10928930B2 (en) Transparent display device and control method using the same
US11783499B2 (en) Enabling automatic measurements
CA2918318A1 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
US10310619B2 (en) User gesture recognition
KR20070037773A (ko) 표시기기에서 사용자 명령 입력 장치 및 방법
KR100692526B1 (ko) 시스템 자동제어용 제스처 인식 장치 및 그 방법
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
JP2012238293A (ja) 入力装置
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
KR20230034723A (ko) 포인팅 방향 기반 비접촉 센싱 장치 및 방법
CN114600067A (zh) 具有成像仪的控制装置的监督设置
CN105929819B (zh) 一种控制电子设备的方法及电子设备
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
US11935286B2 (en) Method and device for detecting a vertical planar surface
CN109308113A (zh) 非接触式输入装置及方法、能进行非接触式输入的显示器
CN111158489A (zh) 一种基于摄像头的手势交互方法及手势交互系统
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
CN111373732A (zh) 信息处理装置、信息处理方法和信息处理系统