KR101249263B1 - 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법 - Google Patents

시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법 Download PDF

Info

Publication number
KR101249263B1
KR101249263B1 KR1020100127868A KR20100127868A KR101249263B1 KR 101249263 B1 KR101249263 B1 KR 101249263B1 KR 1020100127868 A KR1020100127868 A KR 1020100127868A KR 20100127868 A KR20100127868 A KR 20100127868A KR 101249263 B1 KR101249263 B1 KR 101249263B1
Authority
KR
South Korea
Prior art keywords
elevator
passenger
face
eye
visualization panel
Prior art date
Application number
KR1020100127868A
Other languages
English (en)
Other versions
KR20120089516A (ko
Inventor
이의철
하영수
윤강준
Original Assignee
한국기초과학지원연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기초과학지원연구원 filed Critical 한국기초과학지원연구원
Priority to KR1020100127868A priority Critical patent/KR101249263B1/ko
Publication of KR20120089516A publication Critical patent/KR20120089516A/ko
Application granted granted Critical
Publication of KR101249263B1 publication Critical patent/KR101249263B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

다수의 패턴이 형성되어 있는 시각화 패널에 대한 포인팅 방법 및 이를 적용하는 엘리베이터와 탑승객 간의 인터페이스 방법에 관해 기술된다.
포인팅 방법은: 소정의 패턴이 다수 형성되어 있는 시각화 패널을 주시하는 사용자의 얼굴을 촬영하는 단계; 상기 얼굴의 영상을 처리하여 상기 시각화 패널에 대한 시선 위치를 결정하는 단계; 상기 시선 위치로부터 상기 시각화 패널의 특정 패턴에 대한 위치를 결정하는 단계; 그리고 상기 위치 정보에 대응하는 전기적 신호를 출력하는 단계;를 포함한다.

Description

시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법{pointing method using gaze tracking, and method of interfacing elevator-passenger adopting the pointing method}
시선추적(視線追跡, gaze tracking)을 이용한 포인팅 방법 및 이를 적용한 적용한 엘리베이터와 사용자 간 인터페이스 방법에 관련한 것으로 상세하게, 홍체 인식(虹彩認識))을 통해 선별된 사용자의 시선추적을 이용한 포인팅 방법 및 이를 적용하는 인터페이스 방법에 관련한다.
특허문헌 1의 발명은 엘리베이터 가상버튼에 관한 것으로, 3D카메라와 광원, 센서를 이용해서 카메라로 승객(사용자)의 손가락의 움직임을 감지하여 버튼의 숫자를 입력할 수 있는 기술에 관련한다. 이러한 특허문헌 1의 발명에서, 가상 버튼은 적외선 센서로 승객의 키를 파악하여 위치가 상하로 자동으로 움직인다. 이러한 특허문헌 1의 발명의 단점은 가상 버튼을 보이기 위한 3D(3 dimensional) 디스플레이 장치가 요구되며, 여러 명의 탑승객이 함께 사용할 경우 탑승객 수의 따라 서로 다른 디스플레이 장치가 필요하다. 만일에 하나의 모니터만 제공된다면 탑승객의 수가 많은 경우 각자 이동층을 선택하기 위한 대기시간이 길어지게 될 것이다.
특허문헌 2의 발명은 기존의 접촉식 엘리베이터 승객 인터페이스를 개인에 의해 비접촉식으로 입력되는 입력수단이 갖추어진 엘리베이터 승객 인터페이스 장치에 관한 것이다. 이러한 특허문헌 2의 발명은 기존의 접촉식 엘리베이터 인터페이스가 가지는 스위치 접촉에 따른 수명단축 및 병원균의 전파의 문제을 문제를 해결할 수 있다. 그러나, 특허문헌 2의 발명은 비접촉식이지만 여전히 손의 움직임이 필요하므로, 사용자의 편의성 측면에서 기존의 접촉식 버튼 인터페이스에 비해 장점이 없다.
특허문헌 3의 발명은 자동으로 이동층을 결정하는 엘리베이터 및 그 방법에 관한 것으로, 엘리베이터 승객에 대한 신원인식 정보 및 이동층 정보를 이용하여 사용자의 신원이 확인되면 이동층 입력 없이도 사용자가 원하는 층을 자동으로 결정하는 엘리베이터 및 그 방법에 관한 것이다. 이러한 특허문헌 3의 발명은 각종 생체 인식 방법을 적용하여 미리 등록된 거주자 DB(database)를 기반으로 이동층을 자동으로 선택하는 방법을 제공함으로써 거주자의 편의성을 극대화할 수 있다. 그러나, 여러 명의 승객이 동시에 사용할 수 없다는 문제점이 있다. 또한, 비거주자의 경우 엘리베이터의 사용이 원천봉쇄 되거나 별도의 생체정보 등록 과정을 거친 후 사용을 해야 한다는 문제점이 있다.
KR 2007-0099783 A KR 2004-0082726 A KR 2010-0083938 A
Viola, P. and Jones, M.J. "Robust real-time face detection". Int. J. Comput. Vis. 57, 137-154 (2004). 박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구", 대한전자공학회 논문지, 제 45권 CI편 제 4호, pp. 1~11, 2008년 7월. 장영균, 강병준, 박강령, "홍채 인식을 위한 포물 허프 변환 기반 눈꺼풀 영역 검출 알고리즘", 전자공학회논문지-SP, 제44권, 제1호, pp. 94-104, 2007년 1월. Daugman, J., "How iris recognition works", IEEE Tr. Circuits and Systems for Video Technology, Vol. 14, Issue 1, pp. 21-30, 2004. Y. J. Ko, E. C. Lee, and K. R. Park, "A robust gaze detection method by compensating for facial movements based on corneal specularities," Pattern Recogn. Lett. 29, 10, 1474-485 2008. Cheol Woo Cho, Ji Woo Lee, Eui Chul Lee, Kang Ryoung Park, "A Robust Gaze Tracking Method by Using Frontal Viewing and Eye Tracking Cameras", Optical Engineering, Vol. 48, No. 12, 127202, Dec. 2009.
본 발명은 사용자의 편의성을 증진시킬 수 있는 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법을 제시한다.
본 발명에 따르면 동시에 다수의 사용자의 시선에 따른 목적 위치의 포인팅이 가능한 방법 및 이에 따라 다수의 사용자와 엘리베이터간 동시 인터페이싱이 가능한 엘리베이터와 탑승객 간 인터페이스 방법이 제시된다.
또한, 본 발명에 따르면, 비강압적인 승객 정보의 취득 및 판단에 따른 접근 제한 제어(보안성의 유지)가 가능한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법을 제시한다.
본 발명에 따르면,
소정의 패턴이 다수 형성되어 있는 시각화 패널을 주시하는 사용자의 얼굴을 촬영하는 단계;
상기 얼굴의 영상을 처리하여 상기 시각화 패널에 대한 시선 위치를 결정하는 단계;
상기 시선 위치로부터 상기 시각화 패널의 특정 패턴에 대한 위치를 결정하는 단계; 그리고
상기 위치 정보에 대응하는 전기적 신호를 출력하는 단계;를 포함하는, 시선추적을 이용하는 포인팅 방법이 제안된다.
본 발명의 한 실시 예에 따르면,
상기 시각화 패널에 상기 패턴의 상대적 위치를 표시하도록 상기 사용자의 얼굴에 광을 조사하는 다수의 조명을 배치할 수 있다.
본 발명의 다른 실시 예에 따르면, 상기 시선 위치를 결정하는 단계는:
상기 눈에서 반사되는 반사광을 검출하여 반사광의 위치와 상기 조명의 위치를 대응시키는 기하학적 변환(geometric transform) 방법을 통해 상기 시선 위치를 결정할 수 있다.
본 발명의 또 다른 실시 예에 따르면,
상기 시선 방향을 결정 하는 단계는:
상기 얼굴의 영상으로부터 눈 부분을 추출하는 단계; 그리고
상기 눈 부분으로부터 동공 영역 검출하는 단계;를 포함할 수 있다.
본 발명의 또 다른 실시 예에 따르면,
상기 조명은 상기 시각화 패널을 에워싸는 임의의 사각형의 네 구석 각각 설치할 수 있다.
본 발명의 또 다른 실시 예에 따르면,
상기 시선 방향을 결정 하는 단계는:
상기 얼굴의 영상으로부터 눈 부분을 추출하는 단계; 그리고
상기 눈 부분으로부터 동공 영역 검출하는 단계;를 포함할 수 있다.
본 발명의 다른 유형에 따르면,
포인팅 방법을 적용하며,
상기 패턴들은 엘리베이터의 이동층을 나타내며;
상기 전기적 신호는 이동층에 대응하도록 되어 있는 엘리베이터와 탑승객간 인터페이스 방법이 제시된다.
본 발명의 다른 실시 예에 따른 인터페이스 방법에서,
상기 시각화 패널은 엘리베이터의 출입문 상방에 설치될 수 있다.
본 발명의 다른 실시 예에 따른 인터페이스 방법은, 상기 얼굴의 영상으로부터 홍채 정보를 추출할 수 있다.
본 발명의 다른 실시 예에 따른 인터페이스 방법에서,
상기 홍채 정보로부터 승객의 정보를 취득하고, 미리 구축되어 있는 입주자 정보 데이터 베이스로부터 취득된 정보의 승객이 거주자인지를 확인하는 단계;를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 인터페이스 방법에서,
상기 승객이 거주자가 아닌 경우, 비거주자 엘리베이터 탑승에 관한 정보를 발생 후 이를 통보할 수 있다.
본 발명의 포인팅 방법은 다수 스위치를 가지는 인터페이스에 대한 사용 편의성을 극대화한다. 특히 엘리베이터의 경우 손을 움직이지 않고, 응시하는 것만으로 원하는 이동층을 선택할 수 있다. 또한, 여러 명의 얼굴 영상을 취득하고, 눈 영역을 검출하여 시선 위치를 판단하므로, 동시에 여러 승객이 이동층을 선택할 수 있고, 특히 손을 쓰기 어려운 장애인들에게 매우 편리하다. 그리고, 비접촉식이므로 위생적인 인터페이스의 구현이 가능하다. 특히 거주 지역의 범죄 가능성을 사전에 예방할 수 있다. 이동층 선택을 위해서는 버튼을 응시해야 하며, 이때 안정적인 눈 영상을 취득하여, 홍채인식을 통해 거주자 여부를 판단하므로, 비거주자 침입 알림 등의 방법을 통해 범죄 가능성을 사전에 인지할 수 있다.
도 1은 본 발명의 한 실시 예에 따른 포인팅 방법을 예시하는 도면이다.
도 2는 본 발명의 한 실시 예에 따른 포인팅 방법의 흐름도이다.
도 3은 Adaboost(Adaptive Boosting) 방법을 이용한 특징 검출의 예를 보인다.
도 4는 발명의 실시 예에 따라, 안구에서 동공 중심 검출 과정을 보인다.
도 5는 발명의 실시 예에 따라 검출된 동공을 나타내 보인다.
도 6은 본 발명의 방법에 따라, 반사광의 위치 및 동공의 중심을 통해 시선 위치를 계산하기 위한 조명에 의한 반사점(P1, P2, P3, P4)이 이루는 왜곡된 형태의 사각형과 4개의 조명(F1, F2, F3, F4)이 이루는 직사각형간의 대응관계를 나타내 보인다.
도 7은 본 발명에 따른 방법이 적용되는 엘리베이터 장치의 내부를 도식적으로 보인다.
도 8은 발명에 따른 방법에 따라 엘리베이터 내부의 승객으로부터 얻은 얼굴 영상을 처리하는 과정을 나타내 보인다.
도 9는 본 발명에 따른 엘리베이터와 탑승객 간 인터페이스 방법의 흐름도이다.
이하, 첨부된 도면을 참조하면서 본 발명의 실시 예에 따른 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법을 상세히 설명한다. 이하에서 설명되는 엘리베이터와 탑승객 간 인터페이스 방법을 이해함으로써 본 발명에서 의도하는 포인팅 방법을 이해할 수 있을 것이다.
본 발명의 포인팅 방법은, 도 1에 도시된 바와 같이 어떤 전자 장치 또는 제어 장치의 제어에 관련하여, 숫자 배열, 문자 배열, 도형 배열 등의 패턴이 형성되어 있는 시각화 패널(10)을 스위치 구동을 위한 다수의 메뉴 아이템을 가지는 선택 메뉴 판으로서 사용한다. 시선추적은 다수의 조명장치(21, 21, 21, 21)에 의해 조명을 받는 사용자(30)의 얼굴 부분을 카메라(20)로 촬영한 후, 영상신호 처리 과정을 통하여, 시각화 패널에 대한 시선을 추적하여 사용자(30)의 시선(31)을 판단하여 사용자가 직시하는 패널(10) 상의 위치를 결정하고, 결정된 위치에 대응하는 스위칭 신호 등의 제어 신호에 의해 상기 전자 장치가 제어되도록 한다. 전자 장치의 제어 구조에 관련해서는 일반적인 기술 수준에 의해 이해될 수 있을 것이다.
도 2는 본 발명의 포인팅 방법의 한 실시 예의 흐름을 보인다.
먼저 카메라를 이용해 사용자에 대한 영상을 취득한 후(211). 이 영상으로부터 얼굴부분을 검출한다(212). 여기에서 얼굴부분이 존재하는 것으로 판단되면(213), 다음의 눈 검출 단계(214)로 이행하고, 그렇지 않으면 다시 영상 취득단계(211)로 복귀한다. 눈을 검출한 후, 이로부터 동공 영역을 검출하고(215), 이로부터 반사광을 검출한다(216). 검출된 반사광 정보를 이용해 후술하는 방법에 의해 시선 위치를 계산한 후(217), 최종적으로 시각화 패널의 메뉴를 선택한다(218).
위의 과정에서 얼굴 검출(또는 얼굴 영역 검출, 212)은 Adaboost (Adaptive Boosting) 방법을 사용한다. 부스팅(Boosting)은 많은 약한 분류기 (Weak Classifier)를 결합함으로써 정확도가 높은 강한 분류기(Strong Classifier)를 찾는 방법으로, 대표적인 boosting 알고리즘이 상기 Adaboost이다. Adaboost 는 단순하여 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출하여 실시간에서도 작동한다. 도 3은 Adaboost를 이용한 특징 검출의 예를 보인다. 도 3에 도시된 바와 같이 눈 영역은 코와 볼 영역 보다 더 어둡다는 특성을 이용하고, 다음으로 눈은 콧등에 비해 더 어둡다는 점을 이용하여 얼굴을 검출한다. 비특허문헌 1은 이러한 Adaboost에 대해 기술하며, 이를 참고한 방법에 의해 상기와 같이 얼굴 영역을 추출할 수 있다.
얼굴 영역을 추출한 후, 눈 영역 검출단계(214) 역시 Adaboost 방법으로 검출한다. 눈 영역의 추출을 위해서는 눈의 특징이 반영된 약한 분류기들을 통해 학습(training)된 정보를 활용한다.
동공 영역 검출(215)는 아래의 원형 검출 알고리즘이 사용된다. 먼저 도 4의 (가)에 나타내 보인 바와 같이 원형 템플릿 매칭을 통해 초기 동공 영역을 결정한다. 원형 템플릿 매칭 방법은 아래의 식으로 설명되며, 이에 대해서는 비특허문헌 [6]가 참조될 수 있다.
Figure 112010082448607-pat00001
여기에서, 여기에서, I(x, y) 은 (x, y) 위치에서의 영상의 밝기를 나타내고, (x0, y0 ) 와 r 은 원형 템플릿의 중심과 반지름을 나타낸다. 결국 두 개의 원형 템플릿 각각의 밝기 합의 차가 최대가 되는 지점을 동공 영역(또는 홍채 영역)으로 결정하는 것이다. 하지만 동공은 시선 위치 및 카메라 촬영 각도에 따라 원이 아닌 타원의 형태로 나타날 수 있기 때문에, 원형 템플릿 매칭 방법으로 결정된 위치가 정확하다고 할 수 없다. 따라서, 결정된 위치를 기준으로 도 4의 (나)와 같이 지역적 이진화 과정을 수행한다. 사각 지역 영역은 동공 영역 (전경)과 동공이 아닌 영역 (배경)의 두 종류로 분류되므로 이진화의 임계치는 Gonzalez가 제안한 방법(참조: 비특허문헌 [7]) 및 오쯔(Otzu)가 제안한 임계값 자동 결정 방법(참조: 비특허 문헌[8])을 사용한다. 지역적 이진화 후에는 눈썹이나 그림자에 의한 노이즈 영역이 존재할 수 있으며, 반사광이 동공 영역 내부에 존재할 경우 뚫린 형태로 나타날 수 있다. 이를 해결하기 위해, 이진화된 영역에 대해서 라벨링(Component Labeling) 방법을 수행하여, 서로 인접된 영역들에 아이덴티티(identity)를 부여한 후, 가장 넓이가 큰 영역을 남기고 다른 아이덴티티를 가지는 영역을 제거함으로써, 노이즈 영역을 제거한다. 최종적으로 구멍난 영역을 채우기 위해 모폴로지 닫힘 연산 (morphological closing operation)을 수행한다. 결과적으로 도 4의 (다) 및 도 5에 도시된 바와 같이 흑색 영역의 무게 중심을 구하여, 최종 동공 중심으로 결정한다.
반사광의 위치 및 동공의 중심을 통해 시선 위치를 계산하기 위해서는 도 6에 도시된 바와 같이 반사광(P1, P2, P3, P4)이 이루는 왜곡된 형태의 사각형과 4개의 조명(F1, F2, F3, F4)이 이루는 직사각형간의 대응관계를 정의해야 하며, 이를 위해 기하적 변환(geometric transform) 방법을 사용하며, 이 방법은 비특허문헌 [5]를 참조할 수 있다.
4개의 반사광 P1 ~ P4의 좌표를 (xp1, yp1), (xp2, yp2), (xp3, yp3),(xp4, yp4)라 하고, 4개의 조명 위치 F1 ~ F4의 좌표를 (xf1, yf1), (xf2,yf2), (xf3,yf3), (xf4,yf4)라 하면, 기하학적 변환 방법에 근거하여 아래의 식을 설계할 수 있다.
Figure 112010082448607-pat00002
위의 수식을 행렬 형태로 표현하면 다음과 같다.
Figure 112010082448607-pat00003
4개 조명이 이루는 직사각형의 가로와 세로 길이를 각각 w, h라고 하면, 4개 조명의 위치 좌표 F1 ~ F4는 (0, 0), (w, 0), (w, h), (0, h)로 정해져서, P행렬에 미지수가 없어지므로, 대응관계를 표현하는 사상행렬 T는 양변에 F의 역행렬을 곱해서 구해질 수 있다.
동공 중심좌표를 (x, y)라 하면, 4개의 적외선 조명이 이루는 직사각형 안의 시선 위치 (Gx, Gy)는 아래의 수식을 통해 계산될 수 있다.
Figure 112010082448607-pat00004
4개의 적외선 조명이 이루는 직사각형 영역 내부의 각 숫자영역은 미리 측정되어 정의될 수 있으므로, 해당 시선 위치 (Gx, Gy)가 특정 숫자 영역에 일정 시간(T)이상 머무르게 되면 메뉴의 어느 한 아이템을 선택한다. 이러한 아이템의 선택은 소프트웨어 또는 펌웨어에 연계된 하드웨어 등에 의해 전자 장치 또는 제어 장치에서, 예를 들어 특정 메뉴 아이템의 선택에 따른 제어 신호의 발생이 가능할 것이다. 그리고, 시선 위치가 시간 T 미만 머무르거나 메뉴 아이템, 예를 들어 숫자 영역이 아닌 영역을 응시하는 경우는 어느 메뉴 아이템도 선택하지 않고 루틴의 최초 단계로 복귀한다.
이하에서, 전술한 전자 장치 또는 제어 장치의 일례로서 엘리베이터의 제어 장치에의 응용을 설명한다. 이하의 설명에서는 동공 검출과 아울러 홍체 정보를 이용하는 엘리베이터와 탑승객 간 인터페이스 방법의 한 실시 예를 설명한다.
본 발명은 전술한 바와 같은 시각화 패널을 응시하는 엘리베이터 승객(또는 사용자)의 시선 추적 방법을 통해 목적하는 이동층으로의 이동이 가능하게 한다. 이에 더하여 안정적인 적외선 눈 영상을 취득하여, 홍채 영역 분석을 통해 거주자 여부를 판단하는 기능을 가지는 편의성과 보안성을 부여한다.
도 7은 엘리베이터(40)의 내부 구조를 도식화 한 것으로서, 출입문(41, 41) 상단에는 건물의 층을 나타내는 숫자(메뉴 아이템)들이 시각화 패널(또는 메뉴, 10)의 사각 영역에 적절히 배치되어 있으며 패널(10)의 네 구석 지점에는 승객들의 얼굴 부분으로 적외선을 조사하는 조명(21, 21, 21, 21)이 배치되어 있다. 그리고, 출입문(41, 41) 상단 중앙, 구체적으로 패널(10)의 상단 중앙에는 탑승객 전원을 촬영할 수 있는 화각을 가지면서, 시선 추적 및 홍채 인식의 수행이 가능할 정도의 공간 해상도를 가지는 적외선 카메라(20)가 장착되어 있다. 엘리베이터의 보이지 않는 부분에 카메라 영상을 처리하여 이동층 선택 및 홍채 인식을 수행할 수 있는 컴퓨터 장치가 존재하며, 해당 장치는 거주자의 홍채코드 정보 및 거주층 정보를 저장하고 있거나, 저장하고 있는 원격 데이터베이스와 통신이 가능하며, 거주자의 휴대기기 또는 알람 장치에 경보 메세지를 전송할 수 있는 모듈을 포함할 수 있다.
도 8은 엘리베이터 내의 카메라에 의해 얻어진 영상의 처리 순서를 개략적으로 보인다.
엘리베이터 탑승객이 패널을 주시할 때(가), 얼굴부분의 영상의 획득하여 눈 영역을 추출(나), 추출된 눈 영역으로부터는 원형 템플릿을 이용한 원형 검출 알고리즘을 이용해 동공 및 홍체 영역을 검출한다(다). 검출된 홍채 원 영역에서 동공 원 영역을 제외한 영역은 도 8의 (라)와 같이 홍채 영역을 나타낸다. 해당 영역에서 눈썹 및 반사광 검출 [참조: 비특허문헌 3 참조], 도 8 (라)와 같은 홍채로부터 홍채 코드 검출 및 인식 방법[참조: 비특허문헌 4]은 공지된 방법의 것을 적용하여 홍체 인식 과정을 수행한다.
도 9는 전술한 엘리베이터-승객 간 인터페이스 방법의 구체적인 단계의 흐름을 예시한다.
카메라를 이용해 사용자에 대한 영상을 취득한 후(911). 이 영상으로부터 얼굴부분을 검출한다(912). 여기에서 얼굴부분이 존재하는 것으로 판단되면(913), 다음의 눈 검출 단계(914)로 이행하고, 그렇지 않으면 다시 영상 취득단계(911)로 복귀한다. 눈을 검출한 후, 이로부터 동공 영역을 검출하고(915), 이로부터 반사광을 검출한다(916). 검출된 반사광 정보를 이용해 후술하는 방법에 의해 시선 위치를 계산한 후(917), 최종적으로 계산된 시선 위치에 대응하는 엘리베이터의 이동층을 선택하며(918), 이후 최초의 영상 취득 단계로 복귀한다. 한편, 이동층 선택과정과는 병렬적으로 수행될 수 있는 과정으로서 홍채 인식 및 이에 따른 통보 과정에 이르는 일련의 단계가 수행된다.
홍채 인식 단계(921)는 전술한 홍채, 동공 영역 검출 단계(915) 후 수행된다. 전술한 바와 같이 홍채 인식은 비특허문헌 4에 제안된 방법으로부터 얻을 수 있다. 홍채 정보를 얻은 후, 이 홍채 정보가, 거주자 정보에 포함되는 지 판단(922)한 후, 이동층의 거주자인 것으로 판단되는 경우(922) 특이조치 없이(924) 최초의 영상 취득 단계(911)로 복귀하며, 그렇지 않은 경우, 외래인의 진입 사실을 건물 관리 센터, 관제 센터 또는 건물 전체 거주자 또는 해당층 거주자에 무선 휴대기기 또는 유선장치등으로 이 사실을 통보한다(925). 여기에서 이동층의 거주자와 승객의 정보를 비교하는 경우, 이동층의 정보가 요구되며, 따라서, 이 단계는 이동층을 결정하는 918 단계가 완료된 후 수행되어야 한다. 그러나, 해당층뿐 아니라 건물 전체의 거주자에 대한 정보와 승객의 정보를 비교하는 경우 이동층의 결정이 없이 기설정된 거주자 데이터 베이스에 비교하는 것이 가능하므로, 이동층 선택을 위한 과정과 홍채인식 이후의 과정을 별개로 수행되어도 무방하다.
엘리베이터 또는 엘리베이터에서와 같이 선택적인 스위칭이 요구되는 다수의 스위치 배열을 가지는 어떠한 전자 장치 또는 제어 장치에도 적용될 수 있을 것이며, 장애인용 시설물에서의 스위칭 장치로서 유용하게 적용될 수 도 있다.
10: 패널20: 카메라21: (적외선) 조명 30: 사용자(탑승객, 승객)

Claims (13)

  1. 소정의 패턴이 다수 형성되어 있는 시각화 패널에 상기 패턴의 상대적 위치를 표시하도록 마련된 다수의 조명으로 사용자의 눈을 포함하여 사용자의 얼굴에 광을 조사하면서, 상기 시각화 패널을 주시하는 사용자의 얼굴을 촬영하는 단계;
    상기 얼굴 영상을 처리하여, 상기 눈에서 반사되는 반사광을 검출하여 반사광의 위치와 상기 조명의 위치를 대응시키는 기하학적 변환(geometric transform) 방법을 통해 시각화 패널에 대한 시선 위치를 결정하는 단계;
    상기 시선 위치로부터 상기 시각화 패널의 특정 패턴에 대한 위치를 결정하는 단계; 그리고
    상기 위치 정보에 대응하는 전기적 신호를 출력하는 단계;를 포함하는, 시선추적을 이용하는 포인팅 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 시선 방향을 결정 하는 단계는:
    상기 얼굴의 영상으로부터 눈 부분을 추출하는 단계; 그리고
    상기 눈 부분으로부터 동공 영역 검출하는 단계;를 포함하는 것을 특징으로 하는, 시선추적을 이용하는 포인팅 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 조명은 상기 시각화 패널을 에워싸는 임의의 사각형의 네 구석 각각 설치하는 것을 특징으로 하는, 시선추적을 이용하는 포인팅 방법.
  7. 제 4 항에 있어서,
    상기 조명은 상기 시각화 패널을 에워싸는 임의의 사각형의 네 구석 각각 설치하는 것을 특징으로 하는, 시선추적을 이용하는 포인팅 방법.
  8. 제 1 항에 있어서,
    상기 시선 방향을 결정 하는 단계는:
    상기 얼굴의 영상으로부터 눈 부분을 추출하는 단계; 그리고
    상기 눈 부분으로부터 동공 영역 검출하는 단계;를 포함하는 것을 특징으로 하는, 시선추적을 이용하는 포인팅 방법.
  9. 제 1 항, 제 4 항, 제 6 항, 제 7 항 또는 제 8 항 중의 어느 하나의 항에 기재된 포인팅 방법을 적용하며,
    상기 패턴들은 엘리베이터의 이동층을 나타내며;
    상기 전기적 신호는 이동층에 대응하도록 되어 있는 엘리베이터와 탑승객간 인터페이스 방법.
  10. 제 9 항에 있어서,
    상기 시각화 패널은 엘리베이터의 출입문 상방에 설치되는 것을 특징으로 하는 엘리베이터와 탑승객간 인터페이스 방법.
  11. 제 9 항에 있어서,
    얼굴의 영상으로부터 홍채 정보를 추출하는 것을 특징으로 하는, 엘리베이터 탑승객간 인터페이스 방법.
  12. 제 11 항에 있어서,
    상기 홍채 정보로부터 승객의 정보를 취득하고, 미리 구축되어 있는 입주자 정보 데이터베이스로부터 취득된 정보의 승객이 거주자인지를 확인하는 단계;를 포함하는, 엘리베이터와 탑승객간의 인터페이스 방법.
  13. 제 12 항에 있어서,
    상기 승객이 거주자가 아닌 경우, 비거주자 엘리베이터 탑승에 관한 정보를 발생하는 것을 특징으로 하는, 엘리베이터와 탑승객간의 인터페이스 방법.
KR1020100127868A 2010-12-14 2010-12-14 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법 KR101249263B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127868A KR101249263B1 (ko) 2010-12-14 2010-12-14 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127868A KR101249263B1 (ko) 2010-12-14 2010-12-14 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법

Publications (2)

Publication Number Publication Date
KR20120089516A KR20120089516A (ko) 2012-08-13
KR101249263B1 true KR101249263B1 (ko) 2013-04-09

Family

ID=46874211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127868A KR101249263B1 (ko) 2010-12-14 2010-12-14 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법

Country Status (1)

Country Link
KR (1) KR101249263B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506037B1 (ko) 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000238970A (ja) 1999-02-22 2000-09-05 Matsushita Electric Ind Co Ltd エレベータシステム
JP2007161420A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd エレベータの呼び登録装置
KR20080051664A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000238970A (ja) 1999-02-22 2000-09-05 Matsushita Electric Ind Co Ltd エレベータシステム
JP2007161420A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd エレベータの呼び登録装置
KR20080051664A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506037B1 (ko) 2022-08-12 2023-03-06 주식회사 아이트 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템

Also Published As

Publication number Publication date
KR20120089516A (ko) 2012-08-13

Similar Documents

Publication Publication Date Title
KR102587193B1 (ko) 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
EP3308325B1 (en) Liveness detection method and device, and identity authentication method and device
TWI754806B (zh) 利用深度學習定位虹膜之裝置與方法
US8649575B2 (en) Method and apparatus of a gesture based biometric system
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
US20170124719A1 (en) Method, device and computer-readable medium for region recognition
CN106062668B (zh) 手势设备、用于手势设备的操作方法以及包括手势设备的车辆
US20130266174A1 (en) System and method for enhanced object tracking
KR20110063679A (ko) 정맥 패턴 인식 기반 생체인증 시스템 및 그 방법
KR20120006819A (ko) 시선 추적 방법 및 이를 적용하는 장치
KR20000050399A (ko) 얼굴영역 추출방법
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
JP2014178862A (ja) 特徴点抽出装置
US20230368582A1 (en) Authentication device, authentication method, and recording medium
Sajid et al. VSig: Hand-gestured signature recognition and authentication with wearable camera
US8977009B2 (en) Biometric authentication device, biometric authentication program, and biometric authentication method
JP2020518879A (ja) 検出システム、検出装置およびその方法
JP2013182335A (ja) 顔画像認証装置
US20220048733A1 (en) Contactless Elevator Service for an Elevator Based on Augmented Datasets
US11594086B2 (en) Automatic switching for frictionless access control
KR101249263B1 (ko) 시선 추적을 이용한 포인팅 방법 및 이를 적용한 엘리베이터와 탑승객 간 인터페이스 방법
JP7223303B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2013205931A (ja) 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
Tay et al. Application of computer vision in the construction industry
KR101703690B1 (ko) 홍채 인식 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200219

Year of fee payment: 8