KR100969927B1 - 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 - Google Patents

사용자 지향적 비접촉식 상호 작용 디스플레이 장치 Download PDF

Info

Publication number
KR100969927B1
KR100969927B1 KR1020090075779A KR20090075779A KR100969927B1 KR 100969927 B1 KR100969927 B1 KR 100969927B1 KR 1020090075779 A KR1020090075779 A KR 1020090075779A KR 20090075779 A KR20090075779 A KR 20090075779A KR 100969927 B1 KR100969927 B1 KR 100969927B1
Authority
KR
South Korea
Prior art keywords
information
user
module
infrared
infrared image
Prior art date
Application number
KR1020090075779A
Other languages
English (en)
Inventor
장창익
Original Assignee
(주)예연창
장창익
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)예연창, 장창익 filed Critical (주)예연창
Priority to KR1020090075779A priority Critical patent/KR100969927B1/ko
Application granted granted Critical
Publication of KR100969927B1 publication Critical patent/KR100969927B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

본 발명에 따른 사용자 지향적 비접촉식 상호 작용 디스플레이 장치는 복수 개의 콘텐츠를 표시하는 화면표시모듈; 상호 교차되는 뷰(view) 방향을 가지며 감지 영역 내에 진입한 사용자의 신체 일부에 대한 적외선 영상을 획득하는 제1 및 제2 적외선 영상모듈; 상기 제1 및 제2 적외선 영상모듈로부터 입력된 두 적외선 영상 중 중첩되는 영상정보를 파싱하고, 상기 파싱된 영상정보를 이용하여 상기 사용자의 신체 일부에 대한 위치 정보를 생성하는 위치정보 생성모듈; 및 상기 화면표시모듈에 표시되는 복수 개의 콘텐츠 중 상기 위치정보 생성모듈로부터 입력된 위치 정보에 대응하는 콘텐츠를 선별하는 선별부와 상기 선별된 콘텐츠가 선택되지 않은 콘텐츠와 구분되도록 상기 선별된 콘텐츠를 상기 화면표시모듈에 디스플레이하는 제1출력부를 포함하는 제어 모듈을 포함하여 구성된다.
상기 본 발명에 의하면, 비접촉식 상호 작용에 의한 인터페이싱을 수행함에 있어, 사용자의 신체 또는 신체 일부에 대한 위치 정보를 더욱 정밀하고 효과적으로 인터페이싱과정에 반영할 수 있음은 물론, 정적 위치 인식을 넘어 동적 위치 인식 기반을 제공할 수 있어 사용자와 장치와의 물리적 이격 거리에 더욱 자유로운 비접촉식 인터페이싱을 구현할 수 있다.

Description

사용자 지향적 비접촉식 상호 작용 디스플레이 장치{Apparatus for touchless interactive display with user orientation}
본 발명은 사용자와 장치 간 인터페이싱을 비접촉식으로 수행하고 인터페이싱 결과를 디스플레이하는 장치에 관한 것으로서, 더욱 구체적으로는 상기 인터페이싱을 위한 사용자의 신체 일부에 대한 위치 정보를 더욱 정확하게 인식함으로써 더욱 정교한 인터페이싱을 제공할 수 있는 장치에 관한 것이다.
디스플레이 장치는 일반적으로 CRT, LCD, PDP, LED, 빔 프로젝터 등의 물리적 구성을 통하여 사용자가 선택한 텍스트, 정지 영상, 동영상 등 다양한 매체의 콘텐츠를 제공하는 장치를 의미한다. 상기 디스플레이 장치는 주로 시각적 매체를 통하여 사용자에게 콘텐츠를 제공하는 것을 의미하지만 광의적으로 청각적 매체를 통하여 음악, 소리 등에 관한 콘텐츠를 제공하거나 촉각적 매체를 통하여 콘텐츠를 제공하는 것 등도 포함될 수 있다.
통상의 디스플레이 장치 내지 시스템은 TV, 컴퓨터, 광고판, 휴대폰 LCD, LED 등 문자와 영상을 가시적으로 표현하여 정보를 전달할 수 있는 플랫폼이 마련된 단말기를 통하여 사용자가 원하는 콘텐츠들이 일정한 규칙에 의거한 선택과정을 통해 보여지도록 제작된 것이라고 할 수 있다.
또한, 인간이 실생활에서 여러 학습과 경험 등을 통하여 얻은 다양한 정보를 문자, 그림, 음악 또는 행동 양식으로 표현하는 것과 같이 디지털 시스템에서도 소정의 어플리케이션(application)이나 프로그램 등과 다양한 리소스를 이용하여 수집, 가공, 생산된 정보를 사용자의 요구에 따라 문자, 영상, 음원 등의 다양한 매체를 이용하여 그 결과물을 수집, 가공 생산하게 되는데, 이러한 모든 활동의 결과물을 콘텐츠로 칭할 수 있다.
통상적으로 사용자가 이러한 콘텐츠와 관련된 프로세싱을 소정의 단말 장치를 이용하여 수행하기 위해서는 상기 단말 장치 등에 명령을 입력하는 행위 등의 인터페이싱 과정을 거치게 되는데, 이러한 과정은 키보드를 포함한 키패드, 포인팅 디바이스인 마우스, 스타일러스 펜 등의 입력 장치를 이용하여 수행되며, 근자에는 사용자 환경을 개선하기 위하여 터치 패드 등을 이용한 입력 장치도 보편적으로 이용되고 있다.
그러나 상기 인터페이싱을 위한 수단 내지 매개체는 사용자가 소정 장치와 접촉하거나 근접 거리에 있어야 하는 물리적인 한계를 가지고 있음은 물론, 더욱 자유롭게 장치를 제어하거나 구동하고자 하는 사용자의 활동에 제약이 되므로 이러한 점에서 심리적인 한계를 가지고 있다고도 할 수 있다.
본 발명은 상기와 같은 배경에서 상기의 문제점을 해결하기 위하여 창안된 것으로서, 단말 장치와 사용자의 물리적 접촉 내지 근접성에서 자유로운 상태에서단말 장치와 사용자의 효과적인 인터페이싱이 가능하며, 상기 인터페이싱을 위한 사용자의 신체 일부에 대한 위치 정보를 더욱 정밀하게 추출함은 물론, 사용자의 단말 장치에 대한 근접 거리에 따라 차등적으로 상기 사용자의 신체 일부에 대한 위치 정보를 획득하는 기법을 차등적으로 적용시킴으로써 사용자 환경을 더욱 개선시킬 수 있는 비접촉식 상호 작용 디스플레이 장치를 제공하는데 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 사용자 지향적 비접촉식 상호 작용 디스플레이 장치는 복수 개의 콘텐츠를 비접촉식 인터페이싱에 의하여 디스플레이하는 비접촉식 상호 작용 디스플레이 장치로서, 상기 복수 개의 콘텐츠를 표시하는 화면표시모듈; 감지 영역 내에 진입한 사용자의 신체 일부에 대한 적외선 영상을 획득하여 출력하는 영상모듈; 상기 영상모듈로부터 입력된 적외선 영상 정보에서 상기 사용자의 신체 일부에 대한 위치 정보를 생성하는 위치정보 생성모듈; 및 상기 화면표시모듈에 표시되는 복수 개의 콘텐츠 중 상기 위치정보 생성모듈로부터 입력된 위치 정보에 대응하는 콘텐츠를 선별하는 선별부와 상기 선별된 콘텐츠가 선택되지 않은 콘텐츠와 구분되도록 상기 선별된 콘텐츠를 상기 화면표시모듈에 디스플레이하는 제1출력부를 포함하는 제어 모듈을 포함하여 구성된다.
여기에서, 상기 영상모듈은 상호 교차되는 뷰(view) 방향을 가지며 감지 영역 내에 진입한 사용자의 신체 일부에 대한 적외선 영상을 획득하는 제1 및 제2 적외선 영상모듈을 포함할 수 있으며, 상기 위치정보 생성모듈은 상기 제1 및 제2 적외선 영상모듈로부터 입력된 두 적외선 영상 중 중첩되는 영상정보를 파싱하고, 상기 파싱된 영상정보를 이용하여 상기 사용자의 신체 일부에 대한 위치 정보를 생성하도록 구성될 수 있다.
또한, 상기 위치정보 생성모듈은 상기 제1 및 제2 적외선 영상모듈의 뷰 방향에 대한 각도 정보 및 영상 크기에 따른 거리 정보를 포함하는 위치산출 기준정보가 저장된 기준정보저장부; 상기 제1 및 제2 적외선 영상모듈에서 획득된 두 적외선 영상 정보를 매칭하여 소정 기준 이상으로 매칭되는 매칭 영역을 산출하는 매칭부; 상기 매칭 영역의 크기 정보와 상기 위치산출 기준정보를 이용하여 상기 매칭 영역의 위치 정보를 연산하는 연산부; 및 상기 연산된 위치 정보를 출력하는 제2출력부를 포함하여 구성될 수 있다.
더욱 바람직한 실시형태를 구현하기 위하여, 상기 기준정보저장부는 상기 제1 및 제2 적외선 영상모듈의 렌즈 배율에 대한 정보를 더 저장하고, 상기 연산부는 상기 배율 정보를 이용하여 상기 매칭 영역에 대비된 사용자의 신체 일부에 대한 실제 크기 정보를 생성하여 상기 실제 크기 정보에 대응하는 위치 정보를 연산하도록 구성할 수 있다.
또한, 상기 본 발명은 상기 제1 및 제2 적외선 영상모듈 각각의 뷰 방향 전단에 구비되며, 적외선 대역의 빛을 발생시키는 제1 및 제2 적외선 발광모듈을 추 가적으로 포함할 수 있다. 더욱이 본 발명은 사용자의 접근을 감지하고 감지된 사용자와의 거리를 센싱하는 감지모듈; 및 상기 감지모듈로부터 거리 정보가 입력되면 상기 제1 및 제2 적외선 영상모듈이 상기 거리 정보에 해당하는 감지 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 및 제2적외선 영상모듈의 뷰 방향 및 상기 제1 및 제2 적외선 발광모듈의 조사 방향을 가변하는 구동제어모듈을 더 포함하는 것이 더욱 바람직하다.
상기 구성에서, 상기 감지모듈은 대상체의 적외선 파장 대역을 감지하고, 상기 감지된 파장대역에 해당하는 온도와 주변 온도의 차이에 상응하는 기전력을 발생시켜 사용자의 접근을 감지하는 TIR센서부; 및 발생된 빛과 돌아오는 빛의 시간 정보를 이용하여 거리를 센싱하여 거리 정보를 출력하는 거리센싱부를 포함하여 구성될 수 있다.
다른 바람직한 실시형태의 구현을 위하여 본 발명은 각각의 위치 좌표가 부여되고 사용자와 접촉되는 경우 상기 위치 좌표를 전송하며 상기 디스플레이 장치가 설치되는 장소의 바닥에 구비되는 복수 개의 위치패드; 및 상기 위치패드로부터 위치 좌표가 전송되면 상기 제1 및 제2 적외선 영상모듈이 상기 위치 좌표에 해당하는 감지 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 및 제2적외선 영상모듈의 뷰 방향 및 상기 제1 및 제2 적외선 발광모듈의 조사 방향을 가변하는 구동제어모듈을 더 포함하여 구성될 수 있다.
상기 본 발명에 의하면, 영상 매칭 및 이에 따른 영상 처리 과정을 통하여 비접촉식 인터페이싱을 위한 사용자의 신체 일부에 대한 위치 정보를 더욱 정밀하게 제어할 수 있다.
또한, 상기 위치 정보를 생성하는 전제 구성으로 기능하는 적외선 영상모듈의 영상 획득에 있어 외부 빛에 의한 영향을 최소화시킬 수 있으며 이에 따라 오차 범위를 현격하게 줄일 수 있어 더욱 정밀한 인터페이싱 제어가 가능할 수 있다.
이와 함께, 사용자의 현재 위치에 따라 적외선 영상 모듈 및 적외선 발광모듈의 조사 방향을 가변적으로 조정하여 인터페이싱을 위한 위치 정보를 획득할 수 있도록 구성함으로써 사용자가 어디에 위치하더라도 정확하게 인터페이싱을 위한 위치 정보를 획득할 수 있어 더욱 사용자 지향적인 형태의 비접촉식 디스플레이 장치를 구현할 수 있다.
본 발명에서 제안하는 디스플레이 장치를 통하여 정확한 인터페이싱을 유지하면서도 사용자와 단말 장치 간의 물리적 이격 거리에 대한 한계를 해소할 수 있어 사용자는 더욱 자유롭게 단말 장치와의 인터페이싱을 구현할 수 있으며, 이를 통하여 사용자의 편의성을 증대함은 물론, 프레젠테이션 등과 같은 2차적 응용 행위를 더욱 효율적으로 수행할 수 있는 효과를 창출할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원 칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 지향적 비접촉식 상호 작용 디스플레이 장치(이하 디스플레이 장치로 약칭한다)(100)의 구성을 도시한 블록도이며, 도 7은 본 발명에 따른 디스플레이 장치의 바람직한 실시예에 의한 물리적 구성을 도시한 예시도면이다.
상기 도 1 및 도 7에 도시된 바와 같이 본 발명의 디스플레이 장치(100)는 영상모듈(110), 위치정보생성모듈(120), 제어모듈(130) 및 화면표시모듈(140)을 포함하여 구성될 수 있다.
상기 영상모듈(110)은 후술되는 바와 같이 콘텐츠에 대한 사용자 인터페이싱을 수행하는 사전 수행 프로세싱을 수행하는 수단으로서, 사용자가 선택 내지 실행하고자 하는 대상 내지 객체(object)와 대응되는 사용자의 신체 일부(손 등)의 위치 정보 등을 확보하기 위하여 상기 사용자의 신체 일부에 대한 적외선 영상을 획득하는 장치에 해당한다.
상기 사용자의 신체 일부는 사용자의 신체 그 자체를 포함하여 몸, 손, 발, 얼굴 등 실시 형태에 따라 다양하게 적용될 수 있음은 물론이다.
본 발명에 의한 영상모듈(110)은 도 1에 도시된 바와 같이 제1 적외선 영상 모듈(111) 및 제2적외선 영상 모듈(113)로 즉, 복수 개의 영상 모듈로 구성되는 것이 바람직하다.
상기 영상모듈(100)을 통하여 확보된 사용자의 신체 일부에 대한 영상은 후처리 과정에서 그 위치정보가 산출되게 되는데, 이러한 과정을 더욱 정확하고 정밀하게 수행하기 위하여 상기와 같이 복수 개의 적외선 영상 모듈을 이용하여 영상을 획득하는데, 더욱 구체적으로 상기 제1 및 제2 적외선 영상모듈(111, 113)은 상호 교차되는 뷰(view)방향을 가지며, 소정 감지 영역 내에 진입한 사용자의 신체 일부에 대한 적외선 영상을 촬영 내지 획득한다.
한편, 영상 데이터를 구성하는 픽셀의 밝기, 채도, 색상정보(YCbCr, RGB 등)의 특성상 영상 데이터에서 인간의 신체 이외의 다른 객체를 구별하는 것은 가시광선 영역의 촬영수단보다 적외선 촬영수단이 더욱 기능적이라고 할 수 있다.
상기와 같이 획득된 적외선 영상은 본 발명의 위치정보생성모듈(120)로 입력되게 되는데, 상기 위치정보 생성모듈(120)은 우선, 상기 제1 적외선 영상모듈(111) 및 제2 적외선 영상모듈(113)에서 입력된 두 개의 적외선 영상 중 상호 중첩되는 영상 정보가 무엇인지 분석 내지 파싱(parsing)한다.
상기 중첩되는 영상 정보를 분석하는 하나의 실시예로서 상기 두 적외선 영상 간의 매칭 기법을 이용하여 영상 상호 간 소정 오차 범위 내에서 동일성 범주에 해당하는 픽셀 영역을 파악하는 방법을 이용할 수 있다. 이 경우 영상 라벨링(labeling) 기법 등의 더욱 개선된 방식을 적용하여 상호 간 매칭 프로세스를 진 행하도록 구성하는 것이 더욱 바람직하다.
본 발명의 디스플레이 장치(100)는 이와 같이 단수의 적외선 영상을 이용하는 것이 아니라, 복수의 적외선 영상을 이용하며, 이에 더하여 상호 교차되는 뷰방향을 가지는 복수의 적외선 영상모듈로부터 획득된 영상을 이용하므로 더욱 정밀하고 정확한 영상 정보를 획득할 수 있게 된다.
상기와 같이 중첩되는 영상 정보가 파싱되면, 상기 파싱된 영상 정보의 픽셀 정보 등을 이용하여 사용자의 신체 일부에 대한 위치 정보를 생성할 수 있다. 이러한 위치 정보의 생성은 실시 형태에 따라, 파싱된 영상 정보의 중심되는 위치를 기준으로 위치정보를 산출하거나 상기 중첩된 영상 영역 전체의 범주로 상기 위치 정보를 산출하는 등 다양한 방법이 가능하다. 상기 위치정보생성모듈(120)의 바람직한 실시예를 구현하는 구체적인 구성은 후술하도록 한다.
한편, LCD 등으로 구현되는 본 발명의 화면표시모듈(140)은 복수 개의 콘텐츠를 표시하게 되는데, 본 발명의 제어모듈(130)의 구성 요소인 선별부(131)는 이렇게 상기 화면표시모듈(140)에 표시되는 복수 개의 콘텐츠 중 상기 위치정보 생성모듈(120)로부터 입력된 위치 정보에 대응하는 콘텐츠를 선별한다.
상기와 같이 콘텐츠를 선별하는 과정을 도 2를 통하여 구체적으로 설명하면 다음과 같다.
도 2에 도시된 바와 같이 화면표시모듈(140)에 "□" "○" 콘텐츠가 출력되고 있는데, 상기 "□"콘텐츠에 대한 화면표시모듈(140) 상의 위치 정보는(a,b)이며, 상기 "○"콘텐츠의 위치 정보는 (c,d)로 정의한다. 설명의 효율성 내지 편의성을 높이기 위한 하나의 예로서 상기 콘텐츠는 두 개 요소만으로 도시할 뿐, 실제 적용례에서는 상기 콘텐츠의 개수에 관계없이 적용될 수 있음은 물론이다.
사용자의 위치가 Z=L 평면상에 있든 또는 Z=K 평면상에 있든 동일하게 적용될 수 있는데, 앞서 설명된 바와 같이 사용자의 신체 일부가 A에 위치하고 있다면, 앞서 설명된 과정을 통하여 본 발명의 상기 위치 정보 생성 모듈(120)은 상기 사용자의 신체 일부에 대한 위치 정보로 (a,b,K)를 생성하게 된다. 만약, 사용자의 신체 일부가 B에 위치한다면 그에 대한 위치 정보로 (c,d,K)를 생성하게 될 것이다.
이렇게 A에 대한 위치 정보가 생성되고 생성된 위치 정보(a,b,K)가 본 발명의 상기 선별부(131)로 입력되면, 상기 선별부(131)는 상기 위치 정보에서 Z축에 대한 정보는 화면표시모듈과의 거리에 해당하는 값이므로 이에 대한 값은 배제하고 X축, Y축에 대응되는 위치 정보(a,b)와 대응되는 위치 정보를 가지는 콘텐츠를 선별하게 된다.
제어모듈(130)의 DB부(133)는 이미 화면표시모듈(140)에서 출력되는 각 콘텐츠의 위치 정보가 저장되어 있으므로 상기 선별부(131)는 상기 DB부(133)에서 정보를 독출하여 상기 화면표시모듈(140)에서 출력되는 복수 개의 콘텐츠 중 상기 위치 정보에 해당하는 콘텐츠인 "□"콘텐츠를 선별할 수 있게 된다.
상기와 같이 "□"콘텐츠가 선별되면, 본 발명의 제1출력부(135)는 상기 선별된 콘텐츠(□)가 선택되지 않은 다른 콘텐츠와 구분되도록 상기 선별된 콘텐츠(□)를 상기 화면표시모듈(140)에 디스플레이하게 된다. 상기 선별된 콘텐츠가 디스플레이되는 방법은 팝업방식에 의하여 돌출되는 방법, 회전하거나 이동하는 방법 및 화면의 소정 영역 전반을 차지하도록 폴 화면으로 출력되는 방법 등 다양한 형태가 가능함은 자명하다.
이하에서는 본 발명의 위치정보생성모듈(120)의 구체적인 구성과 기능을 첨부된 도 3을 참조하여 상세히 설명하도록 한다.
도 3에 도시된 바와 같이 본 발명의 위치정보생성모듈(120)은 기준정보저장부(121), 매칭부(123), 연산부(125) 및 제2출력부(127)를 포함하여 구성될 수 있다.
상기 기준정보저장부(121)는 상기 제1 적외선 영상모듈(111) 및 제2 적외선 영상모듈(113)의 현재 상태에서 뷰 방향에 대한 각도 정보와 영상 크기에 따른 거리 정보를 포함하는 위치산출 기준정보가 저장된다.
상기 뷰 방향에 대한 각도 정보는 3차원 정보로서 상기 적외선 영상모듈이 형성하는 X,Y 및 Z축과의 각도 정보로 이루어질 수 있다. 한편, 상기위치산출 기준정보 중의 하나인 영상 크기에 따른 거리 정보에 대한 설명은 다음과 같다.
통상적으로 디지털 영상은 실제 대상체를 CCD, CMOS 등의 광전소자에 의하여 소정의 색상 공간을 가지는 픽셀들의 집합으로 기록되는데, 촬상 장치의 다른 파라미터가 동일하다면 이렇게 기록된 영상 내 대상체의 크기는 촬상 장치와 실제 대상체의 거리에 따른 함수관계가 이루어지게 된다. 즉, 영상 내 대상체의 크기가 크다는 것은 그만큼 가까운 위치에 실제 대상체가 있다는 것을 의미하고, 상대적으로 작다는 것은 그에 상응하는 먼 위치에 실제 대상체가 존재한다는 것을 의미한다.
이러한 관계를 이용하여 영상 내 대상체의 크기와 그 크기에 따른 거리를 소 정의 수학적 함수 알고리즘으로 구현할 수 있다. 또한, 상기 함수적 관계는 일종의 룩업 테이블 등의 데이터베이스 형태로도 구현할 수도 있다. 룩업 테이블로 데이터베이스화하는 경우 선형 보간법 등을 이용하여 룩업 테이블에 존재하지 않은 변수도 충분히 그에 대응하는 값을 연산할 수 있다.
상기 기준정보저장부(121)에 저장되는 상기 영상 크기에 따른 거리 정보는 상기와 같은 의미를 가지는 정보로서 상기 뷰 방향에 대한 각도 정보와 함께 앞서 설명된 바와 같이 사용자 신체 일부에 대한 위치 정보를 생성하는 기초 데이터가 된다.
한편, 상기 위치정보생성모듈(120)의 매칭부(123)는 앞서 설명된 바와 같이 상기 제1 적외선 영상모듈(111) 및 제2 적외선 영상모듈(113)에서 획득된 두 적외선 영상 정보를 매칭하여 소정 기준 이상으로 매칭되는 매칭 영역을 산출하는 기능을 담당한다.
상기 매칭의 기준이 되는 값은 위치 인식의 정밀성, 시스템의 사양, 장치의 환경 등 다양한 요소를 고려하여 결정될 수 있으며, 외부 인터페이스 수단을 통하여 사용자 내지 관리자가 추후 가변적으로 조정 가능하도록 구성될 수도 있다.
상기와 같이 매칭 영역이 산출되면, 상기 위치정보생성모듈(120)의 연산부(125)는 상기 매칭 영역의 크기 정보와 상기 위치산출 기준정보를 이용하여 상기 매칭 영역의 위치 정보를 연산하게 된다.
예를 들어, 상기 매칭 영역의 크기가 "30"라면, 상기 "30"에 해당하는 거리 정보를 앞서 설명된 바와 같이 상기 위치산출 기준정보를 이용하여 산출한다. 이와 함께 상기 기준정보 저장부(121)에는 현재 적외선 영상 모듈의 방향각이 이미 저장되어 있으므로 상기 산출된 거리정보와 방향 정보가 모두 확보된 상태이므로 삼각함수와 도형 기하학 등을 이용하여 사용자의 신체 일부에 대한 위치정보를 생성할 수 있게 된다.
이렇게 위치 정보가 생성되면 상기 제2출력부(127)는 상기 위치 정보를 앞서 설명된 바와 같이 본 발명의 제어모듈(130)로 출력하게 된다.
또한, 더욱 바람직한 실시형태를 구현하기 위하여 상기 기준정보저장부(121)는 상기 제1 적외선 영상모듈(111) 및 제2 적외선 영상모듈(123)의 렌즈 배율에 대한 정보를 더 저장하고, 상기 연산부(125)는 상기 배율 정보를 이용하여 상기 매칭 영역에 대비된 사용자의 신체 일부에 대한 실제 크기 정보를 생성하여 상기 실제 크기 정보에 대응하는 위치 정보를 연산하도록 구성할 수 있다.
획득된 영상 정보에 반영된 사용자의 신체 일부에 대한 크기는 실제 사용자의 신체 일부에 대한 크기와 동일하지 않을 수 있으므로 실제 상황을 반영하기가 어려울 수 있으므로 이를 개선하기 위하여 상기와 같이 적외선 영상 모듈의 배율 정보를 이용하여 실제 대상체의 크기를 상기 배율을 이용하여 구하고 이렇게 구해진 실제 크기 정보에 대응되는 위치 정보를 연산토록 구성함으로써 더욱 실제 환경에 부합되는 장치를 구현할 수 있다.
앞서 간략히 설명된 바와 같이 상기 사용자의 신체 일부에 대한 위치 정보는 상기 매칭 정보의 중심을 이용하여 하나의 점에 대한 위치 정보일 수 있음은 물론, 매칭된 영역 전반에 대한 복수 개의 포지션에 대한 위치 정보일 수도 있다.
이하에서는 첨부된 도 4 및 도 5를 통하여 본 발명의 디스플레이 장치에 대한 또 다른 바람직한 실시형태를 설명하도록 한다.
앞서 설명된 바와 같이 적외선 영상 모듈(111, 113)은 적외선 대역의 빛을 이용하여 사용자의 신체 일부에 대한 영상을 획득하게 되는데, 디스플레이 장치가 설치된 환경에 따라 다양한 조명 기구 등에 의한 빛, 열에 의하여 상기 영상 획득에 오차가 발생되거나 사용자 신체 일부에 대한 영상이 다른 객체와 정확히 구분되지 않을 수 있다.
이러한 문제점을 효과적으로 극복하기 위하여, 상기 제1 적외선 영상모듈(111) 및 제2 적외선 영상모듈(113) 각각의 뷰 방향 전단에 구비되어 적외선 대역을 빛을 발생시키는 적외선 발광모듈(160, 170)을 추가적으로 포함하는 것이 바람직하다.
상기와 같이 적외선 영상 모듈의 뷰 방향 영역에 적외선 발광모듈에 의한 적외선 대역의 빛을 조사함으로써, 외부 환경에 의한 다른 빛이나 열원 등의 영향을 소멸시키는 소정의 필터링 기능을 수행할 수 있다.
한편, 비접촉식 인터페이싱을 수행함에 있어, 사용자가 디스플레이 장치에 반드시 근접하지 않고 다소 이격되어 있다고 하더라도 이를 효과적으로 인지함으로써 더욱 개선된 사용자 환경을 제공할 필요성이 있다.
적외선 영상 장치는 일반적으로 한정된 뷰어 각을 가지고 있고 고정식으로 장착되어 제한된 영역만을 촬영할 수 있는데 사용자가 특정 영역을 벗어나게 되면, 상기 적외선 영상 장치는 사용자에 대한 적외선 영상을 전혀 촬영할 수 없게 된다. 이는 곧 결과적으로 인터페이싱이 불가능해 진다는 것을 의미한다.
즉, 특정 콘텐츠를 실행하다 다른 콘텐츠로 전환하고자 할 때 디스플레이 장치에 반드시 근접하기 않더라도 인터페이싱이 가능하고, 또한, 사용자의 위치가 이동되더라도 이를 효과적으로 반영하여 이동에 따른 변화에도 불구하고 인터페이싱 기능이 유지되도록 구성되는 것이 사용자 활동의 자유성을 높이는 차원에서 더욱 바람직하다고 할 수 있다.
이를 위하여 본 발명은 도 4에 도시된 바와 같이 감지모듈(150)과 구동제어모듈(180)을 추가적으로 포함할 수 있다.
상기 감지모듈(150)은 사용자의 접근을 감지하고 감지된 사용자와의 거리를 센싱하는 구성으로서, 구체적으로 TIR센서부(151) 및 거리센싱부(153)로 구성될 수 있다.
상기 TIR(Thermopiled InfraRed)센서부(151)는 대상체의 적외선 파장 대역을 감지하고, 상기 감지된 파장대역에 해당하는 온도와 주변 온도의 차이에 상응하는 기전력을 발생시키는 물리적 현상을 이용하여 사용자의 접근을 감지할 수 있다.
상기 TIR센서는 대상체의 온도와 주변의 온도의 차이에 비례하는 기전력을 획득할 수 있으므로 통계적 실험 결과 데이터를 이용하여 사람이 대상체인 경우 발생되는 기전력의 크기를 소정의 기준 기전력으로 설정한 후, 실제 적외선 파장 대역을 감지하는 TIR센서에서 출력되는 기전력의 크기를 상기 기준 기전력과 비교하는 방법을 통하여 사람의 존재를 감지하는 기능을 수행할 수 있다.
또한, 상기 거리센싱부(153)는 발생된 빛과 돌아오는 빛의 시간 정보를 이용 하여 거리를 센싱하여 거리 정보를 출력하는 기능을 담당한다.
상기와 같은 TIR센서부(151)와 거리 센싱부(153)의 기능에 기초하여 사람의 존재가 감지되고, 그 거리 정보가 본 발명의 감지모듈(150)에서 생성되면, 상기 거리 정보는 본 발명의 구동제어모듈(180)로 입력된다.
상기 구동제어모듈(180)은 상기와 같이 거리 정보 등이 입력되게 되면, 상기 거리 정보에 해당하는 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 적외선 영상 모듈(111) 및 제2 적외선 영상모듈(113)의 뷰 방향이 변경되도록 제어한다.
상기 뷰 방향은 상기 적외선 영상모듈의 뷰 각도를 물리적으로 변경할 수 있는 소정의 모터, 기어 등이 포함된 구동장치(미도시)에 의하여 조정될 수 있으며, 상기 구동장치는 상기 구동제어모듈(180)에서 소정 각도로의 변경을 명령하는 제어 신호가 입력되면 이에 해당하는 각도가 되도록 상기 적외선 영상모듈의 뷰 각도를 물리적으로 조정한다. 디지털 제어 정보에 의한 제어가 가능하도록 상기 구동 장치에 구비되는 모터는 스텝 모터를 사용하는 것이 바람직하다.
또한, 상기 구동제어모듈(180)은 상기 적외선 영상 모듈의 뷰 각도가 조정되도록 제어함과 함께, 앞서 설명된 제1 적외선 발광모듈(160) 및 제2 적외선 발광모듈(170)의 조사 방향 또한 상기 적외선 영상 모듈의 방향 변화와 연동되어 변화되도록 제어하는 것이 더욱 바람직하다.
한편, 도 5에 따른 다른 실시예에서는 각각의 위치 좌표가 부여되고 접촉되는 경우 상기 위치 좌표를 전송하며 상기 디스플레이 장치가 설치되는 장소의 바닥에 구비되는 복수 개의 위치패드(190)를 이용하여 사용자의 신체 일부에 대한 영상 획득이 가변적으로 조정가능하도록 구성되는 형태를 도시하고 있다.
상기 복수 개의 위치 패드(190)에 사용자가 위치하게 되면, 압전 센서 등 다양한 센싱기법을 이용하여 사용자가 가압하는 패드는 사용자가 위치하였음을 알리는 신호를 본 발명의 구동제어모듈(180)로 전송하게 되고, 상기 구동제어모듈(180)은 상기 패드마다의 구별되는 위치 좌표를 이용하여 상기 제1 및 제2 적외선 영상모듈(160, 170)이 상기 위치 좌표에 해당하는 감지 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 및 제2적외선 영상모듈(111, 113)의 뷰 방향 및 상기 제1 및 제2 적외선 발광모듈(160, 170)의 조사 방향이 가변되도록 제어하게 된다.
상기의 프로세싱을 첨부된 도 6을 통하여 보충적으로 설명하면, 도 6에 도시된 바와 같이 본 발명의 디스플레이 장치(100)에 사용자가 근접하여 190-1에 해당하는 위치패드 위에 위치하는 경우에는 적외선 영상모듈(110)의 조사 각은 a가 되도록 제어되며, 유사한 관점에서 190-2, 190-3 위치패드에 위치하게 되면, 각각 적외선 영상 모듈의 조사 각은 b, c가 되며, 상대적으로 각각의 조사 각도는 a > b > c가 되도록 제어된다. 이와 함께, 상기와 같은 적외선 영상 모듈의 뷰 방향 등을 가변적으로 적용하는 기능은 작동 모드(active mode)와 스립 모드(sleep mode)의 선택에 의하여 활성화되거나 비활성화될 수 있도록 구성하는 것이 더욱 바람직하다.
이상에서와 같이 본 발명에 따른 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 등에 대하여 상세히 기술하였으나, 상기 첨부된 도면 등에 도시된 본 발명에 의한 디스플레이 장치의 각 구성은 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다. 즉, 각각의 구성은 본 발명의 기술사상을 실현하기 위하여 논리적으로 구분된 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 수행되더라도 본 발명의 논리 구성이 수행하는 기능을 실현할 수 있다면 본 발명의 범위 내에 있다고 해석되어야 한다.
또한, 본 발명의 구성요소를 설명함에 있어 제1 및 제2 등의 기재는 순서, 중요성 등을 언급하거나 강조하기 위한 문언적 표현이 아니라 구성 요소 간을 상대적으로 구분하기 위한 도구적 개념으로 사용되고 있다고 해석되어야 한다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 지향적 비접촉식 상호 작용 디스플레이 장치의 구성을 도시하는 블록도,
도 2는 본 발명에 의하여 사용자 신체 일부의 위치 정보에 대응되는 콘텐츠를 선별하는 과정을 도시한 도면,
도 3은 본 발명의 위치정보생성모듈에 대한 구체적인 구성을 도시하는 블록도,
도 4 및 도 5는 본 발명의 다른 실시형태에 의한 사용자 위치를 가변적으로 적용할 수 있는 실시형태에 대한 구성을 도시한 블록도,
도 6은 사용자 위치에 따라 가변적으로 조정되는 적외선 영상 모듈의 각도에 대한 구성을 도시한 도면,
도 7은 본 발명에 따른 디스플레이 장치의 바람직한 실시예에 의한 물리적 구성을 도시한 예시도면이다.

Claims (7)

  1. 복수 개의 콘텐츠를 비접촉식 인터페이싱에 의하여 디스플레이하는 비접촉식 상호 작용 디스플레이 장치로서,
    상기 복수 개의 콘텐츠를 표시하는 화면표시모듈;
    상호 교차되는 뷰(view) 방향을 가지며 감지 영역 내에 진입한 사용자의 신체 일부에 대한 적외선 영상을 획득하는 제1 및 제2 적외선 영상모듈;
    상기 제1 및 제2 적외선 영상모듈로부터 입력된 두 적외선 영상 중 중첩되는 영상정보를 파싱하고, 상기 파싱된 영상정보를 이용하여 상기 사용자의 신체 일부에 대한 위치 정보를 생성하는 위치정보 생성모듈;
    상기 화면표시모듈에 표시되는 복수 개의 콘텐츠 중 상기 위치정보 생성모듈로부터 입력된 위치 정보에 대응하는 콘텐츠를 선별하는 선별부와 상기 선별된 콘텐츠가 선택되지 않은 콘텐츠와 구분되도록 상기 선별된 콘텐츠를 상기 화면표시모듈에 디스플레이하는 제1출력부를 포함하는 제어 모듈;
    상기 제1 및 제2 적외선 영상모듈 각각의 뷰 방향 전단에 구비되며, 적외선 대역의 빛을 발생시키는 제1 및 제2 적외선 발광모듈;
    사용자의 접근을 감지하고 감지된 사용자와의 거리를 센싱하는 감지모듈; 및
    상기 감지모듈로부터 거리 정보가 입력되면, 상기 제1 및 제2 적외선 영상모듈이 상기 거리 정보에 해당하는 감지 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 및 제2적외선 영상모듈의 뷰 방향 및 상기 제1 및 제2 적외선 발광모듈의 조사 방향을 가변하는 구동제어모듈을 더 포함하는 것을 특징으로 하는 사용자 지향적 비접촉식 상호 작용 디스플레이 장치.
  2. 제 1항에 있어서, 상기 위치정보 생성모듈은,
    상기 제1 및 제2 적외선 영상모듈의 뷰 방향에 대한 각도 정보 및 영상 크기에 따른 거리 정보를 포함하는 위치산출 기준정보가 저장된 기준정보저장부;
    상기 제1 및 제2 적외선 영상모듈에서 획득된 두 적외선 영상 정보를 매칭하 여 소정 기준 이상으로 매칭되는 매칭 영역을 산출하는 매칭부;
    상기 매칭 영역의 크기 정보와 상기 위치산출 기준정보를 이용하여 상기 매칭 영역의 위치 정보를 연산하는 연산부; 및
    상기 연산된 위치 정보를 출력하는 제2출력부를 포함하는 것을 특징으로 하는 사용자 지향적 비접촉식 상호 작용 디스플레이 장치.
  3. 제 2항에 있어서, 상기 기준정보저장부는,
    상기 제1 및 제2 적외선 영상모듈의 렌즈 배율에 대한 정보를 더 저장하고,
    상기 연산부는,
    상기 배율 정보를 이용하여 상기 매칭 영역에 대비된 사용자의 신체 일부에 대한 실제 크기 정보를 생성하여 상기 실제 크기 정보에 대응하는 위치 정보를 연산하는 것을 특징으로 하는 사용자 지향적 비접촉식 상호 작용 디스플레이 장치.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서, 상기 감지모듈은,
    대상체의 적외선 파장 대역을 감지하고, 상기 감지된 파장대역에 해당하는 온도와 주변 온도의 차이에 상응하는 기전력을 발생시켜 사용자의 접근을 감지하는 TIR센서부; 및
    발생된 빛과 돌아오는 빛의 시간 정보를 이용하여 거리를 센싱하여 거리 정보를 출력하는 거리센싱부를 포함하는 것을 특징으로 하는 사용자 지향적 비접촉식 상호 작용 디스플레이 장치.
  7. 제 1항에 있어서,
    각각의 위치 좌표가 부여되고 접촉되는 경우 상기 위치 좌표를 전송하며, 상기 디스플레이 장치가 설치되는 장소의 바닥에 구비되는 복수 개의 위치패드; 및
    상기 위치패드로부터 위치 좌표가 전송되면, 상기 제1 및 제2 적외선 영상모듈이 상기 위치 좌표에 해당하는 감지 영역의 적외선 영상을 촬영할 수 있도록 상기 제1 및 제2적외선 영상모듈의 뷰 방향 및 상기 제1 및 제2 적외선 발광모듈의 조사 방향을 가변하는 구동제어모듈을 더 포함하는 것을 특징으로 하는 사용자 지향적 비접촉식 상호 작용 디스플레이 장치.
KR1020090075779A 2009-08-17 2009-08-17 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 KR100969927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090075779A KR100969927B1 (ko) 2009-08-17 2009-08-17 사용자 지향적 비접촉식 상호 작용 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090075779A KR100969927B1 (ko) 2009-08-17 2009-08-17 사용자 지향적 비접촉식 상호 작용 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR100969927B1 true KR100969927B1 (ko) 2010-07-14

Family

ID=42645531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090075779A KR100969927B1 (ko) 2009-08-17 2009-08-17 사용자 지향적 비접촉식 상호 작용 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR100969927B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008960A1 (en) * 2010-07-15 2012-01-19 Hewlett-Packard Development Company L.P. First response and second response
CN108459026A (zh) * 2018-01-17 2018-08-28 苏州迈为科技股份有限公司 一种光伏组件的el检测系统
CN113925109A (zh) * 2021-11-02 2022-01-14 中山东菱威力电器有限公司 一种冰激凌产品的挤出位置控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980080509A (ko) * 1997-03-21 1998-11-25 다께나까토이츠 핸드포인팅 장치
KR20080037315A (ko) * 2006-10-25 2008-04-30 엠텍비젼 주식회사 포인터 이동 제어 장치를 포함하는 전자기기
KR20080060656A (ko) * 2006-12-27 2008-07-02 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법
KR20090048197A (ko) * 2007-11-09 2009-05-13 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980080509A (ko) * 1997-03-21 1998-11-25 다께나까토이츠 핸드포인팅 장치
KR20080037315A (ko) * 2006-10-25 2008-04-30 엠텍비젼 주식회사 포인터 이동 제어 장치를 포함하는 전자기기
KR20080060656A (ko) * 2006-12-27 2008-07-02 주식회사 엠씨넥스 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법
KR20090048197A (ko) * 2007-11-09 2009-05-13 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012008960A1 (en) * 2010-07-15 2012-01-19 Hewlett-Packard Development Company L.P. First response and second response
CN108459026A (zh) * 2018-01-17 2018-08-28 苏州迈为科技股份有限公司 一种光伏组件的el检测系统
CN108459026B (zh) * 2018-01-17 2024-03-01 苏州迈为科技股份有限公司 一种光伏组件的el检测系统
CN113925109A (zh) * 2021-11-02 2022-01-14 中山东菱威力电器有限公司 一种冰激凌产品的挤出位置控制方法
CN113925109B (zh) * 2021-11-02 2023-12-05 中山东菱威力电器有限公司 一种冰激凌产品的挤出位置控制方法

Similar Documents

Publication Publication Date Title
GB2498299B (en) Evaluating an input relative to a display
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
EP3037924A1 (en) Augmented display and glove with markers as us user input device
JP6015032B2 (ja) 共同環境における位置情報の提供
US9367951B1 (en) Creating realistic three-dimensional effects
US20140198130A1 (en) Augmented reality user interface with haptic feedback
US10310675B2 (en) User interface apparatus and control method
EP2790089A1 (en) Portable device and method for providing non-contact interface
US10268277B2 (en) Gesture based manipulation of three-dimensional images
CN105593787A (zh) 用于与数字设备交互的直接指向检测的系统和方法
US8913037B1 (en) Gesture recognition from depth and distortion analysis
CN108027656B (zh) 输入设备、输入方法和程序
CN105829948B (zh) 可佩戴显示输入系统
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
KR100969927B1 (ko) 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
JP2018112894A (ja) システムおよび制御方法
CN103713387A (zh) 电子设备和采集方法
JP6746419B2 (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
US11295133B2 (en) Interaction display method and interaction display system
US20130120361A1 (en) Spatial 3d interactive instrument
TW201351308A (zh) 非接觸式醫療導覽系統及其控制方法
JP6643825B2 (ja) 装置及び方法
US20130265283A1 (en) Optical operation system

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130805

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150106

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee