KR101831350B1 - 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법 - Google Patents
카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법 Download PDFInfo
- Publication number
- KR101831350B1 KR101831350B1 KR1020137016209A KR20137016209A KR101831350B1 KR 101831350 B1 KR101831350 B1 KR 101831350B1 KR 1020137016209 A KR1020137016209 A KR 1020137016209A KR 20137016209 A KR20137016209 A KR 20137016209A KR 101831350 B1 KR101831350 B1 KR 101831350B1
- Authority
- KR
- South Korea
- Prior art keywords
- light beam
- interaction
- camera
- fan
- illumination
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005286 illumination Methods 0.000 title claims description 113
- 230000002452 interceptive effect Effects 0.000 claims abstract description 52
- 230000003287 optical effect Effects 0.000 claims description 76
- 230000005855 radiation Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000017525 heat dissipation Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000010079 rubber tapping Methods 0.000 abstract 1
- 210000003811 finger Anatomy 0.000 description 32
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- -1 aluminum Chemical class 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 238000011982 device technology Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000637 aluminium metallisation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009713 electroplating Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001465 metallisation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Drawing Aids And Blackboards (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
손가락, 손 및 예컨대 펜, 브러쉬, 와이퍼 및 더욱더 전문적인 도구와 같은 다른 물체와 같은 하나 이상의 물체(25)를 사용하여, 가리키기, 호버링, 선택, 탭핑, 제스쳐링, 스케일링, 그리기, 쓰기 및 지우기를 할 수 있도록 컴퓨터, 예컨대 컴퓨터 스크린, 상호작용 화이트보드, 수평형 상호작용 표면, 비디오/웹 회의 시스템, 후방 투사 스크린, 디지털 표지판 표면 또는 텔레비젼 스크린의 상호작용 공간(7) 및/또는 표면(16) 내에서의 제어 및 상호작용을 위한 방법, 시스템 및 장치가 제공된다. 본 방법, 장치 및 시스템은 모든 종류의 데이타 프로젝터(3) 및 그의 고정구/스탠드(4)와 함께 선태적으로 사용되거나 심지어는 그에 통합되며 또한 평면 스크린(LCD, 플라즈마, OLED, 후방 투사 스크린 등)과 함께 사용되어 그러한 디스플레이 시스템을 상호작용성 있게 해준다. 본 장치는 횡방향 위치(X, Y)를결정하기 위해 매우 짧은 거리 또는 긴 거리에서 상호작용 영역(16)을 커버하고 또한 손가락(들), 손(들) 또는 상호작용 물체(들)의 자세를 캡쳐하기 위한 카메라(1)를 포함하며, 이는 선택적으로 "터치" 및 "호버링"의 결정을 포함한다.
Description
본 발명은 인간과 컴퓨터의 상호작용을 위해 일 영역/공간내의 물체를 추적하기 위해, 예컨대 하나 이상의 손가락 또는 펜을 추적하기 위해, 예컨대 카메라 기반 입력 장치와 가시광선 및/또는 근적외선을 이용하는 카메라 기반 멀티 터치 상호작용 시스템에 관한 것으로, 이 시스템은 실제 2차원 입력 좌표를 제공하고 또한 "인액티브(inactive)"(무추적), "호버링(hovering)"(터치 없는 추적, 가끔 "범위내"라고 함) 및 "터치"와 같은 실제 상호작용 상태 사이를 정확히 구별하기 위해 일 영역내에서 또한 그 영역의 표면 위쪽의 높이 내에서 2차원 위치를 결정할 수 있다. 본 발명은 또한 예컨대 펜과 손가락 터치 입력 모두를 허용하며 또한 여러 물체를 동시에 처리할 수 있는 멀티 모달 입력 장치 및 인터페이스, 예컨대 멀티 터치 컴퓨터 입력 장치에 관한 것이다. 더욱이, 본 발명은 3차원 기반 입력 장치를 사용하여 제스쳐를 입력하여 예컨대 손이나 손가락의 인간 자세를 캡쳐하는 방법에도 관한 것으로, 이들의 순서는 3차원 제어기에 대한 위치 및 방향 입력 및/또는 제스쳐 지령으로서 확인될 수 있다.
컴퓨터와 인간의 상호작용을 위한 카메라 기반 물체 추적, 특히 손과 손가락의 추적이 수십년간 과학적, 산업적 및 상업적 흥미를 끌어 왔다. 이 계산 집약적인 분야에서의 성취에 대한 평가가 Pavlovic 등의 IEEE Trans. 패턴 분석 및 기계 지능(vol 19, No.7, pp. 677 - 695, 1997) 및 Zhou 등의 IEEE Int. 혼합 및 확대된 현실에 대한 심포지엄(pp. 193 - 202, 2008)에 주어져 있다. 보고된 많은 기술에서, 패색에 대한 민감성을 줄이고 확실한 추적과 제스쳐 해석을 위해 물체는 하나 이상의 카메라에 의해 여러 다른 관점에서 관찰된다.
손가락 터치 및 손가락 또는 손 제스쳐의 단일 카메라 기반 추적을 위해, 이들 물체의 그림자, 윤곽, 텍스쳐, 실루엣 및 이미지 구배와 같은 특징적 요소 및 심지어 광택이 있는 디스플레이 표면에서 되반사되는 그들의 거울 이미지가 추출되고, 손가락 또는 손의 자세를 계산하고 또한 예컨대 손가락 터치를 실시간으로 검출하기 위해 상이한 모델 기반 추적 시스템을 업데이트하는데 이용된다.
독창적인 특징적 요소 추출의 일예로서, 미국 공개 특허 공보 제 US2010/0066675A1 호 에는, 스크린을 터치할 때는 측면 조명부에 의해 비춰지는 손가락의 그림자가 결국에는 손가락에 의해 희미하게 되고 그래서 터치하지 않을 때는 그림자는 손가락을 닮게 되고 손가락이 표면을 터치할 때는 그림자가 실질적으로 좁게 되어 터치가 결정될 수 있다는 관찰에 근거한 단일 카메라 이미징 터치 스크린 시스템 및 특징 요소 추출이 기재되어 있다. 이 출원은 독립 청구항을 포함하고 있지만, 이 독립 청구항은 발명자인 Andrew D. Wilson 에 의해 2005년에 발표되어 공개된 과학 논문(ACM Proc. UIST'2005, pp 83-92)으로부터 예상될 수 있는 것이다.
국제 공개 특허 공보 제 WO9940562(A1) 호와, 미국 공개 특허 공보 제006100538A 호 및, 미국 공개 특허 공보 제 US2010188370(A1) 호에는 주로, 손가락 터치 또는 펜 입력을 사용하는 물체 추적 시스템이 기재되어 있는데, 여기서는 적어도 두개의 카메라 관점이 좌표 평면 주변에 배치되어 삼각 측량법으로 물체(예컨대, 집게 손가락)의 좌표를 결정한다.
국제 공개 특허 공보 제 WO9940562(A1) 호에는, 단일의 카메라를 사용하고 하나 또는 수개의 평면 거울로 이루어진 잠망경형 광학 시스템에 의해 측면에서 보는 스크린의 두 이미지를 그 스크린 바로 앞에서 한 볼륨으로 기록하여 컴퓨터 모니터 스크린 앞에서 펜 및 손가락 터치를 검출하여 그 펜 또는 손가락의 좌표 및 스크린 까지의 거리를 결정하는 시스템이 기재되어 있다.
미국 공개 특허 공보 제 US006100538A 호에는, 빛을 투사하여 지시 물체의 위치를 결정하고 좌표 평면에 배치되는 광학 디지타이저(optical digitizer) 및 좌표 평면의 주변에 배치되는 검출기가 기재되어 있다. 바람직하게는, 한쌍의 선형 이미지 센서는 검출기로서 기능하기 위해 좌표 평면을 덮는 시야를 가지며, 콜리메이터(collimator)가 배치되어 검출기의 시야의 높이를 제한하게 된다. 이 검출기는 좌표 평면에 실질적으로 평행하게 지시 물체로부터 투사되는 빛의 평행 성분만을 받게 되며, 투사된 빛 이외의 노이즈 빛이 검출기의 제한된 시야에 들어가는 것을 막기 위한 차폐부가 배치된다. 지시 물체의 위치를 나타내는 좌표를 계산하는 프로세서가 제공된다.
미국 공개 특허 공보 제 US2010188370(A1) 호에는, 서로 겹치는 시야를 갖는 적어도 두개의 카메라를 포함하는 카메라 기반 터치 스크린이 기재되어 있는데, 상기 카메라들은 주변을 따라 그리고 일반적으로 터치 표면의 코너에 배치되어, 삼각 측량법으로 지시자(pointer)의 위치를 검출하고 또한 지시자 터치 및 터치 표면 위의 지시자 호버(hover)를 검출한다.
중국 특허 공보 제 CN201331752 호에는, 투명 디스플레이를 위한 다점 터치 시스템이 기재되어 있다. 이 시스템은 투사 광 평면을 뒤쪽에서 비추고 적외선 감지 CCD 카메라를 사용하여 손가락 끝의 조명을 뒤쪽에서 관찰하여 작동한다.
유럽 특허 공보 제 EP1336172 호 에는, 사용자와 물체간의 상호 작용을 가상 입력 장치를 사용하여 검출하고 국소화하는 입력 장치 및 방법이 기재되어 있다. 이 장치는 광 평면을 침투하는 물체의 검출에 근거하는 파지식 장치로 작동한다.
국내 공개 특허 공보 제 KR2010 0109420A 호(출원인: 동서 테크놀로지)에는, 컨텐츠와의 상호 작용을 자유롭게 수행하기 위한 멀티 터치 기반의 상호작용 디스플레이 시스템이 기재되어 있다. 이 시스템은 스크린 상에 상호작용 영역을 제공하여, 그 상호작용 영역에 주어지는 컨텐츠와의 상호작용 기능을 용이하게 해준다. 더욱이, 상기 시스템은 IR(적외선) 방사선으로 비춰지는 상호작용 층을 발생시키기 위해 적외선(IR) 발광 다이오드(LED) 어레이 바아를 사용한다. 인체로부터 반사된 IR 방사선 또는 상호작용 층을 터치하는 물체를 이미지화하는 IR 카메라가 상기 시스템에 사용된다. 계산 하드웨어를 포함하는 서버를 사용하여, IR 카메라에 의해 발생된 신호로부터 인체 또는 물체의 상호작용 위치의 좌표값을 계산한다.
국제 공개 특허 공보 제 WO 02/054169A1 호에는, 데이타 입력 장치 및 관련 방법이 기재되어 있다. 이 장치는 빛을 적어도 하나의 결합 평면을 따르게 하여 그 적어도 하나의 결합 평면을 비추는 조명기를 포함한다. 더욱이, 상기 장치는 조명기에서 나와 데이타 입력 물체(예컨대, 사용자의 손가락)와 적어도 하나의 결합 평면과의 결합에 의해 산란되는 빛을 감지하기 위해 상기 적어도 하나의 결합 평면 외부의 위치에서 그 적어도 하나의 결합 평면을 보는 2-차원 이미징 센서를 포함한다. 또한, 상기 장치는 상기 2-차원 이미징 센서로부터 출력을 받아서 데이타 입력을 이용 회로에 제공하는 데이타 입력 프로세서를 포함한다.
국제 공개 특허 공보 제 WO 2004/072843A1 호에는, 스크린의 하나 이상의 가장자리에 있는 광원을 사용하는 터치 스크린이 기재되어 있다. 상기 하나 이상의 광원은 빛을 스크린의 표면을 가로질러 보낸다. 또한, 전자 출력부를 갖는 두개의 카메라가 포함되어 있는데, 두 카메라는 스크린의 주변에 위치되어 광원으로부터 빛을 받는다. 두 카메라의 출력을 받는 데이타 프로세서가 또한 포함되어 있는데, 이 프로세서는 스크린 근처에 있는 하나 이상의 물체의 하나 이상의 위치를 결정하기 위해 삼각측량 계산을 수행하기 위한 하나 이상의 소프트웨어 제품을 실행시킬 수 있다. 물체의 존재를 검출하는 것은, 스크린의 표면을 거울로 사용하여, 물체로 인한 직접 광의 존재 또는 부재를 두개의 카메라로 검출하는 것을 포함한다. 이들 카메라를 사용하여, 표면에 있는 물체로 인한 반사광의 존재 또는 부재를 검출한다. 선택적으로, 광원을 조정하여, 두 카메라의 민감성 방사선 대역폭에서 두 카메라에서 방사선을 제공한다.
일반적으로, 인간-기계 상호작용 시스템에서는 사용자의 의도와 명령이 정확하게 확인되는 것이 중요하다. 사용되는 좌표 평면에 있는 X 및 Y 좌표에 대한 물체 위치 검출의 정확도는 상황에 따라 중요할 수도 있고 그렇지 않을 수도 있는데, 즉 적용에 달려 있다. 따라서, 예컨대 그래픽 대상을 이동시키거나 선택하거나 또는 메뉴에 접근하기 위해 보통의 정확도가 요구되는 손가락 터치 시스템이 매력적이며, 반면 예컨대 미세한 쓰기나 그리기 또는 CAD 프로그램에서 상세 요소 및 물체를 취급하는 것과 관련한 적용을 위해 최고의 정확도가 요구될 때는 뾰쪽한 연필 이나 펜이 바람직하다. 그러므로, 손가락 기반 시스템에서는, 단일 카메라로 얻어지는 2-차원 이미지에 기반하는 손가락의 좌표 결정을 위한 확실한 휴리스틱(heuristics) 및 특징 요소 추출이 충분할 수 있다.
그러나, 모든 종류의 적용에 대해서는, 손가락 또는 펜 터치의 검출에 관련된 높은 정밀도가 가장 중요하며 결코 실패해서는 안 되는데, 그렇게 되면 사용자는 적용에 대한 통제를 잃을 수 있기 때문이다. 그러므로, 이용되는 좌표 평면내의 모든 위치에서 터치 조건의 높고 일정한 검출질이 요구된다. 또한, 검출 방법은 손가락 크기, 피부색, 주변의 빛 조건, 디스플레이 광 등의 변동에 영향을 받지 않아야 하며, 검출은 어떠한 사용자 의존성 거동이나 지연 패널티가 일어남이 없이 좌표 평면에 걸쳐 빠르고 균일해야 한다.
현재, 교육, 협력 및 미팅을 위해 펜, 터치를 사용하는 상호작용 시스템 또는 이들 둘다를 사용하는 상호작용 시스템(이중 모드 시스템)에 대한 흥미가 크다. 여러 개의 새로운 상호작용 플랫폼을 사용하면, 단순한 펜 또는 손가락 제스쳐 제어 및/또는 심지어는 손 제스쳐 기반 상호작용도 가능하게 된다. 특히, 일반적인 교실 및 대형 강의실 모두에서 교육용으로 사용되는 상호작용 타블렛 및 화이트보드에 대한 세계적인 흥미가 크다. 이러한 화이트보드는 또한 현재 미팅룸, 화상 회의실 및 협력실에서도 사용되고 있다. 상호작용 화이트보드의 좌표 평면 상에 있는 이미지는 단거리 또는 장거리 데이타 프로젝터에서 투사된 이미지로서 발생되거나 평면 스크린에 의해 발생될 수 있으며, 평면 스크린은 LCD 장치, 플라즈마 디스플레이, OLED 장치 또는 후방 투사 시스템으로 이루어진다. 터치 및/또는 펜을 위한 입력 장치는 화질의 저하 또는 관련 장비의 마멸 없이 모든 종류의 디스플레이 기술과 함께 사용될 수 있는 것이 중요하다. 또한, 저렴한 비용과 적은 노력으로 입력 장치 기술을 다른 스크린, 프로젝터 및 디스플레이 유닛에 채용할 수 있는 것이 중요하다.
일반적으로 새로운 상호작용 화이트보드에는, 단거리 프로젝터, 예컨대 매우 넓은 각도의 렌즈가 관련 스크린 위쪽 짧은 거리에 배치되어 있는 프로젝터가 구비된다. 이러한 작동 방식의 결과, 사용자는 눈에 들어오는 빛에 의한 성가심을 덜 받고 또한 스크린 상에 그림자가 덜 생기게 되며 프로젝터는 화이트보드와 함께 직접 벽에 설치될 수 있다. 그러므로, 이러한 단거리 시스템을 위한 펜 및 터치를 위한 이상적인 입력 장치는 설치가 간단하고 튼튼하게 되도록 벽 프로젝터에 통합되거나 그와 함께 부착되거나 또는 프로젝터 벽 설치부에 부착되어야 한다.
강의실에서는 매우 긴 상호작용 화이트보드와 상호작용 공간이 필요하며, 이들 상호작용 공간은 유리하게 터치, 펜 및 제스쳐 제어를 제공해야 한다. 대형 포맷 스크린에서는 대중의 주목을 끌기 위해 지시봉과 레이저 포인터가 종종 필요하다. 바람직한 입력 기술은 이러한 모든 다양한 요건에 적합해야 하는데, 즉 사용자 입력 도구로서 지시봉과 레이저도 받아들일 수 있어야 하며, 다른 디스플레이 포맷도 허용되고 그에 적합하게 될 수 있어야 한다.
더욱이, 평면 스크린 기술은 터치 및/또는 펜 조작, 단순한 펜 및/또는 터치 제스쳐 상호작용 및 궁극적으로는 손 제스쳐 제어를 필요로 할 수 있다. 평면 스크린의 정상부에 깔려 있는 터치 감지성 필름은 호버링이나 공중 제스쳐는 검출하지 못한다. 평면 스크린 뒤에 있는 순수한 전자기적 픽업 시스템은 손가락 터치나 손가락 제스쳐를 검출하지 못하여, 펜 조작만 가능하다. 그러나, 일부 유형의 평면 디스플레이 기술, 특히 OLED 디스플레이는 투명할 수 있으며, 그래서 스크린을 통한 제스쳐 제어에 카메라 기반 기술이 사용될 수 있다. 호버링과 제스쳐를 포함하는 이중 모드 입력 시스템이 효율적이고 자연스런 사용자 인터페이스를 제공하는데 있어 계속 점점 중요하게 되어 가고 있고 표준화되고 있다면, 용량성 또는 저항성 필름 또는 전자기 기반 해결 방안 대신에 광학 기반 입력 시스템이 또한 평면 상호작용 스크린을 위해 바람직할 것이다. 그러므로, 바람직한 입력 장치 기술은 광학 기반이고 통상적인 평면 스크린(LCD, 플라즈마, LED) 및 OLED와 후방 투사 스크린과 같은 투명한 평면 스크린 모두에 적응되는데 적합해야 된다.
입력 장치는 햇빛, 실내 조명, 프로젝터나 디스플레이 스크린에서 나오는 빛 등의 영향을 받지 않아야 한다. 또한, 입력 장치는 햇빛, 인공 빛 또는 통신을 위해 근적외선 발광 다이오드를 이용하는 원격 제어부 등에서 나오는 근적외선의 영향을 받지 않아야 한다. 더욱이, 입력 장치는 높은 좌표 업데이트 속도를 보여야 하고 또한 최선의 사용자 경험을 달성하는데 있어 짧은 대기 시간을 주어야 한다.
예컨대 손가락 터치와 손 제스쳐 제어가 가능하도록 기존의 설치된 펜 기반 상호작용 화이트보드를 업그레이드하거나 또는 프로젝터나 평면 스크린이 이미 설치되어 있는 미팅룸이나 교육실을 업그레이드 하거나 또는 입력 장치 자체의 간단한 설치로 상호작용성을 갖도록 하기 위해 입력 장치는 바람직하게 기준의 기반 시설에 설치되는데 적합하게 되어야 한다.
어떤 경우에는, 예컨대 전통적인 흑판에서 분필과 스폰지로부터 스트로크를 정확히 캡쳐하고 컴퓨터의 제어를 위해 손 제스쳐를 확인하거나, 또는 컴퓨터의 제어를 위해 펜과 종이의 통상적인 사용(줄을 그어 지우는 것을 포함하여) 및 단순한 제스쳐를 캡쳐하거나, 또는 서명을 포함하여 종이 양식이나 질문서를 작성하여 사용자의 정보를 캡쳐함으로써(결과는 컴퓨터에 저장되고 입력 또는 이 입력의 일부 해석은 그의 통상적인 컴퓨터 스크린에 나타남), 또는 사용자와 청중의 참조를 위한 연결된 디스플레이 또는 프로젝터에 의해, 쓰기 표면 그 자체 상으로의 상호작용 피드백 없이도 입력 기술을 사용할 수 있다. 이는 이러한 종류의 기반 시설이 이용가능하지 않거나 필요 없을 때는 입력 장치를 단독으로 사용하거나 비싼 디스플레이 기술과 분리되어 사용할 수 있어야 함을 의미한다.
상호작용 화이트보드가 교육 시설에서 전통적인 분필과 흑판을 대체하고 있는 것과 같은 식으로, 신규한 상호작용 공간이 다른 영역에서 나타나고 있다. 다사용자 상호작용성의 수직 및 수평 표면이 협력실 및 제어실, 박물관과 전시회에 도입되고 있다. 더욱이, 손님들이 메뉴를 선택하고 주문하고 계산을 하고 또한 예컨대 컴퓨터 게임을 하고, 인터넷을 하거나 뉴스 리포트를 읽으면서 여흥을 즐길 수 있도록, 상호작용 손님 테이블을 포함하는 상호작용 공간이 바(bar), 카지노 카페 및 샵과 같은 현대의 상업 구역에 만들어지고 있다.
그러나, 현재의 문제로서, 상호작용 공간에서 터치 및/또는 호버링 움직임을 모니터링하기 위한 입력 장치는 충분히 정확하지 않고 또한 많은 정보 입력 및 디스플레이 시스템에 대한 필요를 해결하도록 발전되어야 한다는 것이다. 본 발명은 이들 현재의 문제들을 적어도 부분적으로 해결하고자 안출된 것이다.
본 발명의 목적은, 인간과 컴퓨터 간의 상호작용을 위한 상호작용 공간을 포함하는 시스템으로서, 진보된 멀티 모달 인간 컴퓨터 상호작용을 위해 여러 명의 사용자가 동시에 사용할 수 있게 해주고, 이중 모드 작동, 즉 멀티 터치 손가락 입력 및 펜 입력을 동시에 가능하게 해주며, 또한 손가락 및 손 제스쳐 입력을 가능하게 해주고, 일련의 인간 자세 및 제스쳐 지령을 캡쳐할 수 있는 상기 시스템을 제공하는 것이다.
본 발명의 다른 목적은, 벽 설치부와 테이블 설치부 데이타 프로젝터 및 평면 디스플레이와 함께 사용되거나 그에 통합되어 그러한 시스템을 상호작용성 있게 하고 또한 기존의 펜 기반 상호작용 화이트보드를 멀티 터치 입력을 포함하도록 업그레이드시키는 이중 모드 멀티 터치 입력 시스템을 제공하는 것이다 .
본 발명의 제 1 양태에 따르면, 첨부된 청구항 1 에 기재되어 있는 같은 시스템이 제공된다. 상호작용 표면 앞에서 적어도 하나의 물체의 위치 및/또는 자세를 결정하기 위한 카메라 기반 멀티 터치 상호작용 시스템이 제공되는데, 이 시스템은,
가시광선 및/또는 근적외선의 하나 이상의 평면 부채형 광 비임을 발생시키기 위한 조명 장치;
카메라 장치의 시야내에서 상호작용 공간을 감지하여 대응하는 신호를 발생시키기 위한 카메라 장치; 및
상기 카메라 장치에서 제공되는 신호에 근거하여, 상기 하나 이상의 평면 부채형 광 비임을 차단하는 적어도 하나의 물체의 위치 및/또는 자세를 계산하기 위한 계산부를 포함하고, 상기 시스템은,
상기 하나 이상의 부채형 광 비임은 작용시 그의 평면이 상기 상호작용 표면에 실질적으로 평행하도록 형성되며,
광 세기를 향상시키고 상기 시스템에 의해 제공되는 적어도 하나의 물체의 위치 결정의 정확도를 증가시키기 위해 하나 이상의 부채형 비임이 상호작용 표면의 평면에 실질적으로 수직한 방향으로 실질적으로 일정한 두께를 갖도록 하나 이상의 부채형 광 비임이 상기 방향으로 초점 맞춰지는 것을 특징으로 한다.
상기 시스템은, 상기 하나 이상의 부채형 비임이 상호작용 표면에 대한 하나 이상의 물체의 위치가 보다 정확하게 결정될 수 있게 해주는 점에서 유리하다.
선택적으로, 상기 시스템은 상기 하나 이상의 부채형 광 비임이 상호작용 표면을 비추도록 구성되며, 그래서 물체와 상호작용 표면 간의 터치의 결정이 향상된다.
선택적으로, 상기 시스템은 상호작용 표면에 대한 상기 적어도 하나의 물체의 호버링(hovering) 위치를 검출하도록 구성된다.
선택적으로, 상기 시스템은 복수의 부채형 광 비임을 발생시키도록 구성되며, 각각의 부채형 광 비임은 상기 상호작용 표면 부근에서 대응하는 공간적 영역을 비추도록 배치되며, 따라서 부채형 광 비임의 상기 대응하는 공간적 영역은 상호작용 표면 부근에서 전체 영역에 대한 연속적인 조명을 가능하게 해준다.
선택적으로, 상기 시스템은, 하나 이상의 광 비임이 작용시 상호작용 표면 그 자체가 아닌, 그 상호작용 표면에 인접한 공간을 비추도록 배치되도록 구성된다.
선택적으로, 상기 시스템은, 상기 조명 장치는 상호작용 표면에 대한 하나 이상의 물체의 터치, 상호작용 표면에 대한 하나 이상의 물체의 호버링 및/또는 호버링 레벨의 결정을 향상시키기 위해 세기가 선택적으로 조절될 수 있는 광 소스를 포함하도록 구성된다. 더 선택적으로, 상기 시스템은, 상기 광 소스가 선택적으로 온 또는 오프로 되도록 구성된다. 더 선택적으로, 상기 시스템은, 상기 광 소스가 하나 이상의 물체의 움직임을 효과적으로 정지시키기 위해 상기 카메라 장치의 작용 감지 기간 내에서 플래싱 모드로 작동할 수 있도록 구성된다.
선택적으로, 상기 시스템은, 상기 카메라 장치는 방사선의 파장에 따라 카메라 장치의 센서가 받을 방사선을 선택적으로 차단하거나 통과시키는 하나 이상의 광학 필터를 포함하도록 구성된다. 더 선택적으로, 상기 시스템은, 상기 하나 이상의 광학 필터는 조명 장치에서 방출되는 빛과 동일한 파장 범위를 가지며 상기 하나 이상의 물체에 의해 차단되는 빛을 통과시켜 카메라 센서로 가게 하도록 구성된다. 더 선택적으로, 상기 시스템은, 상기 하나 이상의 광학 필터가 프로젝터 또는 평면 스크린에서 오는 이미지를 상호작용 표면에서 캡쳐하기 위해 가시광만 통과시키도록 구성된다.
선택적으로, 상기 시스템은, 상기 조명 장치는 근적외선 파장의 방사선을 포함하는 하나 이상의 광 비임을 발생시키기 위한 복수의 광 소스를 포함하고 상기 카메라 장치는 가시광선 파장을 차단하고 근적외선 파장은 투과시켜 햇빛, 실내 조명, 프로젝터에서 나오는 빛, 디스플레이 빛 중의 하나 이상을 포함하는 다른 광 소스에 대한 상기 시스템의 민감성을 줄여 주는 하나 이상의 광학 필터를 포함하도록 구성된다.
선택적으로, 상기 시스템은, 새로운 장비에 통합되거나 기존의 장비에 개장될 수 있고 이러한 장비를 상호작용성 있게 만들어 주도록 구성된다.
선택적으로, 상기 시스템은 전방 또는 후방 투사 장치로 되어 있다.
선택적으로, 상기 시스템은, LCD, OLED, LED, CRT 중의 적어도 하나를 포함하는 스크린 설치부 또는 프로젝터 벽 설치부 상에 작동가능하게 설치되거나 그에 통합된다.
선택적으로, 상기 시스템은, 상기 조명 장치는 하나 이상의 인클로저를 포함하고, 관련된 조명 광학 요소들을 위한 상기 인클로저의 각각의 길이는, 초점 맞춰진 부채형 비임의 상이한 층들이 충분히 얇게 되어 상호작용 표면에 대한 하나 아상의 물체의 터치 및 Z-방향 제스쳐에 대한 상기 시스템의 정확도 및 해상도를 증가시키도록 구성된다.
선택적으로, 상기 시스템은, 상기 조명 장치가 상호 작용 표면의 평면에 수직인 방향으로 하나 이상의 부채형 광 비임의 두께를 더 줄이기 위해 근적외선을 방출시킬 수 있는 하나 이상의 발광 레이저 다이오드를 포함하도록 구성된다.
선택적으로, 상기 시스템은, 상기 카메라 장치가 CCD 또는 CMOS 픽셀 센서를 사용하여 구현되고 조명 장치는 근적외선 LED 및 이 근적외선을 투과 및/또는 반사시키는 관련된 광학 요소를 사용하여 구현되도록 구성된다.
선택적으로, 상기 시스템은, 상기 조명 장치가
- 투과되는 방사선을 초점 맞추기 위한 볼록 렌즈;
- 초점 맞춰진 부채형 광 비임의 섹터에서 집중된 방사선 세기를 보장해 주고 또한 관련된 열 소산을 도와 주기 위해 상기 렌즈의 중심 축선에 중심을 두고 있는 원의 주변의 일 부분을 따라 실질적으로 분산되어 배치되는 복수의 조명 소스;
- 상기 조명 소스로부터의 조명을 상기 볼록 렌즈의 직경의 대략 절반으로 제한하는 배플; 및
- 대칭축을 상호작용 표면에 실질적으로 평행하게 변화시키는 원추형 거울을 포함하도록 구성된다.
더 선택적으로, 상기 시스템은, 상기 원추형 거울은 부채형 광 비임을 형성하는 조명 장치에서 나오는 광 비임의 광학적 대칭축을 상호작용 표면 쪽으로 기울어지게 하는 반사 표면 각도를 갖도록 구성된다.
더 선택적으로, 상기 시스템은, 상기 배플은 인지 소스 크기를 갖는 조명 장치의 각각의 조명 소스에서 나오는 광선이 볼록 렌즈의 반대쪽 부분을 비추는 것을 막도록 배치되며 그리하여 광선이 렌즈와 원추형 거울의 공통 광학축과 교차하는 것을 실질적으로 방지하도록 구성된다.
더 선택적으로, 상기 시스템은, 상기 조명 장치는 하나 이상의 부채형 광 비임을 발생시키기 위해 사용되는 광 소스의 축이 볼록 렌즈의 중심 축선에 정렬되지 않는 것에 대해 반사 표면 각도가 보상하도록 배치되어 있는 원추형 거울을 더 포함하도록 구성된다.
선택적으로, 상기 시스템은, 상기 하나 이상의 부채형 광 비임은 관련된 전방 경계를 가지며 이 전방 경계는 후방 경계가 본질적으로 상호작용 표면에 의해 경계지도록 전체 상호작용 표면에 대응하는 영역을 비추기 위해 상호작용 표면에서 충분히 떨어져 있도록 구성된다.
본 발명의 제 2 실시 형태에 따르면, 본 발명의 제 1 실시 형태에 따른 상기 시스템을 구현하는데 사용되는 장치가 제공된다.
본 발명의 제 3 실시 형태에 따르면, 상호작용 표면 앞에서 적어도 하나의 물체의 위치 및/또는 자세를 결정하기 위한 카메라 기반 멀티 터치 상호작용 시스템을 사용하는 방법이 제공되는 바, 상기 시스템은,
가시광선 및/또는 근적외선의 하나 이상의 평면 부채형 광 비임을 발생시키기 위한 조명 장치;
카메라 장치의 시야내에서 상호작용 공간을 감지하여 대응하는 신호를 발생시키기 위한 카메라 장치; 및
상기 카메라 장치에서 제공되는 신호에 근거하여, 상기 하나 이상의 평면 부채형 광 비임을 차단하는 적어도 하나의 물체의 위치 및/또는 자세를 계산하기 위한 계산부를 포함하는, 상기 방법은,
상기 하나 이상의 부채형 광 비임을 작용시 그의 평면이 상기 상호작용 표면에 실질적으로 평행하도록 형성하는 단계; 및
광 세기를 향상시키고 상기 시스템에 의해 제공되는 적어도 하나의 물체의 위치 결정의 정확도를 증가시키기 위해 하나 이상의 부채형 광 비임이 상호작용 표면의 평면에 실질적으로 수직한 방향으로 실질적으로 일정한 두께를 갖도록 하나 이상의 부채형 광 비임을 상기 방향으로 초점 맞추는 단계를 포함하는 것을 특징으로 한다.
선택적으로, 상기 방법은, 교육 및 비지니스 시장에 진보된 사용자 멀티 터치 상호작용을 제공하고 중소형 디스플레이를 제공하며 대형의 넓은 학교 및 강의실용 화이트보드를 제공하는데 적합하게 될 수 있고 또한 교육용, 상호작용 표지판용 및 박물관과 전시회용 디스플레이와 함께 또는 이러한 디스플레이 없이 사용되는데 적합하게 되어 있다.
본 발명의 제 4 실시 형태에 따르면, 어떤 높이 범위 내의 상호작용 표면에 위치하는 상호작용 공간 내에서의 호버링 및/또는 터치 조건을 검출하고/검출하거나 물체의 자세를 확인하기 위해 상호작용 표면 또는 같은 말로 좌표 평면 내의 상기 물체의 위치를 추적하기 위해, 인간-기계 상호소통 또는 같은 말로 인간-컴퓨터 상호작용을 위한 입력 장치를 포함하는 시스템이 제공되는데, 이 시스템은,
가시광선 및/또는 근적외선을 사용하여 이미지를 캡쳐하기 위한 카메라;
좌표 평면과 명확하게 정렬되는 적어도 하나의 가시광선 및/또는 근적외선 부채형 비임 광 평면; 및
계산부를 포함하고,
상기 카메라의 시야(field-of-view)는 좌표 평면과 적어도 하나의 부채형 광 비임 평면을 포함하며,
상기 계산부는 이 계산부가 받는 단일 이미지에 근거하여, 카메라에서 발생된 신호로부터 물체의 좌표 및/또는 그 물체의 호버링 및/또는 터치 조건 및/또는 자세 특성을 계산하도록 되어 있고,
상기 계산부는 일련의 이미지에 근거하여, 카메라에서 나오는 신호로부터물체의 움직임 및/또는 그 물체의 제스쳐를 계산하도록 되어 있다.
본 발명에서, 광 평면은 하나 이상의 초점 맞춰진 부채형 광 비임에 의해 제공되는 조명의 연속적인 부피 슬라이스인 것으로 이해되며, 각각의 부채형 광 비임은 가시광선 또는 근적외선의 좁은 부채형 비임인데, 즉 초점 맞추기에 의해 고도 방향의 비임폭은 좁고 방위각 방향의 비임폭은 넓게 되어 있으며, 고도각과 방위각은 상호작용 표면의 평면과 관련되어 있다. 초점 맞춰진 부채형 광 비임은 상호작용 표면에 실질적으로 평행하거나 그에 수렴하는데, 즉 제로이거나 또는 약간의 음의 각도인 고도각을 갖는다. 하나 이상의 초점 맞춰진 부채형 광 비임은 유리하게는 상호작용 공간에서 조명의 연속적인 부피 슬라이스를 형성하는데, 본 발명의 설명에서 이 부피 슬라이스는 간단히 광 평면으로 표면되며, 좀더 완전하게 표현하면, 하나 이상의 초점 맞춰진 부채형 가시광선 및/또는 근적외선 광 비임에 의한 좁은 연속적인 부피 슬라이스 조명이다.
상기 카메라는 2차원 이미지 캡쳐를 위한 CCD 또는 CMOS 이미징 칩 및 좌표 평면, 볼륨을 포함하기에 충분히 큰 시야를 가지며 또한 실제 이미징 칩 해상도에 적합한 실제 파장 범위를 위해 충분한 광학적 이미징 질을 갖는 렌즈 등을 포함한다. 카메라는 선택적으로 또한 대안적으로, 선형으로 배열되는 픽셀 센서 요소를 포함하는 스캔드(scanned) 센서 또는 심지어 적어도 두개의 좌표 방향으로 스캔되는 단일 감지 요소를 사용하여 구현된다.
본 발명의 일부 바람직한 실시 형태에서, 조명 장치는 온/오프 제어 스위치로 선택적으로 제어되어, 상이한 이미지들을 위해 조명을 선택적으로 온/오프시킨다.
본 발명의 일부 바람직한 실시 형태에서, 조명 장치에 있는 조명 소스 장치는 움직이는 물체와 관련된 운동을 정지시키기 위해 카메라의 작용 노출 기간 내에서 플래싱 모드로 작동된다.
본 발명의 일부 바람직한 실시 형태에서, 카메라는 조명과 동일한 파장을 갖는 빛은 통과시키면서, 원치 않는 빛, 즉 평면 디스플레이나 프로젝터 스크린에서 나오는 빛 및/또는 주변의 빛은 차단하는 광학 필터를 포함한다.
본 발명의 일부 바람직한 실시 형태에서, 카메라는 상이한 파장 범위의 빛을 선택적으로 차단시키거나 통과시키는 하나 이상의 선택형 광학 필터를 포함하는데, 예컨대, 조명과 통일한 파장 범위를 갖는 일부 이미지를 위한 빛은 통과되고, 프로젝터나 평면 스크린에서 나오는 이미지를 다음에 캡쳐하기 위한 가시광 파장에 대해서만 다른 이미지를 위한 빛이 통과될 수 있다.
일부 바람직한 실시 형태에서, 본 발명은 공개된 특허 출원 WO 2002027461 및 US7083100B2 및/또는 WO 200613524A1 및 US2009040195A1(본원에 참조로 관련되어 있음)에 기재되어 있는 혁신적 사항들과 결합될 수 있다. 이들 혁신적 사항들은, 더욱 정확하게 물체를 추적하고 그리고/또는 더욱 정확하게 물체를 확인하며 그리고/또는 상기 혁신 사항에 따라 관찰가능 패턴을 변경할 수 있는 상이한 사용자 상호작용 제어 요소(예컨대, 버튼)의 상태를 검출하기 위한 수단으로서 패턴을 구비하는 물체에 관한 것으로, 그 패턴은 그의 표면 및/또는 그의 몸체 내부에서 주어진 파장 범위내에서 관찰가능하며 그리고/또는 스크린에 투영된다. 더욱이, 표면에 대한 물체의 근접 또는 그 물체의 상이한 내부 부품들 간의 근접은, 본원에 참조로 관련되어 있는 공개된 특허 출원 WO2005050130 및 US7339684B2에 기재되어 있는 광학적 근접 검출기와 본 발명을 결합하면 관찰될 수 있다.
본 발명의 일부 바람직한 실시 형태에서, 디스플레이 좌표에 대한 좌표 평면의 정확한 맵핑을 찾기 위해 단순한 컴퓨터 기반 보정 절차가 사용된다. 선택적으로, 이 보정 절차는 예컨대 디스플레이 상의 여러 점에서 크로스를 보여줘 사용자의 도움을 받고, 맵핑을 찾기 위해, 즉 디스플레이 좌표에 대한 좌표 평면의 맵핑을 기술하는 적절한 변환 행렬을 결정하기 위해 수동 펜이나 손가락 터치를 필요로 한다.
본 발명의 일부 바람직한 실시 형태에서, 컴퓨터 프로그램을 작동시켜 디스플레이 상에 이미지를 나타낼 있으며, 그 이미지는 예컨대 공개된 국제 PCT 특허 출원 WO 2002027461 및 US7083100B2 및/또는 WO2006135241A1 및 US2009040195A1에 기재되어 있는 방식으로 물체의 확인 및 추적에 사용되는 패턴을 포함하며, 이 패턴은 좌표 평면을 디스플레이 좌표에 맵핑하기 위해 변환 행렬을 계산하기 위해 카메라에 의해 자동적으로 확인되며, 앞서 공개된 이들 출원은 본원에 참조로 관련되어 있다.
본 발명의 목적은, 일반적으로 또한 상호협력 디스플레이를 포함하는(반드시 그럴 필요는 없음) 인간-기계 인터페이스에서 사용자로부터 X 및 Y 방향의 위치 정보 및 터치 및 호버(Z 방향, 사용자 동작 정보를 나타냄) 정보를 제공하는 것이다.
본 발명의 목적은, 상호작용 표면 위에 또는 상호작용 공간에 적어도 하나의 초점 맞춰진 평면 부채형 비임을 제공하는 것이고, 따라서 적어도 하나의 물체, 예컨대 사람의 손가락이 초점 맞춰진 부채형 광 비임에 침투하는 것은, 상호작용 표면, 상호작용 공간 및 상기 적어도 하나의 침투 물체를 감지하기 위해 배치된 카메라에 의해 그의 시야 내에서 검출될 것이다. 세기는 일반적으로 배경 조명 보다 상당히 높으므로, 상호작용 표면 위의 어떤 공간에 한정되는 초점 맞춰진 부채형 광 비임은 물체를 개별적으로 비출 수 있으며, 세기가 높은 영역을 탐색하고 적어도 하나의 물체(예컨대, 하나 이상의 손가락)를 찾기 위해 가장자리를 검출하고 또한 중심 계산을 수행함으로써 적어도 하나의 물체를 이미지 신호 처리 수단에 의해 효과적으로 찾을 수 있다.
또한 본 발명의 목적은, 컴퓨터 및 다른 전자 장비를 위한 인간 인터페이스 장치에 이용되는 진보된 멀티 터치 상호작용을 가능하게 하는 것이다. 상호작용 공간에서 초점 맞춰진 부채형 광 비임의 여러 층을 포함함으로써, 정확한 터치 제어, 손 자세 및 사용자 제스쳐를 포함한 사용자의 상호작용에서의 세밀한 부분이 캡쳐될 수 있다. 본 발명의 바람직한 실시 형태에서, 각각의 초점 맞춰진 부채형 광 비임을 발생시키는 조명 소스는 주기적으로 온 및 오프되는데, 예컨대 스트로브되며(strobed), 따라서 초점 맞춰진 부채형 광 비임의 상이한 층들이 그들 각각의 신호 기여를 구별하기 위해 선택적으로 온 및 오프되어, 예컨대 호버와 터치 조건을 효과적으로 구분할 수 있다. 평면 부채형 광 비임의 상이한 층들에 의해 선택적으로 비춰지는 여러 슬라이스에서 상호작용 공간을 분리함으로써, 그 상호작용 공간은 X선 단층 촬영과 좀 유사하게 효과적으로 분석될 수 있다. 또한, 조명은 수신된 신호로 감지되는 움직임을 정지시키기 위해 플래싱(flashing)일 수 있는데, 즉 움직임 자체의 시간 프레임에 대해 비교적 짧은 조명 기간으로 스트로브된다.
본 발명의 일부 다른 실시 형태에서, 평면 부채형 광 비임은 근적외선 조명 소스, 예컨대 700 nm 이상 파장의 출력 방사선을 갖는 조명 소스로부터 제공되는 조명으로 발생된다. 또한, 카메라는 유리하게는 가시광 등을 차단하여 단지 상기 근적외광만 우선적으로 통과시키는 광학 필터를 포함한다. 본 발명의 이러한 실시 형태에서는, 햇빛, 실내 조명, 사용되는 프로젝터에서 나오는 빛, 디스플레이 빛 등과 같은 다른 광원에 대한 민감성이 작게 된다.
유리하게는, 본 발명을 실시할 때, 초점 맞춰진 부채형 광 비임은, 상호작용 표면/공간의 가장 먼 단부에서 충분한 조명을 유지하기 위해 빛을 그 가장 먼 단부 쪽으로 초점 맞춰 발생된다. 또한, 본 발명을 실시할 때, 초점 맞춰진 부채형 광 비임이 관련된 화이트보드 등의 표면에 대해 작은 각도를 이루어 상호작용 표면쪽으로 기울어져 그 초점 맞춰진 부채형 광 비임이 상기 표면에 대해 거의 일정하거나 평행한 거리를 갖도록 하는 것이 유리하다.
유리하게는, 본 발명을 실시할 때, 통상적인 광 평면을 사용하는 것과는 대조적으로, 비성형 광 비임의 발생은 중앙에 집중되어 분산되지 않는다. 벽이나 테이블에 이미지를 생성하기 위한 전후방 투사 시스템에서, 본 발명은 유리하게 새로운 장비에 통합되거나 또는 기존의 장비에 개장되어 그러한 시스템을 상호작용성 있게 해주며, 이때 근적외광 평면의 완전한 프레임을 만들 필요는 없는데, 즉 단지 중앙 집중식 부채형 광 비임 발생부로서의 본 발명 및 카메라 그리고 관련된 계산부를 함께 포함시키면 되는 것이다.
유리하게는, 본 발명은 예컨대 LCD, OLED 등의 발광 장치에 기반한 프로젝터 벽 설치부 또는 스크린 설치부에 설치되거나 그에 통합될 수 있어 유리하다.
본 발명의 일부 대안적인 실시 형태에서, 매우 진보된 상호작용 공간을 위해, 초점 맞춰진 부채형 광 비임의 상이한 층들을 더 얇게 만들어 터치 및 Z-방향 제스쳐의 해상도와 정확도를 증가시키기 위해, 조명 광학 기구를 위한 더 긴 인클로저를 사용할 수 있다. 일부 다른 대안적인 실시 형태에서, LED 소스들 중의 하나 이상은 부채형 광 비임의 층 두께를 더욱더 줄이기 위해 근적외선 레이저 다이오드로 대체될 수 있다.
본 발명은 저렴한 CCD 또는 CMOS 카메라 기술 부품과 저렴한 근적외선 LED 및 광학 부품을 이용할 수 있다. 이러한 부품들은 제조 비용이 낮다. 더욱이, 현대의 신호 처리 집적 회로, 예컨대 신호 프로세서, 마이크로컨트롤러 및 마이크로프로세서 그리고 프로그래머블 로직 장치가 본 발명의 실시에 사용될 수 있고, 그러한 집적 회로는 본 발명의 실제 적용을 위해 프로그램하기기 쉽다. 그러므로, 본 발명은 높은 생산량으로 실시하기가 쉬운 것이다.
본 발명은 또한 진보된 사용자 멀티 터치 상호작용을 교육 및 비지니스 시장에 제공할 수 있다. 본 발명은 중소형의 디스플레이 및 학교 및 강의실용의 대형의 넓은 화이트보드에도 적합할 수 있다. 더욱이, 본 발명은 교육용, 상호작용 표지판용 및 박물관과 전시회용 디스플레이와 함께 또는 이러한 디스플레이 없이 사용될 수 있다.
본 발명은 또한 컨텐츠 제공자로부터 소정의 순서로 동적으로 변경될 수 있을 뿐만 아니라 터치 및 제스쳐 제어기로부터의 사용자 입력으로 인해 변할 수 있는 디지털 컨텐츠를 갖는 평면 디스플레이 또는 프로젝터 스크린을 사용하는 디지털 표지판에 사용되는데 적합한 상호작용 공간을 제공할 수 있으며, 그래서 표지판은 더욱 융통성 있게 되고 더 많은 정보를 주며 또한 사용자 친화적으로 된다.
본 발명은 또한 상호작용 표지판에 사용되는 터치 및 제스쳐 제어를 위한 입력 장치로서, 내파손 두께의 창을 통해 잘 기능하고 또한 간단한 설치로 모든 종류의 표면과 평면 스크린에서 잘 기능하여 실내외의 공공 구역 및 상업 구역에 설치하여 사용하는데 적합한 상기 입력 장치를 제공할 수 있다.
첨부 도면을 참조하여 본 발명을 단지 예시적으로 설명하도록 한다.
도 1 은 본 발명의 일 예시적인 하드웨어 구성의 개략적인 사시도로, 하나 이상의 광 평면의 전형적인 위치의 일 예, 초점 맞춰진 부채형 광 비임 발생부, 상호작용 표면 및 공간, 카메라, 디스플레이, 프로젝터 그리고 벽 설치부가 나타나 있다.
도 2 는 도 1 의 예시적인 구성의 측면도이다.
도 3 은 도 2 의 예시적인 구성의 측면도로, 초점 맞춰진 부채형 광 비임 발생부가 벽 설치부에 통합되어 있다.
도 4 는 도 2 의 예시적인 구성의 측면도로, 초점 맞춰진 부채형 광 비임 발생부는 벽 설치부에 수직으로 통합되어 있거나 그를 따라 수직으로 설치되어 있다.
도 5 는 본 발명의 실시 형태에서 사용되는 소스 확대 및 초점 맞추기 장치의 작동 원리를 도시한다.
도 6 은 도 5 의 소스를 도시하는 것으로, 대형 상호작용 화이트보드를 위한 전형적인 상황에 대해 파라미터 값들이 기입되어 있다.
도 7 은 도 6 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 광선이 원추형 거울에 의해 반사되어 관련 대칭축이 작업/상호작용 표면에 평행하게 변한다.
도 8a 는 도 7 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 원추형 거울의 각도가 조정되어 축이 상호작용 표면 쪽으로 다소 기울어지게 변해 있다.
도 8b 는 도 8a 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 부채형 광 비임 및 확대된 소스 이미지의 예가 나타나 있으며, 상호작용 표면과의 접촉 위치 및/또는 그 접촉을 검출하기 위한 광 평면을 만들기 위해 부채형 광 비임 및 확대된 소스 이미지의 예가 나타나 있고 또한 상호작용 표면에 반사된 광선과 소스 이미지 성분도 포함되어 있다.
도 8c 는 도 8a 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 상호작용 공간에서의 위치 및/또는 호버 레벨을 검출하기 위한 광 평면을 생성하기 위한 광선과 확대된 소스 이미지의 예가 나타나 있다.
도 9 는 초점 맞춰진 부채형 광 비임 발생부의 일 예를 나타내며, 원추형 거울과 볼록 렌즈 및 조명 소스가 하우징에 설치되어 있다.
도 10 은 도 8 에서와 같은 제조된 원추형 거울의 일 예를 도시한다.
도 11 은 상호작용 표면을 따라 여러 개의 광 평면을 생성하기 위해 도 9 에서와 같은 여러 부채형 광 비임 발생부를 사용하는 일 예시적인 구성을 도시한다.
도 12 는 도 9 에서와 같은 부채형 광 비임 발생부를 위에서 본 것으로, 이 발생부는 상호작용 표면 위쪽에서 광 평면 광학 기구 설치부로 벽에 설치된다.
도 13 은 도 9 에서와 같은 부채형 광 비임 발생부를 위에서 본 것으로, 이 발생부는 후방 투사 시스템에서 상호작용 표면 위쪽에서 벽에 있는 구멍을 통해 광 평면 광학 기구 설치부로 설치된다.
도 14 는 주로 기능면에서 도 9 와 유사하지만 오목한 원추형 거울을 사용하는 부채형 광 비임 발생부를 도시한다.
도 15 는 조명 소스들이 도 7 ∼ 14 에서 처럼 원추형 거울을 위해 배치되는 일 방식을 도시한다.
도 16 은 초점 맞춰진 부채형 광 비임 발생부의 측면도를 도시하는 것으로, 여기서 원통형 렌즈, 볼록 렌즈 및 조명 소스들은 하우징 내부에 설치된다.
도 17 은 도 16 에서와 같은 것이지만 위에서 본 초점 맞춰진 부채형 광 비임 발생부를 도시하며, 여기서 원통형 렌즈, 볼록 렌즈 및 조명 소스들은 하우징 에 설치된다.
도 18 은 도 17 의 예를 도시하지만, 축은 평면 거울의 사용으로 기울어져 있다.
도 19 는 도 17 의 예를 나타내지만, 축은 평면 거울의 사용으로 90도 만큼 방향 전환되어 있다.
도 20 은 더 넓은 부채형 광 비임 평면을 생성하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 예를 도시한다.
도 21 은 전체 상호작용 표면을 덮는 더 넓은 부채형 광 비임 평면을 생성하고 소스의 더 작은 배율 및 더 얇은 층의 부채형 광 비임을 제공하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 구성의 예를 도시한다.
도 22 는 전체 상호작용 표면을 덮는 더 넓은 부채형 광 비임 평면을 생성하고 소스의 더 큰 배율 및 더 두꺼운 층의 부채형 광 비임을 제공하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 구성의 예를 도시한다.
도 23 은 전체 상호작용 표면을 덮는 넓은 부채형 광 비임 평면을 만들기 위해, 도 17, 도 18 및 도 19의 예들의 변형예들을 조합한 수직으로 설치되는 예를 도시한다.
도 24 는 한 코너로부터 상호작용 표면의 일 부분을 덮는 부채형 광 비임 평면을 생성하기 위해 오목한 원통형 거울을 사용하는 예를 도시한다.
도 25 는 두 코너로부터 상호작용 표면을 덮는 두 세트의 부채형 광 비임 평면을 생성하기 위해 오목한 원통형 거울을 사용하는 예를 도시한다.
도 26 은 조명 소스들이 도 16 ∼ 25 에서 처럼 원통형 렌즈와 원통형 거울에 기반한 예를 위해 배치되는 일 방식을 도시한다.
도 2 는 도 1 의 예시적인 구성의 측면도이다.
도 3 은 도 2 의 예시적인 구성의 측면도로, 초점 맞춰진 부채형 광 비임 발생부가 벽 설치부에 통합되어 있다.
도 4 는 도 2 의 예시적인 구성의 측면도로, 초점 맞춰진 부채형 광 비임 발생부는 벽 설치부에 수직으로 통합되어 있거나 그를 따라 수직으로 설치되어 있다.
도 5 는 본 발명의 실시 형태에서 사용되는 소스 확대 및 초점 맞추기 장치의 작동 원리를 도시한다.
도 6 은 도 5 의 소스를 도시하는 것으로, 대형 상호작용 화이트보드를 위한 전형적인 상황에 대해 파라미터 값들이 기입되어 있다.
도 7 은 도 6 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 광선이 원추형 거울에 의해 반사되어 관련 대칭축이 작업/상호작용 표면에 평행하게 변한다.
도 8a 는 도 7 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 원추형 거울의 각도가 조정되어 축이 상호작용 표면 쪽으로 다소 기울어지게 변해 있다.
도 8b 는 도 8a 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 부채형 광 비임 및 확대된 소스 이미지의 예가 나타나 있으며, 상호작용 표면과의 접촉 위치 및/또는 그 접촉을 검출하기 위한 광 평면을 만들기 위해 부채형 광 비임 및 확대된 소스 이미지의 예가 나타나 있고 또한 상호작용 표면에 반사된 광선과 소스 이미지 성분도 포함되어 있다.
도 8c 는 도 8a 에서와 같은 관련 광학 시스템의 일 예를 도시하는데, 여기서는 상호작용 공간에서의 위치 및/또는 호버 레벨을 검출하기 위한 광 평면을 생성하기 위한 광선과 확대된 소스 이미지의 예가 나타나 있다.
도 9 는 초점 맞춰진 부채형 광 비임 발생부의 일 예를 나타내며, 원추형 거울과 볼록 렌즈 및 조명 소스가 하우징에 설치되어 있다.
도 10 은 도 8 에서와 같은 제조된 원추형 거울의 일 예를 도시한다.
도 11 은 상호작용 표면을 따라 여러 개의 광 평면을 생성하기 위해 도 9 에서와 같은 여러 부채형 광 비임 발생부를 사용하는 일 예시적인 구성을 도시한다.
도 12 는 도 9 에서와 같은 부채형 광 비임 발생부를 위에서 본 것으로, 이 발생부는 상호작용 표면 위쪽에서 광 평면 광학 기구 설치부로 벽에 설치된다.
도 13 은 도 9 에서와 같은 부채형 광 비임 발생부를 위에서 본 것으로, 이 발생부는 후방 투사 시스템에서 상호작용 표면 위쪽에서 벽에 있는 구멍을 통해 광 평면 광학 기구 설치부로 설치된다.
도 14 는 주로 기능면에서 도 9 와 유사하지만 오목한 원추형 거울을 사용하는 부채형 광 비임 발생부를 도시한다.
도 15 는 조명 소스들이 도 7 ∼ 14 에서 처럼 원추형 거울을 위해 배치되는 일 방식을 도시한다.
도 16 은 초점 맞춰진 부채형 광 비임 발생부의 측면도를 도시하는 것으로, 여기서 원통형 렌즈, 볼록 렌즈 및 조명 소스들은 하우징 내부에 설치된다.
도 17 은 도 16 에서와 같은 것이지만 위에서 본 초점 맞춰진 부채형 광 비임 발생부를 도시하며, 여기서 원통형 렌즈, 볼록 렌즈 및 조명 소스들은 하우징 에 설치된다.
도 18 은 도 17 의 예를 도시하지만, 축은 평면 거울의 사용으로 기울어져 있다.
도 19 는 도 17 의 예를 나타내지만, 축은 평면 거울의 사용으로 90도 만큼 방향 전환되어 있다.
도 20 은 더 넓은 부채형 광 비임 평면을 생성하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 예를 도시한다.
도 21 은 전체 상호작용 표면을 덮는 더 넓은 부채형 광 비임 평면을 생성하고 소스의 더 작은 배율 및 더 얇은 층의 부채형 광 비임을 제공하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 구성의 예를 도시한다.
도 22 는 전체 상호작용 표면을 덮는 더 넓은 부채형 광 비임 평면을 생성하고 소스의 더 큰 배율 및 더 두꺼운 층의 부채형 광 비임을 제공하기 위해 도 17, 도 18 및 도 19의 예들을 조합한 구성의 예를 도시한다.
도 23 은 전체 상호작용 표면을 덮는 넓은 부채형 광 비임 평면을 만들기 위해, 도 17, 도 18 및 도 19의 예들의 변형예들을 조합한 수직으로 설치되는 예를 도시한다.
도 24 는 한 코너로부터 상호작용 표면의 일 부분을 덮는 부채형 광 비임 평면을 생성하기 위해 오목한 원통형 거울을 사용하는 예를 도시한다.
도 25 는 두 코너로부터 상호작용 표면을 덮는 두 세트의 부채형 광 비임 평면을 생성하기 위해 오목한 원통형 거울을 사용하는 예를 도시한다.
도 26 은 조명 소스들이 도 16 ∼ 25 에서 처럼 원통형 렌즈와 원통형 거울에 기반한 예를 위해 배치되는 일 방식을 도시한다.
본 발명은 인간-기계 상호작용 또는 이에 상당하는 인간-컴퓨터 상호작용을 위한 카메라 기반 컴퓨터 입력 장치를 위한 시스템 및 방법에 관한 것이다. 더욱이, 본 발명은 또한 이러한 시스템을 구현하고 이러한 방법을 실행하기 위한 장치에 관한 것이다 .
본 발명의 적어도 하나의 실시 형태의 구현과 작동을 자세히 설명기 전에, 본 발명은 그의 적용에 있어서 이하의 설명에 제시되어 있거나 또는 도면에 도시되어 있는 구성 요소들의 구성과 배치의 상세 사항에 한정되는 것은 아니라는 점을 이해해야 한다. 본 발명은 다른 실시 형태로 구현될 수 있고 또는 다양한 방식으로 실행되거나 수행될 수 있다. 더욱이, 여기서 사용되는 구나 용어는 설명의 목적을 위한 것이고 한정적인 것으로 생각되어서는 아니 된다. 본 발명에 따른 상호작용 입력 장치, 시스템 및 방법의 원리와 작동은 도면과 첨부된 설명을 참조하면 더 잘 이해할 수 있을 것이다.
먼저, 상호작용 장치와 상호작용 시스템의 원리를 설명한다. 그 후에, 몇몇 바람직한 실시 형태를 그의 상세한 시스템 작동 원리와 함께 상세히 설명하도록 한다.
상호작용 시스템 및 이의 관련된 상호작용 장치의 작동 원리를 도 1 및 2 에 주어진 바와 같은 예시적인 구성을 참조하여 설명한다. 도 1 및 2 에는, 본 발명의 바람직한 실시 형태의 하드웨어 구성이 시시도와 측면도로 개략적으로 도시되어 있다. 하드웨어 구성은, 카메라(1) 및 조명부(2)와 함께 벽 설치부(4)에 배치되는 단거리 데이타 프로젝터(3)를 포함하는 하드웨어 요소를 포함한다. 상기 벽 설치부(4)는 크게 변할 수 있는 외관을 가지며 실제로 그렇게 될 수 있게 만들어지지만, 그 벽 설치부의 주 목적은 단거리 프로젝터(3), 카메라(1) 및 조명부(2) 중의 하나 이상을 바람직하게는 표시되는 그림(16) 위쪽에서 스크린과 벽 설치부와의 적절한 거리를 두고 배치하기 위한 것이다. 상기 표시되는 그림(16)은 또한 상호작용 표면(본 명세서에는 동의어로 좌표 평면(16)이라고도 함)을 나타낸다. 선택적으로, 상기 프로젝터(3)를 사용할 때, 좌표 평면(16)은 투사, 펜 조작 및 터치에 적합한 매끄러운 백색 표면이다. 반대로, 프로젝터(3) 대신에 평면 디스플레이를 사용하는 경우, 상기 상호작용 표면(16)은 평면 디스플레이 그 자체이며, 선택적으로는 보호를 위해 특수한 투명재(일반적으로, 유리 또는 플라스틱 재료)로 보호되며, 그래서 상기 상호작용 표면은 펜과 터치 조작에 대해 튼튼하게 된다. 상기 단거리 프로젝터(3)는 관련된 시야(field-of-view; 6)를 가지며, "1"로 표시된 상호작용 공간 내에 점선 직사각형으로 나타나 있는 바와 같이 표시 대상 그림을 상호작용 표면(16) 상에 투사할 수 있다. 어떤 물체(25)(예컨대, 사용자의 손가락 및/또는 손)가 좌표 평면(16) 위쪽 특정 높이로 한정되는 상호 작용 공간(7) 내에 있을 때, 그 물체는 컴퓨터 등과 상호 작용할 수 있다.
상기 장치는 가시광선 또는 근적외선 조명을 투사하기 위한 광학 요소 배열체를 더 포함하는데, 이 광학 요소 배열체는 상호작용 표면, 즉 좌표 평면(16) 외부에 위치되며, 투사된 관련 조명은 유리하게는 상호작용 공간(7) 내에 있는 하나 이상의 광 평면(5)(상호작용 표면, 즉 좌표 평면(16)과 실질적으로 정렬됨)의 형태를갖는다.
상기 카메라(1)는 상호작용 공간(7)을 포함하는 시야(8)를 갖는데, 그래서 상기 물체(25)의 좌표 및 이 물체(25)의 호버(hover) 높이가 계산되고/계산되거나 그의 호버링 조건 및/또는 터치 조건 및/또는 자세 특성이 단일 이미지(카메라(1)로 감지되어 계산부에 신호로서 전달됨)에 근거하여 구해지며, 그리고/또는 상기 물체의 움직임 및/또는 그 물체의 제스쳐가, 신호로 표시되는 일련의 이미지(카메라(1)에 의해 발생되어 계산부에 전달되는 대응 신호로서 제공됨)에 근거하여 또한 계산된다. 선택적으로, 상기 계산부는 일반적으로 카메라(1)에 내장되는데, 하지만 반드시 그럴 필요는 없다. 카메라(1)는 예컨대 햇빛과 디스플레이 및/또는 장거리 프로젝터(3)에서 오는 빛의 영향을 줄이기 위해 다른 파장 범위의 빛을 선택적으로 차단하기 위한 광학 필터를 선택적으로 포함한다.
상기 계산부는 예컨대 표준 시리얼 버스 및 관련된 회로(USB 같은 것) 또는 무서 통신 프로토콜 및 장치를 사용하여 좌표와 기타 상호작용 데이타를 컴퓨터에 전달하기 위한 통신 장치를 포함한다.
도 1 에는, 본 발명의 바람직한 일 실시 형태의 예시적인 구성이 나타나 있는데, 여기서, 상기 장치의 카메라(1) 및 초점 맞줘진 부채형 광 비임 발생부(2)가 프로젝터(3)와 함께 벽 설치부(4)에 설치되어 있다. 카메라(1)와 프로젝터(3)는 도 1 에 나타나 있는 카메라 시야(8) 및 프로젝터 시야(6)를 갖고 상호작용 표면(16) 쪽으로 향해 있다. 적어도 하나의 물체(25)(즉, 여기서는 집게 손가락 및 손으로 도시되어 있음)가 상호작용 표면(16) 앞에서 상호작용 공간(7) 내에 있는 적어도 하나의 초점 맞줘진 부채형 광 비임 평면(5 및/또는 6)에 침투할 수 있으며, 카메라(1)와 계산부는 단일의 그림으로부터 작동하여 물체(25)의 비춰진 부분을 검출할 수 있고, 또한 초점 맞춰진 부채형 광 비임의 어떤 층이 물체(25)를 비추고 있는지에 대한 정보를 받으면, 횡방향(X-방향 및 Y-방향)으로의 그 물체의 횡방향 위치를 찾아 보고할 수 있고 또한 그 물체가 현재 어떤 호버 레벨(즉, Z-방향과 관련된 정보)에 있는지를 보고할 수 있으며, 상기 물체는 상호작용 컴퓨터에 대한 입력으로서 전달되는 예컨대 "터치"(상호작용 표면(16)과의 접촉과 같은 말임) 및 예컨대 "호버"(일부 상호작용 인터페이스 사전에서 사용되고 있는 "범위내" 상태와 같은 말임)로 표시된다.
도 1 은 인터페이스 표면(16)인 평면 스크린(즉, 프로젝터(3)가 벽 설치부(4)에 설치되어 있지 않는)에 적합한 상응하는 시스템도 나타내는 것을 이해할 것이다.
도 1 에 도시되어 있는 실시 형태에서 사용되는 조명은 선택적으로 전환가능한데, 그래서 하나 이상의 광 평면(5 및/또는 26)이 선택적으로 온 또는 오프로 되어 여러 광 평면(5 및/또는 26) 중의 하나가 물체(25)를 비추거나 또는 여러 광 평면(5 및/또는 26)을 조합하여 그 물체를 비출 수 있으며, 따라서 조명은 횡방향 위치 결정, 호버 높이 결정 및 상호작용 표면과 접촉하는 물체의 결정을 위해 각각 선택된다. 물체(2)의 횡방향 위치 결정을 위해, 상기 상호작용 공간(7)에 의해 허용되는 호버링 거리에 상당하는 상호작용 표면(16)까지의 거리에 위치되는 하나 이상의 광 평면(5 및/또는 26)을 통한 조명이 온으로 되어, 상호작용 공간(7) 내의 광 평면(5 및/또는 26)에 들어갈 때 측면에서 물체(25)의 일 부분을 비추는 평면에 평행한 주로 일정한 높이의 광선 필드, 즉 부채형 광 비임이 형성되며, 그래서 또한 카메라(1)에서 직접 볼 때 물체(25)의 일부 윤곽이 결정된다. 호버 레벨 또는 높이를 결정하기 위해, 상호작용 공간(7) 내에서 상호작용 표면(16)으로부터 상이한 거리에 위치하는 하나 이상의 광 평면(26)을 순차적으로 온 또는 오프시켜 상호작용 공간(7) 내에서 상호작용 표면(16)으로부터 상이한 거리에 위치하는 물체(25)의 부분들을 순차적으로 비추어 호버 레벨 또는 높이 정보를 결정할 수 있다. 물체가 상호작용 표면(16)과 접촉하는지, 즉 그 표면을 터치하는 지를 결정하기 위해, 본질적으로 상호작용 표면(16)의 평면에서 발생되어 그 상호작용 표면(16)을 직접 비추는 광 평면(5)이 온으로 된다. 광 평면(5)이 상호작용 표면(16)을 직접 비추는 것은, 유리하게는 본질적으로 상호작용 표면(16)의 평면에 위치되는 부채형 광 비임을 만들어 이루어지며, 그 부채형 광 비임이 상호작용 표면(16)을 비추고 있을 때 동시에 이 부채형 광 비임의 광학적 대칭축은 상호작용 표면(16)의 평면 쪽으로 수렴한다.
본 발명에 따른 모든 예시적인 구성 및 바람직한 실시 형태에서, 도면의 명료성을 위해 여기서는 생략된 적어도 하나의 외부 차폐부 또는 샤시가 더 존재할 수 있는데, 이 차폐부 또는 샤시는 하드웨어 요소, 즉 상기 프로젝터(3), 카메라(1)(계산부와 통신 장치를 선택적으로 포함함), 하나 이상의 광 평면(5 및/또는 26)(즉, 부채형 광 비임)을 발생시킬 수 있는 조명부(2), 벽 설치부(4) 및 디스플레이와 좌표 평면(16) 중의 하나 이상을 선택적으로 에워싼다. 상기 외부 차폐부 또는 샤시의 목적은, 예컨대 상호작용 시스템을 튼튼하게 만들고 유지 관리가 필요 없게 하며 먼지가 들어가지 않도록 하고 사용자 친화적이도록 하며 더욱 안전하게 하고 제조를 더 용이하게 하며 설치가 더 간단하도록 하며 또한 몇몇 주어진 설계의 원리와 요소에 따라 전문적인 와관을 상기 시스템에 부여하기 위한 것이다.
도 1 및 2 를 더 참조하면, 부채형 광 비임을 발생시키는 조명부(2)는 발생부이고, 또는 같은 말로, 초점 맞춰진 부채형 광 비임 평면을 발생시키는 조명부(2)는 조명 수단이고 이 예시적인 구성에서는 유리하게는 상호작용 표면(16) 위쪽, 바람직하게는 벽 또는 벽 설치부(4)에 설치된다. 조명부(2)는 기존의 화이트보드 또는 단거리 프로젝터 설비를 본 발명에 따라 터치 감지성이 되도록 업그레이드하기 위한 개장 키트(retrofit kit)에 선택적으로 포함된다.
도 3 을 참조하면, 조명부(2), 예컨대 초점 맞춰진 부채형 광 비임 평면 조명 장치가 이들 예시적인 구성에서는 프로젝터 설치부에 통합되어 있다. 도 3 을 참조하면, 도 2 에서와 동일한 구성이 측면도로 나타나 있는데, 하지만 도 3 에서는 초점 맞춰진 부채형 광 비임 평면 발생부로 되어 있는 조명부(2)는 벽 설치부(4)에 통합되어 있다.
도 4 를 참조하면, 도 2 에서와 동일한 구성이 측면도로 나타나 있는데, 하지만 도 4 에서는 초점 맞춰진 부채형 광 비임 평면 발생부로 되어 있는 조명부(2)는 벽 설치부(4)에 수직으로 통합되어 있거나 또는 그 벽 설치부를 따라 수직으로 설치되어 있다.
본 발명의 다른 바람직한 실시 형태에서, 초점 맞춰진 부채형 광 비임 조명 장치로 된 조명부(2)는 벽 설치부(4)의 통합된 부분일 뿐만 아리라 상호작용 표면(16)을 형성하는 평면 스크린 디스플레이의 설치부의 통합된 부분이거나 완전한 상호작용 화이트보드의 통합된 부분이거나 완전한 데이타 프로젝터의 통합된 부분이거나, 또는 다른 기계적인 수단에 의해 상기 외부 차폐부 또는 샤시의 내부에 배치될 수 있어, 완전한 상호작용 시스템의 통합된 부분이 되고, 초점 맞춰진 부채형 광 비임 조명 장치로 된 조명부(2)의 기능은 동일하다.
도 5 를 참조하면, 본 발명에서의 소스 확대 및 초점 맞추기의 원리가 되시되어 있다. 일반적으로, 복수의 LED 소스(11)가 단일의 볼록 렌즈(10)(선택적으로는, 초점 길이(f)를 갖는 오목 거울로 대안적으로 될 수 있음)로부터의 거리(S2)에 배치되며, 조명 소스(11)의 이미지(18)가 조명 소스(11)의 S1/S2의 배율(상기 상호작용 공간(7) 위쪽에 있는 실제 초점 맞춰진 부채형 광 비임 층의 최소 두께를 나타냄)로 범위(S1)에서 상호작용 표면(16) 위쪽에서 일반적으로 상기 상호작용 공간(7)의 가장 먼 부분에 형성된다.
도 6 을 참조하면, 도 5 와 동일한 원리가 도시되어 있지만, 대각선 방향 크기가 90" ∼ 100"(즉, 대략 225 cm ∼ 250 cm)인 대형 상호작용 화이트보드에 대한 일반적인 상황의 파라미터 값이 기입되어 있는데, 이 실시예에서 소스의 이미지는 S1 = 1900 mm 에서 초점 맞춰진다. 예컨대, 초점 길이 f = 250 mm 인 렌즈를 사용하면, 상기 소스는 유리하게도 단일 볼록 렌즈(10)으로부터 S2 = 288 mm 의 거리에 위치된다. 약 6.6의 배율이 얻어지며, 조명부(2)의 조명 소스(11)의 등가 또는 인지 소스 크기(27)는 대략 3.5 mm 일 때(소스 크기(27)에 대해서는 도 8b 및 8c 참조), 조명 소스의 초점 맞춰진 이미지(18)는 대략 S1/S2 배 더 크게 되는데, 즉 대략 23.1 mm 이다.
도 7 을 참조하면, 도 6 과 관련된 광학 시스템이 나타나 있는데, 여기서는 광선이 원추형 거울(9)에 반사되어 대칭축이 작업/상호작용 표면(16)에 평행하게 변한다. 소스들은 볼록 렌즈(10)의 중심축으로부터 D = 25 mm의 직경에 배치된다. 소스로부터의 조명을 렌즈 직경의 절반으로 제한하기 위해 배플(19)이 도입되어 있다. 원추형 거울의 각도는 렌즈 중심축을 통과하지 않는 광원의 축에 대해 보상하기 위해 46.43°이고 그래서 방향 전환된다.
도 8a 를 참조하면, 도 7 에서와 같은 관련된 광학 시스템이 도시되어 있지만, 지금은 직접 부채형 광 비임 평면으로 상호작용 표면을 비추기 위해 원추형 거울(9)의 각도가 조정되어 축이 작업/상호작용 표면(16) 쪽으로 다소 기울어져 있다. 원추형 거울의 예시적인 각도는 46.65°이여서, 초점 맞춰진 부채형 광 비임의 광학적 대칭축이 상호작용 표면(16) 쪽으로 0.44°기울어지게 된다. 부채형 광 비임 평면의 전방 겅계가 상호작용 표면으로부터 충분히 떨어져 있어 전체 상호작용 표면(16)을 비추게 되며, 부채형 광 비임 평면의 후방 겅계는 아래에서 설명하는 바와 같이 본질적으로 상호작용 표면(16)에 의해 경계져 있다.
도 8b 를 참조하면, 도 8a 에서와 같은 관련된 광학 시스템의 본 발명에 따른 예시적인 구성이 나타나 있는데, 여기서, 상호작용 표면(16)과의 접촉 위치 및/또는 그 접촉(또는 터치)을 검출하기 위한 부채형 광 비임 평면을 발생시키기 위해 광선 및 확대된 소스 이미지가 나타나 있고 또한 상호작용 표면에 반사된 광선과 소스 이미지 성분도 포함되어 있다. 선택적으로 발광 다이오드(LED)로 되는 조명 소스(11)들이 직경 D = 25 mm의 원을 따라 배치된다. 여러 개의 조명 소스(11)가 유리하게는 주변을 따라 분산되어 있어, 초점 맞춰진 부채형 광 비임의 상이한 섹터들에서 높은 세기를 보장해 주고 또한 분산되는 관련된 열 소산을 도와 준다. 선택적으로 단지 하나의 중앙 조명 소스가 사용되고 그 이에 대응하여 원추형 거울(9)의 각도를 변화시켜 광학 기구를 약간 변경하고 중앙 배플(19)을 만들고 배플(30, 29)을 조정하여 광 평면의 광선을 제한하게 되며, 그래서 전형적인 이러한 조명 소스(11)의 방사 선도에서 0°(천정)에서 일반적으로 관찰되는 최대 세기가 최적으로 이용되지 않고 그래서 파워 소산이 너무 집중되어 너무 많은 열을 발생시킬 가능성이 있다. 조명 소스(11)의 등가 크기(27)(또는 인지 크기(27))는 이미징 시스템에 의해 확대되어 도 8a 에서와 같은 초점 맞춰진 이미지(18)(등가 조명 소스 크기(27) 보다 S1/S2 배 더 크다)를 생성하게 되며, 여기서 거리 S2 는 소스(11)로부터 렌즈(10)까지의 거리이고 거리 S1 은 렌즈(10)로부터 거울(9)을 지나 이미지(18)까지의 거리이고, 그 이미지는 화살표 기호 "38" 및 "39" 로 나타나 있다. 그러므로, 조명 소스의 등가 크기(27)는 충분히 얇은 부채형 광 비임 평면을 만드는데 있어 중요한 제한 인자이다. 높은 파워 소산과 높은 조명 세기를 위해 중앙에 위치되는 조명 소스(11)는 일반적으로 더 큰 등가/인지 소스 크기(27)를 갖는 경향이 있는데, 이는 부채형 광 비임 평면이 이러한 구성에서 더 두껍게 되는 경향이 있게 될 것임을 의미한다.
도 8b 를 더 참조하면, 배플(19)의 주 목적은, 인지 소스 크기(27)를 갖는 각각의 조명 소스(11)에서 나오는 광선이 볼록 렌즈(10)의 반대쪽 부분을 비추는 것을 막기 위한 것, 즉 광선이 렌즈(10)와 원추형 거울(9)의 공통 광학축(28)과 교차하는 것을 방지하기 위한 것이다. 상호작용 표면(16)과의 접촉 위치 및/또는 그 접촉을 검출하기 위해 그 상호작용 표면(16)에 대한 조명을 위한 본 발명의 작동 원리를 설명하기 위해, 소스 크기(27)를 갖는 조명 소스(11)에서 나오는 몇몇 예시적인 광선(31, 32, 33, 34, 36, 37, 43)이 그려져 있다. 인지 소스 크기(27)를 갖는 광 소스(11)는 거리(S1)에서 초점이 맞춰지며, 이때 S1/S2의 배율로 확대된 이미지(두개의 화살표 기호 "38" 및 "39"로 도시되어 있음)가 나타난다.
화살표(38) 부분은 상호작용 표면(16)에 의해 흡수되고/흡수되거나 반사될 소스(11)의 이미지(18)의 일 부분을 나타낸다. 상호작용 표면(16)의 표면 특성으로 인해 반사가 있고 이 반사가 거울 반사이면, 상호작용 표면(16)에 의해 반사되는 이 화살표(38) 부분의 거울 이미지(40)가 있을 것이다. 그래서, 상호작용 표면(16)과 접촉하는 물체(25)는, 거울(9)에서 직접 오는 광선과 역시 그 거울(9)에서 오지만 상호작용 표면(16)에 의해 반사된 광선의 합으로 비춰질 것이다. 상호작용 표면(16)의 표면 특성으로 인해 주로 확산 반사가 있다면, 조명 표면에 꽤 가까운 조명은 상호작용 표면(16)에서 오는 확산 반사된 광 성분에 의해 증가될 것이다. 거울(9)에서 나와 상호작용 표면(16)을 비추는 광선이 완전히 그 상호작용 표면(16)에 흡수되는 경우에는, 상호작용 표면으로부터 물체(25)를 비추는 것에 대한 기여는 없다.
거울(9)에서 나오는 부채형 광 비임 평면의 대칭축(35)이 상호작용 공간(7) 내에서 상호작용 표면(16)의 평면과 교차하지 않으면, 결과적인 평면의 두께는, 전방 광선 경계 한정 배플(29) 및 상호작용 표면(16) 그 자체에 의해 경계가 한정되는 전방 광선(31)에 의해 주어진다. 상호작용 표면(16)의 평면과 이 축의 교차 점을 그 상호작용 표면(16)의 외부에, 즉 도 8b 에서 상호작용 표면(16)의 좌측에 있게 함으로써, 상호작용 표면(16)에 의해 비추어진 이미지의 일 부분은 예시적인 극 각도(extreme angle)의 광선(37)에서 나오는 예시적인 광선(33)으로 도시되어 있는 바와 같이 이미지의 직접 성분 보다 넓지 않을 것이며, 상기 예시적인 극 각도의 광선은 상호작용 표면(16)이 없으면 광선(32)으로 상기 초점 맞춰진 이미지(38)의 화살표 기호의 끝 부분으로 계속갈 것이지만, 상호작용 표면(16)에서 있을 수 있는 거울 반사로 인해 광선(33)으로서 반사되어 상기 초점 맞춰진 거울 이미지(40)의 화살표 기호의 끝으로 반사된다.
도 8b 를 계속 참조하면, 광선(34)은 관련된 소스 크기(27)를 갖는 소스(11)의 경계(소스 광선 제한 배플(19)을 지나는 광학축(28)에서 가장 멀리 있는 경계)에서 나가는 극 각도의 광선이고, 렌즈(10)의 둘레에서 그 렌즈(10)를 통과하며, 직경이 최대인 원추형 거울(9)의 단부 근처에서 그 거울(9)에 부딪히게 되는데, 하지만 거울(9)에서의 반사 후에 상기 광선(34)은 후방 광선 제한 배플(30)에 의해 차단된다. 예시적인 극 각도의 광선(34)이 배플(30) 및 상호작용 표면(16)에 의해 차단되지 않으면, 그 광선은 초점 맞춰진 이미지(38)의 화살표 기호 끝에서 광선(32)과 교차하게 될 것이다. 광선(43)은 소크 크기(27)를 갖는 소스(11)의 상기 광선(34)과 동일한 측에서 나오지만, 광선(34)은 배플(30)에 의해 차단되는 반면 광선(43)은 그 배플(30)를 지나서 상호작용 표면(16)의 측면 가장자리에 의해 차단되거나, 또는 전술한 바와 같이 상호작용 표면(16)을 비추고 흡수 및 반사될 수 있다. 광선을 차단하는 배플(30) 또는 상호작용 표면(16)이 없으면, 광선(32)으로 이름이 바뀌는 예시적인 광선(37) 및 예시적인 광선(34)은 소스 크기(27)를 갖는 소스(11)의 경계(광학축(28)에서 가장 멀리 있는 경계)에서 나가며 초점 맞춰진 이미지(38)의 화살표 끝에서 만나 서로 교차하게 된다.
대응하여, 예시적인 광선(36)과 전방 경계의 예시적인 광선(31)은 소스(11)(소스 크기(27)를 가짐)의 경계(광학축(28)에 가장 가까운 경계)에서 나와서 초점 맞춰진 이미지(39)의 화살표 끝에서 만나 서로 교차하게 될 것이다.
본 발명의 이점은 도 8b 에 명확히 도시되어 있다. 첫째, 부채형 광 비임을 상호작용 표면(16)의 평면에 실질적으로 평행하게 정렬되도록 초점 맞춤으로써, 도 8b 에서 좌측으로 상호작용 표면(16)의 먼 단부에 있는 조명 소스의 이미지("39", "38"로 표시된)가 빔의 폭을 한정한다. 둘째, 부채형 광 비임의 광선이 원추형 거울(9)로부터 원형으로 퍼지고 또한 원형 퍼짐이 거울(9)로부터 멀어짐에 따라 비임 세기를 하나로 감소시킬 때, 초점 맞추기에 의해 광 세기는 도 8b에서 좌측으로 가장 먼 단부에서 너무 많이 저하하지 않고 상호작용 표면(16)에 걸쳐 가능한 한 최고의 세기 레벨을 유지한다. 셋째, 상호작용 표면(16)을 비추면서 대칭축(35)이 그 상호작용 표면(16) 쪽으로 수렴함으로써, 광 필드의 후방 단부가 상호작용 표면(16) 그 자체이므로 그 광 필드가 더욱 제한된다. 넷째, 대칭축(35)이 상호작용 표면(16) 쪽으로 수렴함으로써, 비춰진 상호작용 표면(16)에서 되반사되는 거울 반사 및 확산 성분들은 상기 표면 근처에서 세기를 증가시킬 것이다. 다섯째, 대칭축(35)이 그 상호작용 표면(16) 쪽으로 수렴하는 것은, 상호작용 표면(16) 내에서 그 상호작용 표면(16)의 평면과 교차하지 않고 일어나게 되는데, 즉 그 평면과의 교차점은 유리하게도 도 8b 에서 실질적으로 상호작용 표면(16)의 좌측에 있으며, 이러한 교차점에 의해, 상호작용 표면(16)에서 되반사되는 거울 반사 성분은 조명 필드의 폭을 증가시키지 않을 것이며, 따라서 그 폭은 전방 광선(31) 및 상호작용 표면(16)에 의해 효과적으로 제한된다.
본 발명으로 제공되는 상기한 이들 5개의 유리한 특성에 따라, 관련된 세기를 가능한 한 높게 유지하기 위해 가능한 한 좁게 초점 맞춰지며 또한 상호작용 표면(16)에 실질적으로 평행하거나 또는 그 표면에 약간 수렴하고 또한 그 표면에 의해 제한되는 광 비임(5)이 유리하게 퍼지는데, 즉 부채형이며, 조명부(2)에 대응하는 적어도 하나의 부채형 광 비임 평면 발생부로부터 상호작용 표면(16) 위에 분산되고 그 표면을 비추며, 그래서 상호작용 표면(16)과 접촉하는 또는 같은 말로는 그 표면을 터치하는 물체(25)의 일 부분이 개별적으로 제한되어 비춰진다.
도 8c 에는 도 7 및 도 8a 에서와 같은 관련된 광학 시스템의 일 예가 나타나 있는데, 상호작용 표면(16) 위쪽의 상호작용 공간(7)에서의 위치 및/또는 "호버링 상태" 및/또는 호버 레벨을 검출하기 위한 부채형 광 비임 평면을 생성하기 위한 광선의 예 및 확대된 소스 이미지가 나타나 있다. 조명 소스(11)( 예컨대, 발광 다이오드(LED))는 직경 D = 25 mm의 원을 따라 배치되어 있다. 복수의 조명 소스(11)가 선택적으로 주변을 따라 분산되어 있어, 초점 맞춰진 부채형 비임의 상이한 섹터들에서 높은 세기를 보장해 주고 또한 관련된 열 소산을 도와 준다. 단지 하나의 중앙 조명 소스가 선택적으로 사용되며, 그러면 원추형 거울(9)의 각도를 변경하여 광학 기구를 약간 수정해야 하고 중앙 배플(19)을 만들고 배플(44, 29)을 조정하여 광 평면의 광선을 제한하게 되며, 그래서 전형적인 이러한 조명 소스(11)의 방사 선도에서 0°(천정)에서 일반적으로 관찰되는 최대 세기가 최적으로 이용되지 않고 파워 소산이 더 많이 집중되어 결국에 너무 많은 열을 발생시킬 수 있다. 조명 소스(11)의 등가 크기(27)(또는 인지 크기(27))는 이미징 시스템에 의해 확대되어 도 7 또는 도 8a 에서와 같은 초점 맞춰진 이미지(18)(등가 조명 소스 크기(27) 보다 S1/S2 배 더 크다)를 생성하게 되며, 여기서 S2 는 소스(11)로부터 렌즈(10)까지의 거리이고 S1 은 렌즈(10)로부터 거울(9)을 지나 이미지(18)까지의 거리이고, 그 이미지는 화살표 기호 "41" 및 "39" 로 나타나 있다. 그러므로, 조명 소스(11)의 등가 크기(27)는 충분히 얇은 부채형 광 비임 평면을 만드는데 있어 중요한 제한 인자이다. 높은 파워 소산과 높은 조명 세기를 위한 중앙 집중식 조명 소스(11)는 일반적으로 더 큰 등가/인지 소스 크기(27)를 갖는 경향이 있는데, 이는 부채형 광 비임 평면이 이러한 구성에서 더 두껍게 되는 경향이 있게 될 것임을 의미한다.
도 8c 를 더 참조하면, 배플(19)의 주 목적은 인지 소스 크기(27)를 갖는 각각의 조명 소스(11)에서 나오는 광선이 볼록 렌즈(10)의 반대쪽 부분을 비추는 것을 막기 위한 것, 즉 광선이 렌즈(10)와 원추형 거울(9)의 공통 광학축(28)과 교차하는 것을 방지하기 위한 것이다. 상호작용 표면(16) 위의 상호작용 공간(7) 내에서 위치 및/또는 "호버링"을 검출하거나 호버 레벨을 결정하기 위해 표면(16) 위의 물체(25)를 비추는 본 발명의 원리를 설명하기 위해, 소스 크기(27)를 갖는 조명 소스(11)에서 나오는 몇몇 예시적인 광선(31, 34, 36, 42, 43)이 그려져 있다. 인지 소스 크기(27)를 갖는 광 소스(11)는 거리(S1)에서 초점이 맞춰지며, 이때 S1/S2의 배율로 확대된 이미지가 나타난다(두개의 화살표 기호 "41" 및 "39"로 도시되어 있음).
또한, 도 8c 를 참조하면, 예시적인 광선(34)은 소스 크기(27)를 갖는 소스(11)의 경계(소스 광선 제한 배플(19)을 통과하는 광학축(28)에서 가장 멀리 있는 경계)에서 나가는 가장 극 각도의 광선이고, 렌즈(10)의 주변에서 그 렌즈(10)를 통과하며, 직경이 최대인 원추형 거울(9)의 단부 근처에서 그 거울(9)에 부딪히게 되는데, 거울(9)에서의 반사 후에 상기 광선(34)은 후방 광선 제한 배플(30)을 지나 상호작용 표면(16) 위를 진행하며, 화살표(41)의 화살표 헤드로 나타나 있는 이미지 점에서, 소스(11)의 동일한 측에서 나와 배플(29)을 지나서 상호작용 표면(16) 위를 진행하는 다른 예시적인 극 각도의 광선(42)과 만나서 교차하게 된다. 이에 대응하여, 예시적인 광선(36)과 예시적인 전방 경계 광선(31)은 광학축(28)에 가장 가까운 소스(11)(소스 크기(27)를 가짐)의 경계에서 나와서 초점 맞춰진 이미지(39)의 화살표 끝에서 서로 만나 교차하게 될 것이다.
본 발명의 이러한 구성의 이점은 도 8c 에 도시되어 있다. 첫째, 비임을 상호작용 표면(16)의 평면에 실질적으로 평행하게 정렬되도록 초점 맞춤으로써, 도 8c 에서 좌측으로 상호작용 표면(16)의 먼 끝에 있는 조명 소스의 이미지("39" 및 "41"로 표시된)가 빔의 폭을 한정한다. 둘째, 초점 맞춤에 의해 세기는 도 8b에서 좌측으로 가장 먼 끝에서 너무 많이 저하하지 않고 상호작용 표면(16)에 걸쳐 가능한 한 최고의 세기 레벨을 유지하고, 부채형 광 비임의 광선이 원추형 거울(9)로부터 원형으로 퍼지고 또한 원형 퍼짐이 거울(9)로부터 멀어짐에 따라 비임 세기를 하나로 감소시킨다. 셋째, 원추형 거울(9)의 적절한 거울 각도를 선택해 대칭축(35)의 각도를 조절하여, 전방 경계 또는 후방 경계 또는 대칭축이 상호작용 표면(16)과 평행하게 되어 호버 레벨의 결정이 최적화된다. 마지막으로 넷째, 전방 광선 제한 배플(29) 및 후방 광선 제한 배플(44)을 조절하여, 거울(9)에 가깝고 상호작용 표면 위로 들어가는 초점 맞춰진 비임의 폭이 효과적으로 제한된다.
본 발명의 상기한 이들 유리한 특성에 따라, 세기를 가능한 한 높게 유지하기 위해 가능한 한 좁게 초점 맞춰지며 또한 상호작용 표면(16)에 실질적으로 평행한 광 비임(26)이 유리하게 퍼지는데, 즉 부채형으로서, 조명부(2)에 대응하는 적어도 하나의 부채형 광 비임 평면 발생부로부터 상호작용 표면(16) 위에 분산되고, 그래서 상호작용 표면(16) 위에서 특정 호버 레벨에 있는, 즉 "호버링 모드"에 있는 물체(25)의 일 부분이 개별적으로 제한되어 비춰진다.
도 9 를 참조하면, 본 발명을 위한 초점 맞춰진 부채형 비임 발생부(조명부(2)에 대응함)의 일 예시적인 구성이 도시되어 있는데, 여기서 원추형 거울(9)과 볼록 렌즈(10) 및 조명 소스(11)는 하우징/인클로저(14) 안에 설치되고 상기한 원리에 따라 광 평면의 "전방 경계(12)"와 "후방 경계(13)" 내에서 상호작용 표면(16)을 따라 부채형 광 비임 평면(5)을 생성할 수 있다.
도 8a 에서와 같은 제조된 원추형 거울의 일 예시적인 구성이 도 10 에 도시되어 있다. 이 원추형 거울의 각도는 46.65°이고 그의 직경은 D = 50 mm 이다. 상기 거울은 선택적으로 다양한 종류의 금속, 예컨대 알루미늄으로 만들어지거나, 그 거울은 선택적으로 플라스틱 재료를 사용하여, 예컨대 주조품을 만들기 위한 사출 성형 공정을 사용하여 만들어지며, 이어서 예컨대 진공 증착된 알루미늄을 사용해 그 주조품을 금속화한다.
다음 도 11 을 참조하면, 조명부(2)에 대응하는 여러 개의 부채형 광 비임 발생부를 사용하는 본 발명의 일 예시적인 구성이 나타나 있는데, 여기서 원추형 거울(9)과 볼록 렌즈(10) 및 조명부(11)는 하우징/인클로저(14)에 설치되고, 각각의 광 평면에 대해 "전방 경계"(12) 및 "후방 경계"(13) 내에서 여러 부채형 광 비임 평면(5, 26)을 상호작용 표면(16)을 따라 전술한 원리로 생성할 수 있으며, 광 평면(5)은 X-Y 위치 및/또는 접촉(터치)을 결정하기 위해 전술한 바와 같이 배치되며, 다른 광 평면(26)은 X-Y 위치 및/또는 호버링 및/또는 호버링 레벨을 결정하기 위해 전술한 바와 같이 배치된다.
본 발명을 위한 조명부(2)로서 부채형 광선 발생부의 일 예시적인 구성을 도 9 에서와 같이 위에서 본 것이 도 12 에 나타나 있는데, 그 부채형 광선 발생부는 상호작용 표면(16) 위쪽에서 광 평면 광학 기구 설치부(17)로 벽(15)에 설치된다. 유사하게, 하지만 후방 투사 또는 평면 스크린 시스템을 위해, 도 13 에는 본 발명을 위한 조명부(2)를 실현하기 위한 부채형 광 비임 발생부의 일 예시적인 구성이 도 9 에서와 같이 위에서 본 것으로 도시되어 있다. 도 9 에서, 인클로저(14)를 갖는 상기 발생부는 상호작용 표면(16) 위쪽에 설치되며, 광 평면 광학 기구가 후방 투사 시스템에 설치되어 있으며, 그래서 벽 및/또는 상호작용 표면(16)을 관통하는 구멍(7)이 있으며, 상기 발생부의 좌측 부분만이 상호작용이 수행되는 상호작용 표면(16)과 벽의 측면으로 연장되어 있다.
전술한 바와 같은 초점 맞추기를 수행하고 상호작용 표면(16) 위에 부채형 광 비임을 퍼지게 하기 위한 곧은 원추형 거울(9)과 볼록 렌즈(10)를 사용하는 대신에, 도 14 에는 도 9 와 유사한 기능을 갖지만, 초점 맞춤 기능과 수직으로 퍼지게 하는 기능을 하나의 광학 요소에 결합하기 위해 오목한 원추형 거울(20)을 사용하는, 조명부(2)를 위한 부채형 광 비임 발생부의 일 예시적인 구성이 도시되어 있다. 이러한 광학 요소는 유리하게는 도 10 에 나타나 있는 원추형 거울을 만드는데 사용되는 것과 유사한 방법을 사용해 만들어진다. 상기 요소는 선택적으로는 다양한 종류의 금속, 예컨대 알루미늄으로 만들어지거나 또는 그 요소는 사출 성형을 사용하여 플라스틱 재료로 만들어지며, 이어서 예컨대 진공 증착된 알루미늄 및/또는 전기도금 공정을 사용해 플라스틱 부분을 금속화한다.
조명부(2)에 대응하는 부채형 광 비임 발생부에 의해 발생된 부채형 광 비임은 섹터로 퍼지기만 하면 되므로, 조명 소스는 완전한 원으로 균일하게 분포될 필요는 없다. 도 15 에는, 도 7 ∼ 14 에서 처럼 원추형 거울의 구현을 위해 조명 소스(11)가 선택적으로 배치되는 방식의 일 예시적인 구성이 도시되어 있다.
도 16 에는, 조명부(2)에 대응하는 초점 맞춰진 부채형 광 비임 발생부를 사용하는 시스템의 일 예시적인 구성의 측면도가 도시되어 있다. 이 시스템은 유리하게는 하우징 인클로저(14) 안에 설치되는 원통형 렌즈(21)와 볼록 렌즈(10) 및 복수의 조명 소스(11)를 더 포함한다. 조명 소스(11)는, 렌즈(10)로 전파하여 더욱 평행하게 된 비임을 제공하는 빛을 발할 수 있으며, 그리고 그 비임은 원통형 렌즈(21)를 통과하여, 상호작용 표면(16)과 관련된 상호작용 공간(7)을 비추는 부채형 광 비임을 발생시킨다.
도 17 에는, 조명부(2)에 대응하는 부채형 광 비임 발생부를 실현하기 위한 시스템의 일 예시적인 구성을 위에서 본 것이 도시되어 있다. 이 예시적인 구성은, 경계(22)에 의해 주어지는 각도 내에서 볼록 렌즈(10)의 주축을 따라 부채형 광 비임 평면(5, 26)을 발생시키기 위해 유리하게는 하우징부/인클로저(14) 안에 설치되는 조명 소스(11)와 함께 원통형 렌즈(21) 및 볼록 렌즈(10)를 더 포함한다. 작동시, 소스(11)에서 방출된 빛은 렌즈(10)로 전파하며 이 렌즈에서 빛은 더욱 평행하게 되고 이어서 원통형 렌즈(21)를 통과하여 부채형 광 비임 평면(5, 26)을 발생시킨다. 도 18 에는, 도 17 에 대안적인 예시적 구성이 도시되어 있는데, 하지만 여기서 축은 평면 거울(23)을 사용해 기울어져 있다. 도 19 에는, 도 17 과 유사한 일 예시적인 구성이 도시되어 있지만, 여기서는 45°각도로 배치된 평면 거울(23)을 사용해 축이 90°만큼 방향 전환되어 있는데, 즉 수직하게 되어 있다.
도 20 에는, 보다 이상적인 공간적 특성을 갖는 더 넓은 부채형 광 비임 평면(5, 26)을 발생시키기 위해 도 17, 18 및 19 의 실시 형태들을 함께 두어 이루어진 일 예시적인 구성이 나타나 있다. 도 20 의 예시적인 구성에서, 좌측, 중앙 및 우측 조명부(2)들이 있는데, 여기서 중앙 조명부(2)는 축이 광 평면(5, 26)에 대칭이 되게 배치된 렌즈(21)를 가지며, 좌측 및 우측 조명부(2)들의 렌즈(21)는 중앙 조명부(2)의 렌즈(21)에 대해 실행 각도, 예컨대 20°∼ 80°로 있다.
도 21 에는, 전체 상호작용 표면(16)을 덮는 더 넓은 부채형 광 비임 평면(5, 26)을 발생시키도록 함께 있는 도 17, 18 및 19 의 실시 형태들을 포함하는 일 예시적이 구성이 도시되어 있다. 조명부(2)의 인클로저(14)는 도 20 에 도시되어 있는 것 보다 상대적으로 길게 되어 있으며, 도 21 의 조명부(2)에서 나온 광선의 필드는 도시되어 있는 바와 같이 작동시 겹치도록 배치된다. 인클로저가 더 길면, 소스(11)의 배율이 더 작아지며 조명 층은 더 얇아지게 된다. 도 21 에서 인클로저를 더 길게 하는 것에 대한 대안으로, 소스(11)의 배율을 더 크게 하여 조명 층을 더 두껍게 하기 위해 도 22 에서는 인클로저(14)가 더 짧게 되어 있다.
도 23 에는, 도 17, 18 및 19와 실질적으로 유사한 실시 형태들이 함께 결합되어, 전체 상호작용 표면(16)을 비추기 위한 부채형 광 비임 평면(5, 26)을 발생시키는 일 예시적인 구성이 도시되어 있다. 도 23 의 예시적인 구성은 우측, 중앙 및 좌측 조명부(2)를 포함하며, 이들 조명부 각각의 인클로저(14)의 중심 축선은 도시되어 있는 바와 같이 서로 평행하게 배치된다. 예컨대, 도 23 에 있는 조명부(2)는 인클로저(14)의 중심 축선이 사용시 수직으로 배향되도록 유리하게 설치되어 있다.
도 24 에는, 일 코너로부터 상호작용 표면(16)의 일 부분을 덮기 위한 부채형 광 비임 평면(5, 26)을 발생시키기 위해 오목한 원통형 거울을 사용하여 조명부(2)를 만든 일 예시적인 구성이 도시되어 있다.
도 25 에는, 상기한 조명부(2)에 바탕을 두고 있지만, 상호작용 표면(16)의 상부 코너로부터 상호작용 표면(16)을 덮는 부채형 광 비임 평면(5, 26)을 발생시키기 위해 오목한 원통형 거울을 사용하는 조명부(2)의 일 예시적인 구성이 도시되어 있다. 더욱이, 도 26 에는, 도 16 ∼ 25 에 근거한 원통형 렌즈 및 원통형 거울을 위해 조명 소스(11)들이 배치되어 있는 방식의 일 예시적인 구성이 나타나 있다.
첨부된 청구 범위로 규정되어 있는 바와 같은 본 발명의 범위에서 벗어 남이 없이 전술한 본 발명의 실시 형태들에 대한 수정들이 가능하다. "포함하는", "이루어진", "갖는" 이라는 표현은, 본 발명은 비배타적으로 해석되는 것임을, 즉 명시되어 있지 않은 물품, 구성품 또는 요소도 존재할 수 있음을 설명하고 주장하기 위해 사용되는 것이다. 단수형 표현은 복수형 표현에도 관련된 것으로 해석되어야 한다. 첨부된 청구 범위에서 괄호 안에 포함된 숫자는 청구 범위의 이해를 돕기 위한 의도이지 이들 청구 범위로 청구되는 내용을 제한하는 것으로 해석되어서는 결코 아니 된다.
Claims (25)
- 상호작용 표면 앞에서 하나 이상의 물체의, 위치 및 자세 중 적어도 하나를 결정하기 위한 카메라 기반 멀티 터치 상호작용 시스템으로서,
가시광선 및 근적외선 중 적어도 하나의, 하나 이상의 평면 부채형 광 비임을 발생시키기 위한 조명 장치로서, 상기 하나 이상의 평면 부채형 광 비임은 상기 상호작용 표면을 따라서 방사되는 조명 장치;
카메라 장치의 시야내에서 상호작용 표면을 감지하여 대응하는 신호를 발생시키기 위한 카메라 장치; 및
상기 카메라 장치에서 발생되는 신호에 근거하여, 상기 상호작용 표면 앞에서 상기 하나 이상의 평면 부채형 광 비임에 의해 비추어지는 상기 하나 이상의 물체의, 위치 및 자세 중 적어도 하나를 계산하기 위한 계산부를 포함하며,
상기 하나 이상의 부채형 광 비임은, 상기 하나 이상의 부채형 광 비임의 평면이 상기 상호작용 표면에 평행하도록 형성되며,
상기 하나 이상의 부채형 광 비임이 상기 상호작용 표면의 평면에 수직한 방향으로 일정한 두께를 갖도록 하나 이상의 부채형 광 비임이 상기 방향으로 초점 맞춰지며,
상기 조명 장치는, 상기 상호작용 표면에 대한 상기 하나 이상의 물체의 터치, 상호작용 표면에 대한 상기 하나 이상의 물체의, 호버링 및 호버링 레벨 중 적어도 하나의 결정을 향상시키기 위해 세기가 선택적으로 조절될 수 있는 광 소스를 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 하나 이상의 부채형 광 비임은 상기 상호작용 표면을 비추도록 배치되는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 시스템은 상기 상호작용 표면에 대한 상기 하나 이상의 물체의 호버링(hovering) 위치를 검출하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 조명 장치는 복수의 부채형 광 비임을 발생시키며, 각각의 광 비임은 상기 상호작용 표면 부근에서 대응하는 공간적 영역을 비추도록 배치되며, 따라서 부채형 광 비임의 상기 대응하는 공간적 영역은 상기 상호작용 표면 부근에서 전체 영역에 대한 연속적인 조명을 가능하게 해주는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 하나 이상의 광 비임은 작용시 상기 상호작용 표면 그 자체가 아닌, 상기 상호작용 표면에 인접한 공간을 비추도록 배치되는 카메라 기반 멀티 터치 상호작용 시스템. - 삭제
- 제 1 항에 있어서,
상기 광 소스는 선택적으로 온 또는 오프로 되는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 광 소스는 상기 하나 이상의 물체의 움직임을 효과적으로 정지시키기 위해 상기 카메라 장치의 작용 감지 기간 내에서 플래싱 모드로 작동할 수 있는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 카메라 장치는 방사선의 파장에 따라 상기 카메라 장치의 센서가 받을 방사선을 선택적으로 차단하거나 통과시키는 하나 이상의 광학 필터를 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 9 항에 있어서,
상기 하나 이상의 광학 필터는, 상기 조명 장치에서 방출되는 빛과 동일한 파장 범위를 가지며 상기 하나 이상의 물체에 의해 차단되는 빛을 통과시켜 카메라 장치로 가게 하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 9 항에 있어서,
상기 하나 이상의 광학 필터는 프로젝터 또는 평면 스크린에서 오는 이미지를 상기 상호작용 표면에서 캡쳐하기 위해 가시광만 통과시키는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 조명 장치는 근적외선 파장의 방사선을 포함하는 하나 이상의 광 비임을 발생시키기 위한 복수의 광 소스를 포함하고, 상기 카메라 장치는, 가시광선 파장을 차단하고 근적외선 파장은 투과시켜 햇빛, 실내 조명, 프로젝터에서 나오는 빛, 디스플레이 빛 중의 하나 이상을 포함하는 다른 광 소스에 대한 상기 시스템의 민감성을 줄여 주는 하나 이상의 광학 필터를 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 시스템은 새로운 장비에 통합되거나 기존의 장비에 개장되고 이러한 장비를 상호작용성 있게 만들어 주는 카메라 기반 멀티 터치 상호작용 시스템. - 제 13 항에 있어서,
상기 시스템은 전방 또는 후방 투사 장치로 되어 있는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 시스템은 LCD, OLED, LED, CRT 중의 적어도 하나를 포함하는 스크린 설치부 또는 프로젝터 벽 설치부 상에 작동가능하게 설치되거나 그에 통합되는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 조명 장치는 하나 이상의 인클로저를 포함하고, 관련된 조명 광학 요소들을 위한 상기 인클로저의 각각의 길이는, 하나 이상의 초점 맞춰진 부채형 광 비임의 상이한 층들이 충분히 얇게 되어 상기 상호작용 표면에 대한 상기 하나 이상의 물체의 터치 및 Z-방향 제스쳐에 대한 상기 시스템의 정확도 및 해상도를 증가시키도록 배치되어 있는 카메라 기반 멀티 터치 상호작용 시스템. - 제 16 항에 있어서,
상기 조명 장치는 상기 상호작용 표면의 평면에 수직인 방향으로 하나 이상의 부채형 광 비임의 두께를 더 줄이기 위해 근적외선을 방출시킬 수 있는 하나 이상의 발광 레이저 다이오드를 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 카메라 장치는 CCD 또는 CMOS 픽셀 센서를 사용하여 구현되고, 조명 장치는 근적외선 LED, 및 이 근적외선을 투과 및 반사 중 어느 하나를 수행시키거나, 또는 이 근적외선을 투과 및 반사 양자(both)를 수행시키는 관련된 광학 요소를 사용하여 구현되는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 조명 장치는,
투과되는 방사선을 초점 맞추기 위한 볼록 렌즈;
하나 이상의 초점 맞춰진 부채형 광 비임의 섹터에서 집중된 방사선 세기를 보장해 주고 또한 관련된 열 소산을 분산시키는 것을 도와 주기 위해 상기 렌즈의 중심 축선에 중심을 두고 있는 원의 주변의 일 부분을 따라 분산되어 배치되는 복수의 조명 소스;
상기 조명 소스로부터의 조명을 상기 볼록 렌즈의 직경의 절반으로 제한하는 배플; 및
대칭축을 상기 상호작용 표면에 평행하게 변화시키는 원추형 거울을 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 19 항에 있어서,
상기 원추형 거울은 형성되는 부채형 광 비임의 광학 대칭축을 상기 상호작용 표면 쪽으로 기울어지게 하는 반사 표면 각도를 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 19 항에 있어서,
상기 배플은 인지 소스 크기를 갖는 조명 장치의 각각의 조명 소스에서 나오는 광선이 볼록 렌즈의 반대쪽 부분을 비추는 것을 막도록 배치되며, 그리하여 광선이 렌즈와 원추형 거울의 공통 광학축과 교차하는 것을 방지하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 19 항에 있어서,
상기 조명 장치는 하나 이상의 부채형 광 비임을 발생시키기 위해 사용되는 광 소스의 축이 상기 볼록 렌즈의 중심 축선에 정렬되지 않는 것에 대해 반사 표면 각도가 보상하도록 배치되어 있는 원추형 거울을 더 포함하는 카메라 기반 멀티 터치 상호작용 시스템. - 제 1 항에 있어서,
상기 하나 이상의 부채형 광 비임은 관련된 전방 경계를 가지며, 이 전방 경계는 후방 경계가 본질적으로 상기 상호작용 표면에 의해 경계지도록 전체 상호작용 표면에 대응하는 영역을 비추기 위해 상호작용 표면에서 충분히 떨어져 있는 카메라 기반 멀티 터치 상호작용 시스템. - 삭제
- 상호작용 표면 앞에서 하나 이상의 물체의, 위치 및 자세 중 적어도 하나를 결정하기 위한 카메라 기반 멀티 터치 상호작용 시스템을 사용하는 방법으로서,
상기 시스템은,
가시광선 및 근적외선 중 적어도 하나의, 하나 이상의 평면 부채형 광 비임을 발생시키기 위한 조명 장치로서, 상기 하나 이상의 평면 부채형 광 비임은 상기 상호작용 표면을 따라서 방사되는 조명 장치;
상기 카메라의 시야내에서 상기 상호작용 표면을 감지하여 대응하는 신호를 발생시키기 위한 카메라 장치; 및
상기 카메라 장치에서 제공되는 신호에 근거하여, 상기 상호작용 표면 앞에서 상기 하나 이상의 평면 부채형 광 비임에 의해 비추어지는 상기 하나 이상의 물체의, 위치 및 자세 중 적어도 하나를 계산하기 위한 계산부를 포함하는, 상기 방법에 있어서,
상기 하나 이상의 부채형 광 비임을, 상기 하나 이상의 부채형 광 비임의 평면이 상기 상호작용 표면에 평행하도록 형성하는 단계;
상기 하나 이상의 부채형 광 비임이 상기 상호작용 표면의 평면에 대하여 수직으로 일정한 두께를 갖도록 하나 이상의 부채형 광 비임을 상기 상호작용 표면의 평면에 수직한 방향으로 초점을 맞추는 단계; 및
상기 조명 장치로 하여금, 상기 상호작용 표면에 대한 상기 하나 이상의 물체의 터치, 상호작용 표면에 대한 상기 하나 이상의 물체의, 호버링 및 호버링 레벨 중 적어도 하나의 결정을 향상시키기 위해, 상기 조명 장치에 포함된 광 소스의 세기를 선택적으로 조절하도록 동작시키는 단계
를 포함하는 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US41611610P | 2010-11-22 | 2010-11-22 | |
| US61/416,116 | 2010-11-22 | ||
| GB1021212.4 | 2010-12-14 | ||
| GB1021212.4A GB2487043B (en) | 2010-12-14 | 2010-12-14 | Camera-based multi-touch interaction and illumination system and method |
| PCT/NO2011/000329 WO2012070950A1 (en) | 2010-11-22 | 2011-11-22 | Camera-based multi-touch interaction and illumination system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140003448A KR20140003448A (ko) | 2014-01-09 |
| KR101831350B1 true KR101831350B1 (ko) | 2018-02-22 |
Family
ID=43567187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137016209A KR101831350B1 (ko) | 2010-11-22 | 2011-11-22 | 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9996197B2 (ko) |
| JP (1) | JP6078884B2 (ko) |
| KR (1) | KR101831350B1 (ko) |
| CN (1) | CN103329079B (ko) |
| BR (1) | BR112013015280A2 (ko) |
| DE (1) | DE112011103849T5 (ko) |
| GB (1) | GB2487043B (ko) |
| NO (1) | NO20130843A1 (ko) |
| RU (1) | RU2579952C2 (ko) |
| WO (1) | WO2012070950A1 (ko) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9041689B1 (en) * | 2012-08-02 | 2015-05-26 | Amazon Technologies, Inc. | Estimating fingertip position using image analysis |
| US10234941B2 (en) | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
| JP6127465B2 (ja) * | 2012-11-20 | 2017-05-17 | 株式会社リコー | 情報処理装置、情報処理システム及びプログラム |
| WO2014169225A1 (en) * | 2013-04-12 | 2014-10-16 | Iconics, Inc. | Virtual touch screen |
| US20140368442A1 (en) * | 2013-06-13 | 2014-12-18 | Nokia Corporation | Apparatus and associated methods for touch user input |
| CN103324292B (zh) * | 2013-07-12 | 2016-01-13 | 荣滋东 | 一种凸透镜主光轴指向目标实时定位的方法及装置 |
| JP2015060296A (ja) * | 2013-09-17 | 2015-03-30 | 船井電機株式会社 | 空間座標特定装置 |
| WO2015047401A1 (en) | 2013-09-30 | 2015-04-02 | Hewlett-Packard Development Company, L.P. | Projection system manager |
| US10025430B2 (en) * | 2013-10-08 | 2018-07-17 | Maxell, Ltd. | Projection type image display device, manipulation detection device and projection type image display method |
| CN103729096A (zh) * | 2013-12-25 | 2014-04-16 | 京东方科技集团股份有限公司 | 交互识别系统以及显示装置 |
| JP6222830B2 (ja) * | 2013-12-27 | 2017-11-01 | マクセルホールディングス株式会社 | 画像投射装置 |
| GB2522248A (en) * | 2014-01-20 | 2015-07-22 | Promethean Ltd | Interactive system |
| JP6387644B2 (ja) * | 2014-01-21 | 2018-09-12 | セイコーエプソン株式会社 | 位置検出装置、位置検出システム、及び、位置検出方法 |
| TWI509487B (zh) | 2014-04-25 | 2015-11-21 | Coretronic Corp | 互動觸控系統及光源裝置 |
| KR101646562B1 (ko) * | 2015-03-09 | 2016-08-08 | 주식회사 알엔디플러스 | 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치 |
| KR102233090B1 (ko) * | 2015-05-19 | 2021-03-26 | 에스케이텔레콤 주식회사 | 터치입력인식장치 및 터치입력인식장치의 동작 방법 |
| JP6544073B2 (ja) * | 2015-06-22 | 2019-07-17 | セイコーエプソン株式会社 | 画像表示システムおよび画像表示方法 |
| CN106325610B (zh) * | 2015-06-30 | 2019-06-11 | 中强光电股份有限公司 | 触控显示系统、触控装置与触控显示方法 |
| US10289239B2 (en) | 2015-07-09 | 2019-05-14 | Microsoft Technology Licensing, Llc | Application programming interface for multi-touch input detection |
| JP6596501B2 (ja) | 2015-10-07 | 2019-10-23 | マクセル株式会社 | 映像表示装置およびこれに用いる操作検出方法 |
| CN107085493A (zh) | 2016-02-16 | 2017-08-22 | 中强光电股份有限公司 | 触控式投影系统及其触控灵敏度的调整方法 |
| US20180059863A1 (en) * | 2016-08-26 | 2018-03-01 | Lenovo (Singapore) Pte. Ltd. | Calibration of pen location to projected whiteboard |
| US9729127B1 (en) | 2016-08-30 | 2017-08-08 | International Business Machines Corporation | Analog controlled signal attenuation |
| CN106371594A (zh) * | 2016-08-31 | 2017-02-01 | 李姣昂 | 一种双目红外视觉便携式手势操控投影系统和方法 |
| CN106371593B (zh) * | 2016-08-31 | 2019-06-28 | 李姣昂 | 一种投影交互式书法练习系统及其实现方法 |
| CN110235447B (zh) * | 2017-01-19 | 2023-03-28 | 索尼互动娱乐股份有限公司 | 图像传送装置 |
| CN107390955B (zh) * | 2017-07-19 | 2020-07-28 | 广东美的制冷设备有限公司 | 家用电器及其控制系统和方法及红外激光多点触控装置 |
| PL422791A1 (pl) * | 2017-09-08 | 2019-03-11 | Sle Spółka Z Ograniczoną Odpowiedzialnością | Urządzenie do wyświetlania multimediów |
| US20190361569A1 (en) * | 2018-03-28 | 2019-11-28 | Ubi interactive inc. | Interactive screen devices, systems, and methods |
| CN109271066A (zh) * | 2018-08-30 | 2019-01-25 | 苏州腾邦科技有限公司 | 可同时书写和录播的电子白板 |
| KR102174464B1 (ko) * | 2018-10-08 | 2020-11-05 | 주식회사 토비스 | 공간 터치 감지 장치 및 이를 포함하는 표시 장치 |
| US20220360755A1 (en) * | 2020-10-23 | 2022-11-10 | Ji Shen | Interactive display with integrated camera for capturing audio and visual information |
| US20230113359A1 (en) * | 2020-10-23 | 2023-04-13 | Pathway Innovations And Technologies, Inc. | Full color spectrum blending and digital color filtering for transparent display screens |
| KR102571965B1 (ko) * | 2020-12-16 | 2023-08-30 | 주식회사 이미지마이닝 | 레이저 및 카메라를 이용한 인터렉티브 시스템 및 인터렉티브 영상 제공 방법 |
| KR102615580B1 (ko) * | 2023-02-06 | 2023-12-21 | 주식회사 에이치디엠 | 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000132340A (ja) | 1998-06-09 | 2000-05-12 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP2002333312A (ja) | 2001-05-09 | 2002-11-22 | Sumitomo Rubber Ind Ltd | 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法 |
| JP2004523031A (ja) * | 2001-01-08 | 2004-07-29 | ヴィーケービー インコーポレイテッド | データ入力装置 |
| JP2011043986A (ja) | 2009-08-21 | 2011-03-03 | Seiko Epson Corp | 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3673327A (en) * | 1970-11-02 | 1972-06-27 | Atomic Energy Commission | Touch actuable data input panel assembly |
| US5297061A (en) * | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
| US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| JP3876942B2 (ja) * | 1997-06-13 | 2007-02-07 | 株式会社ワコム | 光デジタイザ |
| WO1999040562A1 (en) | 1998-02-09 | 1999-08-12 | Joseph Lev | Video camera computer touch screen system |
| JP2000105671A (ja) * | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP3670896B2 (ja) * | 1999-08-06 | 2005-07-13 | 日立ソフトウエアエンジニアリング株式会社 | 電子ボードシステム |
| JP3640156B2 (ja) * | 2000-02-22 | 2005-04-20 | セイコーエプソン株式会社 | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
| ATE453147T1 (de) * | 2000-07-05 | 2010-01-15 | Smart Technologies Ulc | Verfahren für ein kamerabasiertes berührungssystem |
| WO2002021502A1 (en) | 2000-09-07 | 2002-03-14 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| NO20004514A (no) | 2000-09-11 | 2002-01-14 | Njoelstad Tormod | Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid |
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| US8456447B2 (en) * | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| CN100468303C (zh) * | 2003-02-14 | 2009-03-11 | 奈克斯特控股公司 | 触摸屏及光学探测物体相对于触摸屏是否存在的方法 |
| NO320062B1 (no) | 2003-11-19 | 2005-10-17 | New Interaction Devices And Te | Anordning til a detektere naerhet mellom et forste objekt (malobjekt) og et annet objekt (referanseobjekt), samt tegne-, skrive- og/eller pekeredskap for datapresentasjon etc. |
| US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| NO323926B1 (no) * | 2004-11-12 | 2007-07-23 | New Index As | Visuelt system samt styringsobjekt og apparat til bruk i systemet. |
| US7599561B2 (en) | 2006-02-28 | 2009-10-06 | Microsoft Corporation | Compact interactive tabletop with projection-vision |
| EP2011433A1 (en) | 2007-07-05 | 2009-01-07 | INTERUNIVERSITAIR MICROELEKTRONICA CENTRUM vzw (IMEC) | An autonomous wireless system for evoked potential measurements |
| RU2362216C1 (ru) * | 2008-05-12 | 2009-07-20 | Михаил Герцевич Литманович | Устройство для трехмерной манипуляции |
| CN201331752Y (zh) | 2009-01-19 | 2009-10-21 | 杭州电子科技大学 | 一种多点触摸式人机交互装置 |
| KR20090038413A (ko) * | 2009-03-31 | 2009-04-20 | 동서대학교산학협력단 | 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법 |
| US20100277576A1 (en) * | 2009-04-29 | 2010-11-04 | David Fattal | Systems for Capturing Images Through a Display |
| US20110248958A1 (en) * | 2010-04-08 | 2011-10-13 | Qualcomm Mems Technologies, Inc. | Holographic based optical touchscreen |
-
2010
- 2010-12-14 GB GB1021212.4A patent/GB2487043B/en active Active
-
2011
- 2011-11-22 DE DE112011103849T patent/DE112011103849T5/de not_active Withdrawn
- 2011-11-22 BR BR112013015280A patent/BR112013015280A2/pt not_active Application Discontinuation
- 2011-11-22 US US13/814,831 patent/US9996197B2/en active Active
- 2011-11-22 JP JP2013539793A patent/JP6078884B2/ja not_active Expired - Fee Related
- 2011-11-22 KR KR1020137016209A patent/KR101831350B1/ko active IP Right Grant
- 2011-11-22 WO PCT/NO2011/000329 patent/WO2012070950A1/en active Application Filing
- 2011-11-22 RU RU2013128536/08A patent/RU2579952C2/ru active
- 2011-11-22 CN CN201180065701.8A patent/CN103329079B/zh active Active
-
2013
- 2013-06-18 NO NO20130843A patent/NO20130843A1/no not_active Application Discontinuation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000132340A (ja) | 1998-06-09 | 2000-05-12 | Ricoh Co Ltd | 座標入力／検出装置および電子黒板システム |
| JP2004523031A (ja) * | 2001-01-08 | 2004-07-29 | ヴィーケービー インコーポレイテッド | データ入力装置 |
| JP2002333312A (ja) | 2001-05-09 | 2002-11-22 | Sumitomo Rubber Ind Ltd | 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法 |
| JP2011043986A (ja) | 2009-08-21 | 2011-03-03 | Seiko Epson Corp | 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112011103849T5 (de) | 2013-10-02 |
| US9996197B2 (en) | 2018-06-12 |
| JP2014517362A (ja) | 2014-07-17 |
| WO2012070950A1 (en) | 2012-05-31 |
| CN103329079B (zh) | 2016-08-24 |
| RU2579952C2 (ru) | 2016-04-10 |
| US20130135260A1 (en) | 2013-05-30 |
| BR112013015280A2 (pt) | 2017-09-26 |
| NO20130843A1 (no) | 2013-08-22 |
| GB201021212D0 (en) | 2011-01-26 |
| JP6078884B2 (ja) | 2017-02-15 |
| GB2487043A (en) | 2012-07-11 |
| CN103329079A (zh) | 2013-09-25 |
| KR20140003448A (ko) | 2014-01-09 |
| GB2487043B (en) | 2013-08-14 |
| RU2013128536A (ru) | 2014-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101831350B1 (ko) | 카메라 기반 멀티 터치 상호작용 및 조명 시스템과 방법 | |
| JP5950130B2 (ja) | カメラ式マルチタッチ相互作用装置、システム及び方法 | |
| US7168813B2 (en) | Mediacube | |
| CN101231450B (zh) | 多点及物体触摸屏装置及多点触摸的定位方法 | |
| US6478432B1 (en) | Dynamically generated interactive real imaging device | |
| JP6539816B2 (ja) | １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 | |
| US8060840B2 (en) | Orientation free user interface | |
| US8842076B2 (en) | Multi-touch touchscreen incorporating pen tracking | |
| US9268413B2 (en) | Multi-touch touchscreen incorporating pen tracking | |
| JP2010509582A (ja) | 物体の位置及び定位検出システム | |
| JP2008524697A (ja) | 画像の解釈 | |
| CN203217524U (zh) | 基于球形显示的多点触摸系统 | |
| Kudale et al. | Human computer interaction model based virtual whiteboard: A review | |
| Maierhöfer et al. | TipTrack: Precise, Low-Latency, Robust Optical Pen Tracking on Arbitrary Surfaces Using an IR-Emitting Pen Tip | |
| CN101183287A (zh) | 控制屏幕上光标的设备 | |
| CN103853387B (zh) | 一种显示装置、系统及坐标定位方法 | |
| NO20130840A1 (no) | Kamerabasert, multitouch interaksjons- og belysningssystem samt fremgangsmåte | |
| Rusnák | Interaction Methods for Large High-Resolution Screens |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |