KR20120011892A - 기구, 주방 및 가정의 제어 - Google Patents
기구, 주방 및 가정의 제어 Download PDFInfo
- Publication number
- KR20120011892A KR20120011892A KR1020117030372A KR20117030372A KR20120011892A KR 20120011892 A KR20120011892 A KR 20120011892A KR 1020117030372 A KR1020117030372 A KR 1020117030372A KR 20117030372 A KR20117030372 A KR 20117030372A KR 20120011892 A KR20120011892 A KR 20120011892A
- Authority
- KR
- South Korea
- Prior art keywords
- control
- camera
- computer
- screen
- image
- Prior art date
Links
- 235000013305 food Nutrition 0.000 claims abstract description 21
- 238000002360 preparation method Methods 0.000 claims abstract description 15
- 239000000463 material Substances 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 37
- 230000000694 effects Effects 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 239000012611 container material Substances 0.000 claims 1
- 230000006855 networking Effects 0.000 abstract description 5
- 230000003997 social interaction Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 57
- 239000007788 liquid Substances 0.000 description 38
- 210000003811 finger Anatomy 0.000 description 32
- 238000005406 washing Methods 0.000 description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 22
- 238000010411 cooking Methods 0.000 description 17
- 238000005520 cutting process Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 16
- 238000009835 boiling Methods 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 15
- 230000009471 action Effects 0.000 description 13
- 230000008901 benefit Effects 0.000 description 13
- 239000003814 drug Substances 0.000 description 13
- 230000003993 interaction Effects 0.000 description 13
- 235000014510 cooky Nutrition 0.000 description 12
- 239000011521 glass Substances 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 235000013372 meat Nutrition 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 239000008187 granular material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 229920003023 plastic Polymers 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 229940079593 drug Drugs 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 239000004033 plastic Substances 0.000 description 6
- 230000008961 swelling Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000003756 stirring Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 238000010414 shopping Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000003779 heat-resistant material Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 239000006187 pill Substances 0.000 description 3
- 235000013550 pizza Nutrition 0.000 description 3
- 239000004417 polycarbonate Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 2
- 241000212384 Bifora Species 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 2
- 239000004809 Teflon Substances 0.000 description 2
- 229920006362 Teflon® Polymers 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 239000011344 liquid material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229920001778 nylon Polymers 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000005297 pyrex Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 239000000057 synthetic resin Substances 0.000 description 2
- 229920003002 synthetic resin Polymers 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000036642 wellbeing Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 1
- 229920004142 LEXAN™ Polymers 0.000 description 1
- 239000004418 Lexan Substances 0.000 description 1
- 229920005479 Lucite® Polymers 0.000 description 1
- 241000935974 Paralichthys dentatus Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 241000876443 Varanus salvator Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000004851 dishwashing Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003670 easy-to-clean Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- ZUFVXZVXEJHHBN-UHFFFAOYSA-N hydron;1,2,3,4-tetrahydroacridin-9-amine;chloride Chemical compound [Cl-].C1=CC=C2C([NH3+])=C(CCCC3)C3=NC2=C1 ZUFVXZVXEJHHBN-UHFFFAOYSA-N 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003678 scratch resistant effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 229960001685 tacrine Drugs 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 235000012773 waffles Nutrition 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 235000015041 whisky Nutrition 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C15/00—Details
- F24C15/20—Removing cooking fumes
- F24C15/2021—Arrangement or mounting of control or safety systems
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
- F24C7/00—Stoves or ranges heated by electric energy
- F24C7/08—Arrangement or mounting of control or safety devices
- F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
- G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
- G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
- G01F23/284—Electromagnetic waves
- G01F23/292—Light, e.g. infrared or ultraviolet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B6/00—Heating by electric, magnetic or electromagnetic fields
- H05B6/64—Heating using microwaves
- H05B6/6435—Aspects relating to the user interface of the microwave heating apparatus
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
- A47L15/0063—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control using remote monitoring or controlling of the dishwasher operation, e.g. networking systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23031—Simulate control panel to give remote instructions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2643—Oven, cooking
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B2213/00—Aspects relating both to resistive heating and to induction heating, covered by H05B3/00 and H05B6/00
- H05B2213/04—Heating plates with overheat protection means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Fluid Mechanics (AREA)
- Thermal Sciences (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
개시된 발명은 일반적으로 가정에서의 기기들의 제어, 그리고 오디오 시스템들 및 인터넷 소스들과의 그것들의 네트워킹 및 접속 그리고 접속되는 방식으로의 이들 요소들의 통합의 분야에 있다. 바람직한 장치는 일반적으로 비디오 투영 시스템 및 하나 이상의 TV 카메라를 이용한다. 본 발명의 실시예들은 주방에서의 사람들의 소셜 상호작용 및 즐거움을 강화하고 음식 준비의 작업을 줄이기 위해 이용될 수 있다. 본 발명은 집의 많은 방들에서 이용될 수 있고, 그 안의 노인들 및 다른 사람들의 웰빙(well being)에 기여한다.
Description
<관련 출원들의 상호 참조>
본원은 2008년 5월 20일자로 출원된 미국 가출원 제61/054,643호(Meal Preparation and Appliance Control)의 이익을 주장한다.
본원은 본원과 함께 계류중인 2009년 1월 23일자로 출원된 제12/358,404호; 2007년 10월 31일자로 출원된 제11/980,722호; 2007년 10월 31일자로 출원된 제11/980,721호; 2007년 10월 31일자로 출원된 제11/980,710호; 2007년 8월 1일자로 출원된 제11/832,134호; 2005년 11월 15일자로 출원된 제11/272,868호; 2005년 1월 31일자로 출원된 제11/045,131호; 및 2004년 9월 7일자로 출원된 제10/934,762호의 부분 계속 출원이며, 이들의 명세서들은 본 명세서에 참고로 반영된다.
본원은 본원과 함께 계류중인 2007년 10월 31일자로 출원된 제11/980,718호; 2007년 10월 31일자로 출원된 제11/980,715호; 2007년 9월 10일자로 출원된 제11/852,690호; 2006년 7월 31일자로 출원된 제11/495,666호; 2006년 5월 24일자로 출원된 제11/439,442호; 2006년 3월 16일자로 출원된 제11/376,158호; 2006년 3월 9일자로 출원된 제11/371,224호; 2006년 2월 8일자로 출원된 제11/349,350호; 2005년 12월 29일자로 출원된 제11/319,807호; 2005년 11월 15일자로 출원된 제11/272,868호; 2005년 7월 22일자로 출원된 제11/186,898호; 및 2004년 7월 19일자로 출원된 제10/893,534호와도 관련되며, 이들의 명세서들은 본 명세서에 참고로 반영된다.
<발명의 분야>
개시되는 본 발명은 일반적으로 가정 내의 기구들의 제어의 분야 및 그러한 기구들의 오디오 시스템들 및 인터넷 소스들과의 네트워킹 및 접속 그리고 이러한 요소들의 접속된 방식으로의 통합에 관한 것이다. 바람직한 장치는 일반적으로 비디오 투영 시스템 및 하나 이상의 TV 카메라를 사용한다. 본 발명의 실시예들은 주방에서의 사람들의 사교적인 대화 및 즐거움을 증대시키고, 음식 준비의 수고를 덜어주는 데에 이용될 수 있다. 본 발명은 집의 많은 방에서 이용될 수 있고, 그 안에 사는 연장자들 및 기타 사람들의 행복에 기여할 수 있다.
특히, 서로 접속될 수 있는 엔터테인먼트 시스템들(예로서, TV, 게임, 오디오 시스템)에 관한 문헌에서 가정 자동화, "디지털 가정" 및 관련 주제들에 대한 상당한 토론이 있었으나, 거의 상용화되지 못했다. 일부 예들에서, 회사들이 그들의 제품들을 차별화하기 위해 추가한 특징들은 실제로는 기구 사용을 더 어렵게 만들었다. 사용의 어려움의 문제는 특히 차량과 관련된 본 출원인의 함께 계류중인 관련 출원들에 설명되어 있다. 예를 들어, 광범위한 사용자들에 의해 조작 가능한 것이 필요하다. 또 하나의 예는 때때로 가정에서, 특히 주방에서 발생하는 스트레스 및 혼란 상황이다.
게다가, 많은 가정은 혼자 일하는 부모 또는 모두 일하는 부모를 가지며, 주방에서 사람들이 새롭고 건강한 그러나 낯선 레시피들을 요리하는 것을 에러 없이 적시에 그리고 스트레스를 줄이는 방식으로 돕는 것이 필요하다. 따라서, 이와 관련하여, 액체들 또는 알갱이 재료들의 부피, 무게, 면적 또는 치수 및 다른 변수들을 쉽게 측정하여, 필요한 양들을 레시피들에 포함시킬 수 있는 것이 필요하다.
많은 가정 활동이 이루어지는 중심 장소로부터 가정에서의 서비스들의 효과적인 제어를 허가할 수 있는 주방에서의 새로운 방법들 및 장치들을 제공하는 것이 필요하다고 생각된다. 그리고 주방에서의 불필요한 반복적인 노동을 줄이는 것이 필요하다. 또한, 특히 카운터 공간이 제한되는 소정 국가들에서는 주방에서 공간으로부터 최대의 가치를 획득하는 것이 필요하다.
또한, 가정용 시스템들, 특히 오븐들 및 레인지들의 조작의 안전성을 개선할 수 있는 장치들도 필요하다. 그리고 집에 사는 연장자들 및 불구자들의 보편적인 행복을 보장하기 위한 새로운 방법들이 필요하다. 시력이 손상되었거나 스트레스를 받는 사람들에 대해서는, 더 쉽게 보고, 더 쉽게 조작하고, 덜 산만하게 제어할 수 있는 것도 필요하다.
<발명의 개요>
본 발명은, 전술한 필요들을 해결하고, 사용자가 인터넷 쇼핑, 소셜 네트워킹 등과 더불어 가정 기능들을 위한 시간을 공유할 수 있게 하면서, 주방 및 가사 노동을 줄일 수 있는 다양한 새로운 추가 특징들을 제공하는 것을 목적으로 하는 새로운 형태의 RTD 제어 표면을 설명하는 본 출원인의 함께 계류중인 출원들 및 이전의 특허들 중 여럿과 관련된다.
본 발명은 다양한 실시예들에 포함되는 많은 새로운 방법들 및 장치들을 포함한다. 하나의 바람직한 후방 투영 실시예에서는, 대체로 후방 투영에 기초하지만 대체로 편평한 대형 스크린이 카운터(예를 들어, 주방 카운터) 또는 기구의 상부에 배치된다. 스크린의 부분들은 예를 들어 카운터 상부(countertop) 또는 레인지의 백스플래시(backsplash) 영역 위에서 굽을 수 있다. 그리고, 본 출원인의 다른 함께 계류중인 사건들에서의 많은 차량 실시예와 같이, 스크린은 레인지 버너, 가스 제어 손잡이, 수도 꼭지 또는 가정 내의 일반 유틸리티의 다른 아이템들과 같은 고정 아이템들을 감싸기 위해 불규칙한 형상을 가질 수 있다. 스크린은 바람직하게도 세탁을 위해 제거될 수 있으며, 이는 스크린 표면이 부스러기를 가둘 수 있는 인덴테이션들(indentations) 또는 릴리프(relief) 요소들 또는 촉각 참조들(tactile references)과 같은 다른 형상들을 포함하는 경우에 특히 유용하다.
본 발명은 바람직하게는 기계 비전(machine vision)을 이용하여, 손잡이, 슬라이더 또는 스위치와 같은 다양한 제어 요소들의 위치를 파악한다. 카메라 이미지들 또는 다른 전기-광학적으로 얻어진 신호들의 그러한 기계 비전 처리는 사용자, 그들의 손들 및 손가락들의 액션들뿐만 아니라, 반죽을 굴리거나, 스테이크를 절단하는 것 등과 같은 작업들의 수행과 관련된 그들의 액션들을 더 파악할 수 있다. 본 발명은 또한 옵션으로서 기계 비전 또는 다른 전기 광학 기술들을 이용하여 무게 및 치수를 결정함으로써 주방에서의 작업을 크게 돕고 단순화할 수 있다.
적절한 컴퓨터 소프트웨어와 결합된 기계 비전 감지는 또한 본 출원인의 참조 출원들에 개시되는 바와 같이 사람에 의해 행해지는 공간에서의 제스처 명령들을 결정할 수 있으며, 사람 또는 그들의 작업 대상인 물건들의 다양한 특징들 또는 일부 예들에서는 그들의 움직임 및 액션을 결정할 수 있다. 본 발명의 많은 다른 기계 비전 관련 특징들도 아래의 실시예들에서 개시된다.
본 발명의 일 실시예에서, 카메라 및 기계 비전 시스템은 레인지 상부 조작의 안전성을 보증하고, 교반 로봇 또는 다른 장치가 안전하게 제어될 수 있도록 작용한다. 본 발명은 특히 후방 투영 형태에서 극적인 스타일을 제공한다. 임의의 형상 및 임의의 패턴들 또는 컬러들이 당신의 필요에 따라 작업 표면 스크린 상에 투영된다. 교체 가능한 형상들 및 기능도 이용될 수 있다. 스크린 및 제어 표면은 카운터만이 아니라, 세탁기, 건조기 및 레인지의 상부에도 포함될 수 있다. 예를 들어 작업 표면/스크린을 옆, 뒤 등에서 청소할 수 있도록 작업 표면/스크린을 구부릴 수 있다. 표면은 물 또는 열 근처에 배치될 수 있는데, 그 이유는 본 발명의 투영 기반 버전들에서 투영 및 감지 전자 컴포넌트들이 상대적으로 원격 배치되기 때문이다. 이전의 출원들 및 본원에서 주목되는 바와 같이, 이것은 이들이 화장실 내에, 레인지 상부에, 기타 등등에 배치될 수 있게 한다.
여기에 더 개시되는 기본 개념은 가정 및 그의 기구들에 대한 제어 센터로서 사용되는 주방 배치 장치에 관한 것이다. 본 발명은 카운터 상부 배치 디스플레이 또는 또한 개시되는 바와 같이 카운터, 기구의 상부 또는 냉장고 도어와 같은 수직 표면 상에 투영되는 디스플레이일 수 있다. 이것은 다수의 기구 및 기능의 제어 센터 및/또는 정보, 가정 네트워킹/자동화, 접속 및 음식 준비에 사용되는 독립 유닛일 수 있다. 본 발명은 제어들의 재구성, 및 다른 곳에 존재하는 것으로 알려지지 않은 동시에 더욱더 입수 가능해진 다른 새로운 특징들을 제공한다.
재구성 가능한 직관적인 촉각 제어들 또는 손잡이 또는 스위치와 같은 시각적인 시뮬레이션된 실제 제어들과 같은 중요한 특징들은, 개별적으로 또는 조합하여, HVAC, 사운드 시스템 등을 더 포함하는 가정 내의 모든 기구들을 제어하는 데 사용될 수 있다. 따라서, 심지어 기존의 기구 제어 레이아웃들을 스크린 상에 맵핑함으로써, 시스템을 단일 사용자 상황에 대해 경제적으로 그리고 효과적으로 맞춤화할 수 있으므로, 학습 곡선을 줄이거나 없앨 수 있다. 게다가, 그러한 기술들은 희망에 따라 차량에 이용되는 경우, 가정과 차 사이의 공통 사람-기계 제어 시스템들을 가질 기회가 존재한다.
본 발명의 옵션인 고유한 음식 준비 센터 양태는 옵션으로서 물 또는 요리 서비스들을 포함할 수 있다. 음식 준비 작업 표면은 투영 스크린으로도 사용되며, 그 위에서 사람의 손들 및 손가락들과 같은 아이템들이 감지될 수 있다. 액체 레벨, 면적, 부피, 절단 지시 및 무게와 같은 고유한 측정 및 지시 능력들도 이용 가능하다. 이러한 측정들은 예를 들어 네트로부터 내려받은 레시피들과 더불어 임의의 유닛들에서 임의의 언어로 자동으로 취해지고 기록될 수 있다.
이러한 장치는 통상의 레인지 상부 및/또는 싱크를 보완/대체할 수 있다. 일 버전에서, 말하자면, "스크린 상에서 요리"할 수 있다. 물 서비스 양태는 장치의 유효 범위를 예를 들어 싱크, 화장실 및 세탁물통으로 확장시키는 것을 가능하게 한다. 그리고, 유닛은 노트를 기록하거나 남기고, 사진들을 배열하는 것 등을 위한 컴퓨터화된 데스크로도 작용할 수 있다. 본 발명은 TV 이미지들 및 사운드가 섬, 카운터 또는 인터넷 사이트, 사진 앨범 및 기타 등등일 수 있는 다른 장소에 제공될 수 있으므로 엔터테인먼트 시스템으로 작용할 수 있다.
예를 들어 본 발명을 이용하면, 일하는 엄마는 레인지 상에서 무언가를 저으면서 쇼핑과 같은 일반 인터넷 잡무를 수행할 수 있으며, 그러한 작업은 본 발명을 이용하여 자동화될 수도 있다. 스크린 및 레인지 상부는 사실상 공존할 수 있다. 게다가, 그녀는 계량 컵들 및 스푼들을 찾을 필요가 없는데, 그 이유는 이 모두가 옵션 구성에서 장치에 의해 수행되기 때문이다. 또한, 그녀는 단위들을 환산할 필요도 없다. 전반적으로, 양호한 건강한 식사를 요리하는 것이 목표라면, 실시간 절약기이다.
본 발명은 또한 가정, 및 아마도 적절히 구성될 때 공장, 소형 상점 등과 같은 다른 장소들 내의 기구, HVAC 및 전자 시스템에 대한 제어 시스템이다. 냉장고, 식기 세척기, 레인지, 세탁기 또는 건조기의 상부 또는 정면에 텍스트 또는 그래픽을 투영하고, 옵션으로서 감지 능력을 이용하여 그 위의 활동을 감지하는 약 150 루멘의 프로젝터/센서 모듈이 바람직한 실시예들에 기본적이다. 이것은 필요에 따라 표면 및 광학 컴포넌트들과 함께 판매될 것이다. 그리고 다른 형태에서는 데스크 또는 테이블에 대해 동일한 것을 수행할 수 있다. 일부 응용들은 셀폰용으로 예정된 저전력/저가 프로젝터들(예를 들어, 15-35 루멘)을 사용하는 것이 가능할 수 있다. 그리고 심지어는 (그러한 프로젝터가 있거나 없는) 컴퓨터 기반 스마트 셀폰을 이용하여 기구 또는 시스템 자체를 제어할 수 있다.
프로젝터/센서 모듈은 필요에 따라 그래픽을 구동하고 입력을 해석하고 I/O에 접속하는 컴퓨터와 관련하여 사용된다. 이것은 또한 기계 비전을 이용하여 음식의 계량을 수행하는 데 사용되며, 인터넷 및 다른 데이터 및 통신 유틸리티들과 접속된다.
본 발명의 일 실시예는 통상적으로 공간을 절약하도록 전방 투영되는 실질적으로 실물 크기의 스크린 투영을 이용하며, 표시된 투영 이미지들과 상호작용하기 위한 기계 비전 기반 수단들을 더 제공할 수 있다. 웹캠들 및/또는 Canesta 사의 3D 카메라와 같은 3D 카메라들과 같은 20개의 카메라가 그러한 기계 비전 처리에 대한 입력으로서 사용될 수 있다. 상호작용 수단들은 사람의 손, 머리 또는 다른 신체 부분들을 이용하거나, 사람이 주방에서 활동을 수행할 때 작업 대상인 물건들을 통할 수 있다. 일 실시예에서, 기계 비전은 주방 내의 사람 또는 사람들의 움직임, 액션, 신분 또는 다른 특성들을 더 결정하는 데 사용될 수 있다. 이들은 적절한 경우에 다른 방들에서도 사용될 수 있지만, 주방이 그러한 상호작용이 필요할 수 있는 주요 장소일 것으로 생각된다.
본 발명의 일부 버전들은 후방 투영을 이용하는 반면, 다른 버전들은 전방 투영을 이용하여 이미지들을 표시한다. 일부 예들에서는 함께 계류중인 출원들에서도 교시되는 바와 같이 LCD 또는 OLED 디스플레이들과 같은 더 전통적인 평판 디스플레이들을 이용하는 것도 가능하다.
본 발명의 목적은 예를 들어 스크린 및 작업 표면의 조합 상에서 측정되는 재료로부터의 열량으로 구성되는 계산들을 포함하는 다이어트 조언을 사용자에게 제공하기 위해 측정하고 돕고 알리는 것이다. 게다가, 본 발명의 목적은 데이터 저장 장치(로컬 또는 인터넷)로부터 요리 또는 다른 준비 조언을 제공하는 것이며, 이러한 조언은 적절한 경우에 그러한 정보의 (예를 들어, 베이킹과 같은) 요리 작업으로의 자동 전사를 포함한다.
결정된 재료 범위로부터 형성 또는 절단 조언을 제공하는 것도 하나의 목적이며, 이는 근사 치수들을 계산하는 데 사용될 수 있다.
본 발명의 또 하나의 목적은 개별 장치들의 실제 제어들을 시뮬레이션하는 가상 제어들이 제공되는 공통 제어 패널로부터의 가정 또는 다른 장소 내의 복수의 기구의 제어를 위한 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 목적은 연장자들, 부분적 맹인들 및 기타 불구자들을 주방에서의 주요 집중 활동에 더하여 일반적으로 그들이 가정 내에서 돕기 위한 새로운 시스템을 제공하는 것이다.
본 발명의 목적은 청소하기 쉬운 디스플레이 및 작업 표면을 제공하는 것이다.
본 발명의 추가 목적은 기구 비용을 줄이고 그들의 사람 인터페이스를 향상시키기 위한 방법들 및 장치들을 개시하는 것이다.
본 발명의 목적은 가정에서의 주방 장비 및 다른 장치의 조작의 안전성을 향상시키는 것이다.
본 발명의 목적은 요리 및 주방 활동 및 다른 활동들의 사회적 양태들을 향상시키는 것이다. 본 발명은 재미있게 이용할 수 있고 유용한 방식으로 음식 준비 공간과 표시, 측정 및 상호작용 공간을 결합하고, 또한 제어 기능들을 제공한다.
본 발명의 추가 목적은 이미지들 및 다른 기능들의 제어를 위한 자유 공간 제스처 방법들을 제공하는 것이다.
본 발명의 목적은 소정의 음식 준비 잡무의 로봇 조작을 안전하게 제공하는 것이다.
본 발명의 추가 특징들 및 이점들은 이어지는 본 발명의 바람직한 실시예들의 상세한 설명에서 설명되거나 그로부터 명백할 것이다.
도 1a는 제어 시스템과 관련하여 동작하는 청소 가능하고 대체 가능하고 교환 가능한 작업 보드 및 디스플레이 표면을 포함하는 본 발명의 섬 또는 반도 배치 카운터 상부 실시예의 측면도를 나타낸다.
도 1b는 통합 싱크 및 레인지 버너들과 같은 추가된 특징들을 갖는 섬의 일 버전의 사시도를 나타낸다.
도 1c는 하나 이상의 원하는 위치들에서의 부분적으로 굽은 표면, 투영된 키보드, 릴리프 특징들, 및 요리 또는 다른 활동을 행하면서 온라인 쇼핑을 가능하게 하는 인터넷 디스플레이를 갖는 작업 보드를 나타낸다.
도 1d는 작업 보드의 절단 보드로서의 사용을 나타낸다.
도 2a는 일반적인 직관적인 물리 제어 상세들을 이용하는 본 발명의 재구성 가능한 제어 및 표시 특징들을 나타낸다.
도 2b는 회전, 핀치(pinch) 및 다른 터치 명령들을 이용하여 조작되는 외부 오디오 시스템의 가상 맵핑 제어 패널을 나타낸다.
도 2c는 난방 및 에어컨 서비스를 위한 가상 제어 패널을 나타낸다.
도 3은 작업 표면을 형성하는 보호 커버를 갖는 LCD 감지 디스플레이를 나타낸다.
도 4a는 작업 표면 위로부터의 정보 및 감지의 투영을 나타낸다.
도 4b는 추가적인 오버헤드 실시예이다.
도 5a는 기구 제어 패널 실시예를 나타낸다.
도 5b는 대안적인 디스플레이 및 제어 표면을 나타낸다.
도 6a는 저가 제어 실시예를 나타낸다.
도 6b는 도 6a의 장치를 이용하여 조명된 제어 라벨들을 제공하기 위한 일 방법을 나타낸다.
도 6c는 경사 각도의 소형 프로젝터를 이용하는 결합된 세탁기 및 건조기 디스플레이 및 제어들의 재구성을 나타낸다.
도 7a는 용기들 내의 액체 레벨을 측정하고 사용자를 안내하는 데 유용한 본 발명의 일 실시예를 나타낸다.
도 7b는 용기들 내의 액체 레벨을 측정하는 데 유용한 본 발명의 대안 실시예를 나타낸다.
도 8은 경사진 측벽들을 갖는 특수 용기를 사용하는 스크린 및 작업 표면 위 또는 아래로부터의 레벨 측정을 나타낸다.
도 9a-b는 직접 무게 측정 능력을 갖는 작업 보드를 나타낸다.
도 10은 본 발명의 화장실 싱크를 나타낸다.
도 11은 도 2와 유사한 벽 설치 제어 표면을 또한 나타내는 본 발명의 플립 다운 큐비클 데스크 실시예를 나타낸다.
도 12a는 본 발명에서 사용되는 손가락 제스처 입력들을 나타낸다.
도 12b는 집 계획 및 상태의 표시를 나타낸다.
도 12c는 사람이 그의 오른손 검지를 이용하여 오븐의 가상 그래픽을 터치하는 것을 나타낸다.
도 13은 운동, 장소 및 약물 요법을 모니터링함으로써 가정에서의 안전한 생활을 돕기 위한 실시예를 나타낸다.
도 14는 레인지 제어 기능들 및 로봇 제어를 위해 레인지 후드 내의 하나 이상의 카메라를 이용하는 본 발명의 일 실시예를 나타낸다.
도 15는 셀폰의 스크린 이미지가 작업 표면 상에 직접 맵핑되고, 폰 및 그의 기능들이 작업 표면을 터치하거나 제어들을 조작함으로써 직접 제어되는 도 2a의 일 버전을 나타낸다.
도 16은 도 14의 장치와 관련된 감지 기술들을 더 나타낸다.
도 17a는 스토브 제어 및 인터넷 접속을 위한 후방 투영 실시예 배열을 나타낸다.
도 18a는 주방에서의 사람 또는 사람들의 특성들 또는 액션들의 감지를 포함하는 전방 투영 실시예이다.
도 18b는 냉장고의 정면도이다.
도 18c는 의사 전체 길이의 실질적으로 실물 같은 이미지가 냉장고 도어에 표시될 수 있게 하는 하부 냉동기 타입 냉장고의 메인 도어 상의 스크린을 갖는 다른 냉장고 실시예를 나타낸다.
도 19는 사람이 작업하고 있을 수 있는 주방, 욕실, 세탁실 또는 다른 장소 내의 싱크 뒤에 전방 투영 디스플레이를 이용하는 실시예를 나타낸다.
도 20은 바닥에 곡선 하부 섹션을 갖는 레인지의 배면 상의 스크린에 대한 마이크로웨이브 설치 투영을 나타낸다.
도 21은 (이 예에서 주방 카운터에 배치된) 메인 제어 내의 소프트웨어가 기구들과 인터페이스할 뿐만 아니라 그들의 동작의 상세들도 제어하는 네트워킹된 기구들 및 다른 주변 장치 인터페이스들의 도면이다.
도 22는 동적 붇기(pouring)의 모니터링에 의한 액체 또는 재료 교환 결정을 나타낸다.
도 23은 전통적인 손잡이들 및 스위치들을 갖는 본 발명의 프로젝터 기반 자동차 센터 스택 또는 기구 제어 패널을 나타낸다.
도 24는 도 23에 도시된 것에 대안인 자동차 센터 스택 배열이다.
도 1b는 통합 싱크 및 레인지 버너들과 같은 추가된 특징들을 갖는 섬의 일 버전의 사시도를 나타낸다.
도 1c는 하나 이상의 원하는 위치들에서의 부분적으로 굽은 표면, 투영된 키보드, 릴리프 특징들, 및 요리 또는 다른 활동을 행하면서 온라인 쇼핑을 가능하게 하는 인터넷 디스플레이를 갖는 작업 보드를 나타낸다.
도 1d는 작업 보드의 절단 보드로서의 사용을 나타낸다.
도 2a는 일반적인 직관적인 물리 제어 상세들을 이용하는 본 발명의 재구성 가능한 제어 및 표시 특징들을 나타낸다.
도 2b는 회전, 핀치(pinch) 및 다른 터치 명령들을 이용하여 조작되는 외부 오디오 시스템의 가상 맵핑 제어 패널을 나타낸다.
도 2c는 난방 및 에어컨 서비스를 위한 가상 제어 패널을 나타낸다.
도 3은 작업 표면을 형성하는 보호 커버를 갖는 LCD 감지 디스플레이를 나타낸다.
도 4a는 작업 표면 위로부터의 정보 및 감지의 투영을 나타낸다.
도 4b는 추가적인 오버헤드 실시예이다.
도 5a는 기구 제어 패널 실시예를 나타낸다.
도 5b는 대안적인 디스플레이 및 제어 표면을 나타낸다.
도 6a는 저가 제어 실시예를 나타낸다.
도 6b는 도 6a의 장치를 이용하여 조명된 제어 라벨들을 제공하기 위한 일 방법을 나타낸다.
도 6c는 경사 각도의 소형 프로젝터를 이용하는 결합된 세탁기 및 건조기 디스플레이 및 제어들의 재구성을 나타낸다.
도 7a는 용기들 내의 액체 레벨을 측정하고 사용자를 안내하는 데 유용한 본 발명의 일 실시예를 나타낸다.
도 7b는 용기들 내의 액체 레벨을 측정하는 데 유용한 본 발명의 대안 실시예를 나타낸다.
도 8은 경사진 측벽들을 갖는 특수 용기를 사용하는 스크린 및 작업 표면 위 또는 아래로부터의 레벨 측정을 나타낸다.
도 9a-b는 직접 무게 측정 능력을 갖는 작업 보드를 나타낸다.
도 10은 본 발명의 화장실 싱크를 나타낸다.
도 11은 도 2와 유사한 벽 설치 제어 표면을 또한 나타내는 본 발명의 플립 다운 큐비클 데스크 실시예를 나타낸다.
도 12a는 본 발명에서 사용되는 손가락 제스처 입력들을 나타낸다.
도 12b는 집 계획 및 상태의 표시를 나타낸다.
도 12c는 사람이 그의 오른손 검지를 이용하여 오븐의 가상 그래픽을 터치하는 것을 나타낸다.
도 13은 운동, 장소 및 약물 요법을 모니터링함으로써 가정에서의 안전한 생활을 돕기 위한 실시예를 나타낸다.
도 14는 레인지 제어 기능들 및 로봇 제어를 위해 레인지 후드 내의 하나 이상의 카메라를 이용하는 본 발명의 일 실시예를 나타낸다.
도 15는 셀폰의 스크린 이미지가 작업 표면 상에 직접 맵핑되고, 폰 및 그의 기능들이 작업 표면을 터치하거나 제어들을 조작함으로써 직접 제어되는 도 2a의 일 버전을 나타낸다.
도 16은 도 14의 장치와 관련된 감지 기술들을 더 나타낸다.
도 17a는 스토브 제어 및 인터넷 접속을 위한 후방 투영 실시예 배열을 나타낸다.
도 18a는 주방에서의 사람 또는 사람들의 특성들 또는 액션들의 감지를 포함하는 전방 투영 실시예이다.
도 18b는 냉장고의 정면도이다.
도 18c는 의사 전체 길이의 실질적으로 실물 같은 이미지가 냉장고 도어에 표시될 수 있게 하는 하부 냉동기 타입 냉장고의 메인 도어 상의 스크린을 갖는 다른 냉장고 실시예를 나타낸다.
도 19는 사람이 작업하고 있을 수 있는 주방, 욕실, 세탁실 또는 다른 장소 내의 싱크 뒤에 전방 투영 디스플레이를 이용하는 실시예를 나타낸다.
도 20은 바닥에 곡선 하부 섹션을 갖는 레인지의 배면 상의 스크린에 대한 마이크로웨이브 설치 투영을 나타낸다.
도 21은 (이 예에서 주방 카운터에 배치된) 메인 제어 내의 소프트웨어가 기구들과 인터페이스할 뿐만 아니라 그들의 동작의 상세들도 제어하는 네트워킹된 기구들 및 다른 주변 장치 인터페이스들의 도면이다.
도 22는 동적 붇기(pouring)의 모니터링에 의한 액체 또는 재료 교환 결정을 나타낸다.
도 23은 전통적인 손잡이들 및 스위치들을 갖는 본 발명의 프로젝터 기반 자동차 센터 스택 또는 기구 제어 패널을 나타낸다.
도 24는 도 23에 도시된 것에 대안인 자동차 센터 스택 배열이다.
도 1a는 세척 가능한 작업 보드 및 디스플레이 표면을 포함하는 본 발명의 섬 배치 카운터 상부 실시예를 도시하며, 여기서 표면 상에 놓인 사람의 손들 또는 손가락들, 또는 작업 물건들은 감지에 더하여 전기 광학적으로 감지된다. 또한, 제어 및 다른 목적을 위해 또한 필요할 수 있는 손잡이들 및 스위치들과 같은 물리 제어 상세들의 감지도 도시된다.
도 1a는 이 예에서 음식 준비를 돕기 위한 고유 능력들을 갖는 주방의 섬(101) 내의 본 발명의 주방 카운터(100)의 측면도를 나타낸다. 본 발명은 본 출원인의 함께 계류중인 출원들 및 특허들 중 다수에서 설명된 RTD 장치를 사용하며, TV 카메라 또는 다른 전기 광학 센서 및 프로젝터 조합(105)(컴퓨터(106)에 의해 제어됨)을 사용하여, 카운터의 일부를 형성하는 102와 같은 스크린 상에 투영하고, 예를 들어 개시되는 바와 같이 주방 작업이 수행될 수 있는 작업 보드를 또한 형성할 수 있는 스크린 표면(102) 상의 사람 손들 또는 손가락들 또는 작업 물건들 또는 음식 또는 다른 재료들을 감지한다. 본 출원인의 이전 출원에 개시된 카메라, LED, 프로젝터 등을 갖는 모든 배열들이 이용될 수 있다. 공간(110)은 옵션으로서 서랍, 식기 세척기 또는 오븐이 카운터 내의 어디에 배치될 수 있는지를 나타내는 데 사용된다.
카운터 옆에 서 있는 사람들이 보는 이미지를 최대화하기 위하여, 프레넬 렌즈 또는 프리즘 스크린 배열들을 이용하여, 그러한 사람들을 향한 광의 지향을 도울 수 있다. 사람이 카운터의 일측에만 서 있는 경우에 더 많은 광이 지향될 수 있으며, 이는 종종 카운터가 벽에 면해 있는 경우이다.
또한, 제어 또는 다른 목적들을 위해, 예를 들어 스크린 및 작업 표면으로부터 카메라 이미지 또는 다른 광학적으로 감지된 데이터를 처리하는 컴퓨터(106)에 네트워크에 의해 상호접속된 레인지 근처의 온도 또는 시간을 제어하기 위해, 또한 필요할 수 있는 손잡이(120)와 같은 물리 제어 상세들의 감지가 도시되어 있다.
컴퓨터(106)는 105에 포함된 프로젝터 또는 다른 비디오 이미지 디스플레이 장치를 더 구동하여, 작업 보드 표면 상에 이 예에서는 후방으로부터 이미지들을 표시한다. 이 보드는 필요한 경우에 식기 세척기의 상부에 배치될 수 있는데, 자유롭게 서 있거나, 통상적으로는 카운터 상부와 동일한 높이이지만 반드시 그럴 필요는 없는 작업 보드 표면을 갖는 카운터 내에 삽입될 수 있다. 컴퓨터와의 통신을 가능하게 하기 위해 마이크로폰(121) 및 확성기(122)도 제공된다. 가정 내의 다른 기구들 및 서비스들 그리고/또는 인터넷에 대한 무선 또는 유선 접속도 종종 바람직하다(도 21 참조).
함께 계류중인 출원들에 개시된 바와 같이, 사용자의 118과 같은 손가락 또는 다른 손가락들 또는 손과 같은 다른 신체 부분들이 본 발명의 카메라 또는 다른 전기 광학 센서에 의해 감지될 수 있다. 이러한 방식으로 입력 명령들 및 액션들이 또한 컴퓨터(106)에 입력될 수 있다.
또한, 이전 출원들에서 설명된 바와 같이, 작업 표면은 프로젝터 이미지에 그리고 카메라(또는 사용되는 다른 전기 광학 감지 수단)에 대해 투과성인 재료로 구성될 수 있으며, 따라서 손가락 위치들, 손 위치들, 및 쿠키 또는 피자 반죽의 더미 또는 소정의 다른 물건(손잡이(120) 또는 다른 물리 제어 상세를 포함함)과 같은 물건들이 감지되고, 필요한 경우에는 조명될 수 있다. 작업 보드 표면은 본 발명의 주요 특징을 청소하기 위해 제거될 수 있다. 그리고, 이것은 그 위의 절단 등으로 인한 손상의 경우에 교체될 수 있다. 모든 광학 및 감지 및 컴퓨팅 장비는 아래로 다운되므로, 111과 같은 적절한 창에 의해 보호될 수 있다. 요리 목적을 위해 사용되지 않을 때, 작업 표면은 인기 있는 쇼들의 TV 이미지들 또는 흥미로운 레시피들 또는 다른 원하는 정보에 대한 인터넷으로부터 획득된 데이터를 표시하기 위한 스크린으로서 사용될 수 있다.
컴퓨터는 통상적으로 무선을 포함하는 공지 수단에 의해 인터넷에 접속되며, 작업 보드 상에 네트로부터의 정보를 표시하는 데 사용될 수 있는데, 도시된 예에서 작업 보드는 그러한 정보가 주방 내의 사용자 및 아마도 다른 사람들에게도 보이도록 적절히 투명하다. 컴퓨터는 또한 카메라를 이용하여 얻어지거나 마이크로폰을 통해 입력된 비디오 또는 감지된 정보를 전송할 수 있다. 그러한 인터넷 접속은 또한 음식 준비 경험의 일부이고 싶어하는 가족 구성원들, 친구들 및 다른 정보 소스들에 대한 소셜 네트워킹의 수단으로서의 본 발명의 이용을 용이하게 한다.
반죽 더미(115)와 같은 작업 보드 상의 물건은 TV 카메라와 같은 105 내에 포함된 센서 및 컴퓨터(106) 내에 상주하는 Matrox 이미징 라이브러리와 같은 적절한 기계 비전 프로그램을 이용하여 작업 보드의 평면에서 그의 범위 X 및 Y가 측정될 수 있다. 이러한 소정 재료들에 대한 데이터는 부피를 근사화하는 데 사용될 수 있는데, 이는 통상적으로 재료가 수평 방향으로 소정 범위에 있을 때 통상적인 마운드(mound) 높이로 놓이기 때문이다. 컴퓨터(106) 내의 프로그램은 일례에서 원하는 마운드 범위 및 형상의 이미지를 작업 보드의 스크린 상에 투영함으로써 마운드를 형성하는 방법을 사용자에게 지시한다.
본 발명의 전기 광학 센서는 또한 작업 보드 상에서 재료를 처리하는 데 사용되는 일부 도구들을 감지할 수 있다. 예를 들어, 반죽 더미(115)를 굴리는 데 사용되는 롤링 핀(125)이 그가 얼마나 멀리 이동하는지(구르는지) 그리고 얼마나 많은 반복이 행해지는지에 대해 모니터링될 수 있다. 동일 장치는 예를 들어 고기를 연하게 하는 해머들과 같은 다른 작업 물건들을 감지할 수 있다. 다수의 반복 또는 다른 그러한 정보가 얻어질 때 신호들이 생성될 수 있다.
방금 설명된 장치에 대한 대안으로서, 프로젝터 및/또는 카메라가 위쪽에(overhead) 설치될 수 있다. 이것은 카운터 내로의 깊이가 거의 필요 없으므로 가장 유연한 배열이다. 일례에서는, LCD 또는 다른 평판 디스플레이가 (바람직하게는 보호 커버 유리와 더불어) 작업 보드용으로 사용될 수 있고, 오버헤드 카메라를 갖는 장치(130)가 작업 보드 영역으로부터 정보를 얻는 데 사용될 수 있다. 다른 예에서는, 결합된 센서/투영 모듈(130)이 투영 비디오 이미지 정보에 대한 양호한 확산 반사 특성을 위해 선택된 통상의 재료들의 작업 보드와 더불어 사용될 수 있다(본 출원인이 11/980,722와 같은 함께 계류중인 출원들에서 설명한 것들과 유사하다). 장치(130)는 예를 들어 천장에 연결된 광 트랙 상에 튀어나오지 않게 배치되어, 트랙으로부터 전력을 수신하고, 예를 들어 원격 배치된 컴퓨터로 그리고 그로부터 데이터를 무선으로 전송할 수 있다. 이 버전은 이용 가능한 상이한 측정 방법들 및 방해되는 손들 또는 다른 신체 부분들 등과 충돌하는 문제들이 존재하므로 아래에 설명된다. 그러나, 시스템을 완전히 또는 부분적으로 제어하기 위해 공간에서의 손 제스처들을 이용하는 다른 기회가 존재한다. 예를 들어, 그러한 손 제스처는 표시된 레시피 프레젠테이션에서 설명될 아이템 위에서 손을 흔드는 것일 수 있는데, 이 예에서는 예를 들어 피자 반죽(115) 위에서 손을 흔드는 것일 수 있다. 사용자의 셀폰(126)은 컴퓨터(106)에 데이터를 입력하는 데에, 또한 도 15에 도시된 바와 같이 셀폰 내의 정보가 표시되게 하는 데에 또는 다른 목적들을 위해 사용될 수 있다는 점에 유의해야 한다. 스크린 표면은 또한 예를 들어 표시된 전화 번호들의 리스트로부터 셀폰에 통화 지시를 입력하는 데에 사용될 수 있다. 셀폰은 가정용 전류에 접속되는 동안 편리하게 충전될 수 있다.
도 1b는, 통합 싱크(132)와 같은 추가 특징들을 구비하고, 위에 개시된 바와 같은 후방 투영 유닛(140)에 의해 조명되는 투영 작업 표면(134)과 함께 사용되는 투영 레이저 빔(133)을 이용하는 도 7에 개시된 바와 같은 측정 원(MC) 상에 배치되는 용기들 내의 레벨 검출을 더 포함하는 도 1a의 카운터와 관련된 섬 또는 다른 카운터(131)의 사시도를 나타낸다. 또한, 다른 쪽에는 3개의 버너를 갖는 레인지 유닛(136)을 구비하는 작업 표면(135)이 도시되어 있다(버너들의 수는 응용에 맞게 선택될 수 있다). 작업 표면은 세라믹 유리, 파이렉스 또는 다른 적절한 열 저항 재료일 수 있으며, 이러한 가열 요소의 제공은 이격되어 있는 카메라 및 프로젝터 유닛(138)에 영향을 미치지 않는다. 이것은 또한 작업 표면이 실제로 절단 보드, TV 디스플레이, 인터넷 디스플레이 및 레인지 상부로서도 사용될 수 있게 한다. 스크린 및 작업 표면은 버너들 옆에 다음에 무엇을 해야 하는지에 대한 지시를 제공할 수 있는데, 파티 등을 위해 모든 버너들에서 음식을 만들고 있는 경우에는 다음에 무엇을 해야할 지가 혼란스러울 수 있다. 106과 같은 제어 시스템 컴퓨터는 팬이 버너 위에 있는 시간을 정하거나, 끓음이 발생한 때를 결정할 수 있으며, 또한 인터넷 또는 다른 다운로드된 레시피로부터 디지털 방식으로 지시를 받아 언제 열을 낮출지를 자동으로 지시할 수 있다. 이것은 예를 들어 스텝퍼 모터를 이용하여 레인지 버너를 줄이거나, 예를 들어 인덕션 전기 타입인 경우에는 전기적으로 전류를 변경함으로써 수행될 수 있다.
후방 투영 디스플레이를 갖는 레인지 상부(135)는 디스플레이는 물론, 키보드 또는 다른 제어로도 사용될 수 있다. 따라서, 버너들 상의 물건들을 살피면서 소정의 인터넷 활동들을 수행할 수 있다. 후방 투영 디스플레이의 전자 컴포넌트들을 버너들로부터 가능한 한 멀리 배치하여 열 문제들을 최소화하는 것이 바람직하다. 대안으로서, 아래의 도면들에서 설명되는 바와 같은 전방 투영 디스플레이를 사용할 수 있다.
투영 레인지 디스플레이는 버너 상에서 무언가가 타임 아웃된 때 지시등을 켜거나 알람 소리를 내도록 컴퓨터(106)에서 프로그래밍될 수 있거나, 필요한 경우에는 그 옆에 컬러로 열 레벨을 표시할 수 있다. 모든 종류의 다른 표시 또는 가청 데이터 조합들이 가능하다. 다운로드된 레시피들로부터의 그래픽 도해들이 표시되어, 사람에게 무엇을 해야 할지를 나타낼 수 있다. 투영 디스플레이들(및 기계 비전 감지)의 경우, 주방 및 카운터의 설계에 맞도록 크기가 쉽게 변경된다. 디스플레이는 다양한 부분들의 에지들까지 우측으로 이동할 수 있다. 143과 같은 제어 손잡이들은 위에 그리고 함께 계류중인 출원들에 개시된 바와 같이 필요에 따라 레인지 또는 물 표면 또는 다른 기능들을 조작하도록 감지될 수 있다.
이 도면은 또한, 장치의 일반 제어 및 접속을 향상시키고, 또한 필요한 경우에는 음식을 준비하는 사람의 감지된 활동과 관련하여 인터넷 접속 레시피 기능을 제공하기 위한 인터넷 접속(142)(원할 경우에는 무선일 수 있음)을 도시하고 있다. 본 발명의 놀랄만한 양태는 시스템 내에 설치된 TV 접속을 이용하여 인터넷을 통해 친구들 및 가족과의 사교적 요리 활동들을 허가한다는 것이며, 본 발명을 이용하여 가족 및 친구들과 함께 요리하는 소셜 네트워크의 일례를 더 설명한다. 이것은 요리 클럽을 갖거나, 멀리 있는 유명한 요리사에 의한 지시를 용이하게 하거나, 기타 등등을 위한 것일 수 있다. 예를 들어, 유명한 파리의 요리사가 미국 내의 5개 가정의 제한된 수업에서 요리 수업을 행할 수 있다. 그의 쪽에서, 그는 그들의 활동뿐만 아니라, (예를 들어, 130과 같은 오버헤드 카메라를 이용하여) 무게, 치수, 면적, 형상, 크기, 심지어 컬러도 모니터링하고, 학생들의 작업을 도울 수 있다.
이 예에서, 작업 보드 상에서의 사람의 활동은 (작업 보드 위쪽 또는 뒤쪽의) 감지 카메라 또는 다른 전기 광학 센서에 의해 인식되고 픽업될 수 있는 손 위치들 및 다른 데이터와 더불어 다른 사람의 작업 보드로 전송될 수 있다. 일반적으로, 기둥(148) 위의 웹캠(147)의 그것과 같은, 전체 주방 활동의 개별 비디오 이미지와 같이, 음성도 전송될 것이다. 이러한 방식으로, 하나 이상의 다른 사람들이 예를 들어 반죽 조각과 같은 재료를 어떻게 형성하는지를 볼 수 있다. 그리고, 반죽 치수 및 다른 파라미터들도 오늘날의 설명에서의 대략적인 시도들보다 정확하게 감지되고 전송될 수 있다. 본 발명은 당신이 주방 환경들을 비디오화하는 것을 이해할 뿐만 아니라, 한 사람으로부터 다른 사람에게로, 또한 말하자면 온라인인 소셜 네트워크의 다른 멤버들에게 전달되는 이야기 및 지시 내에서 농담을 파악할 수 있다.
또한, 대안으로서, 개별 수도 꼭지 및 배수관을 갖고 레인지는 갖지 않는 시스템을 가질 수 있다. 이것은 주방 내의 섬 위가 아니라, 반도 또는 통상적인 벽 인접 카운터일 수 있다. 대안으로서, 본 발명은 "싱크내" 식기 세척기에서도 이용될 수 있으며, 이 경우에 식기 세척기의 상부는 본 발명의 작업 보드일 수 있다.
도 1c는 프로젝터/센서 모듈(151)에 의해 조명되고 감지되는 작업 보드(150)의 표면을 나타낸다. 작업 보드의 표면은 백스플래시 영역(152)에서 위로 굽어지며, 따라서 프로젝터/센서 버전이 충분한 피사계 심도를 갖는 것으로 가정할 때 투영 및 감지는 (이들 모두 또는 개별적으로) 더 수직인 표면 영역(152) 상에서도 수행될 수 있다. 본 출원인은 예를 들어 삼성 LED TV에서 사용되는 것과 같은 광각 타입들이 광각 렌즈들을 갖는 카메라들과 같이 그러한 특성들을 갖는다는 것을 발견하였다(감지 목적을 위해 완전한 포커스는 거의 필요가 없다는 점에도 유의한다). 카메라(또는 다른 센서)는 통상적으로, 형광등인 경우에는 근적외선을 투과시키는 검정 플라스틱에 의해 차단되는 예를 들어 오버헤드 실내 조명등들의 영향들을 제거하도록 대역 통과 필터링된다. 이것은 카메라가 개시되는 바와 같이 제어들, 물건들, 손가락들 등을 감지하는 데 사용되는 관련된 근적외선 광원을 갖는 것으로 가정한다.
프로젝터 부분은 카메라 없이 사용될 수 있거나, 디스플레이는 도시된 바와 같이 굽을 수 있는 OLED 디스플레이와 같은 다른 타입일 수 있다. 소정 타입의 유연한 LCD 타입들도 설명될 수 있다. 위로 굽은 백스플래시 영역은 일례에서 읽기 쉬운 공지 또는 노트 보드를 제공할 수 있으며, 다른 스크린들과 같이, 사진 등을 표시할 수 있다. 통상적으로, 백스플래시는 수직이고, 벽에 인접 배치된다.
또한, 필요할 때, 예를 들어 푸시 버튼(156)(필요에 따라 실제 물리 스위치 또는 터치 아이콘), 중요한 위치들에 있는 릴리프 특징들 위에서 사용될 수 있는 투영 가상 키보드(155)가 도시되어 있다. 요리 또는 다른 활동을 하면서 온라인 쇼핑을 가능하게 하는 인터넷 디스플레이와 같은 다른 투영 정보가 손잡이(157)에 의해 선택될 수 있으며, 방금 설명된 키보드에 더하여 또는 그 대신에 정보 및 터치 감지 능력이 제공될 수 있다(이는 더 큰 문자들을 허가한다). 원할 경우에는 본 발명의 터치 능력을 이용하여 데이터 상의 내비게이션이 수행된다.
가상 키보드(155)는 물리적으로 움직이는 키를 갖지 않으며, 따라서 예를 들어 작업 보드 상에서 수행되는 작업의 결과로서 키들 안에 부스러기가 들어가는 것이 방지된다. 그러나, 사실상 작은 릴리프 특징들은 함께 계류중인 출원들에서 설명되는 바와 같이 원할 경우에는 키 또는 다른 위치들을 촉각으로 참조하는 데 사용될 수 있다. 작은 돌기(160)와 같은 릴리프 특징들은 원할 경우에 하나 이상의 문자들이 가상 투영 키보드 상의 어디에 위치하는지를 지시하도록 제공될 수 있다. 이러한 응용의 큰 장점은 요리 작업과 같은 다른 무언가를 하면서 눈의 코너로부터 키를 흘긋 보고 느낄 수 있다는 것이다.
제공될 수 있는 정보는 예를 들어 측정된 재료로부터의 다이어트 조언, 요리 조언 또는 요리 작업으로의 정보의 자동 전사 또는 결정된 재료 범위로부터의 절단 조언일 수 있다. 작업 보드의 표면 상의 음식물들의 대략적인 부피, 면적 및 범위는 모두 본 발명의 카메라 또는 다른 전기 광학 센서를 이용하여 결정될 수 있다. 데이터가 투영되므로, 작업 표면은 바람직하게도 세탁을 위해 제거될 수 있으며, 이는 스크린 표면이 부스러기를 가둘 수 있는 인덴테이션들 또는 릴리프 요소들 또는 촉각 참조들과 같은 다른 형상들을 포함하는 경우에 특히 유용하다. 일부 작업 표면들은 충분히 작은 경우에 식기 세척기에서 세척될 수 있다.
157과 같은 손잡이 선택기를 갖는 사용이 간편한 버전에서, (IE와 같은 브라우저 페이지를 표시하는) "인터넷" 외의 다른 손잡이 위치들은 예를 들어 다음을 포함할 수 있다.
1. 어린이 방. 이것은 스크린 및 작업 보드(150)의 적어도 일부 상에 어린이 방 및 어린이 침대의 TV 모니터 이미지를 제공하거나, 예를 들어 다른 방들에서 어린이들이 노는 것을 관찰하기 위한 것이다.
2. 보안. 보안 카메라들로부터 촬영된 이미지들이 표시되거나, 옵션으로서 예를 들어 모션이 근처에서 발생하였음을 지시하는 적외선 센서 신호에 의해 자동으로 촬영 개시될 수 있다.
3. 요리 책(원하는 페이지의 다른 수단에 의한 추가 선택 등과 함께). 예를 들어, 레시피 번호 터치 아이콘을 가질 수 있다.
터치 아이콘 또는 다른 터치 스크린 기능을 이용하여 본 발명을 이용하는 기능들을 선택할 수 있지만, 손잡이(157)(및 아마도 또한 스크린 상의 다른 물리 손잡이들)는 이를 수행하기 위한 친숙한 촉각 방식을 나타내며, 이는 사람들이 장치를 조작하는 것을 도울 수 있다. 그리고, 일반적으로 이것은 산만할 때에 더 빠르고 사용하기가 더 쉽다.
본 발명의 추가적인 용도는 가족 노트를 기록하고 표시하는 것이다. 입력은 터치 스크린에 의해서만이 아니라, 170과 같은 작성된 페이지를 작업 보드 상에 뒤집어 놓는 것에 의해서도 이루어질 수 있다(대안으로서, 위쪽의 카메라 또는 다른 전기 광학 센서(130)에 의해 데이터가 얻어지는 경우에는 작성된 페이지가 똑바로 놓일 수 있다). 투명 영역 또는 심지어 (특히, 상면에서 또는 그 근처에서 분산이 존재하는) 분산 영역 내의 후방 투영 또는 다른 후방 감지 작업 보드를 이용하여, 작업 보드 상에 놓인 수기 또는 다른 노트들을 판독할 수 있으며, 이는 나중의 표시 또는 다른 모니터들 상의 표시를 위해 컴퓨터 메모리에 저장되거나, 필요에 따라서는 레시피들 또는 다른 파일들의 장소와 같은 파일 장소들 내에 넣어질 수 있다. 위쪽에서 감지되는 경우, 작성된 페이지는 예를 들어 카메라(130)에 의해 촬영된 카메라 이미지로부터 직접 감지될 수 있다. 레시피 책 페이지들도 이러한 방식으로 기록될 수 있으며, 따라서 소중한 책들은 단지, 원하는 페이지(들)의 jpeg(또는 다른) 이미지를 컴퓨터 메모리로부터 호출함으로써, 책 위에 물건을 엎지르지 않고 사용될 수 있다는 점에 유의해야 한다. 이러한 기능은 사진들, 수기 노트들을 판독할 수 있으며, 수기를 결정하는 데에도 사용될 수 있다는 점에 유의한다. 또한, 함께 계류중인 출원들에 개시된 바와 같이, 원할 경우에는 예를 들어 오퍼레이터(예로서, 부모)가 특정 장비를 조작하거나 컴퓨터 기능을 변경할 자격이 있는지를 검증하기 위하여, 제스처 서명이 판독될 수 있다.
스크린 아래의 카메라 또는 다른 전기 광학 센서는 위쪽의 카메라(130)와 같이 코딩된 프로그램 명령어들을 판독하는 데에도 사용될 수 있다는 점에 더 유의해야 한다. 이러한 코딩된 프로그램 명령어 판독 활동은 참고로 포함되는 피터 스미스와 본 출원인에 의한 여러 함께 계류중인 출원들에서 잘 설명되어 있다. 이러한 출원들은 컴퓨터를 보조물로서 이용하여 일반 작업들을 수행하는 간단한 종이 기반 방법들을 개시하며, 컴퓨터에 정통하지 않은 사람들에게, 또는 노트, 영수증 또는 작성된 형태의 다른 정보를 갖고, 그것을 데이터베이스에 보관하거나 이메일로 보내는 것과 같이 그것으로 빨리 무언가를 하기를 원하는 사람들에게 특히 적합하다.
도 1d는 채소, 고기 또는 다른 물건들을 얇게 베기 위한 절단 보드로서의 작업 보드의 사용을 더 도시한다. 설명된 바와 같이, 작업 표면은 그 위에서 수행될 작업을 견딜 수 있는 유리 또는 단단한 플라스틱 또는 기타 재료들로 형성될 수 있다. 이러한 재료들 중 일부는 예를 들어 절단 보드 모드에서 그들 위에서 사용되는 칼에 견딜 수 있다.
결코 포괄적이 아니라 대표적인 예로서, 작업 표면(175)은 이 예에서 고기 조각을 절단하는 데 사용되고 있다. 이 예에서, 작업 보드(175) 상에 놓인 고기(180)의 슬라이스는 두 부분으로 절단될 것이다. (시스템의 카메라 또는 다른 전기 광학 센서를 이용하여 고기의 윤곽을 측정한) 고기의 현재 형태를 나타내는 투영된 윤곽(181)이 컴퓨터에 의해 제공되고, 이어서 사람에게 추가적인 단계가 표시된다. 예를 들어, 고기를 라인 a-b를 따라 절단한다. 사람이 이러한 절단을 행한 경우, 카메라를 이용하여, 이제 올바른 크기의 두 조각이 존재하는 것으로 결정하고, 사람에게 다음에 행할 것을 지시한다. 이러한 시스템의 이점은 지시가 사람에게 편한 임의의 언어로 이루어질 수 있다는 것이다. 그림 문자 또는 다른 지시 정보도 적합하며, 필요에 따라 상이한 언어들의 음성 파일들이 컴퓨터에 의해 확성기를 통해 제공될 수 있다. 컴퓨터는 절단되는 스테이크와 같은 고기 타입에 기초하여 주어진 크기 및 형상을 표시하도록 사용자에 의해 또는 네트 등으로부터 다운로드된 레시피 가이드로부터 직접 프로그래밍될 수 있다. 이러한 방식으로, 고기 타입의 대략적인 두께가 알려지면, 대략적인 무게 및 요리 시간이 알려진다. 패키지 사전 절단시에 무게를 입력할 수 있고, 이어서 절단 데이터로부터 후속 부분들이 추정될 수 있다.
방금 설명된 절단 절차는 원하는 형상 및 크기의 투영이 위로부터 제공되는 경우에 더 쉽다(예로서, 도 4 참조). 이 도면에 도시된 바와 같이 투영이 아래로부터 제공되는 경우, 크기는 실제 원하는 크기보다 약간 크게 투영되어야 하며, 따라서 투영의 안쪽으로 절단하는 동안에 투영을 볼 수 있다.
고기에 대해 설명하였지만, 이 기술은 물고기, 반죽, 브로콜리, 야채 또는 다른 아이템들을 절단하는 데에도 이용될 수 있다. 투영 이미지는 말하자면 "이것과 비슷한" 스테이크 조각과 같이 사용자에게 무엇을 절단할지에 관해서도 지시하는 데에도 사용될 수 있다.
도 2a는 본 발명의 카운터 상부와 가정 내의 다른 기구 또는 데이터 장치들의 상호접속을 도시하며, 기구 제어 패널에 대한 응용을 더 도시한다. 이것은 임의의 가정 제어 시스템을 위한 것이지만, 논리적 장소는 주방이다. 이제, 가사를 책임지는 주방 안의 사람은 이해하기가 점점 더 어려운 세탁기 바로 위의 제어들이 아니라 제어 시스템의 사용에 끌릴 것이다. 그리고, 그는 예를 들어 세탁실로 내려갈 필요 없이 주방에서 제어 패널로부터 진행을 추적할 수 있다. 게다가, 제공되는 기능들의 사람의 이해의 큰 향상으로 인해 향상되는 세탁기 및 건조기 기능으로부터 소정의 비용이 절감될 수 있는 것이 가능하다. 추가적인 제어 비용 절감 방법이 도 6에서 설명된다.
도 2a에 도시된 상호작용의 일 모드에서, (평면도로 도시된) 작업 보드(205)의 스크린 및 제어 표면 상의 손잡이들(201, 202)과 같은 손잡이들(또는 스위치들과 같은 다른 제어 상세들)의 기능은 가정의 벽 상의 제어 표면도 설명하고 있는 본 출원인의 함께 계류중인 출원들에서 설명된 바와 같이 재구성될 수 있다. 설명을 위해 도시된 바와 같이, 도시된 모드에서, 손잡이(201)는 장치 또는 기능을 선택하며, 손잡이(202)는 그 장치의 동작 모드를 선택한다. 라벨들은 제어되는 장치에 맞도록 손잡이(202) 상에서 변경될 수 있다. 도시된 바와 같이, 단어들 펌 프래스는 세탁기 사이클을 위한 것이다. 다른 선택되지 않은 기능들(예로서, 정상 세탁)의 라벨들은 일 동작 모드에서 더 어두워질 수 있다. 이어서, 작업 보드의 또는 (전체를 포함하지 않는 경우) 작업 보드 내의 스크린 표면은 장치, 이 예에서는 세탁기의 동작에 대한 그래픽 또는 다른 보조물을 표시할 수 있다. 세탁기의 상태들의 기능들을 나타내는 그래픽 이미지들은 원할 경우에 작업 보드의 터치 스크린 상에서 조작될 수 있다. 현재 세탁기에서 버튼들 등에 의해 제어되는 사이클에 대한 특수 설정들은 그 대신에(또는 옵션으로서 그에 더하여) 일부 절약들에서 주방으로부터 제어될 수 있다. 기능들을 지시하기 위하여 손잡이 상에 또는 그 옆에 또는 양자에 문자가 표시될 수 있으며, 또한 라벨들은 선택을 지시하기 위하여 크기 또는 컬러가 또는 다른 방식으로 변할 수 있다. 제어되는 장치의 특징들을 포함하는 장치의 사진(210)도 원할 경우에 표시될 수 있다.
예를 들어 도 2a의 손잡이들(201, 202)은 본 출원인의 함께 계류중인 출원 11/272,868에 도시된 바와 같이 예를 들어 두 손가락 트위스트 모션에 의해 회전되는 가상 표시 손잡이들일 수 있다. 이 개념은 이러한 방식의 모든 시스템들의 제어로 확장될 수 있지만, 실제로는 장치의 실제 표면 상에 제어의 가상 맵을 표시하고, 제어 패널 상의 가상 제어들을 이용하여 그들을 맵핑하고, 106과 같은 컴퓨터에 신호들을 그들에게 전송하여 원하는 기능들을 실행하게 하도록 지시한다. 그러한 신호 전송은 필요에 따라 무선 또는 유선일 수 있다.
예를 들어, 볼륨 손잡이(220)의 가상 회전 및 가상 푸시버튼 국 선택 버튼들(221-224)의 조작을 이용하여 그의 조작이 달성되는 외부 오디오 시스템(예를 들어, 당신이 현재 갖고 있는 그러나 필요한 입력 접속들이 원격으로 제어되어야 하는 소니(SONY))의 가상의 맵핑된 제어 패널의 투영(또는 다른 표시)을 작업 보드 스크린 표면 상에 도시하는 도 2b를 고려한다. 스크린(230) 상에 표시된 소니 제어 패널의 배경 이미지는 원할 경우에 단지, 디지털 카메라로 촬영한 실제 아이템의 JPEG(또는 인터넷으로부터 다운로드된 샷)일 수 있으며, 그 안에는 가상 제어 기능들이 오버레이된다. 두 손가락(통상적으로 엄지 및 검지) 트위스트 모션을 이용한 손잡이(220)의 회전은 예를 들어 거실에 위치하는 실제 소니 오디오 시스템의 물리 손잡이의 회전과 똑같이 볼륨을 위 아래로 조정한다. 예를 들어 선택된 국의 호출 문자들 WXYZ는 이들이 실제 장치 상에 있을 수 있는 것과 같이 표시될 수 있다. 또는, 원할 경우에는, 시스템을 원하는 임의의 제어 레이아웃 또는 디스플레이 구성으로 재프로그래밍할 수 있다. 그러나, 일반적으로, 아이디어는 가정에서의 혼란을 줄이기 위해 제어들을 동일하게 유지하는 것이다.
이 예에서, 전술한 실제 손잡이(201)는 오디오 시스템 제어 패널을 선택하는 것으로 도시되지만, 이것 또한 가상 아이콘 표시 선택 버튼 또는 다른 가상 제어일 수 있다. 또는, 이것은 물리 스위치 등일 수 있다. 전술한 다른 실제 손잡이(202)는 원할 경우에 이 시나리오에 활성 상태에 있을 수 있거나, 시스템을 무시할 수 있는 다른 기능들을 독립적으로 제어하는 데 사용될 수 있다. 예를 들어, 손잡이(202) 상의 위치 "A"가 선택된 경우, 표시된 모든 아이템들은 레인지 상부 또는 절단 보드 작업들, 또는 어린이 방 비디오 모니터 사진의 표시, 또는 인터넷, 또는 기능 A가 할당된 무언가와 관련될 것이다. 이러한 모든 선택들 등은 원한 경우에 손잡이(202) 상에 또는 터치 아이콘들을 통해 또는 이들의 임의 조합으로 제공될 수 있다.
도 2c는 터치 아이콘 업 및 다운 온도 스위치들(261, 262), 온도 설정 디스플레이(265) 및 난방 공기 및 팬 온 스위치 세트(270)를 포함하는 난방 및 에어 컨디셔닝 서비스들을 위한 가상 표시 제어 패널(255)을 나타낸다. 작업 보드 스크린 상의 여분의 공간은 예를 들어 제어들의 설정을 돕기 위해 원하는 기간 동안 예를 들어 인터넷으로부터의 일기 예보들의 표시 영역(260)을 나타내는 데 사용된다. 손잡이(202)는 원할 경우에 예를 들어 날씨를 설명할 여러 날들에 관한 추가 정보를 스크롤 다운하고 선택하기 위해, 선택된 난방 모드에서 실행 가능한 바와 같은 임의의 그러한 기능들을 지원하는 데 사용될 수 있다. 본 발명의 이점은 그러한 관련 정보가 제어 바로 근처에 그리고 가정에서 가장 자주 사용되는 장소에 매우 읽기 쉬운 형태로 제공될 수 있다는 것이다.
제어 시스템 또는 기구의 사용자가 그들의 셀폰(280)을 장치의 슬롯(281)에, 이 예에서는 작업 보드(205)에 꽂는 본 발명의 응용이 도 2a에 더 도시되어 있다. 셀폰은 그렇게 함으로써 접속되고 충전되며, 셀폰에 저장된 튠즈(tunes)를 재생하거나 그를 이용하여 셀 네트 상의 다른 것들과 협력하는 것과 같이 시스템 컴퓨터(106)에 인터페이스될 수 있다. 그리고, 튠즈들의 재생 리스트 또는 전화 번호들이 작업 보드의 스크린 상에 표시되어, 수행할 작업들의 빠른 선택을 도울 수 있다. 셀폰에서 충분한 처리 능력이 이용 가능한 경우, 셀폰의 컴퓨터는 컴퓨터(106)에 대한 대안으로서 시스템의 일부 또는 전부를 조작하는 데 사용될 수 있다. 이것은 또한 포켓 속에서 운반되는 정보와 더불어 다른 그러한 제어 패널들을 조작하는 것을 가능하게 한다.
또 하나의 표시된 제어 패널은 외부 의류 건조기의 가상 맵핑된 패널일 수 있다. 이것이 외부 세탁기의 패널 일수도 있고, 그러한 장치들 양자가 주방으로부터 대체로 먼 영역들에 위치한다는 것을 인식하면, 이 패널로부터 양자를 제어하는 것이 가능하고, 이는 실제 장치에서 비용을 줄일 수 있다. 아래층으로 내려갈 필요 없이, 세탁기의 상태를 파악할 수도 있다.
도 3에 도시된 도 1의 프로젝터 디스플레이의 대안은 현재는 도시된 것보다 크기가 작지만 샤프 사에 의해 제조된 것과 같은 감지 검출기들의 행렬인 LCD 픽셀들을 통합한 작업 표면 LCD 디스플레이(375)이다. 손상을 방지하기 위하여, 렉산(lexan) 플라스틱의 보호 커버(377)가 디스플레이 위에 제공된다. 디스플레이 내의 검출기들에 입사하는 디스플레이 또는 방으로부터의 광의 표시로 얻어지는 이미지들은 개시된 후방 투영 기반 시스템들의 카메라 이미지들과 유사하게 (디스플레이를 구동하는 데에도 사용되는) 컴퓨터(380)에 의해 처리된다. 이러한 배열은 개시되는 발명의 다른 작업 보드들에서도 사용될 수 있으며, 후방 투영 장치들보다 더 얇다는 이점을 갖는다. 그러나, 이 문서에서는 덜 설명되며, 표면, 크기, 구성 및 활동의 선택은 더 제한된다. 또한, 보호 커버가 그를 통해 볼 때 덜 이상적인 이미지들을 제공할 만큼 두껍지 않은 경우, 예를 들어 장치 위에 무거운 팬을 떨어뜨림으로써 LCD 부분이 파손될 수 있으므로, 수리 비용이 훨씬 더 비싸다. 장치는 손가락 터치(383)의 위치를 파악할 수 있고, 디스플레이 내에 함께 배치된 검출기들은 디스플레이(394)로부터의 광을 이용하여 커버(377)에 설치된 레이스(392) 내에서 회전하는 손잡이(391) 상의 데이텀(395)을 인식할 수 있다.
도 4a는 도 1에 설명된 예를 더 도시하며, 여기서는 정보의 투영 및 그의 감지가 도 1a의 카메라(130)에 대해 처음 설명된 라인들을 따라 위로부터 수행된다. 이러한 배열은 여러 개의 함께 계류중인 출원들, 예를 들어 11/184,076, 11/832,134, 11/980,722에 그리고 피터 스미스와 본 출원인에 의한 참조 출원들 내의 관련 상황에서도 설명된다. 도시된 바와 같이, 작업 보드(401) 상의 작업 표면(400)이 프로젝터(405)에 의해 투영되고, 컴퓨터(410)에 의해 구동되고 처리되는 카메라(406)에 의해 관찰된다. 작업 표면 상의 이미지는 사용자(412)에 의해 관찰된다. 415와 같은 하나 이상의 사용자 손가락 또는 손의 위치도 필요에 따라 카메라(406)에 의해 감지될 수 있으며, 이 예에서는 사람의 손가락 끝(416)이 쿠키 반죽 마운드(417)를 터치하는 것이 감지된다. 이 분야에 공지된 바와 같은 구조화된 광 라인 프로젝터(420)가 제공될 수 있으며, 카메라(406)에 의해 촬영된 이미지들과 연계하여, 사용자 손가락이 작업 표면 상에서 반죽을 밀 때 반죽(417)의 형상의 윤곽을 표시하는 데 사용될 수 있다. 대안으로서 그리고 더 정확하게는, 예를 들어 전기 모터에 의해 작업 보드 자체를 이동시키거나, 회전 미러를 이용하여 레이저 빔을 수평 방향으로 스위핑함으로써 레이저 라인이 표면을 자동으로 스위핑하게 할 수 있다. 기계적 이동이 요구되지 않는 경우에는 라인들이 아니라 그리드들이 투영될 수 있다. 촬영된 데이터는 컴퓨터(410)에 의해 처리되어, 투영된 이미지 또는 다른 디스플레이 상에 형상 또는 계산된 부피로서 사용자에게 제공될 수 있다. 그리고 레이저로부터, 반죽 밀도가 (예를 들어, 레시피로부터 다운로드될 수 있는 무언가가) 적절히 알려지는 경우에는 무게가 추정된다. 이것은 또한 적절한 계산을 통해 반죽 및 최종 구워진 쿠키의 추정 열량을 계산할 수 있게 한다. 열량의 예측은 더 가벼운 덜 배부른 쿠키들이 요구되는 경우 반죽 크기를 다시 절단할 수 있게 한다. 위로부터의 광 섹션 데이터는 후방 기반 카메라 시스템을 이용하여 아래로부터 얻어진 면적 및 형상 데이터와 연계하여 사용될 수도 있다.
도 4b는 프로젝터(405)에 의해 투영되고, 컴퓨터(410)에 의해 구동되고 처리되는 카메라(406)에 의해 관찰되는 작업 표면(440)의 사시도이다. 프로젝터 및 센서는 주방 천장의 트랙 광 정착물(430)에 설치되지만, 이것은 임의의 다른 적절한 설치일 수 있다. 표면(445) 상의 도트 마크 또는 포인터(450)를 이용하는 손잡이(441)의 감지도 도시된다. 라인 프로젝터(420)에 의해 투영되는 광 라인(460/461)이 도시되며, 460과 461 사이의 카메라(406) 상의 이미지 내의 시프트는 쿠키(이 예에서는 평평한 쿠키)의 높이(h)를 지시한다. 이러한 타입의 시스템들을 이용하는 부피 및 형상 계산은 미국 특허 제5,940,302호에 설명되어 있다. 평평한 쿠키의 경우, 부피는 (예를 들어, 카메라 이미지를 관찰함으로써 얻어지는) 쿠키의 직경을 결정하고, 이 예에서는 전술한 숫자 h인, 모든 포인트들에서 결정된 높이의 파이 배를 곱함으로써 계산될 것이다.
카메라는 바로 위쪽에 있을 필요가 없고, (도 1b의 기둥(423) 위의 웹캠(422)과 같이) 카운터로부터 위로 고정된 기둥 위에 설치되어 작업 보드 상의 물건들을 비스듬히 관찰할 수 있다. 카메라 또는 다른 전기 광학 센서가 레인지 상부에서 또는 그 근처에서 어린이를 감지하고, 알람 소리를 발하고, 버너들을 끄는 데 사용된다는 점에 유의한다. 이와 같은 일부 응용들에서는 초음파 센서 또는 레이더 센서가 사용되고, 또한 컴퓨터(410)에 인터페이스될 수 있다는 점에 유의한다. 카메라는 스토브 위에서 물이 끓고 있는지, 그리고 (열을 낮추는 것과 같은) 제어를 자동으로 개시하기 위해 고시되거나 사용될 수 있는 관심 있는 다른 조건들을 결정하는 데에도 사용될 수 있다.
오버헤드 버전은 후방 투영 버전에 비해 여러 이점을 갖는다. 예를 들어, 이것은 서랍, 마이크로웨이브 등을 위한 카운터 아래의 공간을 절약한다. 프로젝터 및 카메라 "투사" 거리는 이 예에서 단지 자유 공간에서 천장에서 카운터까지의 거리보다 적은 소정의 거리를 포함한다. 작업 보드 또한 그 위에서 이미지를 볼 수 있다면 원하는 임의의 것이며, 광을 투과할 필요는 없다. 주요 단점은 손, 머리 또는 다른 신체 부분들이 일반적으로 카운터 상부 위의 물건들과 같이 투영 이미지를 가릴 수 있다는 점이다. 그러나, 조금 주의하고, 어디에 무엇을 투영할지를 적절히 선택함으로써, 이것은 크게 완화될 수 있다. 예를 들어, 직접 작업 영역으로부터 떨어진 영역에 상세 정보가 최상으로 투영된다. 사실상, 본 발명은 카메라 및 모션, 손 인식 소프트웨어 또는 다른 수단들을 이용하여 작업(예로서, 스테이크 절단)이 어디서 행해지고 있는지를 감지하고, 컴퓨터에 시그널링하여, 레시피 또는 다른 정보를 다른 영역에 투영하도록 프로젝터를 제어하게 하는 것을 포함한다.
도 5a는 기구 제어 패널, 이 예에서는 세탁기(503) 또는 건조기(504)에 대한 응용을 도시한다. 하나의 패널이 재구성될 수 있으므로 양자를 서비스할 수 있다는 점에 유의한다. 예를 들어, 세탁기(503) 상의 제어 패널(502)의 손잡이(501)는 많은 함께 계류중인 출원들에 설명된 RTD 발명을 이용하여 세탁 프로그램들을 제어하는 것으로부터 건조기 프로그램들을 제어하는 것으로 재구성될 수 있다. 이 경우, 하나의 패널이 세탁기 및 건조기 양자를 서비스하면서, 각각에 대해 선명하고, 크고 사용하기 쉬운 제어들을 여전히 제공할 수 있으므로, 비용이 절약될 수 있다. 전통적인 디자인의 대안적인 수동 회전 스위치 손잡이가 (반도체 장치들 대신에) 사용될 수 있고, 원격 컴퓨터 제어를 위해 모터를 구비할 수 있다.
예를 들어 본 출원인의 함께 계류중인 출원 11/832,134에 설명된 바와 같이, 디스플레이 및 제어 표면(510)은 잘 팔릴 것으로 생각되는 하이 볼륨 셀폰 응용들에 기초할 수 있는 저가의 프로젝터/센서 모듈에 의해 조명될 수 있다. 이것은 또한, 기존의 세탁기들과 유사하지만, 완전히 전자식이고 재구성 가능한 촉각 손잡이들을 이용하여 기능들의 총체적인 재구성 및 시스템의 최대 유연성을 가능하게 한다.
방금 설명된 본 발명은 필요에 따라 기능들을 스위칭하기 위해 반도체 릴레이들 또는 다른 장치들을 이용한다. 이것은 일반적으로 구식의 기계 기반 손잡이 회전 스위치들보다 비싼 것으로 생각된다. 비용이 중요한 경우, 통상적인 디자인의 수동 손잡이가 사용될 수 있으며, 이러한 손잡이는 도 1과 같은 유닛에 의한 원격 컴퓨터 제어를 가능하게 하기 위해 모터(예를 들어, 스텝퍼 모터)를 구비할 수 있다. 그러나, 투영 또는 다른 디스플레이 시스템으로 인해 라벨링이 재구성될 수 있다. 스크린(510) 상에 표시되는 정보는 제어 기능 라벨 또는 지시등(tell tale light)만이 아니라 임의의 것일 수 있으므로, 예를 들어 이것을 어린이 방의 TV 모니터에 무선 접속할 수 있으며, 따라서 세탁을 하고 있을 때, 집 안에서 또는 바깥 마당에서 진행되는 것들에 주의를 기울일 수 있다. 전술한 다른 기능들도 옵션으로 제공될 수 있다. 제어 패널이 드럼을 감쌈으로써 점선들(530)로 표시된 터치 기능, TV 시청 또는 다른 특징들을 위해 이용 가능한 스크린 크기를 증가시킬 수 있는 흥미로운 특징에 주목한다.
도 5b는 전술한 그러나 상이한 형상의 제어 패널 및 더 큰 드럼들을 갖는 배열을 도시한다. 게다가, 필요에 따라 세탁기에서 건조기로 그리고 그 반대로 스크린 및 제어 표면을 변경하기 위한 물리적 "핫 버튼" 스위치(540)가 도시되어 있다. 세탁기 및 건조기의 이중 제어는 이태리와 같이 공간이 제한되는 지역들에서 판매되는 것과 같이 결합된 세탁기 및 건조기 기능을 갖는 기계들에 유용하다. 이 경우, 제어 패널은 양 기능에 대한 정보를 최적으로 제공할 수 있으며, 하나 이상 또는 다른 기능에서 기계를 조작할 때 사이에서 간단히 스위칭될 수 있다. 도 6c도 참조한다.
전술한 제어 패널 아이디어는 레인지 및 오븐 조합, 또는 레인지 및 마이크로웨이브, 또는 제어될 임의의 다른 그룹의 기구들 또는 다른 장치들을 제어하는 데 이용될 수 있다. 그리고, 제어되는 장치들은 같은 곳에 위치할 필요가 없다. 예를 들어, 패널(502)은 세탁기 및 건조기에 더하여 장치의 오디오 시스템 또는 TV 기능도 제어할 수 있다. 또는, 심지어 인터넷도 제어할 수 있다. 위의 작업 보드 개시의 라인들을 따른다.
도 6은 가장 간단한 예에서 복잡한 디스플레이 능력이 거의 없거나 전혀 없이 제어만을 위해 사용되는 본 발명의 저가 제어 배열을 도시한다. 이것은 복잡한 디스플레이 상호작용을 필요로 하지 않는 기구들, 트럭들, 자동차들 및 많은 다른 응용들에 이상적이다. 본 출원인의 함께 계류중인 출원들, 예를 들어 11/980,710에도 개시된 중심 전제는 셀폰 또는 자동차 응용들에 사용되는 단일 저가 카메라(600)가 LED(605)와 더불어 제어 표면(630) 상의 손잡이(620) 및 슬라이드 스위치(625)와 같은 다양한 복수의 물리 제어 상세의 위치를 조명 및 감지하는 데 사용될 수 있다는 것이다. 카메라에 의해 수집된 이미지 데이터는 카메라와 통합된 DSP와 같은 간단한 컴퓨터 수단(610)에 의해 처리되고, I/O로 제공된 출력들은 손잡이들 및 스위치들(및 필요에 따라 다이얼, 슬라이더 등과 같은 다른 제어들)과 상호작용하는 사용자에 의해 행해진 제어 선택을 실행하는 데 사용된다.
이러한 시스템은 매우 싼데, 그 이유는 제어 상세들 상에서 후방 반사기들 또는 다른 높은 콘트라스트의 타겟들이 사용되어 광이 거의 필요하지 않은 경우에 카메라 및 컴퓨터 부분이 대량으로 수 달러 정도일 수 있고, LED가 단지 10 센트일 수 있다는 설계들을 읽었기 때문이다. 여기서의 제어는 주변 광에 노출되지 않으며, 따라서 더 높은 전력 또는 복잡한 컴퓨터 처리가 필요하지 않다. 또한, 근적외선 동작 또는 대역 통과 필터들이 필요 없으며, 이는 일부 주변 광 문제들이 계속되는 경우에 유용할 수 있다.
본 발명의 이 양태는 저가(예로서, 10개의 제어를 갖는 패널에 대해 (플라스틱 아이템들을 포함하지 않는) 제어되는 변수 또는 장치당 30 센트 정도)일 뿐만 아니라, 설계 및 맞춤화가 쉽다. 예를 들어 특수 회로 보드를 제작할 필요가 없다. 이것은 많은 영역에서 많은 이점을 갖는다. 이것은 매우 경제적인 작은 제어 패널 부피를 가능하게 한다. 옵션으로서, 컴퓨터도 다른 센서들 및 제어들로부터 입력들을 취할 수 있으며, 이는 시스템을 훨씬 더 다재다능하게 한다. 카메라는 또한 도시된 플라스틱 부재(640)와 같은 위에 배치된 부재의 인덴팅(indenting) 위치들을 감지할 수 있다. 이것은 부재가 랩탑 상에서와 같이 터치 패드로서 또는 오늘날 많은 기구들이 갖는 것과 같은 터치 스위치 위치들과 더불어 사용될 수 있게 한다. 적절한 감지 방법들의 예들이 본 출원인의 함께 계류중인 출원들에 설명되어 있다. 제어들은 측면도에 도시되며, 손잡이, 스위치 등과 같은 다른 제어들은 종이의 면 밖으로 연장하는 표면 상에 위치할 수 있다.
또한, 본 출원인의 11/980,710 출원에 개시된 것과 같은 2개의 고정 프로젝터(650)(이러한 관점에서 페이퍼(paper)의 평면(plane)의 간격을 둠)를 포함하는 도 5의 애플리케이션에 적합한 버전을 이용할 수 있다. 예를 들어, 건조기 제어 표면(control surface) 이미지를 위해 하나, 세탁기를 위해 하나. 이 경우, 이미지 데이터가 투영되는 제어 표면(630)의 영역은 동시 계속 출원들에 개시된 바와 같이, 후방 프로젝션 스크린(rear projection screen)을 생성하기 위해 투과적이고 분산적일 필요가 있다. 추가 비용은 매우 낮지만(예를 들어 5 달러), 이 경우 제어 표면(630)에의 전기적 접속을 요구하는, LCD 패널, 예를 들어, 스트립 LCD 또는 LED 타입 또는 다른 평면 패널 디스플레이(670)와 같은 별개의 디스플레이가 이용되지 않는 한 비디오 또는 실시간 정보를 제공하는 능력이 없다. 비용에 여유가 있을 수 있는 경우에는, 비디오 디스플레이를 위한 구동 회로 또한 비용이 든다는 것을 유념하여, 그에 따라서 Icd 패널 또는 다른 종래의 디스플레이 또는 대안적으로 저비용 LCOS, MEMS, 또는 예를 들어 휴대폰들에서 이용될 수 있는 바와 같은 다른 비디오 프로젝터를 이용할 수 있다. 기기(appliance)에서의 이러한 프로젝터는 또한 사용자에게 TV 이미지 또는 인터넷 접속을 제공하는 데 이용될 수 있다. 제어 표면(630)은 손잡이 위치, 손가락 터치 위치 등과 같은 원하는 제어 정보를 보기 위한 카메라의 능력에 일반적으로 영향을 미치지 않고 곡선 또는 불규칙적일 수 있다는 것에 주목한다.
도 6b는 도 6a의 장치를 이용하는 차량에서 야간 주행을 위해 일루미네이트되는 라벨들(illuminated labels)을 제공하는 방법을 예시한다. 도 6b는 도 6a의 장치에 일루미네이트되는 라벨들을 제공하는 하나의 방법을 예시한다. 도시된 바와 같이, 손잡이(651)가 제어 표면(652) 상에 부착되고 LED(654), 이 경우에 다른 파장들의 광이 카메라 이미지에 유효하게 영향을 미칠 수 없도록, 카메라의 앞에 밴드 패스 필터(655)를 통과하는 파장의 IR LED로부터의 광을 이용하여, 회전 위치를 결정하기 위해 카메라(665)에 의해 감지된다. 야간에, 백색 LED(660)(대안적으로 색이 있을 수 있음)가 켜지고, 단어 VOL(또는 라디오 손잡이를 위한 볼륨)로 레이저 컷(laser cut) 부재(652)에서 가는 슬롯 컷(thin slot cut)을 통과한다. LED(660)는 필요에 따라 밝거나 어둡게 제어될 수 있고, 타당하게 다수의 다른 이러한 조각된(engraved) 슬롯들이 다른 마킹들을 위해 컷될 수 있다. 원하는 경우, 그리고 백색 LED가 이용되는 경우, 그것들이 상이한 컬러들을 나타내도록 하기 위해 슬롯들 중 일부에 컬러 필터들(colored filters)을 놓을 수 있다. 필터는, 필요한 경우, 차 안으로부터 슬롯들을 통과하는 대부분의 주변 광을 컷 아웃(cut out)하는 데 이용된다.
도 6c는 본 출원인의 동시 계속 출원들에 개시된 바와 같은 소형 센서/프로젝터를 이용하는 개별 기기를 위한 결합된 세탁기 및 건조기 시스템을 예시한다. 예를 들어 이러한 타입의 프로젝터 및 센서 결합들은 휴대폰 애플리케이션으로 예정된 Microvision 브랜드 "피코 프로젝터(pico projector)"에 기초할 수 있다. 프로젝터(685)는 시스템의 손잡이, 스위치 및 터치 스크린 커맨드들로부터 입력들을 수신하는 컴퓨터(690)에 의해 제어된다. 비디오 이미지들은 3M TRAF 터닝 필름(turning film)이 사용자를 향해 이미지를 돌리기 위해 배치된 스크린 및 제어 표면(675)의 후면에 비스듬히 투영된다. 투영되는 이미지는 원하는 모든 스크린 표면이 일루미네이트될 수 있도록 스크린 상에 오버 스캔된다(over scanned).
2개의 상태가 도시되며, 기계의 세탁기 또는 건조기 부분, 또는 기계들의 쌍을 동작시키기 위해, 각각 필요에 따라 전기 전력 및 제어 버튼(671 또는 672)에 의해 활성화된다. 메인 제어 및 선택 손잡이(676)는 본 출원인의 계류중인 11/045,131 출원, 및 다른 출원들에 개시된 바와 같이 그의 중심에 스타일리시하고 정보제공형의(informative) 스크린을 옵션으로 가질 수 있다. 손잡이는 방사상 두께 t의 링의 형태로 될 수 있고, 원하는 경우(그리고 동시 계속 출원들에 개시된 바와 같이), 많은 종래의 손잡들이 오늘날 그러한 것처럼, 누르거나 당기기, 사이클(cycle)을 시작 또는 중지할 수 있도록 하는 방식으로 설계될 수 있다. 손잡이 표시기는 물리적 포인터일 수 있거나, 그것은 682에서와 같이 간단하게 스크린 표면 상에 투영될 수 있거나, 대안적으로 손잡이 정면 또는 다른 손잡이 표면 상에 투영될 수 있다. 2개의 다른 손잡이들이 이 일예에서 678 및 679가 제공된다. 더 많은 손잡이들 또는 스위치들 또는 슬라이더들 또는 다른 제어들이 동시 계속 출원들에 도시된 바와 같이 제공될 수 있다. 이들 제어들은 광학적으로 감지될 수 있지만, 그것들은 대안적으로 또는 부가적으로 이 기술분야에 알려진 전자 수단을 이용하여 감지될 수 있다. 후자의 몇몇 바람직한 버전들 중 하나가 용량성 터치 스위치이다.
옵션으로 동시 계속 출원들에 개시된 바와 같이 제공될 수 있는 가상 터치 입력들의 영역이 세탁기 모드를 위해 682로서 그리고 건조기 모드에서 683으로서 도시된다. 필요에 따라 이들 기능들 또는 표시기들은 상이한 모드들을 위해 상이할 수 있다. TV를 시청하기 위해 외부 프로그램 소스와 같은 세탁기 또는 건조기 이외의 다른 서비스에 접속하기를 원할 때, 옵션의 버튼(674)이 눌러질 수 있고, 이것은 손잡이(676)를 보조 선택 손잡이로 돌리고, 모든 라벨 및 다른 세탁기 기능 표시들이 삭제될 수 있는 동안 제공된 다른 이미지들, 또는 그것들의 글자들 또는 표시들은 더 작아지거나 달리 덜 가시적이게 된다는 것에 주목한다. 세척 또는 건조 액션은 필요에 따라 인게이지되면(if engaged) 진행할 수 있다.
본 출원인의 동시 계속 출원들에 언급된 바와 같이, TV의 이미지는 손잡이(또는 스위치 또는 다른 제어) 상의 스크린에서 오른쪽에 나타나도록 투영될 수 있다. 이것은 사실상, 발견한 바에 따르면, 특히 이미지를 실질적으로 불명료하게 하지 않도록 손잡이 링들의 방사상 두께가 작은 경우, 일반적으로 이미지의 전반적인 이해에 크게 지장을 주지 않는다.
도시된 바와 같이 프로젝터(685)(손잡이, 스위치 및 터치 스크린 커맨드들로부터 입력들을 수신하는 컴퓨터(690)에 의해 제어됨)는 몇몇 다른 동시 계속 출원들뿐만 아니라, 본 출원인의 계류중인 '868 출원(미국 특허 7084859와 관련됨)의 도 4에 도시된 바와 같이 각을 이루어 스크린의 후방 표면 및 제어 표면 상에 비스듬히 투영되도록 각이 질 수 있다. 매트릭스 타입 이미지 칩들로 일반적으로 바람직하게 도시된 경우에, 칩은 투영된 이미지 평면이 한쪽 끝에서 다른 쪽 끝으로 스크린 상에 초점이 맞도록 기울어질 수 있다. 이 기법이 이용되는 경우, 이미지는 스크린에 걸쳐서 균일한 배율로 제공하기 위해 컴퓨터에서 보정될 수 있다. 스크린은 근단이 완전히 일루미네이트될 수 있도록 프로젝터로부터 원단에서 오버 스캔된다.
이 시스템은 기기들을 구별하기 위해 투영되거나 달리 디스플레이된 그래픽을 이용할 수 있게 하고, 앞서 경우들에서 지적한 바와 같이, 곡선 모양들 및 컷 아웃 주변들(cut out peripheries)의 이용을 포함하여, 제어 패널 및 스크린 모양을 또한 쉽게 변경할 수 있다. 상이한 마켓들 또는 구매자들에 맞도록 언어를 쉽게 변경할 수 있다. 그리고 본 출원인의 11/045,131 출원 및 다른 곳에서 지적된 바와 같이 손잡이 또는 다른 제어 요소 상에 패턴들, 컬러들 등을 디스플레이할 수 있다.
가장 간단한 형태의 발명은 스크린 및 제어 표면 상의 제어 위치들을 감지하기 위해 카메라 또는 다른 전기 광학 센서를 이용할 수 있다. 또는 그것은 개시된 바와 같은 프로젝터를 이용할 수 있고, 도 23에 예시된 것과 같은 종래의 제어 감지 기술들을 이용할 수 있으며, 중요한 것은 위에서 세탁기 또는 건조기에 대해 언급된 바와 같이 다수의 기기들을 제어하기 위해 디바이스의 기능이 이용될 수 있다는 것이다. 예를 들어 다른 예가 도 14에 있고, 여기서는 동일한 컴퓨터(1410) 및 제어 시스템이 레인지, 오븐 및 마이크로웨이브를 제어할 수 있다. 임의의 또는 전부. 도 14의 것과 달리 제어 패널은 오늘날 종래의 디바이스들에서 처럼, 스토브의 앞 또는 뒤에 배치될 수 있다.
또한, 동일한 디바이스의 상이한 기능들을 유사한 방식으로 제어할 수 있다. 예를 들어, 건조기에서 도 6c와 같은 제어 패널은 건조 사이클 특정 제어 패널로부터, 전체 건조기 제어 패널로, TV 쇼, 또는 인터넷 피드(internet feed)를 보여주는, 엔터테인먼트 패널까지 스위칭될 수 있다. 원하는 경우, 그것은 본 출원인의 '868 출원 및 미국 특허 7084859의 멀티포인트 타입과 같은 더 정교한 터치 스크린 기능들을 또한 포함할 수 있다.
도 7a는 작업대 표면 상에 디스플레이되는 명령어들을 더 이용하는, 용기들 내의 액체 레벨을 측정하기 위해 유용한 발명의 실시예를 예시한다. 일부 사람들에 대한 주요한 어려움은 통상적으로 계량컵에 넣어지는 재료들, 특히 액체뿐만 아니라 과립(granular) 재료들의 측정이다. 단지 사실상 필요한 것으로서, 본 발명은 레시피로부터 데이터를 획득함으로써 이것을 도울 수 있다는 것이 고려된다. 이것을 사람에게 디스플레이함으로써, 또는 부가적으로 재료의 양을 모니터함으로써, 그 사람이 용기의 최상부에 넣고 있고 그들이 충분히 넣었을 때를 그들에게 말해주는, 아마도 그들이 붓는 속도를 줄일 수 있도록 시간 전에 약간의 경고를 그에게 제공할 수 있다. 용기를 내려놓은 바로 옆에 액체 및 정보의 디스플레이를 가질 수 있다는 것에 주목한다.
도 3에 도시된 바와 같이 표면 상에(후방 투영으로 도시되지만, 전방 투영될 수도 있음) 용기를 두어야 하는 투영된 측정 써클 Me를 디스플레이할 수 있어, 카메라는 그 안의 액체의 높이를 결정하고, 그 용기 또는 용기 타입(예를 들어, 8개의 동일한 위스키잔 세트 중 하나)에 대해 미리 캘리브레이트된(pre-calibrated) 값과 그 양을 비교할 수 있다.
컴퓨터(745)에 의해 분석되는 카메라(730)는 유리컵(721)과 같은 용기의 바닥까지 액체(이 경우 타당하게 투명해야 함)를 통해 투영되는 레이저 빔 스폿(720)의 위치를 봄으로써 액체 레벨(746)을 감지할 수 있다. 액체의 굴절률로 인해, 스폿의 위치는 용기 안의 액체의 높이에 비례할 것이다. 그러나, 액체 또는 과립 재료가 불투명한 경우, 상이한 레이저 삼각측량 접근법이 이용될 수 있고, 레이저 스폿은 이제 액체의 최상부에서 카메라에 의해 보이고, 카메라 축에 대한 레이저 빔의 앵귤레이션(angulation)으로 인해 용기에서 액체(또는 과립 재료)가 상승할 때 카메라의 이미지 평면에서 시프트한다. 액체(747)의 부피에 관한 정보는 필요에 따라 스크린 상에 디스플레이되거나 확성기를 통해 안내된다.
이미지가 컴퓨터(745)에 의해 프로세싱되는 카메라(750)를 이용하여 도시된 바와 같이, 용기가 투명하고 타당하게 평평한 설계로 되어 있다고 가정하면, 액체 레벨은 또한 측면으로부터 볼 수 있다는 것에 주목해야 한다. 이러한 응용을 위해, 백라이트 모드로 유리 및 액체를 비추는 것이 가장 바람직하지만, 용기의 측벽으로부터의 직접적이고 밝은 후방 반사(back reflection)를 피하도록 카메라 및 광원을 위치시키기 위해 주의해야 하더라도, 예를 들어, 카메라 측면으로부터 IR LED(751)로부터의 전면 광(front light)이 작용한다. 정상적인 방 라이트는 또한 많은 경우들에서 작용할 수 있다. 액체의 메니스커스(meniscus)는 그 아래 또는 위의 공기 또는 액체보다 이미지의 더 어두운 부분을 생성한다.
측면 뷰잉 기법(side viewing technique)은 또한 용기의 과립 재료 높이가 결정될 수 있게 하고, 그 이유는 이러한 재료의 최상부는 그 위의 공기에 대해 대비를 이루는 이미지(contrasting image)를 생성하기 때문이다. 측면 뷰잉 시스템은 또한 우유 및 다른 불투명한 액체들을 감지할 것이다. 또한, 측면 뷰잉 시스템은 일반적으로 재료를 붓는 것에 더 빨리 응답하고 또한 붓기는 카메라 필드에 방해가 되지 않는다는 것에 주목한다.
대안적인 상부 감지(top sensing) 방법은 도 7b에 도시된 바와 같이 용기(765)의 축(764) 및 작업대 표면 법선(worksurface normal)에 각을 이루어 카메라(770)를 배치하고 용기의 측벽들을 보는 것이고, 이것은 바람직하게는 컬러가 있고 널리 산란하는 광이다. 액체(또는 과립 재료)와 측벽 사이의 경계(766)는 대부분의 조명 상태들에서 파악될 수 있다. 원하는 경우 통상적으로 카메라와 나란히 놓이는 IR LED와 같은 특수한 광원(771)(보이지 않도록)이 이용될 수 있다. 카메라 이미지 센서(784)와 관련하여 프로세싱 후에 경계선의 이미지는 도시된 바와 같이 2개의 상이한 액체 높이를 위한 삽화(점선), 용기에서 더 낮은 것(785) 및 더 높은 것(786)이다.
용기(765)가 유리컵, 유리병(mason jar) 등과 같이 투명한 측벽들을 가지면, 레벨은 경계를 일루미네이트하기 위한 목적으로 위치(780)로 향해질 수 있는 작업대 표면 스크린 아래의 프로젝터(781)로부터 780과 같은 역광을 이용하여 결정될 수 있다. 도 7의 장치에서 액체 측정을 위한 캘리브레이션 단계들은 일 예에서 아래와 같다.
첫번째, 표시된 위치에서 작업대 상에 선택된 용기를 배치한다. 옵션으로, 카메라 및 컴퓨터 시스템에 의해 나중에 인식될 수 있도록, 카메라(730) 또는 프로젝터 센서 모듈을 이용하여, 그의 직경 D 또는 그의 성질의 다른 변수를 측정한다.
두번째, 용기를 제1 알려진 양, 예를 들어 100ml의 액체로 채운다. 용기의 바닥으로부터 액체까지 범위 R의 변경을 결정한다.
세번째, 다른 알려진 양으로 붓고 그 범위를 결정한다. 표준 캘리브레이션 양으로 붓지 않는 경우, 키보드를 이용하여 붓는 양을 입력한다. 센서는 비례적이고, 그것들이 임의의 주어진 셋업을 위한 것일 수 있을 때 유리 자체가 일정한 단면을 갖고 각도 보정 인자들(angular correction factors)이 알려져 있는 한, 이것은 전체 범위에 걸쳐 부피를 획득하는 것이 필요할 뿐이다. 티포트와 같이, 그렇지 않다면, 하프 컵, 쿼터 컵 등과 같이 공통 양을 이용하여 간단하게 캘리브레이트하고, 그것을 이용하여 그것들의 포인트들을 측정해서 예를 들어 룩업 테이블을 생성한다.
이 절차는 이용하고자 하는 각각의 용기 타입에 대해 한번 행해질 수 있다. 모든 측정 및 계산은 통상적으로 디지털 기반이기 때문에, 그것을 다시 하는 것은 통상적으로 필요하지 않다. 더 많은 데이터 포인트들을 갖는 더 정교한 캘리브레이션들이 또한 가능하다.
대안적으로, 장치의 제조자 또는 제3자는 높이 변경 대 부피에 대한 캘리브레이션 값들을 알고 있는 특수한 용기들을 제공할 수 있다. 이들 값들은 예를 들어 컴퓨터에 CD 또는 플래시 드라이브에 의해 입력될 수 있거나 웹사이트에서 다운로드될 수 있거나 어떤 것도 적절하다. 이 경우, 범위 센서(range sensor) 자체가 선형임을 가정하면, 가정에서의 캘리브레이션은 요구되지 않는다. 예를 들어 캘리브레이션 값들은 액체 없이 용기 바닥의 초기 측정의 측정으로 시작할 수 있다.
도 8은 용기에 존재하는 액체 또는 다른 물질(810)의 레벨에 따라 광학 특성이 변하는, 측정될 재료를 포함하는 예를 들어 알려진 경사의 원뿔형 내부 영역(801)을 갖는 용기(800)를 이용하는 레벨 측정을 예시한다. 작업대 표면(820) 아래 카메라(815)가 있고, 경계 링 A는 아래로부터 관찰되고, 액체 높이는 위로부터의 조명(825)이 링을 분명하게 만드는 위치에서 작업대 표면 상에 배치되는 특수한 플라스틱 또는 유리 용기의 원뿔형 내벽을 따라 끝난다(end). 컴퓨터(860)의 머신 비전 소프트웨어는 카메라(815) 또는 대안적인 카메라(850)(명확함을 위해 도시되지 않은 접속 와이어들)로부터 이미지들을 분석하고, 알려진 경사 값 또는 룩업 테이블에 저장된 다양한 부피들로 채우는 것에 대한 용기의 알려진 응답을 이용하여, 용기의 부피를 결정한다. 적절한 조명은 851 및 852와 같은 LED들, 정보 제공 또는 다른 목적을 위해 이용되는 경우에 오버헤드 프로젝터(overhead projector), 또는 다른 소스들에 의해 제공될 수 있다. 임의의 주어진 붓는 양에 대해 액체가 더 옆으로 이동할 때, 원뿔의 각이 급격할수록, 액체 높이의 해상도(resolution)가 더 좋아진다. 검출은 기하학적이지만, 더 작은 양의 액체에 대해 가장 민감하다. 그러나, 대체로 둥근 용기의 한 측면만을 단순히 기울임으로써 더 선형의 응답을 가지는 것이 가능하다. 측정 위치에서의 작업대 표면은 그렇지 않으면 링 이미지가 또렷하지 않게 되기 때문에 너무 확산성이어서는 안 된다. 또한, 확산이 거의 없거나 전혀 없는 거의 완전히 투명한 표면의 821과 같은 부분을 가지는 것이 가능하다. 보통, 그것이 사용자의 눈에 직접적으로 부딪힐 수 있기 때문에, 아래로부터 이 영역에 광이 거의 또는 전혀 투영되지 않는다. 이용할 수 있는 용기들은 직경이 대략 6 인치 이하이기 때문에, 영역은 통상적으로 작다.
다른 변형에서, 후방의 프로젝터는 용기의 바닥을 통해 경계를 일루미네이트하는 데 이용될 수 있다. 이 경우, 용기의 바닥을 통해 광이 투영되고, 액체의 최상부와 원뿔의 측벽 사이의 접합(juncture)이 즉시 가시적이다. 작업대 표면의 투명한 부분은 원하는 경우 확산성의 것으로 대체될 수 있거나, 또는 측정이 요구되지 않을 때 그 위에 확산 부재가 놓일 수 있다.
작업대 표면 아래의 임의의 광학 요소에 의존하지 않는 것이 바람직하다면, 용기(800)에서의 액체 또는 재료의 최상부를 관찰하는 카메라(850)와 같이, 위로부터의 카메라 감지 및 일루미네이션 둘다가 이용될 수 있다. 이 경우, 원뿔의 최상부에서의 재료의 폭 또는 직경 w은 바로 인접하는 측벽들로부터의 반사의 차이들을 이용하여 결정될 수 있다.
재료 부피 데이터가 획득되고 재료 타입이 알려지면, 알려진 재료 밀도에 대해 무게(weight)가 계산될 수 있다. 그리고 일부 경우들에서, 작업대 표면의 데카르트 축들(Cartesian axes)에서의 피자 도우의 것과 같은 영역이 카메라에 의해 쉽게 결정될 수 있는 재료의 특성을 아는 것에 의해, 작업대 표면 위 또는 아래에서 감지된, 재료의 측정 영역으로부터 특정 무게를 추론할 수 있다. 통상적으로 이러한 영역을 형성하고 있는 것을 알고 있다면, 특정 높이, 분포를 거의 추정하고 부피를 근사치를 낼 수 있다. 그러나, 그것은 특히 정확하지 않다. 일부 레시피들은 정확성을 요구하지 않고, 일부는 그러하다. 더 정확한 것을 요구하는 것의 경우에, 예를 들어 저울(scale)로서 역할을 하는 편향(deflecting) 작업대 표면을 이용할 수 있다.
예를 들어, 도 9a를 고려하면, 직접 계량 능력(direct weighing capability)을 갖는 작업대가 예시되며, 전체 스크린 및 작업대 표면(900) 또는 그의 일부분이 또한 계량 저울(weigh scale)로서 이용된다. 이 경우, 표면(900)은 예를 들어 그의 후면 상에 3M vikuiti 분산 물질(901)을 갖는 충격에 잘 견디는 유리로 만들어지고, 그 중의 2개(905 및 906)가 이 도면에 도시되어 있는 4개의 지지대에 의해 배치된다. 지지대들은 신호 조건부 출력들(signal conditioned outputs)이 컴퓨터(920)에 의해 분석되는, 힘에 응답하는 피에조 전기 센서들(piezo electric sensors)을 포함한다. 어떤 것도 존재하지 않을 때(말하자면, 용기 중량 상태(tare condition)) 상황과 비교할 때 표면 상에 남아 있는 물질들에 의해 구성되는 힘의 변화를 표시하는 출력 신호가 제공된다. 이러한 용기 중량 상태는 발명의 센서들에 의해 감지될 수 있고, 제공할 때마다 예를 들어 제로 판독이 취해진다. 스크린의 크기가 용기 중량(tare weight)을 증가시키는 것을 크게 하기 때문에, 이 시스템은 작동하지만, 정확도는 적어진다. 트랜스듀서들은 표면에서 진행되는 작업으로 인해 끊임없는 훈련하에 있다. 이러한 이유로, 표면의 작은 부분이 더 바람직하지만, 이 경우 특정 존에서의 투영은 그 부분을 위한 지지대들에 의해 차단된다. 그리고 파편을 피하기 위해, 주변 둘레에 밀봉(seal)이 이용된다.
대안적인 방법이 도 9b에 도시된다. 이 경우, 2개의 굴곡부(950 및 951)가 전체 스크린 및 작업대 표면(960) 내에서 전술한 타입의 단단한 투명 그러나 확산성 무게 팬(weigh pan)(955)을 지지한다. 하나의 굴곡부(951)는 투영되는 이미지들을 최소로 방해하도록 스크린의 측면 근처에 있다. 무게 팬은 물체 하중(object load)으로 편향하고, 편향이 측정되고, 이러한 측정은 동시 계속 출원들에 개시된 바와 같은 센서 디바이스를 이용하여 또는 다른 수단에 의해 행해질 수 있다. 굴곡부들은 철 또는 다른 탄성 재료이고, 원하는 무게 범위에 대해 쉽게 선택될 수 있다. 여기서 문제는 균열에 떨어지는 잔해이고(대부분의 경우들에서 결과로서 실 링(seal ring)을 필요로 함), 표면이 수행되는 작업으로부터 로드들을 견디는 것이라면, 이전의 접근법에 비해 약간 빈약한 구성이라는 것이다. 따라서, 이 부분은 과도한 힘이 가해지지 않고, 완전히 디스플레이, 또는 물체들의 휴면(resting)을 위한 것이 아닌 경우에 주로 이용되어야 한다.
다른 대안은, 그 위에 배치된 물체들이 로드하에서 막으로서 편향하도록, 얇은 단면의 스크린의 일부분을 이용하는 것이다. 이러한 편향은 다른 동시 계속 출원들에 도시된 바와 같이 카메라에 의해 측정되고, 그로부터, 편향이 힘에 비례하고 사전 캘리브레이션되었다고 가정하여 무게가 결정된다. 이 접근법의 문제는 통상적인 스크린 물질들이 특히 탄성이 아니라는 것이다.
본 발명은 그 위에서 야채들을 자르는 것과 같이 마모되고 매우 스크래치가 난 경우에 저비용의 교체가능한 작업대를 포함한다. 너무 마모된 것은 나사, 벨크로 등과 같은 알려진 수단을 이용하여 쉽게 카운터로부터 그것을 제거하고, 새로운 또는 재단장된 것들로 대체할 수 있다. 또한 LCD 또는 다른 평면 패널 디스플레이 기반 제어 시스템으로 가능하지 않은 작업인, 그 위에 임의의 손잡이들 또는 다른 제어들을 포함하여 작업대 표면 및 스크린이 쉽게 청소될 수 있다는 다른 이점이 있다. 또한, 작업대 표면은 뜨거운 물, 소독 세척, 핵 방사 등과 같이 표면의 물질이 손상되지 않는 임의의 수단에 의해 살균될 수 있다. 이것은 또한 병원의 주방 또는 살균 설비를 요구하는 다른 장소들과 같은 상업적 목적들을 위해 중요하다.
작업대 표면 수명을 길게 하고 다른 이득들을 제공하기 위해, 나일론 또는 테플론과 같은 스크래치에 잘 견디는 물질을 이용할 수 있다. 스크린은 광에 투명하고 후방 투영을 위해 이용되는 경우 확산적일 필요가 있다. 부재(150)의 물질은 일부 경우들에서 투영 애플리케이션들을 위해 벌크 확산기를 형성할 수 있다. 확산적이지만 내구성이 있는 스크린은 예를 들어 투명 합성 수지(Lucite)와 같은 투명한 플라스틱 부재에 코팅되거나 라미네이트되는 얇은 테플론 또는 나일론 스프레이를 가짐으로써 형성될 수 있다.
후방 투영에 의해, 스크린 표면 내로 통합된 마이크로 모양들(micro-shapes)을 이용함으로써 한 방향으로 우선적으로 광을 향하게 하는 것이 일반적으로 가능하다. 일 예는, 아일랜드 카운터(island counter)의 한 측면 또는 도 1에 도시된 바와 같이, 양 측면을 향해 비스듬히 광을 향하게 할 수 있는 3M에 의해 만들어진 TRAF 마이크로 리플리케이티드 프리즘 필름(micro-replicated prismatic film)이다. 이것은 카운터 옆에 서 있는 사람이 작업대 표면의 표면 법선에 대하여 비스듬하게 있을 때 도움이 된다. (아일랜드의) 카운터 둘레에 서 있는 사람에 대응하는 측면들로 광을 우선적으로 쏘기 위해 전방 또는 후방 표면을 미소 축쇄(micro form)하는 것이 가능하다. 합당하기만 하면 임의의 모양 작업대가 제공될 수 있고(원형, 정사각형, 직사각형, 불규칙형, 다이아몬드 등), 임의의 패턴들 또는 컬러들이 필요에 따라 투영될 수 있고, 컬러들 및 패턴들은 원하는 경우 매일 변경될 수 있다.
미국 특허 7084859 및 동시 계속 출원 '868은 욕실 샤워 및 물이 존재하는 다른 장소들에서 본 출원인의 RTD 발명의 이용을 예시하였고, 종래의 전자장치에 위험을 제기할 수 있다. 도 10은 본원에서 다른 애플리케이션을 예시하고, 이 경우 소형 프로젝터 센서 유닛(1010) 및 곡선 디스플레이 스크린을 포함하고 나중의 경우에 손잡이(1020), 및 명확함을 위해 도시되지 않고 페이퍼의 평면 내의 다른 손잡이를 통해 물리적 제어 입력들을 갖는 터치 및 제어 표면(1015)을 갖는 욕실 세면대 또는 주방 싱크대(1000)를 예시한다. 또한 원하는 경우 뜨거운 것과 찬 것을 혼합하기 위해 한 손잡이 시스템이 제공될 수 있다. (통상적으로 앞에 확산성 표면을 갖는 투명 합성 수지 또는 유리, 또는 뒤에 3M vikuiti 또는 다른 비드(beaded) 후방 투영 스크린 물질로 만들어진) 표면(1015) 상의 감지 및 투영을 또한 제어하는 컴퓨터(1030)의 제어하에서 활성화되는 밸브들로 물이 제어되기 때문에, 센서/프로젝터(1010) 결합이 수위가 너무 높음을 감지할 때 자동으로 물을 잠글 수 있거나, 또는 수위가 설정점에 접근함에 따라 천천히 줄일 수 있다. 수온을 감지하고 터치 표면(1015)을 이용하여 사람에 의해 설정된 온도를 자동으로 제어(및 디스플레이)하기 위해 종래의 서미스터 또는 다른 온도 센서가 통합될 수 있다. 대안적으로, 제어 손잡이(1020)는 예를 들어, 원하는 경우 온도 손잡이인 것으로 기능을 변경할 수 있다. 투영 스크린은 상이한 언어들, 컬러들 등을 디스플레이할 수 있다. 예를 들어, 그것은 영어(1021) 또는 이탈리아어(1022)를 디스플레이할 수 있다. 이용된 카메라 또는 다른 센서는 또한 리턴된 이미지에서의 변화에 의해 수위를 결정할 수 있고, 이것은 수위가 한계를 초과할 때 물을 잠그는 데 이용될 수 있다. 스크린 상의 옵션의 터치 입력들은 동시 계속 출원들에 개시된 바와 같이 제공될 수 있다. 이러한 입력들은 예를 들어 언어 기능들을 변경하고, 최대 온도 설정들, 디스플레이될 정보 및 다른 특징들을 변경하기 위해 메뉴에서 이용될 수 있다.
도 11은 도 2의 것과 같은 벽 부착형 제어 표면을 예시하는 발명의 플립 다운 큐비클 데스크(flip down cubicle desk) 실시예를 예시한다. 도시된 바와 같이 사람의 손가락(1100)은 컴퓨터(1120)에 접속된 투영/감지 모듈(1110)의 앞에서 조작을 위해 플립 다운되는, 투영 표면(1105)을 터치함으로써 터치 감지 커맨드를 만들고 있다. 이것은 또한 원하는 경우 예를 들어 오피스 데스크 근처에 배치될 수 있는 공장 설비(factory equipment)와 같은, 제어되는 아이템들을 조작하기 위해 가상 또는 실제 제어들을 이용할 수 있는 벽 부착형 대형 스크린 디바이스(1130)와 함께 조작될 수 있다. 이 플립 다운 스크린(대안적으로 데스크 톱으로부터 플립 업할 수 있음)은 존재하는 경우 물리적 제어들을 활성화하기 위해서뿐 아니라, 멀티터치 또는 다른 조작들을 위해 이용될 수 있다. 투영/감지 모듈은 휴대폰 프로젝터들이 널리 보급되면 저렴할 수 있다. 디바이스는 정상 마우스 또는 다른 입력에 의해 이용될 수 있고, 랩톱 또는 데스크 컴퓨터를 대신할 수 있다. 또는 그것은 특수한 터치 또는 제어 조작들을 위해 이용되는, 랩톱에 대한 보조로서 보여질 수 있다.
도 12는 도 2a에서 제기한 점을 더 예시하고, 본 발명의 스크린 및 작업대 표면 상에서 이용하는 스크린 입력들에 대한 손가락 제스처 및 다른 것을 예시한다. 예를 들어, 도 12a는 세탁기 이미지(1215) 내로 드래그되는 세척 사이클 "e"을 시작하기 위해, 세탁기의 이미지(1215)에서 사용자의 왼손(또는 그의 손가락)에 의해 옷(1210)의 이미지가 이동되는 작업대 표면(1200)을 예시한다. 세탁기 그래픽 제어 이미지들은 예를 들어 WASHER을 표시하는 아이콘 위에 그의 오른손의 손가락을 둠으로써 개시된다. 감지는 멀티 터치 가능이기 때문에, 좌우 손의 손가락들은 원하는 경우 동시에 스크린 상에서 둘다 조작할 수 있다. 터치 아이콘들이 정상적으로 디스플레이되는 세탁기, 건조기 등과 같은 포인트들은, 원하는 경우 도 1c 및 동시 계속 출원들에 도시된 바와 같이 그것들을 찾는 것을 돕기 위해 작은 완화 특징들을 가질 수 있다.
도 12b는 스크린 상의 하우스 플랜 맵(house plan map)을 갖는 제어 패널(1200)을 예시한다. 적절하게 인터페이스되면, 각각의 방의 라이트들 및 다른 서비스들은 그의 터치 감지 능력을 이용하여 이 패널로부터 도시되고 제어될 수 있다. 상태 변경들은 아이템 또는 예를 들어 그 근처의 제어 아이콘을 터치함으로써 행해질 수 있다.
도 12c는 쿠키의 그래픽 표현, 또는 이 경우 실제 쿠키 도우 마운드(1238)를 오븐 그래픽 위에 그들의 왼손으로 이동함과 동시에, 오븐의 가상 그래픽을 터치하기 위해 그들의 오른쪽 집게 손가락(1242)을 이용하는 사람을 도시한다. 이 경우, 쿠키들이 구워질 것임을 사전에 인식했고, 그 온도 사이클 동안 오븐을 시작한다. 원하는 경우, 오븐 온도가 얻어질 수 있는 인터넷으로부터의 레시피(1260)가 또한 디스플레이된다. 손가락(1242)으로 그래픽(1236)을 터치하는 것은 오븐을 시작하는 데 이용될 수 있거나, 또는 대안적으로 쿠키 관련 그래픽 또는 실제 물체(1238)를 오븐 그래픽에 이동하는 것은 예를 들어 오븐을 시작하는 데 이용될 수 있다.
그들이 제어 표면 근처에 있지 않지만 제어 입력을 하기를 원할 때 보충하기 위해, 주방의 사람에 의한 손 제스처들에 대한 잠재적인 필요가 존재한다. 카메라는 이것을 감지할 수 있고 동일한 컴퓨터 및 비전 프로그램을 이용하여 입력을 결정할 수 있다. 공간에서의 손 또는 손가락 제스처들은 또한 본 발명과 이용될 수 있다. 130과 같은 카메라 또는 센서/프로젝터 모듈 오버헤드, 또는 도 1b에 도시된 바와 같은 측면 부착형 카메라는 손, 손가락, 머리 등과 같은 신체 일부분을 이용하거나, 또는 주걱과 같이, 그들이 손에 잡을 수 있는 물체를 이용하는, 사람의 제스처를 관찰하기 위해 이용될 수 있다. 다양한 컴퓨터의 이러한 제스처 기반 제어는 11/186,898 및 미국 특허 6,750,848을 포함하여 참고로 본원에 통합된 동시 계속 출원들에 설명되었다.
이 출원에서, 몇몇 특수한 상황들이 존재한다. 먼저 카메라 오버헤드는 특히, 디스플레이에 의해 비추는 경우 작업대 표면의 앞 또는 그 상의 손 움직임을 볼 수 있다. 이러한 쉬운 감지는 2 차원, 카메라의 xy 필드로 된다. 그래서 그 필드를 통해 손을 왼쪽에서 오른쪽으로 이동하는 것은 예를 들어, 버너를 턴 오프하거나, 스크린의 제어 기능을 세탁실로 스위칭하거나, 아기방 이미지를 디스플레이하는 등과 같은, 커맨드를 구성할 수 있다. 이렇게 또한 손가락 제스처를 이용할 수 있고, 거의 무한한 가능성이 존재한다. 그러나, 진정으로 유용하게 하기 위해 그것들은 직관력이 있어야 한다.
동시 계속 출원들에서 알려진 바와 같이, 특히 사용자 또는 예를 들어 갖고 있는 물체에 관한 뭔가가 알려져 있는 경우, 2보다 큰 차원으로 보기 위해 카메라를 또한 이용할 수 있다. 이것은 단일 카메라 사진측량 방정식을 풀기 위해 이용될 수 있는 특징 위치들일 수 있고, 예를 들어, 의류 품목, 또는 팬, 스푼 등과 같은 도구 상의 인공적인 특징들일 수 있다.
또한, 스크린이 오직 약하게 확산적인 경우(예를 들어, 고이득 후방 투영 스크린) 후방으로부터 스크린에 가까운 제스처들을 볼 수 있다. 이것은, 오버헤드와 같이, 예를 들어 버너에 뭔가를 올려놓고, 원하는 경우 그 포인트에서 타이밍 기능을 시작하고 있을 때 보는 것을 또한 포함할 수 있다.
본 발명의 작업대는 또한 이전의 출원들 및 특허들에 언급된 바와 같이 조리대(countertop)에 대하여 더 또는 덜 평행한, 도시된 평평한 형태의 데스크로서 이용될 수 있다. 예를 들어, 프로젝터에 의해 투영되는 그의 얼굴 상에서 가족 사진들을 조작하기 위해 멀티터치 접근법으로 이용할 수 있거나, 다른 예에서, 스크린 위에 올려놓는 서류들 또는 다른 데이터를 읽기 위해 디바이스를 실제로 이용할 수 있다. 카메라들은 그것을 놓은 부분이 이러한 판독에 대하여 전도성이기만 하면 그렇게 할 수 있다. 작업대 표면은 세척할 수 있을 뿐만 아니라 교환할 수 있기 때문에, 이들 타입의 컴퓨터 상호작용 및 서류 판독 목적들을 위해, 이러한 목적으로 영역에서 평평한 확산성 작업 서비스(diffusive work service)를 이용할 수 있다. 이것에 의해, 식료품점에서 받을 수 있는 영수증들 또는 전화요금 고지서 또는 컴퓨터로 판독되는 것을 원하는 임의의 다른 서류를 판독하기 위해 디바이스를 이용할 수 있다.
작업대는 주방에서 이용하기 위해, 또는 디바이스가 다른 곳, 예를 들어, 서재에 배치된 경우 데스크로서 작용할 수 있다. 특정 보드는 동시 계속 출원들에서 앞서 언급한 바와 같이 그리기 및 글쓰기가 컴퓨터에 의해 결정되고 저장 또는 전송될 수 있는, 쓰기 또는 그리기를 위한 더 나은 표면을 만들기 위해, 예를 들어 도마로서 이용되는 것과 교환될 수 있다. 그리고 더 좋은 글 쓰는 데스크가 되도록 작업대 표면을 비스듬하게 할 수 있다. 그리고 그것은 카운터 또는 다른 표면 내로 동일 평면으로 내장될 수 있지만, 그 모드에서 이용하기를 원할 때 튀어나올 수 있고, 두 투영 감지의 심도(depth of field)가 이것을 허용할 수 있다.
도 13은 가정에서 생활하는 노인들, 및 일상 생활을 모니터링함에 있어서 어떤 도움을 필요로 하는 장애인 및 다른 사람들을 위해 유용한 발명의 다른 양태를 예시한다. 예를 들어, 위의 주방 작업대 표면 발명은 특히 역사적으로 요리하지 않는 노인들을 위해, 식사 준비가 덜 어려워지게 함으로써 이와 관련하여 도움이 될 것이라고 생각된다. 그것은 또한 주방 영역에서의 활동들이 카메라 모니터되고 너무 오래 끓는 물, 켜져 있는 불 등과 같은 위험한 상태들에 대해 경고가 주어지기 때문에 안전도를 부가한다. 사실상, 시스템은 필요한 경우 버너들 및 오븐들의 자동 멈춤을 포함할 수 있다.
이 포인트에서, 노인들을 도와주고 그들의 웰빙을 모니터하기 위해, 일반적으로 가정에서의 활동을 모니터링하는 아이디어를 확장하고 싶다. 이제 예시되는 예에서, 카메라 시스템 발명은 위에서 개시한 바와 매우 동일한 방식으로, 그러나 방안의 사람에 대한 간단한 근적외선 반사 타겟들의 위치를 모니터하기 위해 이용된다. (대안적으로 일부 경우들에서 높은 콘트라스트를 갖는 컬러 있는 타겟들은 신뢰성 있게 이용될 수 있다.) 어느 정도 적어도 시스템은 모든 그러나 타겟들로부터의 적외선 반사 중에서 낮은 광 레벨들로 인해 사람들 사진 자체를 찍을 수 없도록 카메라가 적외선 필터와 설정되기 때문에 프라이버시를 침해하지 않는다. 이것은 주로 가정 문제들에서의 공통 생활에 매우 저가의 솔루션을 제공한다는 점에서, 많은 이점을 갖는다. 예를 들어 4개의 방을 갖는 소형 아파트(1300)를 고려한다. 중앙 컴퓨터(1302), 또는 원격 서버상의 컴퓨터는 적어도 이용 영역들에서 방을 보기 위해 배치된 4개의 방의 4개의(또는 더 많은) 카메라(1305-1308)를 계속해서 모니터한다. 이 예에서, 카메라들은 컴퓨터(1302)에 무선으로 접속되지만, 그것들은 값싸게 예를 들어 컴퓨터에 쉽게 인터페이스되는 데이지 체인형 파이어 와이어 카메라들(daisy chained fire-wire cameras)일 수 있다.
목적은, 예를 들어, 떨어짐; 욕실로의 경로, 하루의 빈도 시간(frequency time of day)과 같은, 정상 루틴으로부터의 일탈; 불안정한 걸음, 너무 많이 끄덕이는 머리와 같은 비정상적 움직임들을 보기 위해 정확한 방식으로 사람에 대한 하나 이상의 특징(통상적으로 그러나 반드시 높은 콘트라스트 인공 타겟들은 아님)을 추적하는 것이다. 카메라들은 또한 보안 목적으로 이용될 수 있다. 그리고 본 발명은 사람의 움직임뿐만 아니라, 문들의 열림, 변기 시트의 올림, 주방 도구의 이용 등과 같은, 공간 내의 물체들의 움직임도 볼 수 있다.
이전의 참고된 출원들에서 지적한 바와 같이, 예를 들어 사람의 신체의 부분들 또는 그와 연관된 물체들 둘레에 또는 그에 부착된, 역반사 물질 또는 높은 콘트라스트의 컬러 있는 물질을 가질 수 있다. 이것들은 발목 및 손목 둘레의 칼라, 머리띠를 포함하거나, 또는 예를 들어 특정 영역들의 윤곽, 단순히 장식으로 작용하는 등의 의복의 부분에 스코치 라이트(Scotch light)(7615)와 같은 타겟 물질을 또한 만들 수 있다.
간단한 응용은 집안의 사람(1301)이 단일 역반사 타겟(1303)을 갖는 모자 또는 헤어 피스(hairpiece)와 같은 일부 다른 것을 착용하고 있는 것이다. 이 타겟은 아파트의 방들의 상부 코너들에 배치된 카메라들(1305, 1306, 1307 및 1308)에 의해 볼 수 있다. 사람이 자고 있지 않을 때, 통상적으로 카메라는 근적외선 광원(예를 들어, 880nm이고, 명확함을 위해 도시되지 않음)을 이용한다. 타겟 디바이스는 그들의 머리, 및 그들이 가는 집안의 모든 곳에 있다. 이 타겟 피스는 그것들이 갑자기 떨어지는 경우 보일 수 있다. 타겟은 시계에서 드롭되어 아마도 전혀 보이지 않거나 잠시 동안 분명히 정지해 있거나 정지한 채로 남아 있는 것으로 보인다. 이러한 종류의 시그니처(signature)는 예측하는 데 이용될 수 있다. 잠재적인 떨어짐(fall) 및 본질적으로 뭔가가 있을 수 있음을 돌보는 사람에게 알리는 경보 소리를 낸다. 이 경우, 잘못된 알람을 피하기 위해, 누군가가 거기에 바로 와야 한다. TV 카메라는 적외선 일루미네이션 모드로부터 가시 광 일루미네이션 모드로 변경하고, 방의 정기적인 이미지가 생성되고, 제1 이미지는 일어나는 일에 대한 데이터이다. 돌보는 사람은 그 다음에 이 이미지를 보고, 뭔가 나쁜 일이 일어나고 있는지 알 수 있거나, 그 점에 대해서는 사람이 실제로 방안에 있음을 보장하기 위한 것이다. 사람이 방안에 있지 않고, 다른 방들은 이러한 방식으로 볼 수 있다.
적외선 일루미네이션을 위한 바람은, 전체 시스템이 집안의 사람에게 드러나지 않게 하기 위한 것이다. 그것은 또한 임의의 가시 광들을 비추고 싶지 않을 때 밤에 작업할 수 있게 한다. 카메라가 가시적 이미지를 촬영하는 데 이용되는 것이라면, 컬러 이미지가 필요하다고 가정하여, 카메라에서 이용된 임의의 적외선 밴드 패스 필터는 방해가 되지 않게 이동되어야 한다. 적외선 이미지가 충분하면, 문제들을 식별하기에 충분한, 만족스런 IR 노출이 행해질 때까지 IR 에너지를 올릴 수 있다. 이 양태는 알츠하이머병(Alzheimer's) 환자들 및 치매를 앓고 있는 다른 사람들이 적절한 장소에 있지 않은지 판정하기 위해 중요하다.
역반사 물질은 옷의 골 또는 다른 장식을 위해서도 이용될 수 있다. 많은 노인들을 위해, 그 위에 호출 버튼 디바이스를 갖는 펜던트 목걸이(pendant necklace)가 바람직하다. 이 목걸이 자체는 앞에서뿐만 아니라 사람의 목 둘레에서 볼 수 있는 역반사 로프 또는 밴드형 물질로 이루어질 수 있다. 그리고 셔츠 칼라가 뷰를 차단하지 않는 것을 가정한다.
움직임의 결과로서의 다양한 타입의 광학 시그니처들은 이러한 방식으로 정확하게 보이고 기록될 수 있다. 예를 들어, 사람이 야간에 침대에서 일어나서 욕실로 가는 정상적인 일상 활동의 시그니처들을 기록할 수 있다. 이것은 적절한 타겟 또는 명백하게 보이는 자연적 특징이 예를 들어 파자마의 부분으로서 침대에 있는 동안 사람에게 있다는 것을 가정하여 침대에서 나오는 움직임의 정상 시그니처를 갖는다. 욕실로의 움직임은 카메라(1307)에 의해 보일 수 있는 타겟(1321)을 갖는 문(1320)과 같은, 그 자체가 타겟이 될 수 있는 문들의 열림을 포함하여 추적될 수 있다. 타겟으로 될 수 있는 다른 것들은 임의의 것, 특히 일상 생활에 의존된 아이템들일 수 있다. 예를 들어, 변기 부품, 수도 꼭지, 주방의 다양한 그릇, 레인지 등일 수 있다. 요약하면, 무엇이든 사람의 행동 또는 안전과 관계가 있고, 어떤 종류의 문제를 일으키는 그 행동의 잠재적인 이상에 대해서 모니터될 필요가 있는 뭔가를 가질 수 있다. 냉장고 문(1340)은 주방의 카메라(1306)에 의해 관찰될 수 있는 타겟(1341)을 갖는 다른 것이다.
그것들은 가시 광을 명백하게 반사해서는 안 되기 때문에, 타겟들 중 어떤 것도 특히 두드러져서는 안 된다. 그리고 그것들이 가시 광 카메라와 이용되더라도, 그것들은 작고 및/또는 장식적일 수 있다.
카메라들 및 광원들 또는 저가의 중앙 제어 컴퓨터(1302)는 또한 가정에서 다른 목적들을 위해 그리고 돌봐주는 사람의 PC와 인터넷을 통해 통신하기 위해 이용될 수 있고, 사실상 타겟 또는 다른 이미지들을 분석하기 위해 1302에서 이용된 머신 비전 프로세싱의 일부는 또한 다른 작업들을 위해 이용될 수 있기 때문에, 본 발명은 이러한 방식으로 매우 낮은 비용이다. 이것들 중 하나는 명칭이 "PERSONAL INTERFACES FOR INDEPENDENT LIVING AND HEALTH"인 피터 스미스와 나 자신에 의한 특허 출원에 도시된 "포스트박스" 또는 루스 리프 바인더(loose leaf binder) 접근법이었다. 사실상 동일한 장비의 다른 잠재적인 출원은 위의 운동 기반 게임들(exercise based games)을 위한 것이고, 여기서 센서는 운동하는 동안 사람의 활동을 모니터할 수 있다.
위의 출원에서, 사람의 머리 꼭대기에 단일 타겟의 예를 제공한다. 그 위치에 대한 포인트는 방의 코너들에서 머리 위에 있는 카메라들에 의해 보인다. 그러나, 많은 다른 잠재적인 타겟 위치들이 존재한다. 사실상 사람에 대해 하나보다 많은 타겟을 가질 것이다. 이것은 또한 어떤 엄폐(obscuration)의 경우에 있거나, 타겟들 중 하나에 의한 문제의 경우에 있지만, 또한 상이한 밴티지 포인트(vantage point)로부터 볼 수 있게 하고 상이한 활동을 볼 수 있게 한다.
이러한 방식으로 발명을 이용하여 볼 수 있는 특정 메디컬 문제들을 나타낼 수 있는, 예를 들어 앉는 것으로부터 일어난 후에 걷기와 같은 특정 타입의 활동이 존재한다. 방 안의 침대는 타겟으로 될 수 있기 때문에, 사람이 침대 안에 또는 근처에 있는지를 볼 수 있고 완전한 방 이미지를 가질 필요는 없다. 또한 특히 사람에 대한 더 많은 포인트들이 타겟으로 된 경우에 사람의 불안정한 모션을 볼 수 있다. 작은 플래싱 LEO들은 타겟들을 또한 구성할 수 있지만, 배터리 전력을 요구하고 더 눈에 띈다는 것에 주목한다.
약 조제 유닛(medication dispensing unit). 신체적 재주의 결핍 또는 장애를 겪는 사람들, 및 다수의 약 또는 복잡한 약 스케줄이 있는 사람들의 경우에, 특히, 약한 또는 중간의 치매를 겪는 가정의 많은 노인들에 대한 문제인 약 복용을 관찰하기 위해 카메라 센서를 이용하는 응용이 존재한다. 이것은 또한, 컴퓨터는 시간을 알고 있고 컴퓨터에 접속된 카메라는 타겟(1365)을 갖는 문(1361)과 같은 쉽게 보이는 타겟들을 갖는 문들을 포함하는 약 상자(1360)와 같은 약 상자를 볼 수 있기 때문에, 그들이 하루 중 상이한 시간들에 복용할 필요가 있는 약의 수 및 타입으로 인한 것이다. 사람이 언제 약 상자로 오는지 그리고 어느 문이 열렸는지를 결정하는 것이 가능하다. 잘못된 문이 열려있고 카메라가 문을 잘 보지 못하게 된 경우, 그들이 그 시간에 잘못된 약을 집었음을 사람에게 표시하는 어떤 종류의 소리가 만들어질 수 있다. 이것은 상이한 시간에 15개의 상이한 알약이 있을 수 있기 때문에 결코 작은 문제가 아니다. 본 발명은, 실제로 알약의 수를 세어서 사람의 입 안에 물리적으로 넣는 것과 같은, 하려고 하는 모든 것을 할 수 없을 수 있다. 그러나, 그것은 적어도 문제에서 시작할 수 있다. 그리고 오직 한번에 하나의 알약을 분배하는 문을 가짐으로써 어느 정도로 이것을 할 수 있다. 그래서 문이 세번 열리고 닫혀야 하는 그 시간에 특정 타입의 3개의 350mg 알약을 복용하는 경우 그것을 기록해야 한다. 즉, 카메라 및 컴퓨터는 쉽게 보고 할 수 있다. 이 시스템은 종래의 타입들의 자동화된 약 디스펜서보다 덜 비싸다고 생각된다는 것에 주목해야 한다.
더 정교한 머신 비전 버전의 카메라는 사람의 손가락 또는 사람의 소매에 있는 타겟 또는 다른 특징과 같은 다른 자료를 볼 수 있고, 상자에 도착한 후에, 사람이 적어도 그의 입 근처까지 손가락들을 올려서, 약이 복용되었음을 표시한다. 훨씬 더 정확하게, 약 상자(1360)의 약을 복용하는 사람의 얼굴을 보도록 배치되지 않은 카메라(1305)의 경우와 같이, 제1 카메라가 그렇게 할 수 없는 경우에, 그의 손가락들 및 얼굴을 보도록 배치된 옵션의 제2 카메라를 이용하여 직접 사람을 관찰할 수 있다.
본 발명의 머신 비전 기반 카메라 시스템은 사람의 바이탈 사인(vital signs)을 쉽게 측정할 수 없지만, 그것은 온도 또는 맥박 또는 다른 변수가 측정될 수 있는 아파트의 장소로 사람이 가도록 상기시켜주는 것을 도와주는 데 이용될 수 있다. 그리고 그것은 예를 들어, 맥박을 재기 위해 그들이 실제로 그들의 팔을 혈압 모니터 또는 다른 기계에 두는지를 관찰할 수 있다. 또한 이것은 사람이 역반사 타겟들 또는 다른 높은 콘트라스트 특징들과 협력하는 경우에 쉽게 행해질 수 있다. 이들 응용들의 일부에 대해 심지어 사람의 정상 특징들이 지금 실정으로는 머신 비전에 의해 경제적으로 처리될 수 있다. 그러나, 시스템을 간단하고 효율적이 되게 하기 위해서뿐만 아니라, 밤 또는 적외선에서 모션들을 모니터하기 위해, 역반사기(retro reflector)가 도움이 된다.
고장 안전 동작(FAIL SAFE OPERATION). 이러한 형태의 시스템은 안전장치가 되어 있다는 것에 또한 주목해야 한다. 즉, 사람에게 있을 것으로 추정되는 타겟을 볼 수 없다면, 기본적으로 상황이 괜찮은지 확실히 하기 위해 한번 더 수동으로 이미지를 체크하기 위해 (예를 들어, 인터넷을 통해 돌보는 사람에게) 알람을 울릴 수 있다. 다시 말해, 시스템은 타겟이 보이지 않는 경우에 충분한 정보를 리포트할 수 없다. 돌보는 사람은 원격으로 간단히 이미지를 봄으로써 시스템을 무시할 수 있고, 왜 타겟이 거기에 있지 않은지를 보기 위해 아마도 적외선 이미지를 체크할 수 있다. 예를 들어, 그것은 사람이 예를 들어 그들의 모자에 타겟을 커버하는 꽃을 둔 어떤 종류의 요행(fluke)일 수 있다.
어떤 종류의 경고의 경우에 카메라 스위치를 볼 수 있게 하는 것 이외에, 컴퓨터는 또한 무슨 일이 있는지를 기록하기 위해 마이크로폰을 턴온할 수도 있다. 이것은 또한 그들이 마이크로폰에 대고 내는 이상한 소리를 식별할 수 있는 경우,아마도 들릴 수 있는 통상적인 폐렴 또는 충혈성 이슈들이 생길 수 있는, 심장 또는 폐 소리를 듣는 데 이용될 수 있다. 동일한 발명의 카메라 시스템은 현장에 있을 수 있는 간호사가 고선명 상처 이미지를 전송할 수 있게 한다.
취해진 데이터의 분석은 전체적으로 자동화된 수단에 의해 행해질 수 있고, 특정 경우들에서 사람의 기능의 평가를 제공할 수 있다. 예를 들어, 한 종류의 평가는 감지 시스템이 기능을 나타내는 위로 이동하는 사람에 대한 자료를 볼 수 있는지 결정될 수 있는 팔걸이 의자에서 일어나는 데 걸린 시간일 수 있다. 과도한 느림, 망설임, 몸통의 비정상적 움직임 또는 비틀거리는 상지(upper limbs) - 이것들 전부는 어떤 것도 지나치게 발생하지 않는지 간단한 모니터뿐만 아니라, 환자에게 가능한 것의 미래의 결정을 위해 평가 프로그램 내에 구축될 수 있다. 또한, 허드렛일 또는 날마다 반복적으로 행해지는 다른 활동에서의 재주(dexterity) 및 반응 시간을 모니터하기 위해 본 발명을 이용할 수 있다.
본 발명의 음식 준비 양태는 가정용과 관련하여 설명하였다. 그러나, 그것의 많은 양태들은 레스토랑 주방들 및 다른 상업적 시설들에서 이용될 수 있다. 또한, 주요 기기들이 주로 논의되었지만, 작업대에 의해 표현되는 제어 센터는 이러한 것이 적절하게 통신할 수 있는 경우 더 작은 기기들을 제어할 수 있다. 예들은 믹서, 마이크로웨이브, 와플판 등일 수 있다. 그것들은 또한 주방 밖의 전기 서비스들, 예를 들어, 차고문, 집의 임의의 부분에서의 라이트들 또는 카메라들 등일 수 있다.
도 12의 예에서, 작업대 표면에서 게임을 할 수도 있다는 것에 또한 주목한다. 본 출원인의 동시 계속 출원들 및 참조된 발명들, 예를 들어, 10/934,762 및 11/980,722에 개시된 바와 같이, 클래식 게임들은 예를 들어, 표면 상에 체커보드를 투영하고 빨강 또는 검정의 체커보드 피스들(pieces), 또는 흑백의 체스 피스들을 감지함으로써, 실제 피스들로도 게임할 수 있다. 공통 주방 아이템들을 감지하고 그것들을 피스들로서 저장할 수 있다. 예를 들어, 소금 그릇(salt shaker)(광학 프로젝터 및 센서 부재(105) 내에 포함된 카메라에 의해 이미지가 취득되어 저장되고 Matrox MIL와 같은 컴퓨터 알고리즘 비전 프로그램을 이용하여 인식됨)이 체스 게임에 이용될 비숍이었음을 시스템에 알려줄 수 있다. 카메라가 후속하여 소금 그릇 이미지를 획득하면, 그것은 하나의 사람의 비숍으로서 식별되고 등등이다. 또는 그의 이동에 대해 스크린 상에 가상 그래픽을 발생할 수 있는 컴퓨터에 대해 플레이할 수 있다. 모든 가상 발생된 게임들이 또한 플레이될 수 있다. 이 게임 활동 능력은 식사 시간 후에 주방 카운터가 게임 테이블로서 두 가지 역할을 할 수 있게 하거나, 가상 그래픽 제공 게임들을 또한 플레이할 수 있게 하거나, 본 출원인의 동시 계속 출원들에 도시된 바와 같이 대안적으로 전기 광학적으로 또는 달리 감지된 셔플보드 퍽들과 같은 실제 물체들을 이용하여 플레이할 수 있게 한다.
다음의 실시예들은 가정 및 기기들에 대한 추가적인 응용들을 논의한다. 본원 및 본 출원인의 동시 계속 출원들, 및 선행 특허들의 개시들에 의해 가능하게 되는 광범위한 정보 디스플레이 및 제어 상호작용 가능성들이 존재하는 것에 주목해야 한다.
예를 들어, 수백 루멘 이상의 범위에서 LED 기반 디스플레이들을 이용하여 낮은 비용으로 경제적으로(예를 들어, $1000 달러 이하) 정보를 전방 투영하는 것이 이제 가능하다. 이것은 대부분의 가정 상태들에서 큰 이미지들을 보기 위해 충분하다. 비용은 전체 루멘 및 요구되는 경우 광각 렌즈들에 대한 요건에 의존한다. 0.6보다 작은 광각 스로 레이트(wide angle throw ratios)를 갖는 렌즈들은 통상적으로 예를 들어 0.6보다 큰 것보다 생산하는 데 더 많은 비용이 들고, 결과적으로 생기는 왜곡 및 다른 인자들을 다루기 위해 더 많은 컴퓨터 이미지 보정이 필요하다.
카운터 톱, 또는 냉장고 문, 또는 세탁기 상단과 같은 기기의 형성 부분 상의 스크린에 전방 투영할 수 있다. 대안적으로 스토브, 또는 싱크로부터 수직으로 올라가도록 모터를 달 수 있는(motorized) 스크린 상에 전방 투영할 수 있다. 이러한 투영의 유용성을 위한 주요 요건은, 응용에 맞추기에 충분히 확산성이고 반사성이도록 투영되는 표면 및 일반적으로 투영되는 이미지를 가로막을 수 있는 물체들이 없는 표면이다. 그러나, 일부 경우들에서, 손들 및 손가락들을 포함하는 이러한 물체들은 시그널링 또는 제어 목적들을 위해 유용할 수 있다. 정보 엔터테인먼트 및 제어 목적들을 위해 정보를 투영하는 것 이외에, 본 발명에 이용되는 장치는 카메라(또는 다른 전기 광학 센서)를 이용하여 스크린 상의 손잡이들 또는 스위치들 또는 다른 제어 특징들을 감지할 수 있다. 이 카메라는 원하는 경우 프로젝터 하우징에 배치될 수 있거나, 다른 곳, 예를 들어 그것에 수직인 것보다 투영의 방향으로 뷰를 제공하기 위해 측면에 배치될 수 있다. 이러한 전방 투영의 예들은 아래에서 몇 개의 도면들에 도시될 것이다.
유용한 정보 및 제어 특징들을 제공하는 것 이외에, 특히 다른 활동들에 더 잘 소비될 수 있는 시간을 소모하는 젓기 및 섞기 작업들에 관하여, 주방에서의 불필요한 반복적인 일을 줄일 필요가 있다. 젓기는 또한 일부 경우들에서 잠재적인 안전 위험을 생성한다. 또한, 많은 다른 안정 관련 상황들이 레인지 상단에 존재할 수 있고, 이것은 머신 비전 기술의 응용에 의해 도움을 받을 수 있다.
도 14는 독립형이거나 레인지(1415)와 같은 기기에 내장될 수 있는 컴퓨터(1410)와 같은 컴퓨터에 (유선 또는 무선을 통해) 인터페이스되는 레인지 후드(1405)에서 1401과 같은 하나 이상의 카메라를 이용하는 본 발명의 실시예를 예시한다. 카메라 및 컴퓨터 시스템은 스토브 상단에서의 활동을 모니터하는 데 이용될 수 있고, 또한 스토브 상단의 1425와 같은 냄비들에서 물질을 젓기 위해 이용될 수 있는 1420과 같은 로봇을 제어하는 데 이용될 수 있다. 섞기 디바이스 로봇은 또한 인접 카운터 및 서랍 유닛(1416)에 대하여 다른 방향으로 돌리고 예를 들어 그것을 단지(jug; 1417)에 떨어뜨림으로써, 음료 또는 다른 것들의 믹서로서 이용될 수 있다. 방 라이트들을 이용하여 또는 예를 들어 820nm의 파장에서 동작하는 IR LED 광원(403)과 같은 특수 소스들을 이용하여 조명이 제공될 수 있다. 이러한 광원들이 이용되는 경우, 카메라는 이 파장만을 통과시키는 밴드 패스 필터를 포함할 수 있어, 시스템이 방의 광 변동에 비교적 영향을 받지 않게 한다. 이것은 예를 들어 로봇 팔(1420)과 같은 물체들 상에 있을 수 있는 예를 들어 특수한 역반사 타겟들이 이용될 때(예를 들어 본 출원인의 동시 계속 출원들 참조) 유용하다. 원하는 경우 Canesta corporation에 의해 만들어진 비과 시간 Iidar 타입(time of flight Iidar type)과 같은 3D 카메라를 이용할 수 있거나, 레인지를 얻기 위해 레인지의 어느 한 측면 상의 1407 및 1408과 같은 스테레오 카메라 쌍을 이용할 수 있다.
연관된 컴퓨터(1410)를 갖는 이러한 카메라 시스템은 냄비에서 끓고 있는 물의 존재를 결정하고, 사용자에게 그 상황(또는 그의 결핍, 또는 다양한 끓기 단계)을 알리는 데 이용될 수 있다. 그것은 PC 컴퓨터(1410) 상에서 실행되는 Matrox MIL 비전 라이브러리에서 알려진 머신 비전 알고리즘들(또는 Cognex corp.의 것과 같은 다른 적절한 전용 머신 비전 시스템)을 이용하여 볼 수 있다. 레인지 상의 팬 손잡이 위치 및 아이들의 팔과 같은 거기에 있어서는 안 되는 물체들의 존재에 대해 컴퓨터(1410)에 접속된 확성기(1412)에 의해서와 같이 알람 소리를 낸다. 이러한 알람은 팬 손잡이(1431)가 레인지의 주변 밖에 있어서 가능하게는 지나가는 사람이 맞거나 작은 아이들이 잡을 수 있는 것으로 검출되었을 때 소리를 낼 수 있다. 스피커는 또한 레인지의 적절하게 확산성인 표면 상에 투영하는 데 이용되는 프로젝터(1452), 또는 잡아당길 수 있거나, 커맨드에 따라 동작하도록 모터가 달리거나, 레인지 후드에 내장될 수 있는 스크린(1460)(점선) 상에 투영하는 데 이용되는 대안적인 또는 옵션의 프로젝터(명확함을 위해 도시되지 않음)와 연관된 엔터테인먼트 또는 정보를 위해 이용될 수 있다. 본 출원인의 동시 계속 출원 11/980,722의 도 10 등에 개시된 바와 같이, 손잡이(1461)(점선)는 예를 들어 카메라 또는 프로젝터 하우징 또는 다른 곳의 다른 전기 광학 센서에 의해 표시기 점(1465)의 위치에 대해 감지될 수 있다.
카메라 및 컴퓨터 기반 머신 비전 시스템은 또한 젓기를 위해 이용될 수 있는 로봇(1420)을 제어하는 데 이용될 수 있다. 이 로봇은 스토브 자체에 배치될 수 있고 내용물을 저을 팬(1425)으로 잡아당겨져서 내려질 수 있다. 옵션으로, 그것은 또한 인접 카운터로 다른 방향으로 돌려져서 점선으로 도시된 바와 같이 믹서로서 이용될 수 있다. 여기서는 명확함을 위해 도시되지 않은 모터에 의해 구동되는 축(1423) 둘레로 회전하는 섞는 주걱(1421)으로 도시된다. 편심 모션(eccentric motion) 또는 도 8의 모션 또는 알맞은 비용으로 기계적으로 성취할 수 있는 다른 모션으로 구동되는 주걱 또는 다른 섞는 요소를 갖는 것이 바람직할 수 있다.
또한 홈 시스템들, 특히 오븐들/레인지들의 동작의 안전을 향샹시킬 수 있는 디바이스들에 대한 필요성이 존재한다. 이것은 특히 더 많은 노인들 및 장애인들이 가정에 살기 위해 장려되는 경우이다. 시각 장애가 있거나 병이 있는 사람들에 대해, 보기가 더 쉽고, 조작이 더 쉽고, 덜 정신을 산란하게 하는 제어들에 대한 필요성이 존재한다.
도 15는 도 1에서 알려진 바와 같이 iPhone(1510) 또는 다른 스마트폰이 본 발명에 접속되고, 그의 스크린 이미지(1500)가 작업대 표면(옵션으로 가로로 긴 배치 모드(1505)에서)에 직접 맵핑되고, 전화 및 그의 기능들이 작업대 표면을 터치함으로써 직접 제어되는 도 2a의 버전을 예시한다. 이 경우, 디바이스가 슬롯(280)과 같이 플러깅되거나, 블루투스, USB, WIFI 등과 같은 다른 수단에 의해 접속될 때 활성화되는 임의의 특수 기능들뿐만 아니라 iPhone 기능 자체가 제어될 수 있다. 이 경우의 iPhone은 카운터의 슬롯에 플러깅된 것으로 도시되었다.
도 15의 변형에서, 스크롤하는 플레이리스트의 제어와 같은 제어 특징들이, 도 1c의 스위치(156) 또는 손잡이(157)의 방식으로, 작업대 표면 상의 물리적 제어들로 수행될 수 있다.
도 16은 도 14의 장치와 연관된 감지 기법들을 더 예시한다. 130만 화소를 갖는 Logitech Corp.에 의해 만들어진 CMOS 웹캠과 같은 카메라(1401)에 의해 캡처되는 스토브 상단 및 그의 환경들의 이미지(1600)를 고려한다. 이 카메라는 충분한 일루미네이션을 가정하여 1초에 적어도 30번 이미지를 획득할 수 있고, 이것은 방의 조명이 충분하지 않은 경우에 1403과 같은 LED들에 의해 설명되는 바와 같이 제공될 수 있다.
제1 애플리케이션 예에서, 카메라는 팬(1635)에 의해 커버되는 바와 같이, 이미지들(1620, 1625, 및 1630)이 점선으로 도시된 하나 이상의 레인지 버너들 상의 팬에서 끓는 상태를 결정하는 데 이용된다. 스토브 제어 및 카메라가 1410과 같은 공통 컴퓨터 시스템에 의해 제어되는 경우, 카메라는 그 버너가 켜져 있을 때 버너의 이미지 영역을 보기 위해 이용될 수 있다. 그 위의 팬 이미지가 검출되고, 이것은 끓는 상태들에 대해 모니터될 필요가 있을 수 있음을 표시한다. 또한, 버너가 켜져 있지만, 그 위에 팬이 없는 상태가 감지된다(그리고 확성기(1412)를 통해 들리도록 알람 기능에 접속된다). 이것은 일반적으로, 그리고 물론 너무 많은 시간이 지난 경우에 바람직하지 않다.
제2의 감지된 것은 팬 안의 물 또는 다른 액체, 및 그것의 끓는 상태이다. 이것은 모든 팬들이 1650과 같이 배치되는 버너의 중심 영역에 있는 이미지 영역(1637)을 보고, 이미지 상의 물의 거품들의 효과를 분석함으로써 결정될 수 있다. 이미지의 공간 주파수 변화가 높을수록, 거품이 더 많아지고 끓는 상태가 더 높아진다. 예를 들어, 팬 이미지(1635)가 존재하는 버너(1630) 상의 카메라 필드 관심 영역(region of interest; ROI)(1647)의 중심 영역의 이미지에 걸친 선 AA의 이미지 트레이스(image trace)(1640)는 끓는 것을 표시하는 그에 대한 고주파수 노이즈(1650)를 갖고, 이미지 트레이스(1645)는 그렇지 않다. 이러한 변화는 대안적으로 또는 부가적으로 영역의 팬 액체의 이미지들을 계속해서 뺌으로써 시간 기반 방식으로 분석될 수 있다.
끓는 물 모니터에서의 가장 간단한 액션은 물이 끓고 있다는 것을 오디오 또는 비주얼 알람으로 알리는 것이다. 그러나, 레인지에 자동으로 접속될 때, 그것은 실제로 예를 들어 낮은 끓는 상태로 감소하거나, 또는 심지어 버너를 완전히 끄는 다양한 방식들로 열을 내릴 수 있다. 반대로, 끓음이 일어날 것으로 추정되거나 그렇지 않은 경우, 그것은 또한 알람으로 알릴 수 있다.
또한, 레인지 제어들과 독립적으로, 이미지들을 처리하고 알람으로 알리기 위해, 카메라는 그와 연관된 그 자신의 마이크로컴퓨터를 가질 수 있다는 것에 주목한다. 이 경우, 3개의 버너 영역들이 끊임없이 보이고, 만약에 있다면 결정된 팬 이미지가 제공된다. 이것은 일반적으로 반사성 배경 상의 어두운 링이다. 팬 이미지가 거기에 있다면, 끓는 상태들은 하나의 프로세싱 예로서 그 팬에서 감지된다.
카메라 시스템의 다른 주요 이용은 안전성이다. 여기서의 주 이슈들은 스토브 영역에 들어가는 사람들, 켜져 있지만 팬이 없는 버너들, 및 레인지의 가장자리에 위험스럽게 놓여있는 손잡이들을 갖는 1635와 같은 팬들과 같은, 그것들이 작은 아이들에 부딪칠 수 있는, 스토브 상의 비정상적인 상태들을 감지하는 것이다.
스토브 상단의 관심 영역 및 그 밖의 존의 이미지가 캡처된다. 이미지(1600)에 도시된 바와 같이, 가장자리에 놓여있는 팬 손잡이는 이미지의 분석에 의해 결정될 수 있고, 여기서 손잡이 이미지(1627)는 레인지(1628)의 가장자리의 이미지를 분명하게 이등분한다.
팬 손잡이와 같은 한 순간(a fraction of a minute)보다 길게 존재하는 정적 상황은 결정하기 쉽고 일반적으로 음식 준비 활동들에서 스토브 둘레의 정상 모션으로부터 분리가능하다. 잘못된 알람들 없이(without false alarms) 결정하는 것이 더 어려운 것은, 뭔가가 거기에 있어서는 안 되는 공간에 들어가거나 떠나는 경우이다. 이것을 간단하게 다루는 한 방법은, 요리하는 사람이 레인지의 영역을 떠날 때 알람을 설정하는 것이다. 그 다음에 스토브(1600) 이미지의 주변에 들어가는 임의의 물체는 알람의 이유로서 처리될 수 있다.
또한 비교적 간단한 제2 방법은, 특정 값보다 큰 물체들은 스토브의 영역에 임의의 상당한 시간 길이 동안 존재할 수 없다는 것이다. 이것은 또한 팬들과 같은 일반적으로 원형 물체들을 제외할 수 있다. 원래 동그랗지 않은 팔들보다 더 큰 물체들은 예를 들어 알람을 일으킬 수 있다. 제3 방법은 젓기와 같은 특정 움직임들을 찾고 알람에서 그것들을 제외하는 것이다. 제4 방법은 카메라의 컬러 감지 능력을 이용하여, 컬러, 특히 피부색을 찾는 것이다. 이러한 알람이 설정되는 정확한 방법은 일반적으로 정상적인 활동 과정에서 기대되는 것, 몇 살의 아이들이 집에 있는지, 및 요리하는 사람의 습관들에 의존한다. 모든 팬들 및 스토브 상단이 피부색이 아니라면, 그것은 스토브 및 버너 근처의 사람의 존재를 파악하기가 더 쉬워진다.
도 17은 스토브 제어, 및 기타 엔터테인먼트를 위한 후방 투영 실시예를 예시한다. 이 예에서, 이 경우 스토브 및 레인지(1720)의 제어 및 이용에 대하여 몇몇 신규의 양태들이 예시된다. 동시 계속 출원들에서 언급한 바와 같이 광각 렌즈를 갖는 LED 프로젝터 및 연관된 감지 카메라 및 디스플레이 및 디바이스 제어 컴퓨터로 이루어지는 후방 투영 엔진(1700)은, 다른 목적들을 위해 본 출원인의 동시 계속 출원들에서 언급한 바와 같이 냉각 영역(cool area)에서, 레인지 후드(1701)(또는 대안적인 마이크로웨이브 디바이스) 안에 또는 근처에 있다. 후방 투영 스크린 부분(1710) 상에는, 제어들, 이 경우 손잡이(1711)와 같은 익숙한 손잡이들 및 스위치들이 있다. 제어들은 그것들을 통한 투영이 필요하지 않더라도 불투명할 수 있는, (내열 물질로 이루어지는) 물리적 제어들일 수 있다. 스크린은 버너들 및 오븐으로부터의 열에 견딜 수 있는 파이렉스(pyrex) 또는 다른 투명 물질이다. 제어는 또한 동시 계속 출원들 및 다른 곳에서 언급한 터치 또는 제스처에 의해 실시될 수 있다. 인터넷 또는 다른 데이터 접속(1715)은 유명한 요리사들, 영화 배우들 또는 임의의 다른 원하는 장면들, 비디오 또는 스틸의 풀 사이즈 이미지들을 통해 레시피들, 명령어들 및 소셜 상호작용을 허용한다. 아래에서 논의되는 바와 같이 사람의 액션들을 결정하기 위한 옵션의 카메라(1740)가 또한 포함될 수 있다.
도 18a는 사람(1800)이 아일랜드 타입 카운터(1805)에서 작업하고 있고, 바람직하게 실물 크기의 이미지들을 디스플레이하는 스크린(1810)이 냉장고(1815)의 상부 냉동고 부분 상에 제공되는, 주방에서의 사람 또는 사람들의 특성들 또는 액션들의 감지를 포함하는 전방 투영 실시예이다.
오버헤드 비디오 프로젝터(1820)는 TV 이미지들, 인터넷으로부터의 레시피들 및 이 출원의 다른 곳에 설명된 바와 같은 다른 정보를 투영하기 위해 이용될 수 있다. 이 경우 프로젝터에 부착되는(또는 그와 나란히 놓이는) 카메라(1822) 및 프로젝터를 제어하는 컴퓨터(명확함을 위해 도시되지 않음)는 냉장고(1801)의 전면상의 손잡이(1812)와 같은 제어를 감지한다. 손잡이들 및 다른 물리적 제어들, 및 터치는 11/980,722와 같은 동시 계속 출원들의 도 10 및 다른 도면들을 참조한다.
주방에 있는 사람 또는 사람들을 외형상으로 보는 카메라(1830)가 더 예시된다. 사람(1800)에 의해 수행되는 머리, 손 또는 얼굴 제스처는 이 카메라에 의해 감지될 수 있고, 제스처를 결정하기 위해 그의 이미지가 프로세싱된 후에 오버헤드 프로젝터(1820)의 TV 이미지를 제어하는 데 이용될 수 있다. 대안적인 폴드 다운(fold down) 스크린(1811)이 또한 예시되며, 여기서 냉장고 문 상에 스크린을 갖는 것은 바람직하지 않다. 이 스크린은 냉장고 위에 있을 수 있거나, 냉장고 및 위의 찬장을 커버하는 대형 버전일 수 있다.
이 실시예에서, 제스처 및 음성 인식은 레인지 후드 또는 다른 장소에 배치된 카메라와 통신하는 데 이용된다. 또한, 주방에 있는 사람 또는 사람들의 다른 특성들은 감지되어 디스플레이, 확성기들, 가전제품들 또는 다른 장치를 제어하는 프로그램에의 입력으로서 이용될 수 있다. 이러한 특성들은 그들의 얼굴 상의 미소의 존재, 사람의 아이덴티티, 사람이 그들의 손에 가지고 있는 주걱 또는 믹싱 볼과 같은 도구 등일 수 있다. 그 위에 특수 그래픽 또는 컬러를 갖는 플래시 카드와 같은 물체들을 검출하기에 특별하게 용이한 것이 이용될 수 있다. 이것은 실질적인 컴퓨터 프로세싱을 요구하지 않고 강건한 시그널링 및 제어 시스템을 만들 수 있다. 그러나, 통상적으로 배경은 카메라(1822)에 의해 보여질 때 일정하고, 또는 카메라(1830)에 의해 덜 그러하다(less so)는 것에 주목한다. 따라서, 시그널링 아이템을 갖고 그리고 갖지 않고 이미지들의 감산은 파악하는 것이 더 쉬워야 한다.
도 18b는 스크린(1810)을 구비하는 냉장고(1815)의 상부의 냉동고 부분(1840)을 도시하는 냉장고의 정면도이다. 이 스크린은 필요에 따라 영구적이거나 일시적일 수 있고 분리할 수 있다.
도 18c는 정면 및 측면도로 도시된 다른 냉장고 실시예이다. 이 경우, 그것은 준-풀(quasi-full) 길이의 실질적으로 실물과 똑같은 이미지(1875)가 마운트(mount)(1881) 내의 프로젝터(1880)(원하는 경우 옵션의 전기 광학 센서를 가짐)를 이용하여 냉장고 문 상에 디스플레이될 수 있게 하는 바닥부 냉동고 타입 냉장고의 문(1876) 상의 스크린(1890)을 이용한다. 프로젝터는 천장에 부착될 수 있지만, 이 경우 프로젝터는 냉장고의 상부에 부착되고, 냉장고 문의 앞에 스크린 표면 상에 비스듬히 투영한다. 일부 대안적인 경우들에서, 이러한 프로젝터는 측면 부착되거나 벽 부착되고 스크린 상에 옆으로 비스듬히 투영될 수 있다.
도 19는 이제 사람이 작업하고 있을 수 있는 주방의 싱크대, 욕조, 세탁물 또는 다른 장소 뒤에 전방 투영 디스플레이를 이용하는 실시예에서 인간 상호작용을 더 예시한다. 도시된 바와 같이, 사람(1900)이 카운터(1911)의 주방 싱크대(1910)에서 작업하고 있다. 일반적으로 적어도 위에 한쪽 또는 다른쪽으로 찬장이 있더라도, 머리 위에 찬장(1915)이 있을 수도 있지 않을 수도 있다. 프로젝터(1920)는 위의 도 18의 실시예에서와 같이 스크린(1925) 상에 정보를 투영하고, 예를 들어 식기 세척기, 쓰레기 처리기 또는 쓰레기 압축기와 같은 인근의 연관된 설비를 제어하기 위해 원하는 경우 내장된 카메라 또는 다른 감지 능력이 스크린 상의 제어 위치들을 감지할 수 있다. 유사하게, 데이터는 조작 또는 디스플레이될 수 있고, 가정에서의 다른 활동들은 위에서 설명한 바와 같이 모니터되거나 제어될 수 있다.
또한 부가된 제어 모드들 및 본 발명의 독특한 소셜 상호작용 양태가 예시된다. 이러한 제어를 위해, 도시된 바와 같이 찬장에 부착되어 카메라(1940)가 제공된다. 대안적으로 또는 부가적으로 카메라(1945)는 언급한 바와 같이 프로젝터와 연관될 수 있고, 이 카메라는 스크린 상의 물체들뿐만 아니라 사람을 볼 수 있다. 카메라들 및 프로젝터가 도시되지 않은 유선으로, 또는 무선으로 제어 컴퓨터(1950)에 접속된다. 카메라 또는 카메라들은 2d 또는 3d 타입, 또는 둘의 결합일 수 있다. 이용될 수 있는 어느 한 카메라 또는 카메라들 둘다에 의한 신호들의 검출을 돕기 위해 필요에 따라 IR LED들과 같은 보조 광원들이 제공될 수 있다.
앞서 언급한 바와 같은 이점은, 본 발명의 스크린이 전기적 위험 없이 이러한 환경에서 성공적으로 동작할 수 있다는 것이다. 스크린은 손상 없이 떨어질 수 있고(splashed), 심지어 팬 손잡이, 은식기류 등에 적절하게(reasonable) 타격을 입을 수 있다.
위에서 언급한 바와 같이, 본 발명의 목적은, 요리 및 주방 활동의 소셜 양태들을 강화하기 위한 것이다. 실물 크기의 이미지들을 가짐으로써, 이미지들이 디스플레이되는 사람들과의 상호작용의 느낌을 강화하고, 그들은 가족 구성원들, 영화 배우들, 유명한 요리사 또는 심지어 애완 동물일 수 있다. 이러한 상호작용은 위에서 언급한 바와 같이 제스처 또는 음성(마이크로폰(1960) 및 음성 인식 소프트웨어를 통함)에 의할 수 있고, 이미지가 디스플레이되는 사람은 1965와 같은 확성기를 통해 사용자에게 말할 수 있다. 디스플레이되는 이미지들은 예를 들어 스카이프(Skype) TV를 통해 프로젝터(1920)를 구동하고 필요에 따라 확성기, 인터넷 및 마이크로폰에 인터페이스되는 컴퓨터(1950)에 생중계될 수 있다.
손잡이 회전 위치들과 같은 물리적 제어 위치들의 감지 이외에, 이 실시예의 카메라들의 2개의 메인 부가적인 이용들이 존재한다. 첫번째는, 프로젝터의 TV 채널을 바꾸는 것, 또는 스토브를 제어해서 버너를 끄는 것과 같은 일부 액션을 일으키기 위해, 인간의 제스처들 또는 제어 물체들을 보는 것이다. 예를 들어, 간단한 경우는 사람(1900)이 스크린(1925) 상에 투영된 아이콘 상자(1960)(점선으로 도시됨)를 표시하기를 원하는 경우이다. 이 예에서, 그들은, 그것이 그 상자에 대한 투영을 차단할 때까지 그들의 손(1955)을 올리고, 차단된 상태는 투영된 상자의 부재를 감지하는 카메라(1945)에 의해 감지된다. 애매함이 일어나지 않도록, 선택들이 비교적 적기만 하면, 이것은 잘 동작한다. 손(1955)이 잘 보이는 경우, 그 손 자체, 또는 그 안의 물체는 감지될 수 있다는 것에 주목한다. 그러나, 사람은 그것이 말하자면 S 모션으로 손을 흔드는 것과 같은 공간에서의 움직임 제스처가 아닌 한, 그것이 의미하는 것에 대해 참고하지 않는다. 이 움직임은 예를 들어 카메라(1940) 또는 카메라(1945)에 의해 감지될 수 있다. 인간 상호작용 관점에서 그것을 하는 문제를 고려할 때, 스크린 상에 있는 것들을 차단하는 것이 더 좋아 보인다. 판단 기준은, 도면의 수직 방향에 있는, 차단된 가장 높은 투영된 이미지 그래픽이 대답일 수 있다. 이것은 사람이 스크린의 바닥으로부터 접근하고 있는 것을 가정하고, 이것은 실제로(그리고 유익하게) 이 사례의 투영의 각도로 인해 안-밖(in-out) 또는 z 방향에 있다. 도 18과 같이, 프로젝터가 높은 사각으로 투영하고 있는 경우, 덜 그렇게 할 수 있다.
또한, 제어 기능을 표시하기 위해 사람이 잡고 있는 물체들을 관찰하기 위해 카메라(1945 또는 1940)를 이용할 수 있다. 이것은 머리, 손 또는 손가락과 같은 사람의 부분들일 수 있거나, 그것은 예를 들어 손에 잡고 있는 뭔가일 수 있다. 예를 들어, 컴퓨터가 사람이 스푼을 흔들고 있다는 것을 인식하면, 그것은 TV 투영을 켜기 위한 프로그램된 표시일 수 있다.
제어 활동들에 부가하여, 카메라 및 컴퓨터(1950) 내의 연관된 머신 비전 프로그램은 다른 것들, 예를 들어 주방(또는 본 발명이 거기에 이용되는 경우, 다른 방)에 있는 사람 또는 사람들의 상태도 감지하는 데 이용될 수 있다. 감지된 이러한 상태들은, 사람이 웃고 있거나 찌푸리고 있는지 등등일 수 있다. 사람이 머리를 끄덕이거나, 머리를 돌리거나, 키스를 보내는 것과 같이 액션을 하면, 이것은 감지될 수 있다. 드레스 상의 디자인, 또는 고무 장갑이나 앞치마와 같은 의복의 타입과 같이 의복의 물체(clothing object)가 감지될 수 있다.
소셜 상호작용에 대해, 시스템은 사람을 이런 식으로 볼 수 있고, 인터넷 소스로부터의 아마도 실시간의 프로그램은, 거기에 친구가 있는지 알아보기 위해, 그들의 드레스 또는 복장에 대해 코멘트하고, 마이크로폰 및 음성 인식 프로그램을 통한 그것들로부터의 정보를 제외하고 확성기를 통해 말함으로써 시스템이 쌍방향이 되도록 할 수 있다. 컴퓨터는 다른 곳에서도 뭔가에 접속된 인터넷일 수 있는 사이트에 있을 수 있다. 이러한 능력은 설거지하면서 쌍방향 비디오 세션들을 가질 수 있게 하여, (이미지가 스크린 상에 투영되는 가족 구성원과 같은) 현실에 있거나 또는 일부 녹음되거나 애니메이션된 비디오 경험(video experience) 또는 게임에 있는 누군가에게 말할 수 있다.
일부 싱크대들은 그것들 위에 창문을 갖는다. 밖을 보는 것이 바람직한 창문(또는 욕실의 경우에 거울)이 존재하는 경우, 스크린은 예를 들어 그것을 접거나, 그것을 카운터 내로 미끄러져 들어가게 하거나, 심지어 모터 동력에 의해 방해가 안 되도록 이동될 수 있다. 또한 프로그램가능하게 광을 확산할 수 있는 창문 또는 거울을 제공하는 것이 가능하다. 욕실 싱크대 위에 배치되는 경우 디바이스는 정보를 위해서뿐만 아니라, 다양한 활동들을 돕기 위해 뒤쪽과 옆쪽으로 본 카메라 이미지들을 제공하기 위해 이용될 수 있다. 대부분의 사람들은 그들의 싱크대 위에 창문들을 갖지 않기 때문에, 디스플레이되는 시각적 이미지는 그것을 시뮬레이트하기 위한 옥외 장면일 수 있다. 이러한 이미지는 프로젝터만이 아닌, LCD 또는 다른 디스플레이에 의해 제공될 수 있다. 그러나, 그것은 물 환경에 견딜 필요가 있고, 이것은 오늘날 대부분의 평면 패널 디스플레이들에 대해 매우 위험하다.
도 20은 스토브 및/또는 마이크로웨이브 제어, 기타 엔터테인먼트, 및 다른 사용들을 위한 전방 투영 배열을 예시한다. 프로젝터 및 내장된 컴퓨터 및 디스플레이 드라이버(2005)가 마이크로웨이브 오븐(2010)의 바닥부에 부착되고 레인지(2020)의 후방에서 스크린(2015)에 투영한다. 이 디바이스는 전술한 바와 같이 가정에서 인터넷 또는 다른 가전제품들 및 서비스들에 인터페이스될 수 있다. 스크린은 이 예에서 바닥에 곡선의 하위 부분(2016)을 갖는다. 손잡이(2025)의 위치와 같은 정보가 감지를 위한 내장 또는 개별 카메라 또는 동시 계속 출원들에 개시된 바와 같이 감지 타입 프로젝터를 이용하여 감지될 수 있다. 이 예에서, 프로젝터는 마이크로웨이브에 내장되지만, 그것은 마이크로웨이브가 이용되지 않는 경우, 또는 그것이 희망되는 경우, 예를 들어 측면으로부터 또는 천장으로부터 또는 찬장 아래에서 투영하기 위해 별개로 배치될 수 있다. 열이 문제인 경우, 프로젝터는 마이크로웨이브의 측면 또는 상단에 배치될 수 있고, 이미지는 투영 창문의 위치에 광학적으로 전달된다. 마이크로웨이브는 로봇들을 제어하기 위해, 그리고 동작의 안전 및 다른 특징들을 제공하기 위해, 도 14의 방식으로 카메라들을 구비할 수도 있다는 것에 주목한다.
스크린의 투영 표면은 튀긴 것(splatter) 등이 신속하게 제거될 수 있도록 쉽게 세척될 수 있는 내열 물질로 될 수 있다. 이 물질은 또한 뷰잉을 위한 스크린으로서 작용하기 위해 충분히 광을 산란해야 한다. 만족스런 표면은 고온 페인트를 갖는 모래 분사된 반사성(sandblasted reflective) 유리 또는 철이다. 손잡이들 및 제어들은 그것들이 요리하는 동안 조작될 경우 레인지 표면(2020)으로부터 떨어져서 예상되는 팬들의 레벨(점선(2040)) 위에 배치되어야 한다.
도 21은 네트워킹된 가전제품들 및 다른 주변 인터페이스들의 도면이고, 여기서 주 제어의 소프트웨어(이 경우 주방 카운터에 배치됨)가 가전제품들에 대해 인터페이스할 뿐만 아니라, 그것들의 동작의 디테일을 제어하며, 디테일 및 다른 개인적 특징들은 다양한 소스들로부터의 다운로드들을 이용하여 제품 수명 동안 소프트웨어로 변경될 수 있다.
예를 들어, 도 21에 예시된 것과 같은 중앙 제어 표면에 대한 주변장치로서 세탁기의 제어를 다룰 수 있다. 다른 이러한 주변 인터페이스는, 더 작더라도, 본원에서 많은 실시예들과 유사한 방식으로 내장되는, 출원 11/852,690에 설명된 "쿠션(cushion)" 디바이스이다. 이러한 주변 인터페이스들은 TV 리모콘들로서 기능할 수 있고, 예를 들어 모든 가전제품들을 원격으로 제어하도록 기능할 수 있다.
투영 스크린의 특징들 중 하나는, 방해가 되지 않게 이동될 수 있다는 것이다. 그리고 또한, 바로 그 존재는, 카운터 공간에 대하여 방해가 되지 않고, 천장에 부착되거나 마이크로웨이브의 앞에 있거나 천장에 있는 어떤 프로젝터라도 되고, 지면에 어떤 것도 가질 필요가 없다. 이것은 주요한 리얼 에스테이트(real estate)이다.
본 발명에 의하면, 요리하는 과정을 모니터하기 위해 오늘날과 같이 마이크로웨이브 내부를 볼 필요가 없다. 프로젝터 자체(또는 LED 모니터와 같은 이용할 수 있는 다른 디스플레이)는 거기서 물질을 보기 위해 마이크로웨이브 내부에 배치된 카메라를 통해, 마이크로웨이브 내부에 있는 것을 보여 주기 위해 이미지를 투영할 수 있다. 이 카메라 이미지는 메인 제어 패널, 또는 다른 방과 같은 다른 장소들로 원격 조작(remote-ed)될 수 있다. 이것은 도 18의 냉장고 문 상의 스크린과 유사한 방식으로, 투영 스크린으로서 작동할 수 있는 블랭크 문(blank door)을 가질 수 있게 한다. 이것은 일부 사람들의 눈에 있어 안전상의 이점들을 가진다. 또한, 이 장소의 마이크로웨이브의 앞에 있는 손가락들 및 제어 위치들의 감지는 마이크로웨이브 또는 다른 디바이스들을 제어하기 위해 수행될 수 있다.
스크린은 마이크로웨이브의 앞에 또는 캐비닛 상에서 풀 다운(pull down)할 수 있거나, 그것은 스윙 다운(swing down)할 수 있다는 것에 주목해야 한다. 또한 그것은 그것에 카메라를 지닐 수 있다. 그래서 카메라는 오직 프로젝터 스크린이 예를 들어 내려져 있을 때 인게이지(engage)될 수 있다.
일부 응용들의 경우, 음식 또는 사람은 리얼리즘을 주기 위해 대략 실물 크기의 얼굴 상반신(face upper body)이 디스플레이되는 것이 바람직하다. 스크린은 너무 많은 공간을 다 써버리지 않고 이것을 허용하고, 빅(Big) 특징은 프로젝터를 이용하는 경우, 방해가 되지 않거나, 냉장고 또는 마이크로웨이브의 앞에 놓인다는 것이다. 전방 투영 스크린은 방해가 되지 않게 쉽게 이동될 수 있고, 카운터의 주요 리얼 에스테이트 상에 뭔가를 가질 필요가 없다. 프로젝터는 현재와 같이 HDTV로서 이용될 수 있다. 본 발명은 쌍방향 레시피 상호작용을 위해 이용될 수 있고, 프로그래밍은 주방의 사람과 동행하기 위해(to keep the person in the kitchen company), 말하자면, 특정 식사를 어떻게 할지 등을 알려주거나 보여줌으로써 사람이 요리하는 것을 도와주기 위해, 이용될 수 있다. 사람은 시스템에 그들의 친구들을 소개할 수 있고, 컴퓨터의 얼굴 추적(face-tracking) 프로그램은 그것이 쌍방향 프로그래밍을 돕는 경우 누가 누구인지 말할 수 있다. 이러한 프로그래밍은 저장된 응답들로부터 비디오 클립들을 이용하여 투영된 이미지들을 발생할 수 있다(영화 배우에 대해 말하면, 예를 들어 움직임들, 의복, 또는 주방에 있는 사람에 의해 말해진 단어들에 대해). 또는 그것은 스크린 디스플레이 상의 문자(들)가 가상이고 3D 그래픽 발생인 경우, 덜 현실적이더라도, 더 쌍방향적일 수 있다.
개시된 바와 같은 본 발명은 그들의 주방에서 작업하고 그들의 욕조를 이용하기를 원하지만, 디바이스들 상의 마킹들 등과 같은 정상적인 정보 소스들의 이용을 허용하지 않는 시력을 가질 수 있는 시각 장애인들을 위해 유용하다. 본 발명은 정보가 예를 들어 주어진 제어 기능에 대해 훨씬 더 크거나 더 밝게 될 수 있게 한다.
도 22는 동적 붓기의 모니터링에 의해 액체 또는 재료 교환 결정을 예시한다. 도 22는 용기(2203)로부터 컵(2205)으로 부어진 액체 또는 과립 재료(2200)를 결정하기 위한 시스템을 예시한다. 붓기에 대안적으로, 액체 또는 다른 재료가 예를 들어 수도꼭지로부터 컵으로 흐를 수 있다. 붓는 재료, 이 경우 물은 컴퓨터(2227)에 접속된 카메라(2210)(그리고 도 1b의 카메라(147)와 같은 작업대 표면(2215)에 배치됨)에 의해 모니터된다. 용기는 최상의 결과들을 위해 카메라 이미지 필드의 중심 영역에 있는 것으로 마킹된 영역에 배치된다. 컴퓨터에서 실행되는 Matrox MIL과 같은 머신 비전 프로그램 루틴들은 부을 때 재료의 유효 단면 치수 d를 동적으로 모니터링하고, 붓기 중에(또는 후에) 주어진 시점에 평균 단면적을 결정하고, 그 시점에 붓기 시간을 곱함으로써 결정할 수 있다. 이것은 부어진 부피의 계산을 허용하고, 단면이 타당하게 원형과 같은 알려진 모양으로 되어 있다고 가정하면, 이 경우 단면적은 파이 곱하기 0.5d의 제곱이다. 단면 치수 d가 붓기 중에 변하는 경우, 모든 d 값들의 총 적분(total integral)이 이용된다.
이 간단한 예에서, 카메라(2210)는 카메라(2210)에 의해 획득된 이미지(2240)에서 가장자리 위치들(2230 및 2231)에 관한 정보를 획득함으로써, 한 관점에서만 d를 결정한다. 이 이미지 프로세싱은 보통 현대의 PC 컴퓨터들에 의해 보통의 방 조명에서 행해질 수 있다. 그러나, 양호한 이미지를 보장하기 위해, 가장자리 위치 이미지들은 붓기 위치(2251) 뒤의 2250과 같은 역반사기 및 축상 LED 일루미네이션(2255)과 이용될 때 매우 분명하게 될 수 있다. 더 정확함을 위해, 2개의 카메라가 두 평면들에서 단면 치수를 얻기 위해 서로 수직으로 이용될 수 있고, 예를 들어 직사각형일 수 있는, 평균 단면을 계산하기 위해 두 세트의 데이터가 이용된다. 시스템은 알려진 양의 붓기를 간단하게 실행하고 부어진 재료를 컴퓨터에 입력함으로써 통상적인 단면들을 익힐 수 있다는 것에 주목한다. 이것은 붓기가 작업대 표면으로부터 높이 및 다른 변수들이 비교적 일정하다고 가정한다. 주어진 재료들에 대한 값들의 일반적인 표들이 또한 컴퓨터 내의 룩업 테이블을 형성하기 위해 이용될 수 있다. 붓기 동작이 미리 설정된 한계에 맞도록 충분한 재료를 부었을 때, 붓기를 중지하기 위해 명령어가 주어질 수 있다. 이것은 2 스테이지인, 슬로우 다운 스테이지 다음에 중지로 될 수 있다. 이 명령어는 예를 들어 들리거나 보일 수 있다. 컴퓨터가 재료가 무엇인지에 관해 명령받은 경우에 부어진 재료의 근사 무게(approximate weight)가 계산될 수 있고, 이로부터 밀도가 구해져서 부어지는 부피에 의해 곱해질 수 있다. 이 경우, 무게 중지 알람(weight stop alarm)이 행해질 수 있다.
도 23은 자동 센터 스택(automobile center stack) 또는 가전제품, 또는 11/045,131의 도 6과 같은 본 출원인의 동시 계속 출원들의 일부 실시예들과 유사하게 배치된 종래의 손잡이들 및 스위치들을 갖는 다른 응용을 위해 적절한 확산성 스크린 부분(2301)을 포함하는 본 발명의 프로젝터 기반 제어 패널(2300)을 예시한다. 스크린 및 제어 표면(2300)은 푸시버튼 스위치 뱅크(2322)뿐만 아니라, 도시된 2개의 손잡이(2310 및 2315)의 실질적인 부분을 감싸는 형태로 된다. 이러한 방식에서 라벨들 및 다른 정보는 상기 손잡이들 및 스위치들에 대해 프로그램가능하게 변경될 수 있고, 후자의 설계는 전통적이다. 일부 투영 광을 차단하고 손잡이 둘레의 균일한 고리 모양 영역을 제공하기 위해서 마스크 부재의 이용에 주목한다. 표면(2300)은 또한 동시 계속 출원들 및 다른 곳에서 지적된 바와 같이 그의 표면의 적어도 일부에 대해 곡선으로 이루어질 수 있다.
손잡이(2315)는 로터리 인코더(2360)의 샤프트(2358)를 돌린다. 이 인코더는 부재(2300) 및/또는 대안적인 지지 부재(2370)(점선)에 접착제(2365)에 의해 부착된다. 인코더에의 접속들을 조절하는(conditioning) 신호 및 판독은 2305로부터 스크린(2301)으로의 광의 투영을 모호하게 하지 않는 임의의 방식으로 제공될 수 있다.
손잡이의 표시기 부분은 점(2350)과 같이 손잡이 정면에 인쇄될 수 있거나, 또는 그것은 라벨 또는 그래픽과 같이 스크린 상에 투영되는 임의의 데이터에서 포인터를 형성하기 위해, 도시된 바와 같이 디스플레이 앞면을 오버랩하도록 점선(2355)에서 처럼 확장할 수 있다. 대안적으로, 포인터는 검출된 손잡이 원주 위치에 대응하도록, 스크린 상에 가상적으로 투영될 수 있다. 다른 대안으로서, 그것은 손잡이가 그의 정면 상에 투영 스크린과 같은, 디스플레이 부재를 갖는 실시예들을 위해 손잡이 정면 자체에 투영될 수 있다. 특히 손잡이 또는 스위치가 단면 AA의 측면도에 도시된 바와 같이 프로젝터 각도들의 극치(extremes)에 배치되지 않은 경우, 스크린 상의 데이터를 모호하게 하지 않도록 실행할 수 있는 정도로 얕은 손잡이 전위차계(potentiometer) 또는 인코더 판독을 이용하는 것이 일반적으로 바람직하다. 일부 경우들에서, 빗나간 투영 광 또는 확산기가 손잡이 둘레에 불쾌한 이미지를 만들지 않도록 달성하도록 마스크(2380)를 갖는 것이 바람직할 수 있다. 대안적으로 또는 부가적으로, 손잡이들 및 스위치들(또는 다른 물리적 제어들)을 지나서 스크린 상에 투영을 위해 프로젝터 이미지를 실질적으로 시준하기 위해 동시 계속 출원들에 도시된 바와 같이 프레넬(Fresnel) 렌즈를 이용할 수 있다. 이것은 이제 2개의 다른 손잡이 부착 방법들과 함께 예시될 것이다.
대안적인 자동 센터 스택 배열(automotive center stack arrangement)이 도 24에 도시되고, 이 경우 2개의 손잡이가 제어 표면 부재의 한계 내에 실질적으로 완전히 있고, 이것은 간단하게 그것들을 제자리에 있게 하기 위해 잘라진다. 확산기(2405)를 구비한 제어 표면 부재(2400)가 프레넬 렌즈(2412)에 의해 발산 출력(diverging output)이 시준되는 컴퓨터(2014)에 의해 제어되는 프로젝터(2410)에 의해 투영된다. 부재(2400)는 그 위에 2개의 손잡이(2420 및 2450)을 부착하였다. 하나의 경우에, 로터리 인코더(2430)에 부착된 샤프트 하우징(2424)에 끼우는 끼워진 나삿니가 있는 너트(threaded nut)(2421)를 이용하여 손잡이(2420)가 부착될 수 있게 하는 구멍이 부재(2400)에 제공된다. 다른 경우에, 손잡이(2450)는 부재(2400)의 앞에 부착된 인코딩 부재(2451)에서 회전하고, 따라서 거기에 구멍이 만들어지는 것을 요구하지 않는다. 그러나, 이것은 일반적으로 인코더로의 와이어들이 투명 도체들이거나 또는 트림 모울딩(trim mouldings)하의 일부 방식으로 은닉되는 것 등을 요구한다. 투영된 광이 보이지 않도록 차단하는 데 옵션의 불투명 마스크(2460)가 이용될 수 있다. 컴퓨터(2414)에 대한 손잡이 회전 위치 센서들(2430 및 2451)의 전기적 접속들은 명확함을 위해 도시되지 않는다.
도 24의 예에서, 컴퓨터(2014)의 제어하에서, 제어 패널의 기능을 한 기기에서 다른 기기로 스위치하기 위해 이 경우 손가락 근접을 감지하는 용량성 스위치들(2483, 2485 및 2486)과 같은 비접촉 타입들의 3개의 스위치가 제공된다. 이들 스위치들은, 예를 들어 부재(2400) 상의 투명 도체들에 의한, 전자 회로 접속들을 이용하여 조작된다. 용량성(또는 다른 타입들)의 스위치들은 손잡이들의 기능을 할 수 있는 것처럼 그들의 기능이 변경될 수 있다. 예를 들어, 3개의 스위치의 기능을 기기 선택 상태로부터 다른 기능들, 예를 들어, TV, 오디오 시스템, 및 인터넷 카메라 상호작용을 위한 선택 디바이스로 변경하는 데 이용되는 보조 스위치(2490)의 이용을 고려한다. 이들 새로운 상태들에서, 손잡이들 중 하나 또는 둘다의 기능이 또한 변경될 수 있다. 예를 들어, 손잡이(2450)는 TV 스테이션 선택을 위한 튜너 손잡이로 될 수 있고, 손잡이(2420)는 이 예에서 원격으로 저장되는 오디오 파일들의 플레이리스트 선택 스크롤링을 허용할 수 있다. 두 경우에서, 적절한 인터페이스 및 통신 설비들이 제공된다는 것을 가정한다.
축외(off axis) 프레넬 렌즈가 이용되는 경우, 프로젝터로부터의 광은 제어 표면에 비스듬한 각도로 접근함으로써 디바이스의 깊이를 감소시킨다. 또한 본 출원인의 동시 계속 출원들을 참고한다. 동시 계속 출원들에 개시된 바와 같이, 솔레노이드(2494)와 같은 펄싱 부재(pulsing member)가 도시된 스위치들 또는 손잡이들의 다양한 액션들 또는 상태들을 표시하기 위해 컴퓨터(2414)의 명령하에서 부재(2400) 내로 포스 신호 F를 전송하도록 펄싱될 수 있다는 것에 주목한다. 손잡이들, 스위치들 또는 다른 유닛들이 일반적으로 제어 표면에 부착될 수 있지만, 그것들이 있을 필요는 없다.
본원의 발명의 스크린들, 특히 도 18에 도시된 것과 같은 수직 평면으로 된 것들은 동시 계속 출원 12/358,404에 개시된 바와 같이 운동 및 재활을 돕기 위해 이용될 수 있다는 것에 주목해야 한다. 비디오 게임 커맨드들의 입력을 위해 웹캠들 또는 다른 단일 카메라를 이용하는 거기에 개시된 단순하고 저비용의 감지 기법들은 또한 이 경우 다양한 홈 기능들을 제어하기 위한 커맨드들의 입력을 위해 이용될 수 있다.
본 발명은 다수의 실시예들과 관련하여 설명되었지만, 설명된 특정 메커니즘들 및 기법들은 단지 발명의 원리들을 예시하는 것이고, 발명의 사상 및 범위로부터 벗어나지 않고 설명된 방법들 및 장치에 대해 다수의 수정들이 행해질 수 있다는 것을 이해한다.
Claims (22)
- 적어도 하나의 홈 장치(home apparatus)를 위한 제어 시스템으로서,
비디오 이미지 프로젝터;
이미지가 투영되는 표면을 갖는 부재; 및
상기 표면 상의 상기 투영된 이미지에 관한 제어 신호를 감지하기 위한 컴퓨터 수단
을 포함하는 제어 시스템. - 제1항에 있어서, 상기 장치는 가전 제품인 제어 시스템.
- 제1항에 있어서, 상기 부재의 표면에서 작업이 수행되는 제어 시스템.
- 제1항에 있어서, 상기 표면의 적어도 일부분은 곡선인(curvilinear) 제어 시스템.
- 제1항에 있어서, 상기 제어 신호를 발생하기 위한 TV 카메라를 더 포함하는 제어 시스템.
- 제1항에 있어서, 상기 표면에 부착된 물리적 제어 부재를 더 포함하는 제어 시스템.
- 제1항에 있어서, 상기 제어 시스템의 기능을 한 장치로부터 다른 장치로 변경하기 위한 수단을 더 포함하는 제어 시스템.
- 제1항에 있어서, 상기 제어 신호는 상기 표면을 터치함으로써 발생되는 제어 시스템.
- 제1항에 있어서, 상기 부재는 청소를 위해 제거될 수 있는 제어 시스템.
- 제1항에 있어서, 상기 디스플레이된 이미지는 상이한 제어 레이아웃들을 갖는 복수의 장치의 제어 패널들에 관련하는 제어 시스템.
- 제1항에 있어서, 상기 투영되는 이미지는 상기 컴퓨터에 접속된 디바이스의 디스플레이에 관련하는 제어 시스템.
- 쌍방향 주방 활동(interactive kitchen activity)을 제공하기 위한 방법으로서,
투영 스크린 표면(projection screen surface)을 제공하는 단계;
컴퓨터 제어되는 비디오 이미지 프로젝터(computer controlled video image projector)를 이용하여, 상기 표면 상에 정보를 투영하는 단계;
상기 주방에서 일하는 적어도 한 사람을 관찰하기 위해 카메라 또는 다른 전기 광학 센서를 제공하는 단계;
상기 사람에 관한 정보를 상기 컴퓨터를 이용하여 결정하는 단계; 및
상기 정보를 이용하여, 상기 사람에게 관심 있는 이미지들을 투영하는 단계
를 포함하는 쌍방향 주방 활동 제공 방법. - 음식 준비 방법으로서,
컴퓨터를 제공하는 단계;
상기 컴퓨터에 의해 제어되는 이미지 디스플레이 디바이스를 제공하는 단계; 및
상기 디스플레이 디바이스를 이용하여, 음식을 자르고, 만들고 또는 그 밖의 작업을 하는 작업대 표면 상에 음식 관련 정보를 디스플레이하는 단계
를 포함하는 음식 준비 방법. - 재료 측정 방법으로서,
컴퓨터를 제공하는 단계;
상기 컴퓨터에 인터페이스되고 용기 내로 이동하는(flowing into) 재료를 보기 위해 배치되는 비디오 카메라를 제공하는 단계;
이동하는 동안 상기 재료의 적어도 하나의 치수를 결정하는 단계;
이동의 시간 간격에 걸쳐서 상기 재료의 상기 치수들을 통합하는 단계; 및
상기 통합을 이용하여, 상기 용기에 보관된 재료의 양을 결정하는 단계
를 포함하는 재료 측정 방법. - 제어 패널로서,
적어도 일부분 상에 이미지들이 디스플레이되는 곡선 표면을 갖는 부재;
상기 표면 상에 제공되고, 상기 제어 패널의 사용자에 의해 조작가능한 복수의 제어 디바이스; 및
상기 제어 디바이스들의 위치 또는 상태를 결정하고 상기 이미지들의 디스플레이를 제어하는 컴퓨터
를 포함하는 제어 패널. - 제15항에 있어서, 손가락 터치 위치를 감지하는 수단을 더 포함하는 제어 패널.
- 제15항에 있어서, 상기 제어 디바이스들 중 적어도 하나는 손잡이(knob)인 제어 패널.
- 제17항에 있어서, 디스플레이되는 상기 이미지는 상기 손잡이의 원주 위치(circumferential position)를 표시하는 제어 패널.
- 제17항에 있어서, 상기 제어 디바이스는 스위치인 제어 패널.
- 제19항에 있어서, 상기 스위치는 사용자의 손가락을 접촉하지 않고 조작하는 제어 패널.
- 제15항에 있어서, 프로그램 가능한 택틸 피드백 수단(programmable tactile feedback means)을 포함하는 제어 패널.
- 제15항에 있어서, 상기 제어 디바이스들 중 적어도 하나에 관한 디스플레이되는 라벨들(displayed labels)은 한 장치를 제어하는 것으로부터 다른 장치로 변경하기 위해 변경되는 제어 패널.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/468,401 | 2009-05-19 | ||
| US12/468,401 US20100231506A1 (en) | 2004-09-07 | 2009-05-19 | Control of appliances, kitchen and home |
| PCT/US2010/035488 WO2010135478A2 (en) | 2009-05-19 | 2010-05-19 | Control of appliances, kitchen and home |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120011892A true KR20120011892A (ko) | 2012-02-08 |
Family
ID=42751750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117030372A KR20120011892A (ko) | 2009-05-19 | 2010-05-19 | 기구, 주방 및 가정의 제어 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US20100231506A1 (ko) |
| EP (1) | EP2433188A2 (ko) |
| JP (1) | JP2012527847A (ko) |
| KR (1) | KR20120011892A (ko) |
| CN (1) | CN102498442A (ko) |
| AU (1) | AU2010249515A1 (ko) |
| WO (1) | WO2010135478A2 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101334585B1 (ko) * | 2012-05-29 | 2013-12-05 | 주식회사 브이터치 | 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 |
| KR20180051511A (ko) * | 2015-09-08 | 2018-05-16 | 유로케라 에스.엔.씨. | 유리-세라믹 조리대 |
| KR101863500B1 (ko) | 2017-04-28 | 2018-06-01 | 김성규 | 공기유해 물질의 비산을 원천 차단하는 바람벽 장치 |
| KR101978722B1 (ko) | 2017-11-27 | 2019-08-28 | 강삼태 | 조리기구 제어 시스템 |
| KR102234736B1 (ko) * | 2019-10-12 | 2021-03-31 | 동서대학교 산학협력단 | 프로젝트빔을 활용한 조리 가이드 하드웨어 플랫폼 |
| KR102636031B1 (ko) * | 2022-08-29 | 2024-02-13 | 임규홍 | 비접촉 정전용량 센서를 이용한 화장실 제어 장치 |
| WO2024143965A1 (ko) * | 2022-12-30 | 2024-07-04 | 삼성전자주식회사 | 디스플레이 장치 및 이를 포함하는 가전 기기 |
| WO2024143962A1 (ko) * | 2022-12-30 | 2024-07-04 | 삼성전자주식회사 | 디스플레이 장치 및 이를 포함하는 가전 기기 |
| KR102683867B1 (ko) | 2024-04-30 | 2024-07-11 | (주)세정이에프씨 | 이동통신망을 이용한 사용자 맞춤형 홈 네트워크 시스템 및 이를 사용한 세대 기기 제어방법 |
Families Citing this family (265)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9513744B2 (en) | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
| US8482534B2 (en) | 1995-06-29 | 2013-07-09 | Timothy R. Pryor | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US8482535B2 (en) | 1999-11-08 | 2013-07-09 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US8576199B1 (en) | 2000-02-22 | 2013-11-05 | Apple Inc. | Computer control systems |
| US7358963B2 (en) | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
| KR100556503B1 (ko) * | 2002-11-26 | 2006-03-03 | 엘지전자 주식회사 | 건조기의 건조 시간제어 방법 |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US8077147B2 (en) | 2005-12-30 | 2011-12-13 | Apple Inc. | Mouse with optical sensing surface |
| USD609714S1 (en) * | 2007-03-22 | 2010-02-09 | Fujifilm Corporation | Electronic camera |
| US7936341B2 (en) | 2007-05-30 | 2011-05-03 | Microsoft Corporation | Recognizing selection regions from multiple simultaneous inputs |
| US8323026B2 (en) * | 2008-04-15 | 2012-12-04 | International Business Machines Corporation | Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback |
| US8342847B2 (en) * | 2008-04-15 | 2013-01-01 | International Business Machines Corporation | Interactive recipe preparation instruction delivery to disabled indiviuals |
| US8992225B2 (en) * | 2008-04-15 | 2015-03-31 | International Business Machines Corporation | Monitoring recipe preparation using instructive device and generating an alert to provide feedback |
| US8419434B2 (en) * | 2008-04-15 | 2013-04-16 | International Business Machines Corporation | Interactive recipe preparation using interactive cooking device to communicate with kitchen appliances |
| US8419433B2 (en) * | 2008-04-15 | 2013-04-16 | International Business Machines Corporation | Monitoring recipe preparation using interactive cooking device |
| KR101608760B1 (ko) | 2008-04-30 | 2016-04-04 | 엘지전자 주식회사 | 의류처리장치 |
| ES2374767T3 (es) | 2008-04-30 | 2012-02-21 | Lg Electronics Inc. | Lavadora. |
| ATE533881T1 (de) | 2008-04-30 | 2011-12-15 | Lg Electronics Inc | Waschmaschine |
| US7988849B2 (en) * | 2008-06-03 | 2011-08-02 | Baxter International Inc. | Customizable personal dialysis device having ease of use and therapy enhancement features |
| FR2939555B1 (fr) * | 2008-12-10 | 2015-09-18 | Somfy Sas | Procede de fonctionnement d'un dispositif de commande d'un equipement domotique |
| DE102008064119B4 (de) * | 2008-12-19 | 2014-11-20 | Airbus Operations Gmbh | Bordküche für ein Flugzeug |
| US8976158B2 (en) | 2009-02-15 | 2015-03-10 | Neonode Inc. | User interface for white goods and associated multi-channel proximity sensors |
| AU2010303286B2 (en) * | 2009-10-09 | 2014-10-16 | Electrolux Home Products, Inc. | Appliance interface system |
| US8751049B2 (en) * | 2010-05-24 | 2014-06-10 | Massachusetts Institute Of Technology | Kinetic input/output |
| US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
| DE102010039058A1 (de) * | 2010-08-09 | 2012-02-09 | BSH Bosch und Siemens Hausgeräte GmbH | Hausgerät zum Zubereiten von Lebensmitteln mit einer Kommunikationsschnittstelle |
| DE102010039371B4 (de) * | 2010-08-16 | 2012-08-30 | BSH Bosch und Siemens Hausgeräte GmbH | Steuervorrichtung für ein Hausgerät sowie Hausgerät mit einer Steuervorrichtung |
| DE102010044151A1 (de) * | 2010-11-19 | 2012-05-24 | BSH Bosch und Siemens Hausgeräte GmbH | Hausgerät mit Bildprojektor |
| US9129302B2 (en) | 2011-03-17 | 2015-09-08 | Sears Brands, L.L.C. | Methods and systems for coupon service applications |
| US9438678B2 (en) | 2011-03-17 | 2016-09-06 | Sears Brands, L.L.C. | Methods and systems for appliance community service management |
| US20130052616A1 (en) * | 2011-03-17 | 2013-02-28 | Sears Brands, L.L.C. | Methods and systems for device management with sharing and programming capabilities |
| CA3177719A1 (en) * | 2011-04-04 | 2012-10-04 | Alarm.Com Incorporated | Fall detection and reporting technology |
| DE102011075187B3 (de) * | 2011-05-03 | 2012-10-31 | E.G.O. Elektro-Gerätebau GmbH | Kochfeld |
| DE102011101782A1 (de) * | 2011-05-17 | 2012-11-22 | Trw Automotive Electronics & Components Gmbh | Optisches Anzeige- und Bedienelement und Verfahren zur optischen Positionsbestimmung |
| JP5901163B2 (ja) * | 2011-07-08 | 2016-04-06 | シャープ株式会社 | 加熱調理器 |
| US8971572B1 (en) | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
| WO2013039551A1 (en) * | 2011-09-15 | 2013-03-21 | Persimmon Technologies Corporation | System and method for operation of a robot |
| DE102011083488A1 (de) | 2011-09-27 | 2013-03-28 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Unterstützung von Menschen im heimischen Umfeld |
| EP2602679A1 (de) * | 2011-12-08 | 2013-06-12 | Miele & Cie. KG | Bedienelement für ein Haushaltsgerät, Bedieneinheit eines Haushaltsgeräts zur Aufnahme eines solchen Bedienelements und Haushaltsgerät mit einer solchen Bedieneinheit und einem solchen Bedienelement |
| US20130179811A1 (en) * | 2012-01-05 | 2013-07-11 | Visteon Global Technologies, Inc. | Projection dynamic icon knobs |
| DE102012200473B4 (de) * | 2012-01-13 | 2024-02-08 | BSH Hausgeräte GmbH | Verfahren zum Bedienen eines Kochfelds sowie Kochfeld |
| EP2618634A1 (en) * | 2012-01-23 | 2013-07-24 | Whirlpool Corporation | Microwave heating apparatus |
| DE102012203457A1 (de) * | 2012-03-05 | 2013-09-05 | E.G.O. Elektro-Gerätebau GmbH | Kamera-Modul zur Bediengestenerkennung und Haushaltsgerät |
| DE102012203458A1 (de) * | 2012-03-05 | 2013-09-05 | E.G.O. Elektro-Gerätebau GmbH | Abgesetzte Bedieneinheit für ein Haushaltsgerät |
| DE102012203460A1 (de) | 2012-03-05 | 2013-09-05 | E.G.O. Elektro-Gerätebau GmbH | Kochfeld |
| US20130262995A1 (en) * | 2012-04-03 | 2013-10-03 | David Howell | Systems and Methods for Menu and Shopping List Creation |
| US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
| SE1200428A1 (sv) * | 2012-07-09 | 2012-10-22 | Electrolux Ab | Anordning för köket |
| US9357110B2 (en) * | 2012-08-27 | 2016-05-31 | Ojo Technology, Inc. | Track-mount wireless camera fixture |
| US10605464B2 (en) | 2012-10-15 | 2020-03-31 | Whirlpool Corporation | Induction cooktop |
| ITTO20120896A1 (it) | 2012-10-15 | 2014-04-16 | Indesit Co Spa | Piano cottura a induzione |
| US9740187B2 (en) * | 2012-11-21 | 2017-08-22 | Microsoft Technology Licensing, Llc | Controlling hardware in an environment |
| US9375125B2 (en) | 2012-12-20 | 2016-06-28 | Whirlpool Corporation | Household appliance having antennas |
| US9554689B2 (en) * | 2013-01-17 | 2017-01-31 | Bsh Home Appliances Corporation | User interface—demo mode |
| US9526443B1 (en) * | 2013-01-19 | 2016-12-27 | Bertec Corporation | Force and/or motion measurement system and a method of testing a subject |
| US10856796B1 (en) | 2013-01-19 | 2020-12-08 | Bertec Corporation | Force measurement system |
| US11052288B1 (en) | 2013-01-19 | 2021-07-06 | Bertec Corporation | Force measurement system |
| US11857331B1 (en) | 2013-01-19 | 2024-01-02 | Bertec Corporation | Force measurement system |
| US10010286B1 (en) | 2013-01-19 | 2018-07-03 | Bertec Corporation | Force measurement system |
| US11311209B1 (en) | 2013-01-19 | 2022-04-26 | Bertec Corporation | Force measurement system and a motion base used therein |
| US9770203B1 (en) | 2013-01-19 | 2017-09-26 | Bertec Corporation | Force measurement system and a method of testing a subject |
| US10413230B1 (en) | 2013-01-19 | 2019-09-17 | Bertec Corporation | Force measurement system |
| US10646153B1 (en) | 2013-01-19 | 2020-05-12 | Bertec Corporation | Force measurement system |
| US11540744B1 (en) | 2013-01-19 | 2023-01-03 | Bertec Corporation | Force measurement system |
| US10231662B1 (en) | 2013-01-19 | 2019-03-19 | Bertec Corporation | Force measurement system |
| US9420641B2 (en) | 2013-01-23 | 2016-08-16 | Whirlpool Corporation | Microwave oven multiview silhouette volume calculation for mass estimation |
| CN104981757B (zh) * | 2013-02-14 | 2017-08-22 | 苹果公司 | 灵活的房间控制器 |
| US9292832B2 (en) * | 2013-02-25 | 2016-03-22 | Qualcomm Incorporated | Collaborative intelligence and decision-making in an IoT device group |
| JP2018088259A (ja) * | 2013-03-05 | 2018-06-07 | 株式会社リコー | 画像投影装置、システム、画像投影方法およびプログラム |
| US9268356B2 (en) | 2013-03-15 | 2016-02-23 | Touchsensor Technologies, Llc | Modular knob system |
| WO2014160908A2 (en) * | 2013-03-29 | 2014-10-02 | Neonode Inc. | User interface for white goods and associated multi-channel proximity sensors |
| CN104101007B (zh) * | 2013-04-05 | 2016-08-31 | 佛山市顺德区合捷电器实业有限公司 | 一种具有控制系统的油烟机 |
| DE102013206340A1 (de) * | 2013-04-10 | 2014-10-16 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung und Verfahren zur Steuerung eines Elektrogeräts |
| FR3004629B1 (fr) * | 2013-04-17 | 2015-07-24 | Jean Claude Eyrignoux | Dosage de la poudre de cafe par dispositifs lumineux |
| JP6201408B2 (ja) * | 2013-05-10 | 2017-09-27 | 株式会社ニコン | 電子制御装置、制御方法及び制御プログラム |
| JP2014240730A (ja) * | 2013-06-12 | 2014-12-25 | 株式会社東芝 | 冷蔵庫 |
| JP6373653B2 (ja) * | 2013-06-25 | 2018-08-15 | 東芝ライフスタイル株式会社 | 冷蔵庫 |
| US10162449B2 (en) * | 2013-07-17 | 2018-12-25 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
| CN103438658A (zh) * | 2013-08-15 | 2013-12-11 | 四川长虹电器股份有限公司 | 一种智能冰箱手势控制系统 |
| DE102013216762B4 (de) * | 2013-08-23 | 2017-08-17 | BSH Hausgeräte GmbH | Kältegerät mit einem Kameramodul |
| JP6128008B2 (ja) * | 2013-08-26 | 2017-05-17 | ソニー株式会社 | 投射型表示装置 |
| JP6313014B2 (ja) * | 2013-08-27 | 2018-04-18 | 東芝ライフスタイル株式会社 | カメラシステム、冷蔵庫 |
| JP6092049B2 (ja) * | 2013-08-28 | 2017-03-08 | 東芝ライフスタイル株式会社 | 撮像システム及び撮像装置 |
| CN103458027A (zh) * | 2013-09-02 | 2013-12-18 | 四川长虹电器股份有限公司 | 油烟机的服务方法 |
| US9668602B2 (en) | 2013-09-09 | 2017-06-06 | Whirlpool Corporation | Cooking appliance |
| US10949923B1 (en) | 2013-09-16 | 2021-03-16 | Allstate Insurance Company | Home device sensing |
| KR102077563B1 (ko) * | 2013-09-17 | 2020-02-14 | 엘지전자 주식회사 | 홈 어플라이언스 및 그 동작방법 |
| WO2015047414A1 (en) | 2013-09-30 | 2015-04-02 | Schneider Electric USA, Inc. | Scale and indicator correlation for an adjustment dial |
| US20150102993A1 (en) * | 2013-10-10 | 2015-04-16 | Omnivision Technologies, Inc | Projector-camera system with an interactive screen |
| EP3063474A1 (en) * | 2013-11-01 | 2016-09-07 | Arçelik Anonim Sirketi | Heating cooktop system having advanced cooking process safety control function |
| US20150150646A1 (en) * | 2013-11-07 | 2015-06-04 | Timothy Pryor | Autoclavable input devices |
| US9459130B2 (en) * | 2013-11-13 | 2016-10-04 | Deere & Company | System for measuring a liquid level and orientation |
| US9528871B2 (en) | 2013-11-13 | 2016-12-27 | Deere & Company | System for determining a liquid quantity and orientation |
| DE102013223932A1 (de) * | 2013-11-22 | 2015-05-28 | BSH Hausgeräte GmbH | Verfahren zur Fernüberwachung des Betriebs eines Haushaltsgeräts, tragbares Kommunikationsendgerät und Computerprogrammprodukt |
| US20160296056A1 (en) * | 2013-11-28 | 2016-10-13 | Arcelik Anonim Sirketi | An exhaust hood for cookers |
| WO2015078642A1 (en) | 2013-11-28 | 2015-06-04 | Arcelik Anonim Sirketi | An exhaust hood |
| KR102088966B1 (ko) * | 2013-12-27 | 2020-03-13 | 주식회사 케이티 | 가상화 터치 포인팅 영역에 기반하여 컴퓨터화 전자 기기의 동작을 제어하는 터치 패널 운영 장치 및 터치 패널 운영 방법 |
| CN103677276A (zh) * | 2013-12-31 | 2014-03-26 | 广州视声电子科技有限公司 | 一种动作感应装置 |
| JP6586274B2 (ja) * | 2014-01-24 | 2019-10-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法 |
| US10380692B1 (en) | 2014-02-21 | 2019-08-13 | Allstate Insurance Company | Home device sensing |
| US10430887B1 (en) | 2014-02-21 | 2019-10-01 | Allstate Insurance Company | Device sensing |
| US10467701B1 (en) | 2014-03-10 | 2019-11-05 | Allstate Insurance Company | Home event detection and processing |
| US9752786B2 (en) | 2014-03-12 | 2017-09-05 | Haier Us Appliance Solutions, Inc. | Sensing system for a cooktop appliance with airflow protected sensor |
| US9528710B2 (en) | 2014-03-12 | 2016-12-27 | Haier U.S. Appliance Solutions, Inc. | Sensing system for a cooktop appliance with airflow protected sensor |
| WO2015144616A1 (en) * | 2014-03-26 | 2015-10-01 | Faber S.P.A. | Gesturally controlled extractor hood and control method thereof |
| US9330469B2 (en) | 2014-04-08 | 2016-05-03 | General Electric Company | Systems and methods for boil detection |
| US10708550B2 (en) | 2014-04-08 | 2020-07-07 | Udisense Inc. | Monitoring camera and mount |
| US9449220B2 (en) | 2014-04-21 | 2016-09-20 | Haier Us Appliance Solutions, Inc. | Systems and methods for cookware detection |
| US9412048B2 (en) | 2014-04-21 | 2016-08-09 | Haier Us Appliance Solutions, Inc. | Systems and methods for cookware detection |
| US20150302569A1 (en) * | 2014-04-22 | 2015-10-22 | General Electric Company | Sensing system for a cooktop appliance with airflow protected sensor |
| EP3194853B1 (en) * | 2014-09-03 | 2018-07-11 | Electrolux Appliances Aktiebolag | Domestic appliance, in particular cooking oven, with a camera |
| AU2015311069B2 (en) * | 2014-09-03 | 2019-12-12 | Electrolux Appliances Aktiebolag | Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance |
| ES2564879B1 (es) * | 2014-09-24 | 2017-01-30 | BSH Electrodomésticos España S.A. | Dispositivo de aparato doméstico |
| US9924849B2 (en) | 2014-10-07 | 2018-03-27 | Whirlpool Corporation | Dishwasher with integrated closure element having an antenna |
| US9823764B2 (en) * | 2014-12-03 | 2017-11-21 | Microsoft Technology Licensing, Llc | Pointer projection for natural user input |
| TWI568272B (zh) * | 2015-01-12 | 2017-01-21 | Tsu Ching Chin | 智慧型開關控制系統及其實施方法 |
| US10534436B2 (en) * | 2015-01-30 | 2020-01-14 | Sony Depthsensing Solutions Sa/Nv | Multi-modal gesture based interactive system and method using one single sensing system |
| JP2016145065A (ja) * | 2015-02-09 | 2016-08-12 | グローリー株式会社 | 紙葉類収納機構、紙葉類処理機および紙葉類収納方法 |
| JP6355262B2 (ja) | 2015-03-10 | 2018-07-11 | 富士フイルム株式会社 | 計測システム、計測方法及び計測プログラム |
| JP6475052B2 (ja) * | 2015-03-24 | 2019-02-27 | トヨタホーム株式会社 | 情報表示装置 |
| US10116519B2 (en) * | 2015-03-27 | 2018-10-30 | Yodiwo Ab | Programmable distributed management system of interconnected things and applications |
| US20160328880A1 (en) * | 2015-05-05 | 2016-11-10 | Adithi Sajapuram | Faucet with data input devices and communication means |
| EP3096303B1 (en) | 2015-05-18 | 2020-04-08 | Nokia Technologies Oy | Sensor data conveyance |
| CN106292305B (zh) * | 2015-05-29 | 2020-03-17 | 青岛海尔洗碗机有限公司 | 一种用于厨房环境的多媒体装置 |
| US9766705B2 (en) * | 2015-06-15 | 2017-09-19 | Motorola Solutions, Inc. | Stationary interface control and method for using the same |
| DE102015210879A1 (de) * | 2015-06-15 | 2016-12-15 | BSH Hausgeräte GmbH | Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt |
| DE102015211425A1 (de) * | 2015-06-22 | 2016-12-22 | BSH Hausgeräte GmbH | Steuereinheit und Verfahren zur Ermittlung eines Rezeptes |
| US10893467B2 (en) * | 2015-06-30 | 2021-01-12 | K4Connect Inc. | Home automation system including selective operation of paired device based upon voice commands and related methods |
| CN104905568A (zh) * | 2015-07-07 | 2015-09-16 | 苏州和美电器科技有限公司 | 一种具备食物烹饪指示功能的简易智能橱柜 |
| US9497378B1 (en) * | 2015-07-09 | 2016-11-15 | Hon Hai Precision Industry Co., Ltd. | Electronic device and mehod for controlling operation of cooking equipment |
| WO2017020310A1 (zh) * | 2015-08-06 | 2017-02-09 | 陈学良 | 内腔可视微波炉及其控制方法 |
| EP3334977A1 (en) | 2015-08-10 | 2018-06-20 | Arçelik Anonim Sirketi | A household appliance controlled by using a virtual interface |
| US10657719B2 (en) | 2015-08-10 | 2020-05-19 | Arcelik Anonim Sirketi | Household appliance controlled by using a virtual interface |
| KR101784074B1 (ko) * | 2015-09-03 | 2017-11-06 | 엘지전자 주식회사 | 센싱 장치 |
| US10594993B2 (en) | 2015-09-23 | 2020-03-17 | Hewlett-Packard Development Company, L.P. | Image projections |
| US9878209B2 (en) | 2015-09-24 | 2018-01-30 | Intel Corporation | Facilitating dynamic monitoring of body dimensions over periods of time based on three-dimensional depth and disparity |
| TR201514002A1 (tr) | 2015-11-09 | 2017-05-22 | Arcelik As | Projektör tarafindan yansitilan görüntü i̇le kontrol edi̇len bi̇r ev ci̇hazi kontrol bi̇ri̇mi̇ |
| CN106773745A (zh) * | 2015-11-23 | 2017-05-31 | 中国移动通信集团公司 | 一种家庭设备安全监控方法、装置、家庭设备及系统 |
| JP6515028B2 (ja) * | 2015-12-18 | 2019-05-15 | 本田技研工業株式会社 | 車両用操作装置 |
| WO2017116351A1 (en) | 2015-12-29 | 2017-07-06 | Arcelik Anonim Sirketi | A household appliance control unit |
| US20180246629A1 (en) * | 2015-12-31 | 2018-08-30 | Shenzhen Royole Technologies Co. Ltd. | Integrated control system for electronic devices and method for controlling the same |
| WO2017114941A1 (en) * | 2015-12-31 | 2017-07-06 | Robert Bosch Gmbh | Intelligent smart room control system |
| JP2017131387A (ja) * | 2016-01-27 | 2017-08-03 | パナソニックＩｐマネジメント株式会社 | 洗濯機 |
| EP3411630A1 (en) | 2016-02-05 | 2018-12-12 | Arçelik Anonim Sirketi | A household appliance control unit controlled by means of an image reflected by a projector |
| WO2017134216A1 (en) | 2016-02-05 | 2017-08-10 | Arcelik Anonim Sirketi | An exhaust hood with a projector |
| USD819386S1 (en) | 2016-02-11 | 2018-06-05 | Whirlpool Corporation | Oven |
| USD827356S1 (en) | 2016-02-11 | 2018-09-04 | Whirlpool Corporation | Oven |
| CN105974831A (zh) * | 2016-03-03 | 2016-09-28 | 杭州厨意科技有限公司 | 一种智能控制食物处理器的方法 |
| CN105808022B (zh) * | 2016-03-10 | 2018-12-07 | 海信（山东）空调有限公司 | 投影按键控制方法、投影按键装置及空调器 |
| KR101784403B1 (ko) * | 2016-04-05 | 2017-10-11 | 엘지전자 주식회사 | 초음파 기반의 터치 감지 장치, 이를 구비하는 조리기기, 및 홈 어플라이언스 |
| DE102016205911A1 (de) * | 2016-04-08 | 2017-10-12 | Wilhelm Bruckbauer | Steuereinrichtung für ein modulares Kochfeldsystem |
| US10295972B2 (en) * | 2016-04-29 | 2019-05-21 | Brain Corporation | Systems and methods to operate controllable devices with gestures and/or noises |
| DE102016109894B4 (de) * | 2016-05-30 | 2018-02-15 | Miele & Cie. Kg | Verfahren zur Unterstützung einer Getränke- und/oder Speisenzubereitung und Assistenzsystem |
| CN105933451B (zh) * | 2016-06-29 | 2020-05-01 | 迟同斌 | 一种智能烹饪方法及其系统 |
| CN106339594A (zh) * | 2016-08-30 | 2017-01-18 | 广东美的厨房电器制造有限公司 | 菜谱推送方法、菜谱接收方法、服务器和烹饪设备 |
| WO2018052894A1 (en) * | 2016-09-14 | 2018-03-22 | Sears Brands, Llc | Refrigeration device with gesture-controlled dispenser |
| EP3516927B1 (en) | 2016-09-22 | 2021-05-26 | Whirlpool Corporation | Method and system for radio frequency electromagnetic energy delivery |
| JP6891897B2 (ja) * | 2016-10-07 | 2021-06-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| EP3530074A4 (en) | 2016-10-19 | 2020-05-27 | Whirlpool Corporation | MODULATION OF THE COOKING TIME OF FOOD |
| WO2018075030A1 (en) | 2016-10-19 | 2018-04-26 | Whirlpool Corporation | System and method for food preparation utilizing a multi-layer model |
| US11051371B2 (en) | 2016-10-19 | 2021-06-29 | Whirlpool Corporation | Method and device for electromagnetic cooking using closed loop control |
| JP2017018745A (ja) * | 2016-11-01 | 2017-01-26 | パナソニックＩｐマネジメント株式会社 | 洗濯機 |
| US10469283B1 (en) | 2016-11-14 | 2019-11-05 | Alarm.Com Incorporated | Integration of knob sensors in monitoring systems |
| CN106527369A (zh) * | 2016-11-18 | 2017-03-22 | 广东万家乐燃气具有限公司 | 吸油烟机的中央控制系统及方法 |
| KR102305835B1 (ko) * | 2016-11-21 | 2021-09-28 | 삼성전자주식회사 | 유도 가열 조리 장치 및 유도 가열 조리 장치의 조리 정보 표시방법 |
| GB2571043A (en) * | 2016-11-29 | 2019-08-14 | Walmart Apollo Llc | Virtual representation of activity within an environment |
| JP6896414B2 (ja) * | 2016-12-22 | 2021-06-30 | 株式会社ノーリツ | レンジフード装置およびシステムキッチン |
| US11202348B2 (en) | 2016-12-22 | 2021-12-14 | Whirlpool Corporation | Method and device for electromagnetic cooking using non-centered loads management through spectromodal axis rotation |
| EP3560292A4 (en) | 2016-12-22 | 2020-11-25 | Whirlpool Corporation | ELECTROMAGNETIC COOKING PROCESS AND DEVICE USING NON-CENTERED LOADS |
| EP3563632B1 (en) | 2016-12-29 | 2023-01-18 | Whirlpool Corporation | Electromagnetic cooking device with automatic popcorn popping feature and method of controlling cooking in the electromagnetic device |
| WO2018125136A1 (en) | 2016-12-29 | 2018-07-05 | Whirlpool Corporation | System and method for controlling a heating distribution in an electromagnetic cooking device |
| US11452182B2 (en) | 2016-12-29 | 2022-09-20 | Whirlpool Corporation | System and method for detecting changes in food load characteristics using coefficient of variation of efficiency |
| WO2018125137A1 (en) | 2016-12-29 | 2018-07-05 | Whirlpool Corporation | System and method for analyzing a frequency response of an electromagnetic cooking device |
| CN109792809B (zh) | 2016-12-29 | 2021-03-26 | 松下电器产业株式会社 | 电磁烹饪装置和控制电磁烹饪装置中的烹饪的方法 |
| EP3563633B1 (en) | 2016-12-29 | 2021-11-17 | Whirlpool Corporation | System and method for detecting cooking level of food load |
| US11432379B2 (en) | 2016-12-29 | 2022-08-30 | Whirlpool Corporation | Electromagnetic cooking device with automatic liquid heating and method of controlling cooking in the electromagnetic cooking device |
| US11917743B2 (en) | 2016-12-29 | 2024-02-27 | Whirlpool Corporation | Electromagnetic cooking device with automatic melt operation and method of controlling cooking in the electromagnetic cooking device |
| WO2018125143A1 (en) | 2016-12-29 | 2018-07-05 | Whirlpool Corporation | Detecting changes in food load characteristics using q-factor |
| WO2018125151A1 (en) | 2016-12-29 | 2018-07-05 | Whirlpool Corporation | Electromagnetic cooking device with automatic anti-splatter operation and method of controlling cooking in the electromagnetic device |
| WO2018125130A1 (en) | 2016-12-29 | 2018-07-05 | Whirlpool Corporation | System and method for controlling power for a cooking device |
| USD909811S1 (en) | 2016-12-30 | 2021-02-09 | Whirlpool Corporation | Panel for an oven |
| KR101976424B1 (ko) * | 2017-01-25 | 2019-05-09 | 엘지전자 주식회사 | 이동 로봇 |
| US10303947B2 (en) * | 2017-01-27 | 2019-05-28 | Panasonic Intellectual Property Management Co., Ltd. | Information processing apparatus and information processing method |
| JP7001991B2 (ja) * | 2017-01-27 | 2022-01-20 | パナソニックＩｐマネジメント株式会社 | 情報処理装置および情報処理方法 |
| JP2018128979A (ja) * | 2017-02-10 | 2018-08-16 | パナソニックＩｐマネジメント株式会社 | 厨房支援システム |
| TWI615738B (zh) * | 2017-02-22 | 2018-02-21 | 台灣櫻花股份有限公司 | 智慧型料理裝置及智慧型料理方法 |
| US20210030199A1 (en) * | 2017-03-06 | 2021-02-04 | Miso Robotics, Inc. | Augmented reality-enhanced food preparation system and related methods |
| CN108571757B (zh) * | 2017-03-08 | 2021-06-08 | 博西华电器（江苏）有限公司 | 吸油烟机的摄像装置及吸油烟机 |
| TR201706538A3 (tr) | 2017-05-04 | 2019-01-21 | Arcelik As | Bi̇r ev ci̇hazi kontrol bi̇ri̇mi̇ |
| KR102372170B1 (ko) * | 2017-06-26 | 2022-03-08 | 삼성전자주식회사 | 레인지 후드 및 레인지 후드의 제어방법 |
| JP6932032B2 (ja) * | 2017-06-27 | 2021-09-08 | 株式会社ノーリツ | レンジフード |
| CN107134237B (zh) * | 2017-06-28 | 2022-11-18 | 江苏华博创意产业有限公司 | 一种指挥用沙盘装置 |
| US10452046B2 (en) * | 2017-06-29 | 2019-10-22 | Midea Group Co., Ltd. | Cooking appliance control of residential heating, ventilation and/or air conditioning (HVAC) system |
| JP6948516B2 (ja) * | 2017-07-14 | 2021-10-13 | パナソニックＩｐマネジメント株式会社 | 食器処理機 |
| EP3432682A1 (en) | 2017-07-18 | 2019-01-23 | Whirlpool Corporation | Method for operating an induction cooking hob and cooking hob using such method |
| CN107272440A (zh) * | 2017-08-08 | 2017-10-20 | 滨州学院 | 一种智能家居中央控制器 |
| CN109506262B (zh) * | 2017-09-14 | 2020-06-26 | 宁波方太厨具有限公司 | 一种吸油烟机风机转速控制方法 |
| DE102017216622C5 (de) | 2017-09-20 | 2023-11-16 | BSH Hausgeräte GmbH | Haushaltsgerät mit einem Sensor |
| JP6840646B2 (ja) * | 2017-09-26 | 2021-03-10 | 株式会社Ｎｔｔドコモ | 情報処理装置、端末装置および情報処理システム |
| US10796590B2 (en) * | 2017-10-13 | 2020-10-06 | Haier Us Appliance Solutions, Inc. | Cooking engagement system |
| US10993292B2 (en) | 2017-10-23 | 2021-04-27 | Whirlpool Corporation | System and method for tuning an induction circuit |
| CN108052858A (zh) * | 2017-10-30 | 2018-05-18 | 珠海格力电器股份有限公司 | 抽油烟机的控制方法和抽油烟机 |
| TR201718140A2 (tr) | 2017-11-16 | 2019-06-21 | Arcelik As | Bi̇r ev ci̇hazi |
| TR201718174A2 (tr) | 2017-11-17 | 2019-06-21 | Arcelik As | Bi̇r ev ci̇hazi |
| US10612791B2 (en) | 2017-11-20 | 2020-04-07 | Haier Us Appliance Solutions, Inc. | Cooking engagement system |
| US10874332B2 (en) * | 2017-11-22 | 2020-12-29 | Udisense Inc. | Respiration monitor |
| CN108253484B (zh) * | 2018-01-02 | 2020-02-07 | 广东美的厨房电器制造有限公司 | 吸油烟机及其控制装置和控制方法 |
| US10612790B2 (en) | 2018-01-09 | 2020-04-07 | Chanh Le | Alert sensing stove assembly |
| DE102018203349A1 (de) * | 2018-03-07 | 2019-09-12 | BSH Hausgeräte GmbH | Interaktionsmodul |
| DE102018203347A1 (de) * | 2018-03-07 | 2019-09-12 | BSH Hausgeräte GmbH | Interaktionsmodul |
| DE102018203343A1 (de) * | 2018-03-07 | 2019-09-12 | BSH Hausgeräte GmbH | Interaktionsmodul |
| IT201800003723A1 (it) * | 2018-03-19 | 2019-09-19 | Candy Spa | Elettrodomestico con interfaccia utente |
| IT201800004471A1 (it) * | 2018-04-13 | 2019-10-13 | Cappa sospesa multifunzione per aspirazione domestica con proiettore-rilevatore di immagini incorporato | |
| US11140751B2 (en) | 2018-04-23 | 2021-10-05 | Whirlpool Corporation | System and method for controlling quasi-resonant induction heating devices |
| US10782026B2 (en) | 2018-05-09 | 2020-09-22 | Takisha Schulterbrandt | Appparatus and method for positioning a cooking instrument |
| CN108594719B (zh) * | 2018-05-31 | 2020-11-03 | 广东力王厨房用品有限公司 | 一种智能烹饪操作方法 |
| JP2018147515A (ja) * | 2018-05-31 | 2018-09-20 | 株式会社ニコン | 電子機器 |
| US10945356B2 (en) * | 2018-06-06 | 2021-03-09 | Haier Us Appliance Solutions, Inc. | Cooking exhaust systems having one or more airflow features |
| CN110581789B (zh) * | 2018-06-11 | 2021-11-02 | 佛山市顺德区美的电热电器制造有限公司 | 一种厨房中控装置及方法 |
| WO2020015909A1 (en) | 2018-07-19 | 2020-01-23 | Arcelik Anonim Sirketi | A household appliance controlled by an interface |
| WO2020015913A1 (en) | 2018-07-19 | 2020-01-23 | Arcelik Anonim Sirketi | A household appliance with a control interface |
| US11192258B2 (en) | 2018-08-10 | 2021-12-07 | Miso Robotics, Inc. | Robotic kitchen assistant for frying including agitator assembly for shaking utensil |
| WO2020060694A1 (en) | 2018-09-21 | 2020-03-26 | Ecolab Usa Inc. | Portable fluid level monitoring device and method |
| KR102551358B1 (ko) * | 2018-09-21 | 2023-07-04 | 삼성전자주식회사 | 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템 |
| DE102018217324A1 (de) * | 2018-10-10 | 2020-04-16 | BSH Hausgeräte GmbH | Gargerät mit Kamera und Verfahren zum Betreiben eines Gargeräts |
| DE102018219754A1 (de) * | 2018-11-19 | 2020-05-20 | BSH Hausgeräte GmbH | Interaktionseinrichtung zur Steuerung eines Hausgeräts |
| JP7414395B2 (ja) * | 2018-12-18 | 2024-01-16 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影制御方法 |
| US11294950B2 (en) * | 2019-01-18 | 2022-04-05 | Haier Us Appliance Solutions, Inc. | Cooking engagement system equipped with a recipe application for combining third party recipe content |
| US20200312279A1 (en) * | 2019-03-28 | 2020-10-01 | Ghsp, Inc. | Interactive kitchen display |
| US11460819B1 (en) | 2019-04-12 | 2022-10-04 | Bradley Chammartin | Smart kitchen |
| EP3731131B1 (en) | 2019-04-24 | 2024-08-21 | BSH Hausgeräte GmbH | Apparatus for assisted cooking |
| CN110094782B (zh) * | 2019-05-20 | 2020-09-04 | 珠海格力电器股份有限公司 | 一种智能油烟机的控制方法及智能油烟机 |
| US11517146B2 (en) | 2019-05-21 | 2022-12-06 | Whirlpool Corporation | Cooking assistance appliance |
| USD927996S1 (en) | 2019-05-21 | 2021-08-17 | Whirlpool Corporation | Cooking assistance appliance |
| WO2021002861A1 (en) * | 2019-07-03 | 2021-01-07 | Takisha Schulterbrandt | Apparatus and method for positioning a cooking instrument |
| EP3785581A4 (en) * | 2019-07-15 | 2021-06-23 | LG Electronics Inc. | ARTIFICIAL INTELLIGENCE BASED COOKING APPARATUS |
| US10819905B1 (en) * | 2019-09-13 | 2020-10-27 | Guangdong Media Kitchen Appliance Manufacturing Co., Ltd. | System and method for temperature sensing in cooking appliance with data fusion |
| JP7236644B2 (ja) * | 2019-10-01 | 2023-03-10 | パナソニックＩｐマネジメント株式会社 | 加熱調理器 |
| US11112121B2 (en) | 2019-10-04 | 2021-09-07 | Haier Us Appliance Solutions, Inc. | Cooking engagement system with automatic cooktop monitoring |
| DE102019215953A1 (de) * | 2019-10-16 | 2021-04-22 | E.G.O. Elektro-Gerätebau GmbH | Bediensystem für ein Elektrohaushaltsgerät und Bedienverfahren zur Bedienung eines Elektrohaushaltsgeräts |
| WO2021162013A1 (ja) * | 2020-02-13 | 2021-08-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 調理支援方法、調理支援装置、およびプログラム |
| JP7441668B2 (ja) * | 2020-02-13 | 2024-03-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 調理支援方法、調理支援装置、およびプログラム |
| WO2021162012A1 (ja) * | 2020-02-13 | 2021-08-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 調理支援方法、調理支援装置、およびプログラム |
| CN111348337A (zh) * | 2020-03-16 | 2020-06-30 | 深圳市第二人民医院(深圳市转化医学研究院) | 一种食盐用量控制装置及方法 |
| DE102020203920B4 (de) * | 2020-03-26 | 2021-10-28 | BSH Hausgeräte GmbH | System zur Interaktion mit einem Anwendergerät |
| JP6894032B1 (ja) * | 2020-04-14 | 2021-06-23 | 株式会社 ゼンショーホールディングス | 加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システム |
| CN113907540A (zh) * | 2020-07-10 | 2022-01-11 | 丁祖雷 | 一种无烟橱柜 |
| DE102020209940B4 (de) | 2020-08-06 | 2022-11-03 | E.G.O. Elektro-Gerätebau GmbH | Verfahren zum Betrieb eines Kochfelds |
| DE102020121261A1 (de) | 2020-08-12 | 2022-02-17 | Richard Loch | Küchenmöbelanordnung mit Projektionseinrichtung zum Projizieren eines Bildes auf eine Projektionsfläche |
| US12103185B2 (en) | 2021-03-10 | 2024-10-01 | Samsung Electronics Co., Ltd. | Parameterized waypoint generation on dynamically parented non-static objects for robotic autonomous tasks |
| US11945117B2 (en) | 2021-03-10 | 2024-04-02 | Samsung Electronics Co., Ltd. | Anticipating user and object poses through task-based extrapolation for robot-human collision avoidance |
| US11833691B2 (en) | 2021-03-30 | 2023-12-05 | Samsung Electronics Co., Ltd. | Hybrid robotic motion planning system using machine learning and parametric trajectories |
| WO2022223294A1 (de) * | 2021-04-22 | 2022-10-27 | BSH Hausgeräte GmbH | Haushaltsgerätevorrichtung |
| US12082742B2 (en) | 2021-05-01 | 2024-09-10 | Miso Robotics, Inc. | Automated bin system for accepting food items in robotic kitchen workspace |
| DE102021126374B3 (de) * | 2021-10-12 | 2022-10-06 | Miele & Cie. Kg | Verfahren und Vorrichtung zum Präsentieren einer Geräteinformation und Haushaltgerät |
| US11928804B2 (en) | 2021-10-25 | 2024-03-12 | Kyndryl, Inc. | Dynamic device configuration |
| US20230392798A1 (en) * | 2022-06-06 | 2023-12-07 | Haier Us Appliance Solutions, Inc. | Cooking engagement system using image analysis |
| TWI834310B (zh) * | 2022-09-23 | 2024-03-01 | 天下數位科技股份有限公司 | 可快速開球之攪球機構 |
| CN115542758A (zh) * | 2022-09-26 | 2022-12-30 | 深圳绿米联创科技有限公司 | 设备控制方法、装置、电子设备和存储介质 |
| US20240257542A1 (en) * | 2023-02-01 | 2024-08-01 | Lg Electronics Inc. | Artificial intelligence device and operating method thereof |
Family Cites Families (196)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US555502A (en) * | 1896-03-03 | Laura f | ||
| US847912A (en) * | 1906-11-17 | 1907-03-19 | Paul Flemming Cox | Printing-press. |
| US3609695A (en) * | 1968-05-10 | 1971-09-28 | Honeywell Inc | Display-entry data terminal |
| US3846826A (en) * | 1971-08-12 | 1974-11-05 | R Mueller | Direct television drawing and image manipulating system |
| US3825730A (en) * | 1972-11-07 | 1974-07-23 | Searle Medidata Inc | Two-way projection system for data input |
| JPS51112236A (en) * | 1975-03-28 | 1976-10-04 | Hitachi Ltd | Shape position recognizer unit |
| US4146924A (en) * | 1975-09-22 | 1979-03-27 | Board Of Regents For Education Of The State Of Rhode Island | System for visually determining position in space and/or orientation in space and apparatus employing same |
| CA1103803A (en) * | 1978-03-01 | 1981-06-23 | National Research Council Of Canada | Method and apparatus of determining the center of area or centroid of a geometrical area of unspecified shape lying in a larger x-y scan field |
| JPS56132505A (en) * | 1980-03-24 | 1981-10-16 | Hitachi Ltd | Position detecting method |
| US4346376A (en) * | 1980-04-16 | 1982-08-24 | Bell Telephone Laboratories, Incorporated | Touch position sensitive surface |
| US4484179A (en) * | 1980-04-16 | 1984-11-20 | At&T Bell Laboratories | Touch position sensitive surface |
| US4686374A (en) * | 1980-06-26 | 1987-08-11 | Diffracto Ltd. | Surface reflectivity detector with oil mist reflectivity enhancement |
| US4375674A (en) * | 1980-10-17 | 1983-03-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Kinesimetric method and apparatus |
| US4396945A (en) * | 1981-08-19 | 1983-08-02 | Solid Photography Inc. | Method of sensing the position and orientation of elements in space |
| US4475122A (en) * | 1981-11-09 | 1984-10-02 | Tre Semiconductor Equipment Corporation | Automatic wafer alignment technique |
| US4542375A (en) * | 1982-02-11 | 1985-09-17 | At&T Bell Laboratories | Deformable touch sensitive surface |
| US4613942A (en) * | 1982-02-19 | 1986-09-23 | Chen Richard M | Orientation and control system for robots |
| US4644326A (en) * | 1983-06-03 | 1987-02-17 | Secure Keyboards Limited | Unitary key panel |
| US4654872A (en) * | 1983-07-25 | 1987-03-31 | Omron Tateisi Electronics Co. | System for recognizing three-dimensional objects |
| CA1306539C (en) * | 1984-10-08 | 1992-08-18 | Takahide Ohtani | Signal reproduction apparatus including touched state pattern recognitionspeed control |
| US4853888A (en) * | 1984-12-31 | 1989-08-01 | The Boeing Company | Programmable multifunction keyboard |
| US4644100A (en) * | 1985-03-22 | 1987-02-17 | Zenith Electronics Corporation | Surface acoustic wave touch panel system |
| US4763280A (en) * | 1985-04-29 | 1988-08-09 | Evans & Sutherland Computer Corp. | Curvilinear dynamic image generation system |
| US5179648A (en) * | 1986-03-24 | 1993-01-12 | Hauck Lane T | Computer auxiliary viewing system |
| US4787040A (en) * | 1986-12-22 | 1988-11-22 | International Business Machines Corporation | Display system for automotive vehicle |
| US4746770A (en) * | 1987-02-17 | 1988-05-24 | Sensor Frame Incorporated | Method and apparatus for isolating and manipulating graphic objects on computer video monitor |
| US4988981B1 (en) * | 1987-03-17 | 1999-05-18 | Vpl Newco Inc | Computer data entry and manipulation apparatus and method |
| US4814759A (en) * | 1987-07-08 | 1989-03-21 | Clinicom Incorporated | Flat panel display monitor apparatus |
| US5153829A (en) * | 1987-11-11 | 1992-10-06 | Canon Kabushiki Kaisha | Multifunction musical information processing apparatus |
| US5045843B1 (en) * | 1988-12-06 | 1996-07-16 | Selectech Ltd | Optical pointing device |
| US5081609A (en) * | 1989-01-10 | 1992-01-14 | Bull Hn Information Systems Inc. | Multiprocessor controller having time shared control store |
| US4898555A (en) * | 1989-03-23 | 1990-02-06 | Bell & Howell Publication Systems Company | Display screen bezel and assembly method |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| DK174788B1 (da) * | 1989-05-08 | 2003-11-10 | Dainippon Printing Co Ltd | Baglysprojektionsskærm |
| JP2854359B2 (ja) * | 1990-01-24 | 1999-02-03 | 富士通株式会社 | 画像処理システム |
| DE4290947T1 (ko) * | 1991-04-08 | 1993-04-01 | Hitachi, Ltd., Tokio/Tokyo, Jp | |
| JPH0549074A (ja) * | 1991-08-09 | 1993-02-26 | Fujitsu Ltd | リモコン装置 |
| US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
| US5335557A (en) * | 1991-11-26 | 1994-08-09 | Taizo Yasutake | Touch sensitive input control device |
| US5212555A (en) * | 1991-12-17 | 1993-05-18 | Texas Instruments Incorporated | Image capture with spatial light modulator and single-cell photosensor |
| US5186646A (en) * | 1992-01-16 | 1993-02-16 | Pederson William A | Connector device for computers |
| US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| US5495269A (en) * | 1992-04-03 | 1996-02-27 | Xerox Corporation | Large area electronic writing system |
| US5488204A (en) * | 1992-06-08 | 1996-01-30 | Synaptics, Incorporated | Paintbrush stylus for capacitive touch sensor pad |
| US5889236A (en) * | 1992-06-08 | 1999-03-30 | Synaptics Incorporated | Pressure sensitive scrollbar feature |
| US5880411A (en) * | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5418760A (en) * | 1992-08-18 | 1995-05-23 | Casio Computer Co., Ltd. | Electronic devices with a liquid crystal display |
| US7098891B1 (en) * | 1992-09-18 | 2006-08-29 | Pryor Timothy R | Method for providing human input to a computer |
| US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
| US7084859B1 (en) * | 1992-09-18 | 2006-08-01 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US5412189A (en) * | 1992-12-21 | 1995-05-02 | International Business Machines Corporation | Touch screen apparatus with tactile information |
| US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
| DE69430967T2 (de) * | 1993-04-30 | 2002-11-07 | Xerox Corp | Interaktives Kopiersystem |
| US5805145A (en) * | 1993-11-05 | 1998-09-08 | Intertactile Technologies Corporation | Circuit control panel displaying changeable graphics |
| US5777603A (en) * | 1993-11-05 | 1998-07-07 | Intertactile Technologies Corporation | Flat panel display with optical signal transparent zone |
| US5982355A (en) * | 1993-11-05 | 1999-11-09 | Jaeger; Denny | Multiple purpose controls for electrical systems |
| US5805146A (en) * | 1993-11-05 | 1998-09-08 | Intertactile Technologies Corporation | Integrated display screen and slidable control for electrical circuits |
| US5936613A (en) * | 1993-11-05 | 1999-08-10 | Intertactile Technologies Corporation | Rotary circuit control devices with changeable graphics |
| US5841428A (en) * | 1993-11-05 | 1998-11-24 | Intertactile Technologies Corporation | Rotary circuit control devices with changeable graphics |
| EP0727082A4 (en) * | 1993-11-05 | 2000-11-15 | Intertactile Tech Corp | OPERATOR / CIRCUIT INTERFACE WITH INTEGRATED DISPLAY SCREEN |
| US5530456A (en) * | 1993-12-09 | 1996-06-25 | Nec Corporation | Position information input method and device |
| CA2140164A1 (en) * | 1994-01-27 | 1995-07-28 | Kenneth R. Robertson | System and method for computer cursor control |
| WO1995020787A1 (en) * | 1994-01-27 | 1995-08-03 | Exos, Inc. | Multimode feedback display technology |
| JPH07275511A (ja) * | 1994-04-06 | 1995-10-24 | Sega Enterp Ltd | シューティングゲームシステムのアトラクション展開方法 |
| DE4423005C1 (de) * | 1994-06-30 | 1995-11-30 | Siemens Ag | Eingabevorrichtung für einen Computer |
| US7489303B1 (en) * | 2001-02-22 | 2009-02-10 | Pryor Timothy R | Reconfigurable instrument panels |
| US5559301A (en) * | 1994-09-15 | 1996-09-24 | Korg, Inc. | Touchscreen interface having pop-up variable adjustment displays for controllers and audio processing systems |
| US5495566A (en) * | 1994-11-22 | 1996-02-27 | Microsoft Corporation | Scrolling contents of a window |
| JP3187301B2 (ja) * | 1994-12-02 | 2001-07-11 | 株式会社ナムコ | ゲーム装置及び画像合成方法 |
| US5489940A (en) * | 1994-12-08 | 1996-02-06 | Motorola, Inc. | Electronic imaging system and sensor for correcting the distortion in a wide-angle lens |
| US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| US5611060A (en) * | 1995-02-22 | 1997-03-11 | Microsoft Corporation | Auto-scrolling during a drag and drop operation |
| US5611040A (en) * | 1995-04-05 | 1997-03-11 | Microsoft Corporation | Method and system for activating double click applications with a single click |
| US5729250A (en) * | 1995-05-08 | 1998-03-17 | International Business Machines Corporation | Front cover assembly for a touch sensitive device |
| US5502514A (en) * | 1995-06-07 | 1996-03-26 | Nview Corporation | Stylus position sensing and digital camera with a digital micromirror device |
| US8482534B2 (en) * | 1995-06-29 | 2013-07-09 | Timothy R. Pryor | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| JPH0935584A (ja) * | 1995-07-21 | 1997-02-07 | Yazaki Corp | 車両用表示装置 |
| US5702323A (en) * | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
| US6513717B2 (en) * | 2000-12-07 | 2003-02-04 | Digimarc Corporation | Integrated cursor control and scanner device |
| US5867149A (en) * | 1995-08-14 | 1999-02-02 | Intertactile Technologies Corporation | Switch key image display and operator/circuit interface |
| US5856822A (en) * | 1995-10-27 | 1999-01-05 | 02 Micro, Inc. | Touch-pad digital computer pointing-device |
| US6100874A (en) * | 1995-11-17 | 2000-08-08 | Immersion Corporation | Force feedback mouse interface |
| SE504758C2 (sv) * | 1995-12-21 | 1997-04-21 | Siemens Elema Ab | Apparatpanel |
| US5730165A (en) * | 1995-12-26 | 1998-03-24 | Philipp; Harald | Time domain capacitive field detector |
| US5825352A (en) * | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| US5871251A (en) * | 1996-03-14 | 1999-02-16 | Prince Corporation | Visor display |
| US6320610B1 (en) * | 1998-12-31 | 2001-11-20 | Sensar, Inc. | Compact imaging device incorporating rotatably mounted cameras |
| US6054990A (en) * | 1996-07-05 | 2000-04-25 | Tran; Bao Q. | Computer system with handwriting annotation |
| US5729219A (en) * | 1996-08-02 | 1998-03-17 | Motorola, Inc. | Selective call radio with contraposed touchpad |
| US6343987B2 (en) * | 1996-11-07 | 2002-02-05 | Kabushiki Kaisha Sega Enterprises | Image processing device, image processing method and recording medium |
| US5883619A (en) * | 1996-11-12 | 1999-03-16 | Primax Electronics Ltd. | Computer mouse for scrolling a view of an image |
| US5878174A (en) * | 1996-11-12 | 1999-03-02 | Ford Global Technologies, Inc. | Method for lens distortion correction of photographic images for texture mapping |
| US6154201A (en) * | 1996-11-26 | 2000-11-28 | Immersion Corporation | Control knob with multiple degrees of freedom and force feedback |
| US6061177A (en) * | 1996-12-19 | 2000-05-09 | Fujimoto; Kenneth Noboru | Integrated computer display and graphical input apparatus and method |
| US6278441B1 (en) * | 1997-01-09 | 2001-08-21 | Virtouch, Ltd. | Tactile interface system for electronic data display system |
| CA2285313A1 (en) * | 1997-03-31 | 1998-10-08 | G & R Associates Incorporated | Computer-telephony integration employing an intelligent keyboard and method for same |
| US5957559A (en) * | 1997-04-29 | 1999-09-28 | Virtek Vision Corporation | Laser scanned menu |
| US7472047B2 (en) * | 1997-05-12 | 2008-12-30 | Immersion Corporation | System and method for constraining a graphical hand from penetrating simulated graphical objects |
| US5949345A (en) * | 1997-05-27 | 1999-09-07 | Microsoft Corporation | Displaying computer information to a driver of a vehicle |
| US6031518A (en) * | 1997-05-30 | 2000-02-29 | Microsoft Corporation | Ergonomic input device |
| US6848014B2 (en) * | 2001-01-23 | 2005-01-25 | Symbol Technologies, Inc. | Adapter unit for a personal digital assistant having automatically configurable application buttons |
| JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
| US7002749B2 (en) * | 1997-07-08 | 2006-02-21 | Kremen Stanley H | Modular integral magnifier |
| US6597817B1 (en) * | 1997-07-15 | 2003-07-22 | Silverbrook Research Pty Ltd | Orientation detection for digital cameras |
| JP3978818B2 (ja) * | 1997-08-08 | 2007-09-19 | ソニー株式会社 | 微小ヘッド素子の製造方法 |
| JPH1178369A (ja) * | 1997-09-03 | 1999-03-23 | Plus Kogyo Kk | 表示システム |
| US6181322B1 (en) * | 1997-11-07 | 2001-01-30 | Netscape Communications Corp. | Pointing device having selection buttons operable from movement of a palm portion of a person's hands |
| JP3794180B2 (ja) * | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
| SE510949C2 (sv) * | 1997-11-25 | 1999-07-12 | Saab Automobile | Kontrollpanel |
| SE9704330D0 (sv) * | 1997-11-25 | 1997-11-25 | Siemens Elema Ab | Apparatpanel |
| US6342917B1 (en) * | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
| US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US7663607B2 (en) * | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
| US6323846B1 (en) * | 1998-01-26 | 2001-11-27 | University Of Delaware | Method and apparatus for integrating manual input |
| US6175610B1 (en) * | 1998-02-11 | 2001-01-16 | Siemens Aktiengesellschaft | Medical technical system controlled by vision-detected operator activity |
| US6013956A (en) * | 1998-02-23 | 2000-01-11 | Cooper Automotive Products, Inc. | Touch control switches for vehicles |
| US6181328B1 (en) * | 1998-03-02 | 2001-01-30 | International Business Machines Corporation | Method and system for calibrating touch screen sensitivities according to particular physical characteristics associated with a user |
| US6057540A (en) * | 1998-04-30 | 2000-05-02 | Hewlett-Packard Co | Mouseless optical and position translation type screen pointer control for a computer system |
| US5977867A (en) * | 1998-05-29 | 1999-11-02 | Nortel Networks Corporation | Touch pad panel with tactile feedback |
| JP4033582B2 (ja) * | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| US6429846B2 (en) * | 1998-06-23 | 2002-08-06 | Immersion Corporation | Haptic feedback for touchpads and other touch controls |
| US6188391B1 (en) * | 1998-07-09 | 2001-02-13 | Synaptics, Inc. | Two-layer capacitive touchpad and method of making same |
| US7079114B1 (en) * | 1998-08-21 | 2006-07-18 | Peter Smith | Interactive methods for design of automobiles |
| US6188393B1 (en) * | 1998-10-05 | 2001-02-13 | Sysgration Ltd. | Scroll bar input device for mouse |
| US6198473B1 (en) * | 1998-10-06 | 2001-03-06 | Brad A. Armstrong | Computer mouse with enhance control button (s) |
| US6185041B1 (en) * | 1998-10-23 | 2001-02-06 | Duke University | Projection lens and system |
| US6188389B1 (en) * | 1998-12-10 | 2001-02-13 | Chic Technology Corp. | Third axis input device for a computer mouse |
| US6848104B1 (en) * | 1998-12-21 | 2005-01-25 | Koninklijke Philips Electronics N.V. | Clustering of task-associated objects for effecting tasks among a system and its environmental devices |
| US6289258B1 (en) * | 1998-12-28 | 2001-09-11 | General Electric Company | Drain flowrate measurement |
| JP2000250697A (ja) * | 1999-03-03 | 2000-09-14 | Yazaki Corp | 多機能スイッチ装置における操作ボタンの機能表示方法及び多機能スイッチ装置 |
| US6677934B1 (en) * | 1999-07-30 | 2004-01-13 | L-3 Communications | Infrared touch panel with improved sunlight rejection |
| US6677927B1 (en) * | 1999-08-23 | 2004-01-13 | Microsoft Corporation | X-Y navigation input device |
| JP2001078279A (ja) * | 1999-09-03 | 2001-03-23 | Mukogawa Gakuin | 講演、講義用機器等の制御システム |
| US6844871B1 (en) * | 1999-11-05 | 2005-01-18 | Microsoft Corporation | Method and apparatus for computer input using six degrees of freedom |
| US6179496B1 (en) * | 1999-12-28 | 2001-01-30 | Shin Jiuh Corp. | Computer keyboard with turnable knob |
| US6844872B1 (en) * | 2000-01-12 | 2005-01-18 | Apple Computer, Inc. | Computer mouse having side areas to maintain a depressed button position |
| US6509926B1 (en) * | 2000-02-17 | 2003-01-21 | Sensormatic Electronics Corporation | Surveillance apparatus for camera surveillance system |
| US6505088B1 (en) * | 2000-03-07 | 2003-01-07 | Mental Models, Inc. | Electronic controller |
| US20030132291A1 (en) * | 2002-01-11 | 2003-07-17 | Metrologic Instruments, Inc. | Point of sale (POS) station having bar code reading system with integrated internet-enabled customer-kiosk terminal |
| JP4325075B2 (ja) * | 2000-04-21 | 2009-09-02 | ソニー株式会社 | データオブジェクト管理装置 |
| US6340800B1 (en) * | 2000-05-27 | 2002-01-22 | International Business Machines Corporation | Multiplexing control device and method for electronic systems |
| IL136652A0 (en) * | 2000-06-08 | 2001-06-14 | Arlinsky David | A closed-loop control system in a car |
| US8287374B2 (en) * | 2000-07-07 | 2012-10-16 | Pryor Timothy R | Reconfigurable control displays for games, toys, and other applications |
| JP2002032212A (ja) * | 2000-07-14 | 2002-01-31 | Toshiba Corp | コンピュータシステムおよびヘッドセット型表示装置 |
| USD454568S1 (en) * | 2000-07-17 | 2002-03-19 | Apple Computer, Inc. | Mouse |
| US20020017117A1 (en) * | 2000-07-25 | 2002-02-14 | Sunshine Richard A. | Integrated laundry center |
| EP1184414A3 (en) * | 2000-08-30 | 2003-08-06 | JSR Corporation | Conjugated diene-based rubber and method of producing the same, oil extended rubber and rubber composition containing the same |
| US6788288B2 (en) * | 2000-09-11 | 2004-09-07 | Matsushita Electric Industrial Co., Ltd. | Coordinate input device and portable information apparatus equipped with coordinate input device |
| US8199114B1 (en) * | 2000-09-26 | 2012-06-12 | Denny Jaeger | Touch sensor control devices |
| US20020050983A1 (en) * | 2000-09-26 | 2002-05-02 | Qianjun Liu | Method and apparatus for a touch sensitive system employing spread spectrum technology for the operation of one or more input devices |
| US6995744B1 (en) * | 2000-09-28 | 2006-02-07 | Immersion Corporation | Device and assembly for providing linear tactile sensations |
| WO2002037410A1 (en) * | 2000-11-06 | 2002-05-10 | Koninklijke Philips Electronics N.V. | Method of measuring the movement of an input device. |
| US6816174B2 (en) * | 2000-12-18 | 2004-11-09 | International Business Machines Corporation | Method and apparatus for variable density scroll area |
| US7170488B2 (en) * | 2000-12-22 | 2007-01-30 | Logitech Europe S.A. | Pointing device with solid-state roller |
| US6686904B1 (en) * | 2001-03-30 | 2004-02-03 | Microsoft Corporation | Wheel reporting method for a personal computer keyboard interface |
| US20080024463A1 (en) * | 2001-02-22 | 2008-01-31 | Timothy Pryor | Reconfigurable tactile control display applications |
| US20020130834A1 (en) * | 2001-03-16 | 2002-09-19 | Emsquare Research, Inc. | System and method for universal control of devices |
| US6621483B2 (en) * | 2001-03-16 | 2003-09-16 | Agilent Technologies, Inc. | Optical screen pointing device with inertial properties |
| US7164412B2 (en) * | 2001-03-30 | 2007-01-16 | Ado Max Technology Co., Ltd. | Key free mouse |
| US6700564B2 (en) * | 2001-04-30 | 2004-03-02 | Microsoft Corporation | Input device including a wheel assembly for scrolling an image in multiple directions |
| US20030043121A1 (en) * | 2001-05-22 | 2003-03-06 | Richard Chen | Multimedia pointing device |
| US7452098B2 (en) * | 2001-06-15 | 2008-11-18 | Apple Inc. | Active enclosure for computing device |
| DE60229940D1 (de) * | 2001-07-04 | 2009-01-02 | Lg Electronics Inc | Dienstsystem für elektrische haushaltsgeräte und verfahren dafür |
| US20030038849A1 (en) * | 2001-07-10 | 2003-02-27 | Nortel Networks Limited | System and method for remotely interfacing with a plurality of electronic devices |
| US6478432B1 (en) * | 2001-07-13 | 2002-11-12 | Chad D. Dyner | Dynamically generated interactive real imaging device |
| US20030050092A1 (en) * | 2001-08-03 | 2003-03-13 | Yun Jimmy S. | Portable digital player--battery |
| US6690365B2 (en) * | 2001-08-29 | 2004-02-10 | Microsoft Corporation | Automatic scrolling |
| US6937742B2 (en) * | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
| US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
| US7675504B1 (en) * | 2001-10-10 | 2010-03-09 | Smith Peter H | Personal interfaces for independent living and health |
| US7046230B2 (en) * | 2001-10-22 | 2006-05-16 | Apple Computer, Inc. | Touch pad handheld device |
| US6690387B2 (en) * | 2001-12-28 | 2004-02-10 | Koninklijke Philips Electronics N.V. | Touch-screen image scrolling system and method |
| US6703599B1 (en) * | 2002-01-30 | 2004-03-09 | Microsoft Corporation | Proximity sensor with adaptive threshold |
| US7006080B2 (en) * | 2002-02-19 | 2006-02-28 | Palm, Inc. | Display system |
| JP2003244343A (ja) * | 2002-02-21 | 2003-08-29 | Toyota Motor Corp | 表示装置、携帯端末及び情報表示システム |
| US7168047B1 (en) * | 2002-05-28 | 2007-01-23 | Apple Computer, Inc. | Mouse having a button-less panning and scrolling switch |
| GB2391304B (en) * | 2002-07-16 | 2004-09-15 | Paul Crudge | Flow meter |
| US7358963B2 (en) * | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
| US7090141B2 (en) * | 2003-03-10 | 2006-08-15 | Lg Electronics Inc. | Networking system of refrigerator and method for operating the same |
| US7495659B2 (en) * | 2003-11-25 | 2009-02-24 | Apple Inc. | Touch pad for handheld device |
| JP4244818B2 (ja) * | 2004-02-17 | 2009-03-25 | 株式会社Ｉｈｉ | 流下ガラス流下速度計測方法および計測装置 |
| JP2005244360A (ja) * | 2004-02-24 | 2005-09-08 | Kyocera Mita Corp | 画像処理装置 |
| US7397464B1 (en) * | 2004-04-30 | 2008-07-08 | Microsoft Corporation | Associating application states with a physical object |
| EP2000894B1 (en) * | 2004-07-30 | 2016-10-19 | Apple Inc. | Mode-based graphical user interfaces for touch sensitive input devices |
| US20060082545A1 (en) * | 2004-10-20 | 2006-04-20 | Visteon Global Technologies, Inc. | Human machine interface for vehicle including proximity sensor |
| US7339607B2 (en) * | 2005-03-25 | 2008-03-04 | Yongyouth Damabhorn | Security camera and monitor system activated by motion sensor and body heat sensor for homes or offices |
| JP4563863B2 (ja) * | 2005-05-12 | 2010-10-13 | クリナップ株式会社 | システムキッチン |
| US7970870B2 (en) * | 2005-06-24 | 2011-06-28 | Microsoft Corporation | Extending digital artifacts through an interactive surface |
| GB2435369A (en) * | 2005-09-17 | 2007-08-22 | Philip Grenville Hunt | The Personal Cooking Assistant (PCA) |
| JP2007107766A (ja) * | 2005-10-12 | 2007-04-26 | Chugoku Electric Power Co Inc:The | 調理システム |
| US20100045705A1 (en) * | 2006-03-30 | 2010-02-25 | Roel Vertegaal | Interaction techniques for flexible displays |
| JP4834482B2 (ja) * | 2006-07-24 | 2011-12-14 | 東芝モバイルディスプレイ株式会社 | 表示装置 |
| US8441467B2 (en) * | 2006-08-03 | 2013-05-14 | Perceptive Pixel Inc. | Multi-touch sensing display through frustrated total internal reflection |
| US20090195513A1 (en) * | 2008-02-05 | 2009-08-06 | Delphi Technologies, Inc. | Interactive multimedia control module |
| US20100001978A1 (en) * | 2008-07-02 | 2010-01-07 | Stephen Brian Lynch | Ambient light interference reduction for optical input devices |
| WO2013008615A1 (ja) * | 2011-07-14 | 2013-01-17 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 入力装置、画像表示方法およびプログラム |
-
2009
- 2009-05-19 US US12/468,401 patent/US20100231506A1/en not_active Abandoned
-
2010
- 2010-03-29 US US12/748,657 patent/US20100182136A1/en not_active Abandoned
- 2010-05-19 EP EP20100725928 patent/EP2433188A2/en not_active Withdrawn
- 2010-05-19 JP JP2012512012A patent/JP2012527847A/ja active Pending
- 2010-05-19 WO PCT/US2010/035488 patent/WO2010135478A2/en active Application Filing
- 2010-05-19 CN CN2010800283585A patent/CN102498442A/zh active Pending
- 2010-05-19 KR KR1020117030372A patent/KR20120011892A/ko active Search and Examination
- 2010-05-19 AU AU2010249515A patent/AU2010249515A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101334585B1 (ko) * | 2012-05-29 | 2013-12-05 | 주식회사 브이터치 | 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 |
| KR20180051511A (ko) * | 2015-09-08 | 2018-05-16 | 유로케라 에스.엔.씨. | 유리-세라믹 조리대 |
| KR101863500B1 (ko) | 2017-04-28 | 2018-06-01 | 김성규 | 공기유해 물질의 비산을 원천 차단하는 바람벽 장치 |
| KR101978722B1 (ko) | 2017-11-27 | 2019-08-28 | 강삼태 | 조리기구 제어 시스템 |
| KR102234736B1 (ko) * | 2019-10-12 | 2021-03-31 | 동서대학교 산학협력단 | 프로젝트빔을 활용한 조리 가이드 하드웨어 플랫폼 |
| KR102636031B1 (ko) * | 2022-08-29 | 2024-02-13 | 임규홍 | 비접촉 정전용량 센서를 이용한 화장실 제어 장치 |
| WO2024143965A1 (ko) * | 2022-12-30 | 2024-07-04 | 삼성전자주식회사 | 디스플레이 장치 및 이를 포함하는 가전 기기 |
| WO2024143962A1 (ko) * | 2022-12-30 | 2024-07-04 | 삼성전자주식회사 | 디스플레이 장치 및 이를 포함하는 가전 기기 |
| KR102683867B1 (ko) | 2024-04-30 | 2024-07-11 | (주)세정이에프씨 | 이동통신망을 이용한 사용자 맞춤형 홈 네트워크 시스템 및 이를 사용한 세대 기기 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2433188A2 (en) | 2012-03-28 |
| AU2010249515A1 (en) | 2012-01-19 |
| JP2012527847A (ja) | 2012-11-08 |
| WO2010135478A3 (en) | 2011-02-24 |
| US20100231506A1 (en) | 2010-09-16 |
| CN102498442A (zh) | 2012-06-13 |
| WO2010135478A2 (en) | 2010-11-25 |
| US20100182136A1 (en) | 2010-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120011892A (ko) | 기구, 주방 및 가정의 제어 | |
| US20200333913A1 (en) | Interactive computer display and control systems for the home | |
| US11903527B2 (en) | Foodware system having visual-stimulating, sensing, and wireless-communication components, and method of using with a plurality of dining plates | |
| US9477317B1 (en) | Sanitarily operating a multiuser device using a touch free display | |
| Bonanni et al. | CounterIntelligence: Augmented reality kitchen | |
| US10691397B1 (en) | Mobile computing device used to operate different external devices | |
| US20150000025A1 (en) | Touch Free Hygienic Display Control Panel For A Smart Toilet | |
| JP2017062709A (ja) | ジェスチャー操作装置 | |
| CN113039575B (zh) | 信息处理设备、信息处理方法及程序 | |
| CN103455212A (zh) | 智能镜及其显示方案 | |
| CN104604335A (zh) | 交互式灯具、照明系统和厨房器具 | |
| KR101550961B1 (ko) | 전자 주문 장치 및 그 운용 방법 | |
| KR20180123217A (ko) | 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치 | |
| CN106663365A (zh) | 基于用户输入获得控制系统的手势区域定义数据的方法 | |
| TWM481464U (zh) | 智能鏡及其顯示方案 | |
| Bonanni | Design of intelligent interiors | |
| Lee | Spatial user interface: augmenting human sensibilities in a domestic kitchen | |
| Ruser et al. | Evaluating the accuracy and user experience of a gesture-based infrared remote control in smart homes | |
| Bäck et al. | Development of a device to move Pan-Tilt-Zoom cameras using hand gestures | |
| Sillen | Touch Interfaces from a Usability Perspective: Effective Information Presentation for User Interaction on a Touch Screen | |
| TW201506864A (zh) | 智能鏡及其顯示方案 | |
| JP2003263145A (ja) | 情報表示装置 | |
| Díaz et al. | Development of a Device to Move Pan-Tilt-Zoom Cameras Using Hand Gestures | |
| Ku Azir | Human factors of ubiquitous computing: ambient cueing in the digital kitchen? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |