KR102281233B1 - 화면 제어 방법 및 장치 - Google Patents
화면 제어 방법 및 장치 Download PDFInfo
- Publication number
- KR102281233B1 KR102281233B1 KR1020140025929A KR20140025929A KR102281233B1 KR 102281233 B1 KR102281233 B1 KR 102281233B1 KR 1020140025929 A KR1020140025929 A KR 1020140025929A KR 20140025929 A KR20140025929 A KR 20140025929A KR 102281233 B1 KR102281233 B1 KR 102281233B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- camera
- screen
- resolution
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000001815 facial effect Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
본 발명의 다양한 실시예는 카메라의 해상도를 결정하는 동작, 상기 결정된 카메라의 해상도로 구동하여 사용자의 안면을 인식하는 동작, 및 상기 안면을 기반으로 상기 전자 장치의 화면을 제어하는 동작을 포함하는 화면 제어 방법 및 장치를 제공한다. 또한, 다른 실시예도 가능하다.
Description
본 발명은 전자 장치의 화면을 효율적으로 제어하기 위한 방안에 관한 것이다.
최근, 정보통신 기술과 반도체 기술의 발전에 따라 전자기기의 보급과 이용이 급속도로 증가하고 있다. 특히, 휴대 단말기는 음성통화, 메시지 전송 등의 고유 영역에 머무르지 않고, 다른 전자기기의 서비스 영역까지 확대하고 있다. 즉, 상기 휴대 단말기는 TV 시청 기능(예컨대, DMB(Digital Multimedia Broadcasting)나 DVB(Digital Video Broadcasting)와 같은 이동 방송), 음악 재생 기능(예컨대, MP3(MPEG Audio Layer-3), 사진 촬영 기능, 데이터 통신 기능, 인터넷 접속 기능 및 근거리 무선 통신 기능 등 다양한 기능들을 제공하고 있다.
또한, 상기 휴대 단말기는 카메라뿐만 아니라 다양한 센서를 구비함으로써, 보다 많은 기능을 제공하고 있다. 예컨대, 상기 휴대 단말기는 카메라를 통해 촬영된 이미지를 이용하여 사용자 안면을 인식하고, 이와 더불어 사용자 시선을 추적할 수 있다.
종래의 전자 장치는 다양한 기능을 제공하기 위해 구비되는 복수의 장치를 복합적으로 구동시키는 경우, 전력 효율이 많이 떨어진다는 단점이 있다.
다양한 실시예는 전자 장치의 전력상태에 따라 또는 전력상태에 상관없이 사용자 유무에 따라 상기 전자 장치의 화면을 제어함으로써, 상기 전자 장치의 효율을 향상시킬 수 있는 화면 제어 방법 및 장치를 제공함을 목적으로 한다.
본 발명의 다양한 실시예에 따른 전자 장치의 화면 제어 방법은 카메라의 해상도를 결정하는 동작, 상기 결정된 카메라의 해상도로 구동하여 사용자의 안면을 인식하는 동작, 및 상기 안면을 기반으로 상기 전자 장치의 화면을 제어하는 동작을 포함한다.
본 발명의 다양한 실시예에 따른 전자 장치는 카메라의 해상도를 결정하는 제어부, 상기 결정된 해상도로 구동하여 사용자의 안면을 인식하는 카메라, 및 상기 제어부에 의해 상기 안면을 기반으로 제어되는 화면을 표시하는 표시부를 포함한다.
다양한 실시예들에 따르면, 전자 장치의 전력상태에 상관없이 사용자 유무에 따라 상기 전자 장치의 화면을 제어함으로써, 필요에 따라 상기 전자 장치 내 원하는 기능만을 구현함으로써, 상기 전자 장치의 효율을 향상시킬 수 있다.
다양한 실시예들에 따르면, 전자 장치의 전력상태에 따라 전력 사용에 영향을 미치는 기능을 선별적으로 실행함으로써, 상기 전자 장치의 전력 효율을 향상시킬 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 화면 제어 방법을 도시한 흐름도이다.
도 2는 본 발명의 다양한 실시예에 따른 고해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 3 및 도 4는 본 발명의 다양한 실시예에 따른 저해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 5a 내지 도 5e는 본 발명의 다양한 실시예에 따른 화면을 제어하는 일례를 도시한 도면이다.
도 6a 및 도 6b는 본 발명의 다양한 실시예에 따른 화면을 제어하는 다른 일례를 도시한 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 블록도이다.
도 2는 본 발명의 다양한 실시예에 따른 고해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 3 및 도 4는 본 발명의 다양한 실시예에 따른 저해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 5a 내지 도 5e는 본 발명의 다양한 실시예에 따른 화면을 제어하는 일례를 도시한 도면이다.
도 6a 및 도 6b는 본 발명의 다양한 실시예에 따른 화면을 제어하는 다른 일례를 도시한 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 블록도이다.
이하, 첨부된 도면들을 참조하여 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명에 따른 전자 장치는 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 다양한 실시예에 따른 화면 제어 방법을 도시한 흐름도이다. 본 발명의 화면 제어 방법은 전자 장치에 의해 실행될 수 있다.
도 1을 참고하면, 동작(110)에서, 상기 전자 장치는 카메라의 해상도를 결정할 수 있다. 상기 해상도는 이미지를 표현하는데 몇 개의 픽셀 또는 도트로 나타냈는지 그 정도를 나타내는 말이다. 예컨대, 상기 전자 장치는 상기 카메라의 이미지 센서의 픽셀들을 모두 활성화한 경우 '고해상도', 상기 이미지 센서의 픽셀들 중 일부만 활성화한 경우 '저해상도'일 수 있다. 상기 전자 장치는 상기 전자 장치의 전력상태와 상관없이 상기 카메라의 해상도를 결정하거나, 상기 전자 장치의 전력상태에 따라 상기 카메라의 해상도를 결정할 수 있다. 실시예로, 상기 전자 장치는 상기 전력상태와 상관없이 상기 카메라의 해상도를 고해상도 또는 저해상도로 결정할 수 있다.
다른 실시예로, 상기 전자 장치는 상기 전력상태에 따라 상기 카메라의 해상도를 고해상도 또는 저해상도로 결정할 수 있다. 예컨대, 상기 전자 장치는 상기 전자 장치의 전력이 기준치 이상인 경우, 고전력 상태로 판단하고, 상기 카메라의 해상도를 고해상도로 결정할 수 있다. 상기 전자 장치는 상기 전자 장치의 전력이 기준치 미만인 경우, 저전력 상태로 판단하고, 상기 카메라의 해상도를 저해상도로 결정할 수 있다. 예컨대, 상기 기준치는 상기 전자 장치의 남아있는 전력이 30%, 40%, 50%, 60%로 등으로 설정될 수 있다. 이러한, 상기 기준치는 상기 전자 장치에 의해 디폴트로 설정되거나, 사용자에 의해 설정될 수 있다. 따라서, 상기 기준치가 30%로 설정된 경우, 상기 전자 장치는 남아있는 전력이 30%인 경우, 고전력 상태로 판단하고, 남아있는 전력이 29%인 경우, 저전력 상태로 판단할 수 있다.
또는, 상기 전자 장치는 상기 전자 장치에 외부장치가 연결된 경우, 고전력 상태로 판단하고, 상기 카메라의 해상도를 고해상도로 결정할 수 있다. 상기 전자 장치는 상기 전자 장치에 외부장치가 비연결되고, 저전력 상태인 경우, 상기 카메라의 해상도를 저해상도로 결정할 수 있다. 상기 외부장치는 상기 전자 장치로 전력을 공급해주는 장치로서, 상기 전자 장치에 USB(Universal Serial Bus), PIN CONNECTOR와 같은 단자로 연결되어, 상기 전자 장치에 전력을 공급하는 역할을 한다. 따라서, 상기 전자 장치는 상기 외부장치로부터 계속해서 전력을 공급받을 수 있기 때문에, 남아있는 전력과 상관없이 상기 외부장치와 연결된 경우, 고전력 상태로 판단할 수 있다. 상기 전자 장치는 상기 외부장치와 연결되지 않고, 남아있는 전력이 기준치 미만인 경우, 저전력 상태로 판단할 수 있다.
동작(120)에서, 상기 전자 장치는 상기 결정된 카메라의 해상도로 구동하여 사용자의 안면을 인식할 수 있다. 상기 안면 인식은 상기 사용자의 얼굴 또는 시선을 인식하는 것으로, 상기 얼굴의 정면인지, 상기 얼굴의 측면인지 판단하여 상기 사용자의 얼굴 비틀어짐 정도를 인식할 수 있다.
다양한 실시예들에 따르면, 상기 전자 장치는 상기 카메라의 이미지 센서의 픽셀들을 모두 활성화한 경우 '고해상도', 상기 이미지 센서의 픽셀들 중 일부만 활성화한 경우 '저해상도'일 수 있다. 또는, 상기 이미지 센서의 전체 픽셀수가 1000만인 경우, 상기 전자 장치는 500만을 기준 픽셀수로 설정할 수 있다. 상기 전자 장치는 상기 기준 픽셀수 이상의 픽셀수를 사용하면 "고해상도", 상기 기준 픽셀수 미만으로 픽셀수를 사용하면 "저해상도"일 수 있다.
동작(130)에서, 상기 전자 장치는 상기 안면을 기반으로 상기 전자 장치의 화면을 제어할 수 있다. 다양한 실시예들에 따르면, 상기 전자 장치는 상기 카메라를 고해상도로 구동하여 상기 사용자의 시선위치를 획득하고, 상기 시선위치를 기반으로 상기 화면을 제어할 수 있다. 또는, 상기 전자 장치는 상기 카메라를 저해상도로 구동하여 사용자 존재유무를 판단하고, 상기 사용자의 존재가 있는 것으로 판단되면, 상기 카메라의 설정값을 변경하고, 상기 카메라를 이용하여 사용자의 안면위치를 인식하고, 상기 안면위치를 기반으로 상기 화면을 제어할 수 있다.
상기 전자 장치는 상기 안면을 기반으로 표시부에 표시되는 화면과 연관된 스크롤(Scroll), 재생(Playback), 정지(Pause), 줌인(Zoom In), 줌아웃(Zoom out), 유지(Stay) 및 응답(response) 중 적어도 하나를 제어할 수 있다. 예를 들어, 상기 스크롤은 상기 화면을 위, 아래 또는 좌, 우로 움직이는 화면 제어를 의미한다. 상기 재생은 상기 화면에 출력되는 음악 또는 동영상을 재생하는 화면 제어를 의미한다. 상기 정지는 재생중인 음악 또는 동영상을 정지시키는 화면 제어를 의미한다. 상기 줌인은 상기 화면을 확대하여 표시하는 화면 제어이고, 상기 줌아웃은 상기 화면을 축소하여 표시하는 화면 제어를 의미한다. 상기 유지는 상기 화면을 켜진 상태로 유지하는 것을 의미하며, 상기 응답은 전화나 메시지가 왔을 때, 사용자 응답에 따른 화면을 제어하는 것을 의미한다. 사용자 응답은 전화를 받거나, 거부하거나, 메시지를 보거나, 보지 않는 것일 수 있다.
어떤 실시예들에 따르면, 상기 전자 장치는 외부장치가 연결된 경우, 자유롭게 전력을 사용할 수 있어, 높은 전력을 필요로 하는 카메라를 최대 프레임 레이트로 설정함으로써, 사용자 인식율을 향상시킬 수 있다. 이를 통해, 상기 전자 장치는 감시기능, 화재방지기능, 위급상황 녹화기능 등을 추가적으로 제공할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 고해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 2를 참고하면, 동작(210a)에서, 상기 전자 장치는 고해상도 카메라를 이용하여 사용자의 시선위치를 획득할 수 있다. 상기 카메라는 상기 전자 장치의 전면 또는 배면에 구비되어, 상기 전자 장치 주변의 배경, 사물, 인물 등을 이미지 정보로서 촬영할 수 있다. 상기 촬영된 이미지 정보는 상기 전자 장치의 제어부로 전송되어, 상기 전자 장치에 저장될 수 있다. 상기 카메라는 적외선 카메라 또는 일반 카메라일 수 있다. 고해상도 카메라는 상기 카메라의 설정값이 고해상도의 컬러값을 구현하도록 설정된 "고해상도 모드" 카메라로서, 사용자의 안면을 인식하고, 동시에 또는 순차적으로 사용자의 시선을 추적할 수 있다. 예컨대, 상기 전자 장치는 상기 사용자의 안면을 인식하여 상기 사용자의 눈동자가 향하는 방향과 상기 사용자의 얼굴이 향하는 방향을 조합하여 상기 시선위치를 인식할 수 있다.
동작(220a)에서, 상기 전자 장치는 상기 시선위치를 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득할 수 있다. 상기 전자 장치는 상기 시선위치에 대응하는 상기 표시부의 위치를 좌표정보로서 획득할 수 있다. 다양한 실시예들에 따르면, 상기 전자 장치는 상기 획득한 좌표정보만으로도 상기 전자 장치의 화면을 제어할 수 있다. 그러나, 상기 사용자의 시선위치가 시간에 따라 계속 변경되기 때문에, 상기 전자 장치는 시간에 따른 상기 좌표정보의 이동방향 또는 이동속도를 산출함으로써, 더욱 정확하게 화면을 제어할 수 있다.
이를 위해, 동작(230a)에서, 상기 전자 장치는 상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출할 수 있다. 상기 전자 장치는 시선위치를 인식한 시점부터 시간이 경과함에 따라 상기 시선위치가 변경되는 경우, 처음 획득한 시선위치와 상기 변경된 시선위치를 이용하여 시선위치의 방향정보 또는 속도정보를 산출할 수 있다. 다양한 실시예에 따라, 상기 전자 장치는 센서로부터 획득한 센서 데이터를 이용하여 상기 방향정보 또는 상기 속도정보를 보정할 수 있다.
동작(240a)에서, 상기 전자 장치는 상기 방향정보 또는 상기 속도정보를 기반으로 화면을 제어할 수 있다. 예컨대, 상기 방향정보 또는 상기 속도정보는 상기 화면 제어가 "스크롤"인 경우, 스크롤하는 방향 또는 스크롤하는 속도에 영향을 미칠 수 있다.
다른 실시예로, 동작(220b)에서, 상기 전자 장치는 센서를 이용하여 센서 데이터를 획득할 수 있다. 상기 센서는 모션 센서(Motion Sensor), 자이로 센서(Gyro Sensor), 가속도 센서(Acceleration Sensor), 습도센서(Humidity Sensor), 근접센서(Proximity Sensor), 적외선 센서(Infrared Sensor), 조도 센서(Illuminance Sensor), 지자계 센서(Earth Magnetic Field Sensor), 관성 센서(Inertial Sensor), 틸트 센서(Tilt Sensor) 및 블로우 센서(Blow Sensor) 중 적어도 하나를 포함할 수 있다. 상기 센서는 상기 전자 장치에 발생한 움직임과 관련된 각도 변화, 방향 변화, 위치 변화, 자세 변화, 세기 변화 및 속도 변화 중 적어도 하나 또는 이들의 조합으로 상기 센서 데이터를 획득할 수 있다. 또는, 상기 센서는 사용자에 의해 발생하는 움직임 이벤트를 검출하는 것으로, 핀치 줌(pinch zoom), 손날 터치 및 에어 모션(air motion) 중 적어도 하나 또는 이들의 조합으로 상기 센서 데이터를 획득할 수 있다. 참고로, 상기 블로우 센서는 사용자로부터 입력된 입바람(blow)을 검출할 수 있으며, 스피커와 같은 음향 감지 센서와 같은 경우 사용자의 입바람에 따른 음향을 검출할 수 있다.
동작(230b)에서, 상기 전자 장치는 상기 이미지 정보 및 상기 센서 데이터에 우선순위를 설정할 수 있다. 여기서, 상기 이미지 정보는 상기 카메라에서 획득한 정보로서, "시선위치"일 수 있다. 예컨대, 상기 전자 장치는 상기 카메라가 고해상도인 경우, 상기 이미지 정보를 상기 센서 데이터보다 우선순위가 높게 설정할 수 있다. 또는, 상기 전자 장치는 상기 카메라가 저해상도인 경우, 상기 이미지 정보를 상기 센서 데이터보다 우선순위가 낮게 설정할 수 있다.
동작(240b)에서, 상기 전자 장치는 상기 우선순위의 내림차순(descending order)에 따른 정보를 이용하여 화면을 제어할 수 있다. 예컨대, 상기 이미지 정보가 우선순위가 높은 경우, 상기 전자 장치는 상기 이미지 정보를 기반으로 상기 화면을 제어할 수 있다. 또는, 상기 센서 데이터가 우선순위가 높은 경우, 상기 전자 장치는 상기 센서 데이터를 기반으로 상기 화면을 제어할 수 있다. 예컨대, 상기 전자 장치는 상기 센서 데이터의 우선순위가 상기 이미지 정보의 우선순위보다 높은 경우, 상기 센서 데이터를 기반으로 화면을 제어할 수 있다. 상기 이미지 정보는 상기 센서 데이터를 기반으로 화면 제어를 수행한 후, 반영되거나, 상기 센서 데이터를 보정하는데 이용될 수 있다.
도 3 및 도 4는 본 발명의 다양한 실시예에 따른 저해상도 카메라를 이용하여 화면을 제어하는 일례를 도시한 흐름도이다.
도 3을 참고하면, 제1 실시예로, 동작(310a)에서, 상기 전자 장치는 저해상도 카메라를 이용하여 사용자의 존재유무를 판단할 수 있다. 상기 저해상도 카메라는 카메라의 설정값을 저해상도의 흑백값으로 구현하는 "저해상도 모드"의 카메라이다. 상기 저해상도 모드는 상기 고해상도 모드보다 상대적으로 상기 전자 장치의 전력 소비가 낮을 수 있다.
상기 사용자의 존재가 있는 것으로 판단되면, 동작(320a)에서, 상기 전자 장치는 상기 카메라의 설정값을 변경할 수 있다. 상기 카메라는 상기 저해상도 카메라를 의미한다. 상기 설정값은 카메라 속도, 즉 초당 프레임 수(FPS: Frame per second) 또는 카메라 감도(ISO: International Organization for Standardization)일 수 있다. 또는, 상기 전자 장치는 상기 카메라의 조리개, 셔터 스피드, 노출 값(EV), 화이트 밸런스(WB) 값 및 노출 시간(exposure time) 중 적어도 하나의 설정값을 변경할 수도 있다. 상기 전자 장치는 상기 카메라의 설정값을 변경함으로써, 상기 카메라를 통한 인식율을 높일 수 있다.
동작(330a)에서, 상기 전자 장치는 상기 설정값이 변경된 카메라를 이용하여 상기 사용자의 안면위치를 인식할 수 있다. 상기 안면위치는 상기 사용자의 얼굴이 위치하는 곳일 수 있다.
동작(340a)에서, 상기 전자 장치는 상기 안면위치를 기반으로 상기 전자 장치의 화면을 제어할 수 있다.
제2 실시예로, 동작(340b)에서, 상기 전자 장치는 적어도 하나의 센서를 이용하여 센서 데이터를 획득할 수 있다. 상기 센서 및 상기 센서 데이터는 도 2에서 설명한 것과 동일하므로 설명을 생략한다. 참고로, 상기 전자 장치는 상기 조도 센서의 센서 데이터를 이용하여 상기 카메라를 통해 얼굴 인식이 가능할 정도의 조도가 검출되는지 여부를 판단할 수 있다. 상기 전자 장치는 근접 센서의 센서 데이터를 이용하여 사용자가 통화 등, 상기 카메라가 동작했을 때, 영상 처리가 가능한지 여부를 판단할 수 있다. 상기 전자 장치는 상기 모션 센서의 센서 데이터를 기반으로 상기 전자 장치가 뒤집어져 있는 상태인지, 과도한 움직임이 발생되는지 여부에 따라 상기 카메라로부터 일관된 정보를 획득할 수 있는지 여부를 판단할 수 있다.
동작(350b)에서, 상기 전자 장치는 상기 센서 데이터 및 상기 안면위치를 기반으로 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득할 수 있다. 상기 전자 장치는 상기 시선위치에 대응하는 상기 표시부의 위치를 좌표정보로서 획득할 수 있다. 다양한 실시예들에 따르면, 상기 전자 장치는 상기 획득한 좌표정보만으로도 상기 전자 장치의 화면을 제어할 수 있다.
동작(360b)에서, 상기 전자 장치는 상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출할 수 있다. 상기 전자 장치는 시선위치를 인식한 시점부터 시간이 경과함에 따라 상기 시선위치가 변경되는 경우, 처음 획득한 시선위치와 상기 변경된 시선위치를 이용하여 시선위치의 방향정보 또는 속도정보를 산출할 수 있다. 다양한 실시예에 따라, 상기 전자 장치는 센서로부터 획득한 센서 데이터를 이용하여 상기 방향정보 또는 상기 속도정보를 보정할 수 있다.
동작(370b)에서, 상기 전자 장치는 상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어할 수 있다.
도 4를 참고하면, 제3 실시예로, 동작(410a)에서, 상기 전자 장치는 저해상도 카메라를 이용하여 사용자의 존재유무를 판단할 수 있다.
상기 사용자의 존재가 있는 것으로 판단되면, 동작(420a)에서, 상기 전자 장치는 센서를 이용하여 센서 데이터를 획득할 수 있다.
동작(430a)에서, 상기 전자 장치는 상기 센서 데이터를 기반으로 화면을 제어할 수 있다. 따라서, 상기 전자 장치는 상기 센서 데이터만으로 상기 화면을 제어할 수 있다. 또는, 상기 전자 장치는 상기 센서 데이터와 함께 상기 저해상도 카메라에서 인식한 안면위치를 이용하여 상기 화면을 제어할 수 있다.
제4 실시예로, 동작(430b)에서, 상기 전자 장치는 상기 센서 데이터를 기반으로 상기 카메라로부터 영상획득이 가능한지 여부를 판단할 수 있다. 상기 전자 장치는 조도 센서로부터 획득한 센서 데이터를 분석하여 상기 전자 장치 주변 환경의 조도가 미리 설정된 기준조도 이상인지 여부를 판단함으로써, 상기 카메라의 영상 획득 가능 여부를 판단할 수 있다. 또는, 상기 전자 장치는 근접 센서로부터 획득한 센서 데이터를 분석하여 상기 전자 장치로부터 상기 사용자의 안면위치 간의 거리가 기준거리 이내인지 여부를 판단함으로써, 상기 카메라의 영상 획득 가능 여부를 판단할 수 있다.
상기 영상획득이 가능하다고 판단된 경우, 동작(440b)에서, 상기 전자 장치는 상기 센서 데이터를 기반으로 상기 카메라의 설정값을 변경할 수 있다. 상기 설정값은 카메라 속도, 즉 초당 프레임 수 또는 카메라 감도일 수 있다.
동작(450b)에서, 상기 전자 장치는 상기 설정값이 변경된 카메라를 이용하여 상기 사용자의 안면위치를 인식할 수 있다.
동작(460b)에서, 상기 전자 장치는 상기 사용자의 안면위치를 기반으로 상기 화면을 제어할 수 있다.
그러나, 상기 영상획득이 불가능하다고 판단된 경우, 동작(470b)에서, 상기 전자 장치는 상기 카메라의 구동을 중단하고, 상기 센서 데이터를 기반으로 상기 화면을 제어할 수 있다. 즉, 상기 전자 장치는 상기 센서 데이터만으로 상기 화면을 제어할 수 있다.
도 5a 내지 도 5e는 본 발명의 다양한 실시예에 따른 화면을 제어하는 일례를 도시한 도면이다.
전자 장치(500)는 전력상태와 관계없이 또는 전력상태에 따라 카메라를 저해상도 모드 또는 고해상도 모드 중 하나로 구동할 수 있다.
도 5a는 "스크롤(스마트 스크롤)"에 대한 화면을 제어하는 일례를 도시한 도면이다. 전자 장치(500)는 사용자에 의해 스마트 스크롤 옵션이 실행되면, 스크롤을 지원하는 어플리케이션을 인보크(Invoke)할 수 있다. 전자 장치(500)는 상기 카메라를 통해 인식된 안면에 대응하여 표시부에 표시되는 컨텐츠를 좌, 우 또는 위, 아래로 스크롤할 수 있다. 예컨대, 전자 장치(500)는 제1 시선위치(510)가 표시부의 아래에서 위인 제2 시선위치(520)로 이동하는 경우, 표시부의 화면을 아래에서 위로 스크롤함으로써, 상기 컨텐츠의 하단을 자동적으로 표시할 수 있다. 예컨대, 전자 장치(500)는 상기 시선위치, 안면위치 및 안면각도 중 적어도 하나를 조합하여 상기 사용자의 얼굴이 숙여졌는지, 위로 올려졌는지 판단함으로써, 스크롤 방향 또는 스크롤 속도를 산출할 수 있다. 전자 장치(500)는 상기 산출된 스크롤 방향 또는 스크롤 속도에 따라 상기 화면을 스크롤할 수 있다.
다양한 실시예들에 따르면, 전자 장치(500)는 센서로부터 획득한 센서 데이터를 기반으로 상기 카메라를 통해 획득한 상기 스크롤 방향 또는 상기 스크롤 속도를 보정할 수 있다. 예를 들어, 전자 장치(500)는 틸트 센서를 이용하여 상기 카메라를 통해 상기 사용자의 시선위치가 상기 표시부에 대응되는지 판단하고, 대응되는 경우 센서 데이터만 이용하여 상기 화면을 스크롤할 수 있다. 또는, 자이로 센서는 전자 장치(500)의 기울임 정도를 센싱함으로써, 기울임 정도에 따라 스크롤 방향 또는 스크롤 속도를 제어할 수 있다. 예컨대, 전자 장치(500)는 빠른 움직임으로 위방향으로 2회 기울여진 경우, 위방향으로 빠르게 화면을 스크롤할 수 있다. 이때, 전자 장치(500)는 하방향으로 1회 기울여지면, 위방향으로 스크롤되던 것을 중단할 수 있다. 또는, 전자 장치(500)는 하방향으로 2회 기울어지면, 위방향으로 스크롤되던 것을 중단하고, 하향으로 화면을 스크롤할 수 있다. 또는, 전자 장치(500)는 사용자로부터 수동으로 방향정보, 각도정보, 속도정보 중 적어도 하나를 미리 설정받을 수 있다. 전자 장치(500)는 획득한 센서 데이터가 상기 설정된 방향정보, 각도정보, 속도정보 중 적어도 하나에 해당되는 경우, 방향정보, 각도정보, 속도정보 에 따라 화면을 스크롤할 수 있다.
다양한 실시예들에 따르면, 전자 장치(500)는 상기 카메라를 통해 상기 사용자의 안면을 인식할 수 없는 경우, 센서로부터 센서 데이터를 획득할 수 있다. 전자 장치(500)는 상기 센서 데이터를 기반으로 상기 사용자에 의해 상기 전자 장치가 이용되지 않는지 여부를 판단할 수 있다. 예를 들어, 자이로 센서에 의해 전자 장치(500)가 책상 위에 올려져 있는 것과 같이 수평 각도를 유지하고, 아무런 입력이 없는 경우, 전자 장치(500)는 이용되지 않는 것으로 판단할 수 있다. 전자 장치(500)는 이용되지 않는 것으로 판단된 경우, 상기 카메라의 프레임 레이트(Frame rate)를 낮출 수 있다. 일정시간이 경과한 후에도, 계속 입력이 발생하지 않는 경우, 전자 장치(500)는 상기 카메라의 구동을 중단할 수 있다. 즉, 전자 장치(500)는 상기 센서 데이터를 기반으로 사용자의 사용 여부를 판단함으로써, 카메라의 프레임레이트를 조절하여 카메라를 OFF시킬 수 있다.
도 5b는 "재생(스마트 플레이)"에 대한 화면을 제어하는 일례를 도시한 도면이다. 예컨대, 전자 장치(530)는 음악 컨텐츠를 표시할 수 있다. 전자 장치(540)는 상기 음악 컨텐츠에서 사용자의 시선위치가 표시부에 해당하는 경우, 음악 컨텐츠를 재생할 수 있다.
도 5c는 "정지(스마트 포즈)"에 대한 화면을 제어하는 일례를 도시한 도면이다. 전자 장치(550)는 상기 사용자의 시선위치가 표시부에 대응되는 경우, 음악 컨텐츠를 재생할 수 있다. 전자 장치(560)는 상기 재생 중에 상기 사용자의 시선위치가 상기 표시부를 벗어나는 경우, 상기 음악 컨텐츠의 재생을 정지할 수 있다.
도 5d는 "줌인(스마트 줌인)", 또는 "줌아웃(스마트 줌아웃)"에 대한 화면을 제어하는 일례를 도시한 도면이다. 전자 장치(570)는 사용자의 시선위치와 표시부 간의 거리에 따라 상기 컨텐츠를 줌인 또는 줌아웃할 수 있다. 전자 장치(570)는 상기 시선위치와 상기 표시부 간의 기준거리(d0) 내에서 컨텐츠를 표시할 수 있다. 전자 장치(570a)는 상기 시선위치와 상기 표시부 간의 거리(d1)가 기준거리 이상인 경우(d0 ≤ d1), 상기 컨텐츠를 확대하여 표시할 수 있다. 전자 장치(570b)는 상기 시선위치와 상기 표시부 간의 거리(d2)가 기준거리 미만인 경우(d0 > d2), 상기 컨텐츠를 축소하여 표시할 수 있다.
도 5e는 "응답"에 대한 화면을 제어하는 일례를 도시한 도면이다. 전자 장치(580a)는 상기 시선위치가 상기 표시부에 대응하여 위치할 때, 전화를 수신할 수 있다. 즉, 전자 장치(580a)는 상기 시선위치가 왼쪽에서 오른쪽으로 이동하는 경우, 전화를 수신할 수 있다(응답: 예). 그러나, 전자 장치(580b)는 상기 시선위치가 오른쪽에서 왼쪽으로 이동하는 경우, 전화를 거부할 수 있다(응답: 아니오).
다양한 실시예들에 따르면, 상기 전자 장치는 "유지(스마트 스테이)"에 대한 화면을 제어할 수 있다. 상기 유지는 상기 전자 장치의 표시부에 표시된 화면을 켜진 상태로 유지하는 것을 의미한다. 상기 유지의 경우, 상기 전자 장치는 넓은 화각이 필요하고, 안면 인식에서의 오검출을 줄이기 위해 YUV모드의 전면카메라를 사용할 수도 있다.
도 6a 및 도 6b는 본 발명의 다양한 실시예에 따른 화면을 제어하는 다른 일례를 도시한 도면이다.
도 6a를 참고하면, 전자 장치(600)는 북 애플리케이션이 실행되어, 표시부에 제1 페이지(610)를 표시할 수 있다. 전자 장치(600)는 제1 페이지(610)가 표시된 상태에서, 모션센서를 통해 전자 장치(600a)의 각도가 위에서 아래로 방향으로 움직이는 동작이 검출되면, 제1 페이지(610)를 제2 페이지(620)로 넘겨 상기 표시부에 표시할 수 있다. 또는, 전자 장치(600)는 상기 사용자의 시선위치가 제1 페이지의 가장 우측 가장자리를 향하는 것으로 분석되면, 제1 페이지를 제2 페이지로 넘겨 상기 표시부에 표시할 수 있다.
도 6b를 참고하면, 전자 장치(600)는 연결된 외부 전자 장치(640)의 화면을 제어할 수 있다. 외부 전자 장치(640)는 텔레비전, 컴퓨터 모니터, 셋탑박스, 네비게이션, 스피커 등 상기 전자 장치 내부에 포함되지 않고 외부에 존재하는 모든 전자 장치를 포함할 수 있다. 이때, 전자 장치(600)는 외부장치(630)를 통해 외부 전자 장치(640)와 연결될 수 있다. 전자 장치(600)는 외부 전자 장치(640)와 연결된 경우, 카메라에서 인식된 사용자의 안면을 기반으로 외부 전자 장치(640)의 화면을 제어할 수 있다. 예컨대, 전자 장치(600)는 인식된 상기 사용자의 안면위치가 외부 전자 장치(640)에 대응되는 경우, 계속해서 외부 전자 장치(640)의 화면을 제공할 수 있다. 전자 장치(600)는 인식된 상기 사용자의 안면위치가 표시부 또는 외부 전자 장치(640)를 벗어나는 경우, 외부 전자 장치(640)에 재생중인 컨텐츠를 정지시킬 수 있다. 전자 장치(600)는 일정시간 이상 상기 안면위치가 표시부 또는 외부 전자 장치(640)를 벗어나는 경우, 외부 전자 장치(640)의 전원을 끄거나, 절전모드로 전환시킬 수 있다.
다양한 실시예에 따르면, 전자 장치(600)는 외부 전자 장치(640)로 스피커가 연결된 경우, 전화 수신 시, 스피커를 통해 상대방 음성을 출력할 수 있다. 전자 장치(600)는 외부 전자 장치(640)로 네비게이션 또는 차량 내 장치와 연결된 경우, 사용자의 안면 또는 움직임으로 주행 중 위험한 상황인지 여부를 판단할 수 있다. 예컨대, 위험한 상황은 졸거나, 전방을 주시하지 않거나, 전방에 장애물이 발견되는 경우일 수 있다. 전자 장치(600)는 사용자가 조는 것으로 판단된 경우, 경보음을 출력하거나, 길을 안내하거나, 전방 상황을 소리로 통보할 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 블록도이다.
도 7을 참고하면, 전자 장치(700)는 제어부(710), 카메라(720), 표시부(730), 입력부(740), 전원 공급부(750), 센서(760) 및 통신부(770)를 포함할 수 있다.
제어부(710)는 카메라(720)의 해상도를 결정할 수 있다. 다양한 실시예들에 따르면, 제어부(710)는 전자 장치(700)의 전력상태에 상관없이 카메라(720)의 해상도를 고해상도 또는 저해상도로 결정할 수 있다. 또는, 제어부(710)는 전자 장치(700)의 전력이 기준치 이상인지 여부, 또는 전자 장치(700)에 외부장치가 연결되는지 여부에 따라 고전력 상태 또는 저전력 상태로 판단할 수 있다. 예컨대, 제어부(710)는 전자 장치(700)의 전력이 기준치 이상이거나, 전자 장치(700)에 외부장치가 연결된 경우, 고전력 상태로 판단하고, 카메라(720)의 해상도를 고해상도로 결정할 수 있다. 상기 외부장치는 전자 장치(700)에 전력을 공급하는 역할을 한다. 제어부(710)는 전자 장치(700)의 전력이 기준치 미만이거나, 전자 장치(700)의 전력이 기준치 미만이면서 전자 장치(700)에 외부장치가 연결되지 않은 경우, 저전력 상태로 판단하고, 카메라(720)의 해상도를 저해상도로 결정할 수 있다. 전자 장치(700)의 전력은 전원 공급부(750)를 통해 제공될 수 있다. 전원 공급부(750)는 상기 외부장치와 연결될 수 있다.
제어부(710)는 전자 장치(700)의 전반적인 동작 및 전자 장치(700)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행하고, 배터리에서 상기 구성들로의 전원 공급을 제어한다. 제어부(710)는 CPU(central processing unit)와, GPU(graphic processing unit)를 포함한다. 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU와 GPU은 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수도 있다. 한편 CPU 및 GPU를 포함하는 구성은 AP(Application Processor)라고 지칭될 수 있다.
카메라(720)는 상기 결정된 해상도로 구동하여 사용자의 안면을 인식할 수 있다. 다양한 실시예들에 따르면, 카메라(720)는 고해상도로 구동하여 상기 사용자의 시선위치를 획득할 수 있다. 카메라(720)는 저해상도로 구동하여 사용자의 안면위치를 인식할 수 있다.
표시부(730)는 제어부(710)에 의해 상기 안면을 기반으로 제어되는 화면을 표시할 수 있다. 표시부(730)는 제어부(710)의 제어 하에 이미지를 화면(screen on which at least one image is shown)에 표시한다. 즉, 제어부(710)가 데이터를 화면에 표시할 이미지로 처리(예컨대, 디코딩(decoding))하여 버퍼에 저장하면, 표시부(730)는 버퍼에 저장된 이미지를 아날로그 신호로 변환하여 화면에 표시한다. 표시부(730)는 액정 표시 장치(Liquid Crystal Display; LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 또는 플랙서블 디스플레이(Flexible display)로 구성될 수 있다. 다양한 실시예에 따르면, 표시부(730)는 입력부(740)와 일체형으로 구성될 수 있다.
입력부(740)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키들을 포함할 수 있다. 이러한 키들은 메뉴 불러오기 키, 화면 온/오프 키, 전원 온/오프 키 및 볼륨 조절키 등을 포함할 수 있다. 입력부(740)는 사용자 설정 및 전자 장치(700)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(710)로 전달한다. 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트, 셔터 이벤트 등을 포함할 수 있다. 제어부(710)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 한편, 입력부(740)는 의 키는 하드 키(hard key)라 하고 표시부(730)에 표시되는 가상의(virtual) 키는 소프트 키(soft key)로 지칭될 수 있다.
다양한 실시예에 따르면, 제어부(710)는 상기 시선위치를 표시부(730) 상에 매핑하여 좌표정보를 획득하고, 상기 획득한 좌표정보를 기반으로 상기 화면을 제어할 수 있다. 더욱이, 제어부(710)는 상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출하고, 상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어할 수 있다. 또는, 제어부(710)는 저해상도로 구동된 카메라(720)를 이용하여 사용자 존재유무를 판단하고, 상기 사용자의 존재가 있는 것으로 판단되면, 카메라(720)의 설정값을 변경하고, 카메라(720)를 이용하여 사용자의 안면위치를 인식할 수 있다. 상기 설정값은 카메라 속도, 즉 초당 프레임 수 또는 카메라 감도일 수 있다.
센서(760)는 모션 센서, 자이로 센서, 가속도 센서, 습도센서, 근접센서, 적외선 센서, 조도 센서, 지자계 센서, 관성 센서, 틸트 센서 및 블로우 센서 중 적어도 하나를 포함할 수 있다. 상기 센서는 상기 전자 장치에 발생한 움직임과 관련된 각도 변화, 방향 변화, 위치 변화, 자세 변화, 세기 변화 및 속도 변화 중 적어도 하나 또는 이들의 조합으로 상기 센서 데이터를 획득할 수 있다. 또는, 상기 센서는 사용자에 의해 발생하는 움직임 이벤트를 검출하는 것으로, 핀치 줌, 손날 터치 및 에어 모션 중 적어도 하나 또는 이들의 조합으로 상기 센서 데이터를 획득할 수 있다.
다양한 실시예에 따르면, 제어부(710)는 센서(760)로부터 센서 데이터를 획득하고, 상기 센서 데이터 및 상기 안면위치를 기반으로 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득할 수 있다. 제어부(710)는 상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출하고, 상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어할 수 있다. 즉, 제어부(710)는 상기 안면위치와 더불어 상기 센서 데이터를 이용하여 상기 좌표정보를 획득함으로써, 더욱 정확한 방향정보 또는 속도정보를 산출할 수 있다.
다양한 실시예에 따르면, 제어부(710)는 상기 사용자의 존재가 있는 것으로 판단되면, 적어도 하나의 센서(760)를 구동시키고, 센서(760)를 이용하여 센서 데이터를 획득하고, 상기 센서 데이터를 기반으로 상기 화면을 제어할 수 있다. 제어부(710)는 상기 센서 데이터를 기반으로 상기 카메라로부터 영상획득이 가능한지 여부를 판단하고, 상기 영상획득이 가능하다고 판단된 경우, 상기 센서 데이터를 기반으로 상기 카메라의 설정값을 변경하여 상기 사용자의 안면위치를 인식할 수 있다. 또는, 상기 영상획득이 불가능하다고 판단된 경우, 제어부(710)는 카메라(720)의 구동을 중단하고, 상기 센서 데이터를 기반으로 상기 화면을 제어할 수 있다.
다양한 실시예에 따르면, 제어부(710)는 카메라(720)를 이용하여 획득한 이미지 정보 및 상기 센서 데이터에 우선순위를 설정할 수 있다. 제어부(710)는 상기 우선순위의 내림차순에 따른 정보를 이용하여 상기 화면을 제어할 수 있다. 예컨대, 제어부(710)는 카메라(720)가 고해상도인 경우, 상기 이미지 정보를 상기 센서 데이터보다 우선순위가 높게 설정할 수 있다. 또는, 제어부(710)는 카메라(720)가 저해상도인 경우, 상기 이미지 정보를 상기 센서 데이터보다 우선순위가 낮게 설정할 수 있다.
이로써, 제어부(710)는 표시부(730)에 표시되는 화면과 연관된 화면과 연관된 스크롤, 재생, 정지, 줌인, 줌아웃, 유지 및 응답 중 적어도 하나를 제어할 수 있다.
이밖에도, 전자 장치(700)는 출력부(도시하지 않음), 통신부(770), 및 메모리(도시하지 않음) 중 적어도 하나를 더 포함할 수 있다.
상기 출력부는 마이크(MIC) 및 스피커(SPK)를 포함할 수 있다. 상기 출력부는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 녹음, 디지털 레코딩(recording) 및 통화를 위한 오디오 신호(예, 음성 데이터)의 입력 및 출력을 수행한다. 상기 출력부는 제어부(710)로부터 오디오 신호를 수신하고, 수신한 오디오 신호를 아날로그로 D/A 변환하고 증폭한 후 스피커(SPK)로 출력한다. 상기 출력부는 마이크(MIC)로부터 수신한 오디오 신호를 디지털로 A/D 변환한 후 제어부(710)로 제공한다. 스피커(SPK)는 오디오 신호를 음파(sound wave)로 변환하여 출력한다. 마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 오디오 신호로 변환한다.
통신부(770)는 제어부(710)의 제어 하에, 네트워크를 통해 외부 전자 장치와 음성 통화, 화상 통화 또는 데이터 통신을 수행한다. 통신부(770)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부를 포함한다. 또한 통신부(770)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등), 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈(예, 와이파이(Wi-Fi) 모듈, 블루투스(bluetooth) 모듈, NFC(Near Field Communication) 모듈)을 포함한다.
상기 메모리는 전자 장치(700)의 동작을 위해 요구되는 소프트웨어, 및 전자 장치(700)의 사용에 의해 수신되거나 또는 생성되는 다양한 데이터를 저장할 것이다. 상기 메모리는 제어부(710)가 그로부터 판독하거나 또는 그에 기록할 수 있는 디지털 스토리지의 임의의 형식을 포함할 수 있다. 기능들을 수행하기 위해 하나 이상의 프로그램들은 상기 메모리에 저장될 수 있다. 상기 메모리는 제어부(710)의 보조기억장치(secondary memory unit)로써, 디스크, 램(RAM), 롬(ROM) 및 플래시 메모리 등을 포함한다. 상기 메모리는 전자 장치(700)에서 생성된 데이터(예컨대, 연락처) 그리고 통신부(770)를 통해 외부로부터 수신한 데이터(예, 메시지, 동영상 파일)를 저장한다. 상기 메모리는 이미지(예컨대, 키패드, 동영상, 메시지 등)의 크기 정보 및 이미지의 표시 영역 정보를 포함한다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
700: 전자 장치 710: 제어부
720: 카메라 730: 표시부
740: 입력부 750: 전원 공급부
760: 센서 770: 통신부
720: 카메라 730: 표시부
740: 입력부 750: 전원 공급부
760: 센서 770: 통신부
Claims (22)
- 전자 장치의 화면 제어 방법에 있어서,
상기 전자 장치의 제어부가, 상기 전자 장치의 카메라의 해상도를 결정하는 동작;
상기 카메라를 고해상도 모드로 구동하는 경우, 사용자의 시선을 인식하는 동작;
상기 카메라를 저해상도 모드로 구동하는 경우, 사용자의 안면을 인식하는 동작; 및
상기 제어부가, 상기 인식된 시선 또는 안면을 기반으로 상기 전자 장치의 화면을 제어하는 동작을 포함하며,
상기 카메라를 저해상도 모드로 구동하여 사용자의 안면을 인식하는 동작은,
상기 카메라의 저해상도 모드에서 설정 값을 제1설정 값으로 설정하여, 사용자의 존재를 확인하는 동작,
상기 사용자의 존재가 확인되는 경우, 상기 카메라의 설정 값을 제2설정 값으로 변경하는 동작,
상기 카메라를 제2설정 값으로 구동하여 사용자의 안면 위치를 인식하는 동작을 포함하며,
상기 카메라의 설정 값은, 초당 프레임 수, 카메라 감도, 셔터 스피드, 노출 값, 화이트 밸런스 값 및 노출 시간 중 적어도 하나를 포함하는 방법. - 삭제
- 제1항에 있어서,
상기 카메라의 해상도를 결정하는 동작은,
상기 전자 장치의 전력상태를 판단하는 동작; 및
상기 전자 장치의 전력상태에 따라 상기 카메라의 해상도를 고해상도 또는 저해상도로 결정하는 동작을 포함하는 방법. - 제3항에 있어서,
상기 전력상태를 판단하는 동작은,
상기 전자 장치의 전력이 기준치 이상이거나, 상기 전자 장치에 외부장치가 연결된 경우, 고전력 상태로 판단하고,
상기 전자 장치의 전력이 기준치 미만이거나, 상기 전자 장치에 외부장치가 비연결된 경우, 저전력 상태로 판단하는 동작을 포함하는 방법. - 제4항에 있어서,
상기 해상도를 결정하는 동작은,
상기 판단결과 상기 고전력 상태인 경우, 상기 카메라의 해상도를 고해상도로 결정하고, 상기 판단결과 상기 저전력 상태인 경우, 상기 카메라의 해상도를 저해상도로 결정하는 동작을 포함하는 방법. - 삭제
- 제1항에 있어서,
상기 화면을 제어하는 동작은,
상기 인식된 사용자의 시선위치를 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득하는 동작; 및
상기 획득한 좌표정보를 기반으로 상기 화면을 제어하는 동작을 포함하는 방법. - 제7항에 있어서,
상기 화면을 제어하는 동작은,
상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출하는 동작; 및
상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어하는 동작을 포함하는 방법. - 삭제
- 제1항에 있어서,
상기 화면을 제어하는 동작은,
적어도 하나의 센서를 이용하여 센서 데이터를 획득하는 동작;
상기 센서 데이터 및 상기 안면위치를 기반으로 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득하는 동작;
상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출하는 동작; 및
상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어하는 동작을 포함하는 방법. - 제1항에 있어서,
센서를 이용하여 센서 데이터를 획득하는 동작; 및
상기 센서 데이터를 기반으로 상기 화면을 제어하는 동작을 더 포함하는 방법. - 제11항에 있어서,
상기 안면을 인식하는 동작은,
상기 센서 데이터를 기반으로 상기 카메라로부터 영상획득이 가능한지 여부를 판단하는 과정; 및
상기 영상획득이 가능하다고 판단된 경우, 상기 센서 데이터를 기반으로 상기 카메라의 설정값을 변경하여 상기 사용자의 안면위치를 인식하는 동작을 포함하는 방법. - 제12항에 있어서,
상기 화면을 제어하는 동작은,
상기 영상획득이 불가능하다고 판단된 경우, 상기 카메라의 구동을 중단하고, 상기 센서 데이터를 기반으로 상기 화면을 제어하는 동작을 포함하는 방법. - 제1항에 있어서,
상기 화면을 제어하는 동작은,
센서를 이용하여 센서 데이터를 획득하는 동작;
상기 카메라를 이용하여 획득한 이미지 정보 및 상기 센서 데이터에 우선순위를 설정하는 동작; 및
상기 우선순위의 내림차순(descending order)에 따른 정보를 이용하여 상기 화면을 제어하는 동작을 포함하는 방법. - 제1항에 있어서,
상기 화면을 제어하는 동작은,
상기 전자 장치에 표시되는 화면과 연관된 스크롤(Scroll), 재생(Playback), 정지(Pause), 줌인(Zoom In), 줌아웃(Zoom out), 유지(Stay) 및 응답(response) 중 적어도 하나를 제어하는 동작을 포함하는 방법. - 고해상도 또는 저해상도로 구동하여 사용자의 시선 또는 안면을 인식하는 카메라;
화면을 표시하는 표시부; 및
제어부를 포함하고,
상기 제어부는,
상기 카메라의 해상도를 결정하고,
상기 카메라를 고해상도 모드로 구동하는 경우, 사용자의 시선을 인식하고,
상기 카메라를 저해상도 모드로 구동하는 경우, 상기 카메라의 설정 값을 제1설정 값으로 설정하여 사용자의 존재를 확인하고, 상기 사용자의 존재가 확인되는 경우 상기 카메라의 설정 값을 제2설정 값으로 변경하고, 상기 카메라를 제2설정 값으로 구동하여 사용자의 안면 위치를 인식하고, 및
상기 인식된 시선 또는 안면을 기반으로 상기 표시부에 표시되는 화면을 제어하도록 설정되며,
상기 카메라의 설정 값은, 초당 프레임 수, 카메라 감도, 셔터 스피드, 노출 값, 화이트 밸런스 값 및 노출 시간 중 적어도 하나를 포함하는 전자 장치. - 제16항에 있어서,
상기 제어부는,
상기 전자 장치의 전력이 기준치 이상인지 여부, 또는 상기 전자 장치에 외부장치가 연결되는지 여부에 따라 고전력 상태 또는 저전력 상태로 판단하고, 상기 고전력 상태인 경우, 상기 카메라의 해상도를 고해상도로 결정하고, 상기 저전력 상태인 경우, 상기 카메라의 해상도를 저해상도로 결정하는, 전자 장치. - 제16항에 있어서,
상기 제어부는,
상기 카메라를 고해상도로 구동하는 경우, 상기 인식된 시선의 위치를 상기 표시부 상에 매핑하여 좌표정보를 획득하고, 상기 획득한 좌표정보를 기반으로 상기 화면을 제어하는, 전자 장치. - 삭제
- 제16항에 있어서,
센서 데이터를 획득하는 적어도 하나의 센서를 더 포함하고,
상기 제어부는, 상기 센서 데이터 및 상기 안면의 위치를 기반으로 상기 전자 장치의 표시부 상에 매핑하여 좌표정보를 획득하고, 상기 좌표정보를 기준으로 시간에 따른 방향정보 또는 속도정보를 산출하며, 상기 방향정보 또는 상기 속도정보를 기반으로 상기 화면을 제어하는, 전자 장치. - 제16항에 있어서,
센서 데이터를 획득하는 적어도 하나의 센서를 더 포함하고,
상기 제어부는, 상기 카메라를 이용하여 획득한 이미지 정보 및 상기 센서 데이터에 우선순위를 설정하고, 상기 우선순위의 내림차순에 따른 정보를 이용하여 상기 화면을 제어하는, 전자 장치. - 제16항에 있어서,
상기 제어부는,
상기 표시부에 표시되는 화면과 연관된 스크롤, 재생, 정지, 줌인, 줌아웃, 유지 및 응답 중 적어도 하나를 제어하는, 전자 장치.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/209,399 US10185391B2 (en) | 2013-03-14 | 2014-03-13 | Facial recognition display control method and apparatus |
| EP14765158.2A EP2972681B1 (en) | 2013-03-14 | 2014-03-14 | Display control method and apparatus |
| BR112015022914-0A BR112015022914B1 (pt) | 2013-03-14 | 2014-03-14 | Método de controle de tela de exibição de um dispositivo eletrônico e dispositivo eletrônico |
| RU2015138990A RU2666246C2 (ru) | 2013-03-14 | 2014-03-14 | Способ и устройство управления дисплеем |
| AU2014230175A AU2014230175B2 (en) | 2013-03-14 | 2014-03-14 | Display control method and apparatus |
| PCT/KR2014/002161 WO2014142600A2 (en) | 2013-03-14 | 2014-03-14 | Display control method and apparatus |
| CN201480014071.5A CN105229570B (zh) | 2013-03-14 | 2014-03-14 | 显示控制方法和装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130027592 | 2013-03-14 | ||
| KR20130027592 | 2013-03-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140113361A KR20140113361A (ko) | 2014-09-24 |
| KR102281233B1 true KR102281233B1 (ko) | 2021-07-23 |
Family
ID=51757840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140025929A KR102281233B1 (ko) | 2013-03-14 | 2014-03-05 | 화면 제어 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10185391B2 (ko) |
| EP (1) | EP2972681B1 (ko) |
| KR (1) | KR102281233B1 (ko) |
| CN (1) | CN105229570B (ko) |
| AU (1) | AU2014230175B2 (ko) |
| BR (1) | BR112015022914B1 (ko) |
| RU (1) | RU2666246C2 (ko) |
| WO (1) | WO2014142600A2 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10165412B2 (en) * | 2014-05-22 | 2018-12-25 | Sony Corporation | Information processing device and information processing method |
| US10110794B2 (en) * | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
| US9626564B2 (en) * | 2014-11-17 | 2017-04-18 | Intel Corporation | System for enabling eye contact in electronic images |
| US9667867B2 (en) * | 2015-03-30 | 2017-05-30 | Omnivision Technologies, Inc. | Low power smart image capture |
| US10387570B2 (en) * | 2015-08-27 | 2019-08-20 | Lenovo (Singapore) Pte Ltd | Enhanced e-reader experience |
| US11194398B2 (en) * | 2015-09-26 | 2021-12-07 | Intel Corporation | Technologies for adaptive rendering using 3D sensors |
| WO2017111811A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Interfacing with a computing device |
| JP6620063B2 (ja) * | 2016-04-21 | 2019-12-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
| US10627887B2 (en) | 2016-07-01 | 2020-04-21 | Microsoft Technology Licensing, Llc | Face detection circuit |
| CN106454083B (zh) * | 2016-09-30 | 2019-12-31 | Oppo广东移动通信有限公司 | 一种移动终端的图像采集方法、装置及移动终端 |
| US10580402B2 (en) * | 2017-04-27 | 2020-03-03 | Microchip Technology Incorporated | Voice-based control in a media system or other voice-controllable sound generating system |
| WO2019186552A1 (en) * | 2018-03-26 | 2019-10-03 | Servotronix Automation Solutions Ltd. | Teach pendant as an add-on |
| US20190303177A1 (en) * | 2018-03-29 | 2019-10-03 | Microsoft Technology Licensing, Llc | Adaptive User Interface Based On Detection Of User Positions |
| CN108595139B (zh) * | 2018-05-08 | 2022-09-23 | 歌尔科技有限公司 | 智能多媒体设备及其显示方法 |
| KR102172346B1 (ko) * | 2018-09-27 | 2020-10-30 | 월리엄 로렌조 스웽크 | 시차 적응을 위한 홈 어플라이언스 |
| US11046327B2 (en) | 2019-04-09 | 2021-06-29 | Fotonation Limited | System for performing eye detection and/or tracking |
| US10948986B2 (en) * | 2019-04-09 | 2021-03-16 | Fotonation Limited | System for performing eye detection and/or tracking |
| US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
| CN110312074A (zh) * | 2019-06-26 | 2019-10-08 | 上海创功通讯技术有限公司 | 图像采集方法及电子设备 |
| US11698674B2 (en) | 2019-09-09 | 2023-07-11 | Apple Inc. | Multimodal inputs for computer-generated reality |
| US11543873B2 (en) | 2019-09-27 | 2023-01-03 | Intel Corporation | Wake-on-touch display screen devices and related methods |
| US11733761B2 (en) | 2019-11-11 | 2023-08-22 | Intel Corporation | Methods and apparatus to manage power and performance of computing devices based on user presence |
| US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
| US11360528B2 (en) | 2019-12-27 | 2022-06-14 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
| KR20210085256A (ko) * | 2019-12-30 | 2021-07-08 | 삼성전자주식회사 | 사용자의 위치를 제공하기 위한 전자 장치 및 방법 |
| JP2022537236A (ja) * | 2020-05-22 | 2022-08-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 動画再生の制御方法、装置、電子機器及び記憶媒体 |
| CN111880640B (zh) * | 2020-07-31 | 2022-03-22 | Oppo广东移动通信有限公司 | 屏幕控制方法、装置、电子设备及存储介质 |
| US11874960B2 (en) * | 2021-03-31 | 2024-01-16 | Snap Inc. | Pausing device operation based on facial movement |
| KR102348321B1 (ko) * | 2021-07-07 | 2022-01-06 | 유석영 | 미러링 방법 및 디바이스 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050276481A1 (en) * | 2004-06-02 | 2005-12-15 | Fujiphoto Film Co., Ltd. | Particular-region detection method and apparatus, and program therefor |
| US20100259814A1 (en) | 2006-03-31 | 2010-10-14 | Boyer Thomas R | Infrared combat identification markers and panels |
| US20120062729A1 (en) * | 2010-09-10 | 2012-03-15 | Amazon Technologies, Inc. | Relative position-inclusive device interfaces |
| US20120256967A1 (en) * | 2011-04-08 | 2012-10-11 | Baldwin Leo B | Gaze-based content display |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7379560B2 (en) | 2003-03-05 | 2008-05-27 | Intel Corporation | Method and apparatus for monitoring human attention in dynamic power management |
| KR100984230B1 (ko) * | 2008-03-20 | 2010-09-28 | 엘지전자 주식회사 | 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법 |
| JP2009301166A (ja) | 2008-06-11 | 2009-12-24 | Panasonic Corp | 電子機器制御装置 |
| CN101943982B (zh) | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| GB2460580B (en) | 2009-09-30 | 2010-07-07 | Very Pc Ltd | Improved power save method and apparatus for electrical equipment |
| KR101652110B1 (ko) | 2009-12-03 | 2016-08-29 | 엘지전자 주식회사 | 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법 |
| JP2012038106A (ja) | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
| KR101685991B1 (ko) * | 2010-09-30 | 2016-12-13 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
| KR101773845B1 (ko) | 2011-05-16 | 2017-09-01 | 삼성전자주식회사 | 휴대용 단말기에서 입력 처리 방법 및 장치 |
| RU118140U1 (ru) * | 2012-02-10 | 2012-07-10 | Владимир Александрович Елин | Персональный электронный коммуникатор |
| RU2522848C1 (ru) | 2013-05-14 | 2014-07-20 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | Способ управления устройством с помощью глазных жестов в ответ на стимулы |
-
2014
- 2014-03-05 KR KR1020140025929A patent/KR102281233B1/ko active IP Right Grant
- 2014-03-13 US US14/209,399 patent/US10185391B2/en active Active
- 2014-03-14 BR BR112015022914-0A patent/BR112015022914B1/pt active IP Right Grant
- 2014-03-14 EP EP14765158.2A patent/EP2972681B1/en active Active
- 2014-03-14 RU RU2015138990A patent/RU2666246C2/ru active
- 2014-03-14 CN CN201480014071.5A patent/CN105229570B/zh active Active
- 2014-03-14 WO PCT/KR2014/002161 patent/WO2014142600A2/en active Application Filing
- 2014-03-14 AU AU2014230175A patent/AU2014230175B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050276481A1 (en) * | 2004-06-02 | 2005-12-15 | Fujiphoto Film Co., Ltd. | Particular-region detection method and apparatus, and program therefor |
| US20100259814A1 (en) | 2006-03-31 | 2010-10-14 | Boyer Thomas R | Infrared combat identification markers and panels |
| US20120062729A1 (en) * | 2010-09-10 | 2012-03-15 | Amazon Technologies, Inc. | Relative position-inclusive device interfaces |
| US20120256967A1 (en) * | 2011-04-08 | 2012-10-11 | Baldwin Leo B | Gaze-based content display |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105229570B (zh) | 2018-06-01 |
| CN105229570A (zh) | 2016-01-06 |
| EP2972681A2 (en) | 2016-01-20 |
| WO2014142600A2 (en) | 2014-09-18 |
| EP2972681B1 (en) | 2018-08-01 |
| BR112015022914A2 (pt) | 2017-07-18 |
| US10185391B2 (en) | 2019-01-22 |
| RU2015138990A (ru) | 2017-03-16 |
| BR112015022914B1 (pt) | 2021-12-21 |
| EP2972681A4 (en) | 2016-11-30 |
| AU2014230175B2 (en) | 2019-04-04 |
| RU2015138990A3 (ko) | 2018-03-12 |
| RU2666246C2 (ru) | 2018-09-06 |
| KR20140113361A (ko) | 2014-09-24 |
| US20140267021A1 (en) | 2014-09-18 |
| WO2014142600A3 (en) | 2015-11-26 |
| AU2014230175A1 (en) | 2015-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102281233B1 (ko) | 화면 제어 방법 및 장치 | |
| US10412379B2 (en) | Image display apparatus having live view mode and virtual reality mode and operating method thereof | |
| JP7081048B2 (ja) | システムナビゲーションバー表示方法、システムナビゲーションバー制御方法、グラフィカルユーザインターフェース、および電子機器 | |
| US10360876B1 (en) | Displaying instances of visual content on a curved display | |
| KR102024187B1 (ko) | 사용자 단말 장치 및 이의 디스플레이 방법 | |
| US10019224B2 (en) | Electronic device and method of operating the same | |
| US20170269752A1 (en) | Method for recognizing biometrics information and electronic device thereof | |
| CN109191549B (zh) | 显示动画的方法及装置 | |
| TWI590149B (zh) | 包括根據觀看條件之動態使用者介面的能量效率及能量保存之方法，設備，及系統 | |
| ES2724423T3 (es) | Aparato y procedimiento de representación de imágenes | |
| US20140071288A1 (en) | Head mount display and method for controlling output of the same | |
| KR20160033605A (ko) | 콘텐트를 디스플레이하기 위한 장치 및 방법 | |
| KR20150142282A (ko) | 기능 제어 방법 및 그 전자 장치 | |
| WO2020211607A1 (zh) | 生成视频的方法、装置、电子设备及介质 | |
| WO2020253295A1 (zh) | 控制方法、装置及终端设备 | |
| KR20160138726A (ko) | 전자 기기 및 그의 볼륨 제어 방법 | |
| CN112738606B (zh) | 音频文件的处理方法、装置、终端及存储介质 | |
| US10133966B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| KR102125525B1 (ko) | 이미지 처리 방법 및 그 전자 장치 | |
| WO2022222688A1 (zh) | 一种窗口控制方法及其设备 | |
| WO2018192455A1 (zh) | 一种生成字幕的方法及装置 | |
| CN112184802B (zh) | 标定框的调整方法、装置及存储介质 | |
| US11868553B2 (en) | Pressure sensing for user interactions | |
| CN113259654B (zh) | 视频帧率的检测方法、装置、电子设备以及存储介质 | |
| US20240069703A1 (en) | Electronic apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |