KR101390090B1 - 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법 - Google Patents

카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법 Download PDF

Info

Publication number
KR101390090B1
KR101390090B1 KR1020120103450A KR20120103450A KR101390090B1 KR 101390090 B1 KR101390090 B1 KR 101390090B1 KR 1020120103450 A KR1020120103450 A KR 1020120103450A KR 20120103450 A KR20120103450 A KR 20120103450A KR 101390090 B1 KR101390090 B1 KR 101390090B1
Authority
KR
South Korea
Prior art keywords
image
camera
user terminal
touch
analyzed
Prior art date
Application number
KR1020120103450A
Other languages
English (en)
Other versions
KR20140036832A (ko
Inventor
황성재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120103450A priority Critical patent/KR101390090B1/ko
Priority to US13/854,244 priority patent/US9348432B2/en
Priority to US13/932,072 priority patent/US20140078110A1/en
Publication of KR20140036832A publication Critical patent/KR20140036832A/ko
Application granted granted Critical
Publication of KR101390090B1 publication Critical patent/KR101390090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라를 구비한 사용자 단말의 센싱장치로서, 상기 카메라가 촬상한 객체의 이미지 변수를 분석하는 이미지분석부(110); 및 상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치여부 및 강도를 결정하는 터치결정부(120)를 포함하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치가 제공된다.
본 발명에 따르면, 별도의 하드웨어 장치의 추가나 변경 없이 사용자 단말에 이미 설치된 카메라를 이용하여 사용자 단말에 대한 객체의 터치 압력, 회전각 등을 센싱할 수 있다. 이에 따라 카메라의 기능을 단순히 외부 객체의 촬상 수단뿐만 아니라, 다양한 사용자 단말의 조작, 제어에도 확대하여, 사용할 수 있으며, 더 나아가 터치스크린의 후면에 일반적으로 구비되는 카메라를 사용자가 임의의 세기로 터치함으로써 터치스크린의 가림 문제 없이도 단말을 조작, 제어할 수 있는 장점이 있다.

Description

카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법{Sensing apparatus for user terminal using camera, method for the same and controlling method for the same}
본 발명은 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법에 관한 것으로, 보다 상세하게는 이에 따라 카메라의 기능을 단순히 외부 객체의 촬상 수단뿐만 아니라, 다양한 사용자 단말의 조작, 제어에도 사용할 수 있으며, 더 나아가 터치스크린의 후면에 일반적으로 구비되는 카메라를 사용자가 임의의 세기로 터치함으로써 터치스크린의 가림 문제 없이도 단말을 조작, 제어할 수 있는 장점이 있는, 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법에 관한 것이다.
터치스크린이란 키보드를 사용하지 않고 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록, 화면에서 직접 입력자료를 받을 수 있게 한 화면을 말하며, 휴대전화, 컴퓨터 등의 사용자 단말의 입력 스크린으로 널리 활용되고 있다.
터치스크린은 일반적으로 감압식과 정전식(정전용량식)으로 나뉘는데, 감압식은 터치화면에 압력변화를 감지하는 방식으로 터치 장치에 제한이 없다는 장점이 있다. 정전용량식은 신체에 흐르는 미세한 전류를 이용하여 터치를 감지하는 방식으로, 멀티터치가 가능하고, 반응이 빠르다는 장점이 있다.
하지만, 이러한 터치 스크린의 경우 정보 제공과 입력이 동일한 곳에서 이루어지기 때문에 조작시 화면이 가려지는 화면가림(occlusion) 문제가 발생하고, 또한 현재까지 상용화된 정전용량식 터치스크린은 터치하는 압력(강도)를 효과적으로 구분할 수 없기 때문에, 온-오프 방식의 터치 제어만 가능하다는 한계가 있었다. 더 나아가, 종래의 터치입력 강도 측정은 터치 패드와 전극과의 접촉에 따라 터치 강도를 측정하였으나, 이 경우 터치 패드와 전극층 사이의 이격된 공간에 따른 화질 저하 문제가 발생한다.
반면, 전자기술의 발전에 따라 휴대전화와 같은 사용자 단말에는 카메라와 같은 촬상 수단이 구비된다. 카메라는 휴대전화와 같은 모바일 기기의 시각적 정보를 얻는 자원으로, 최근에는 영상통화, 증강현실(Augmented Reality) 등의 사용을 위해 사용자 단말에 필수적으로 구비되어 사용되는 전자 컴포넌트이다. 하지만 이러한 카메라의 활용범위는 사진 및 동영상 인식, QR코드 인식 등 매우 제한적으로 이루어졌다 따라서, 점차 소형화되면서, 동시에 다양한 기능을 수행하여야 하는 휴대전화와 같은 사용자 단말 특성상 이미 구성되어 있는 카메라와 같은 컴포넌트의 다양한 활용이 요구된다. 더 나아가, 터치스크린 환경에서 더 이상 물리적인 버튼을 휴대전화와 같은 사용자 단말에 구비시키는 것이 어려워지는 상황에서, 휴대전화에 구비된 기존의 컴포넌트를 다양한 방식으로 활용하는 것이 절실하다.
따라서 본 발명이 해결하고자 하는 과제는, 카메라 등의 컴포넌트의 새로운 활용 방법을 제공하는 것이다.
상기 과제를 해결하기 위하여, 본 발명은 카메라를 구비한 사용자 단말의 센싱장치로서, 상기 카메라가 촬상한 객체의 이미지 변수를 분석하는 이미지분석부(110); 및 상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치여부 및 강도를 결정하는 터치결정부(120)를 포함하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치를 제공한다.
본 발명의 일 실시예에서, 상기 객체는 상기 사용자 단말의 입력 수단이며, 상기 사용자 단말의 입력 수단은 상기 카메라와 접촉한다.
본 발명의 일 실시예에서, 상기 이미지 변수는 상기 객체와 상기 카메라 사이의 터치강도에 따라 가변되는 변수이다
본 발명의 일 실시예에서, 상기 이미지 변수는 상기 객체를 통하여 상기 카메라로 투과되는 빛의 투과율에 따라 가변되는 변수이다.
본 발명의 일 실시예에서, 상기 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나이다.
본 발명의 일 실시예에서, 상기 터치결정부(120)는, 상기 이미지분석부(110)에 의하여 분석된 이미지 변수가, 상기 객체를 통하여 상기 카메라로 투과되는 빛이 증가하는 패턴을 보이는 경우, 상기 사용자 단말에 대한 상기 객체의 터치강도가 높은 것으로 결정한다.
본 발명의 일 실시예에서, 상기 변수는 이미지의 휘도이며, 상기 이미지의 휘도가 밝을수록, 상기 터치결정부(120)는, 상기 사용자 단말에 대한 상기 객체의 터치강도가 강한 것으로 결정한다.
본 발명의 일 실시예에서, 상기 카메라를 구비한 사용자 단말의 센싱장치는, 상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라, 상기 카메라가 촬상한 객체의 회전 정도를 결정하는 회전결정부(130)를 더 포함한다.
본 발명의 일 실시예에서, 상기 회전결정부(130)는, 상기 이미지분석부(110)에 의하여 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전각을 결정한다.
본 발명의 일 실시예에서, 상기 이미지분석부(110)는 상기 이미지의 전체 또는 일부 픽셀에 대하여 상기 이미지 변수를 분석한다.
본 발명은 상술한 센싱장치를 포함하는 사용자 단말을 제공한다.
본 발명은 카메라를 구비한 사용자 단말의 센싱방법으로, 상기 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석되는 단계; 및 상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치강도가 결정되는 단계를 포함하는 것을 특징으로 하는 카메라를 구비한 사용자 단말의 센싱방법을 제공한다.
본 발명의 일 실시예에서, 상기 객체는 상기 카메라와 접촉하며, 상기 이미지 변수는 상기 객체를 투과하는 빛의 투과율에 따라 가변되는 변수이다.
본 발명의 일 실시예에서, 상기 이미지 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나이다.
본 발명의 일 실시예에서, 상기 카메라를 구비한 사용자 단말의 센싱방법은, 상기 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전각이 결정되는 단계를 더 포함한다.
본 발명은 상술한 카메라를 구비한 사용자 단말의 센싱방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체를 제공한다.
본 발명은 또한 카메라를 구비한 사용자 단말의 제어방법으로, 상기 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석되는 단계; 상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치강도가 결정되는 단계; 및 상기 분석된 터치강도에 대응하는 상기 사용자 단말에 대한 제어 명령이 수행되는 단계를 포함하는 것을 특징으로 하는 카메라를 구비한 사용자 단말의 제어방법을 제공한다.
본 발명의 일 실시예에서, 상기 객체는 상기 카메라와 접촉하며, 상기 이미지 변수는 상기 객체를 투과하는 빛의 투과량에 의하여 가변되는 변수로서, 상기 이미지 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나일 수 있다.
본 발명은 또한 상술한 카메라를 구비한 사용자 단말의 제어방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체를 제공한다.
본 발명에 따르면, 별도의 하드웨어 장치의 추가나 변경 없이 사용자 단말에 이미 설치된 카메라를 이용하여 사용자 단말에 대한 객체의 터치 압력, 회전각 등을 센싱할 수 있다. 이에 따라 카메라의 기능을 단순히 외부 객체의 촬상 수단뿐만 아니라, 다양한 사용자 단말의 조작, 제어에도 확대하여, 사용할 수 있으며, 더 나아가 터치스크린의 후면에 일반적으로 구비되는 카메라를 사용자가 임의의 세기로 터치함으로써 터치스크린의 가림 문제 없이도 단말을 조작, 제어할 수 있는 장점이 있다.
도 1 내지 4는 본 발명의 일 실시예에 따른 터치강도를 센싱하는 방식을 설명하는 도면이다.
도 5는 동일 환경에서 카메라에 대한 터치 강도를 점차 증가시킴에 따라 촬상된 이미지이다.
도 6은 본 발명의 일 실시예에 따른 카메라를 구비한 사용자 단말의 센싱 장치의 블록도이다.
도 7은 본 발명의 일 실시예에 따른 카메라를 구비한 사용자 단말의 센싱장치의 블록도이다.
도 8 및 9는 본 발명의 일 실시예에 따라 손가락의 방향에 따라 상이한 휘도 변화 패턴을 나타내는 사진이다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 센싱방법의 단계도이다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말의 제어방법의 단계도이다.
이하, 첨부된 도면을 참조하여 본 발명의 각 실시예에 따른, 펌프세정 장치 및 제어방법에 대하여 설명하기로 한다.
이하의 실시 예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아님은 당연할 것이다. 따라서, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 발명은 상술한 종래 기술의 문제를 해결하기 위하여, 카메라와 객체가 접촉하는 경우, 그 터치강도(터치강도)에 따라 빛의 투과 정도가 달라지며, 이에 따라 카메라가 촬상하는 이미지의 이미지 변수(예를 들면 휘도, 조도 등)가 달라지는 점에 주목하였다. 즉, 손가락과 같은 사용자 입력 수단으로 카메라를 터치하는 경우, 상기 카메라로 도달되는 빛의 투과량은 사용자 입력 수단의 터치강도에 따라 결정되며, 본 발명은 이러한 빛 투과량에 따라 달라지는 이미지 변수를 결정하여, 사용자 입력 수단의 터치강도를 결정한다.
도 1 내지 4는 본 발명의 일 실시예에 따른 터치강도를 센싱하는 방식을 설명하는 도면이다.
도 1의 이미지는, 사용자 단말(10)에 구비된 카메라(11)를 사용자가 손가락(12)으로 터치할 때(좌측 도면), 카메라가 촬상한 손가락 이미지(우측 도면)로서, 이는 실내 방안에서 카메라 터치시 인식된 빛 투과율에 따른 색상을 나타낸다.
도 2 내지 4는 도 1과 같이 동일 환경에서 점차 손가락 누름 세기가 증가함에 따라, 카메라가 촬상한 손가락 이미지이다.
도 1 내지 4를 참조하면, 점차 손가락의 가압 세기가 증가함에 따라 이미지의 휘도 또는 특정색(적색)이 점차 증가하는 것을 알 수 있다. 따라서, 본 발명에서 상기 이미지 변수는 상기 객체와 상기 카메라간의 터치 압력 강도에 따라 가변되는 변수이며, 상기 이미지 변수는 상기 카메라와 객체 사이로 투과되는 빛에 따라 가변된다. 특히 손가락과 같이 강도에 따라 두께가 달라지는 사용자 입력 수단인 경우, 가압 세기가 클수록 객체를 투과하는 빛의 양은 증가하며, 이에 따라 도 2 내지 4에서 볼 수 있듯이 카메라를 손가락으로 세게 누르는 경우, 카메라 촬상 이미지의 휘도는 증가한다.
하지만, 도 2 내지 4에서 휘도로 터치강도를 분류할 수 있지만, 적색의 정도 또는 분포로도 터치강도를 분류할 수 있다. 따라서, 적어도 상호 접촉하는 객체와 카메라간의 터치강도에 따라 가변되는 임의의 모든 이미지 변수가 본 발명에 사용될 수 있으며, 상기 이미지 변수는 단독 또는 중복으로 사용될 수 있다.
도 5는 동일 환경에서 카메라에 대한 터치 강도를 점차 증가시킴에 따라 촬상된 이미지이다.
도 5를 참조하면, 상기 촬상된 이미지는, 터치 강도가 증가함에 따라 점차 휘도가 증가하거나, 또는 적색 이미지 요소가 많아지는 것을 알 수 있다. 즉, 이러한 변화는 터치 압력 증가에 따라 가변하는 빛의 투과율에 기인한다.
도 6은 본 발명의 일 실시예에 따른 카메라를 구비한 사용자 단말의 센싱 장치의 블록도이다.
도 6을 참조하면, 상기 사용자 단말의 센싱 장치(100)는, 상기 카메라가 촬상한 객체의 이미지 변수를 분석하는 이미지분석부(110); 및 상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치여부 및 그 강도를 결정하는 터치결정부(120)를 포함한다.
도 1 내지 5에서 설명한 바와 같이, 상기 객체는 상기 사용자 단말의 입력 수단으로, 상기 사용자 단말의 입력 수단은 상기 카메라와 접촉한다. 본 발명은 터치 강도에 따라 상기 객체를 투과하는 빛의 투과율에 따라 달라지는 이미지 변수를 통하여 터치 강도를 역산한다.
따라서, 본 발명에 따른 센싱장치의 터치결정부(120)는, 상기 이미지분석부(110)에 의하여 분석된 이미지 변수가, 상기 객체로 투과되는 빛이 증가함에 따라 나타나는 패턴을 보이는 경우(예를 들면 휘도가 증가하거나, 특정 색의 분포나 양이 증가하는 경우), 상기 사용자 단말에 대한 상기 객체의 터치강도가 높은 것으로 분석한다.
본 발명의 또 다른 일 실시예는 상기 분석된 이미지의 패턴에 따라 사용자 단말에 구비된 카메라와 접촉하는 객체의 방향을 결정한다.
도 7은 본 발명의 일 실시예에 따른 카메라를 구비한 사용자 단말의 센싱장치의 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 센싱장치는, 상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라, 상기 카메라가 촬상한 객체의 회전 정도를 결정하는 회전결정부(130)를 더 포함한다. 상기 회전결정부(130)는 상기 이미지분석부(110)에 의하여 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전 정도를 결정하는데, 예를 들면, 휘도의 변화 패턴, 또는 특정 범위의 휘도 방향패턴, 색 변화 패턴 또는 특정 색상 요소의 방향 패턴 등이 상기 이미지 변수의 방향 패턴이 될 수 있다.
도 8 및 9는 본 발명의 일 실시예에 따라 손가락의 방향에 따라 상이한 휘도 변화 패턴을 나타내는 사진이다.
도 8 에서는 우선 우측에서 좌측으로 휘도가 밝아지며, 도 9에서는 좌측으세 우측으로 휘도가 밝아지는 것을 알 수 있다. 이와 같은 휘도 변화(또는 밝은 색이 나타나는 변화) 패턴에 따라 카메라와 접촉하는 사용자 입력수단(손가락)의 회전각이 결정될 수 있다.
본 발명에서는 카메라로부터 촬상한 객체의 이미지 변수로부터 터치 강도 또는 회전각을 결정하며, 상기 이미지 변수는 휘도, 특정 색 분포, 양, 패턴 등이 될 수 있다. 하지만, 이와 달리 외부로부터의 빛 투과율 또는 손가락과 같은 사용자 입력 수단의 회전각 등에 따라 달라지는 임의의 변수, 예를 들어 인지된 화면의 색상톤, 검은색영역 분포, 휘도 분포, 조명도, 광도 비등도 본 발명에 따른 이미지 변수가 될 수 있다.
더 나아가, 외부 빛이 없는 경우, 자체의 플래쉬나 터치스크린 빛을 통하여 이러한 이미지 변수를 추출할 수 있다. 또한 본 발명의 일 실시예에서, 상기 이미지분석부(110)는 상기 이미지의 전체뿐만 아니라, 일부 픽셀에 대해서만 이미지 변수를 분석할 수 있다. 이 경우, 전체 픽셀에 대한 이미지 변수 분석에 비하여 시간과 자원이 적게 소비되는 장점이 있다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 센싱방법의 단계도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말의 센싱방법은, 상기 사용자 단말의 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석된다(S110). 상기 이미지 변수는 상술한 바와 같이 사용자 입력 수단을 투과하는 빛의 정도에 따라 달라지는 것으로, 이미지 전체 또는 일부 픽셀의 휘도, 특정 색요소의 분포나 정도, 색상톤, 검은색이나 흰색 영역 분포, 휘도 분포, 조도, 광도 패턴 등이 상기 이미지 변수가 될 수 있다.
이후, 상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치 여부 및 그 강도가 결정된다(S120). 즉, 이미지 변수가 강한 터치 세기에 대응하는 패턴을 보이는 경우, 상기 이미지 변수에 따라 강한 터치 세기가 결정되며, 이미지 변수가 약한 터치 세기에 대응하는 패턴을 보이는 경우, 상기 이미지 변수에 따라 약한 터치 세기가 결정된다. 따라서, 본 발명의 일 실시예에 따른 사용자 단말은, 이러한 터치세기와 이미지 변수 사이의 상호관계가 저장된 메모리부(미도시)를 상기 센싱 장치의 일 구성요소로 더 포함할 수 있다.
또한, 상기 카메라를 구비한 사용자 단말의 센싱방법은, 상기 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전각이 결정되는 단계(S130)를 더 포함할 수 있다.
이상 설명한 센싱방법에 따라 카메라와 접촉하는 객체(예를 들어 손가락)의 터치 세기가 결정될 수 있다. 특히 통화 중이거나, 터치스크린으로의 단말 조작이 곤란한 경우, 사용자는 후방에 구비된 카메라를 터치함으로써 사용자 단말을 제어할 수 있다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말의 제어방법의 단계도이다.
도 11을 참조하면, 사용자 단말의 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석된다(S210). 상기 이미지 변수는 상술한 바와 같으므로, 이하 생략한다.
이후, 상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치 여부 및 그 강도가 결정된다(S220). 예를 들어 밝은 휘도인 경우, 손가락으로 카메라를 세게 누르는 것으로 결정될 수 있으며, 어두운 휘도인 경우, 그 반대로 결정될 수 있다.
이후, 본 발명에 따른 제어방법 및 제어장치는 상기 분석된 터치강도에 대응하는 상기 사용자 단말에 대한 제어 명령을 수행한다(S230). 예를 들어 통화 중 또 다른 전화가 수신되는 경우, 후면에 구비된 카메라를 터치함으로써 상기 또 다른 전화 송신자에게 통화중인 메시지를 전송할 수 있다. 특히 별도로 터치스크린을 보고 조작하는 종래 기술과 달리, 본 발명은 후면 카메라를 터치함으로써 그 터치 여부와 강도를 센싱하며, 이로써 단말을 효과적으로 제어, 조작할 수 있다. 특히 일반적인 터치와 달리 사용자가 의도적으로 힘을 가하여 카메라를 터치하는지 여부는 이러한 기능을 수행하는데 있어 매우 중요한데, 본 발명은 단순한 터치 여부뿐만 아니라 특정 강도 이상의 터치 세기를 센싱하여, 이를 사용자 단말의 제어에 이용할 수 있다.
본 발명에 따른 상기 사용자 단말 센싱장치, 제어장치 등은 휴대전화와 같은 사용자 단말에서 사용될 수 있으며, 따라서 본 발명의 범위는 이러한 사용자 단말에도 미친다. 또한, 이상에서 전술한 바와 같은 센싱방법/제어방법은, 이를 수행하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
더 나아가, 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 사용자 단말 센싱방법, 센싱장치, 제어방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발 명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다

Claims (20)

  1. 카메라를 구비한 사용자 단말의 센싱장치로서,
    상기 카메라가 촬상한 객체의 이미지 변수를 분석하는 이미지분석부(110); 및
    상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치여부 및 강도를 결정하는 터치결정부(120)를 포함하는 것을 특징으로 하며,
    상기 이미지 변수는 상기 객체를 통하여 상기 카메라로 투과되는 빛의 투과율에 따라 가변되는 변수인 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  2. 제 1항에 있어서,
    상기 객체는 상기 사용자 단말의 입력 수단이며, 상기 사용자 단말의 입력 수단은 상기 카메라와 접촉하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나인 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  6. 제 5항에 있어서, 상기 터치결정부(120)는,
    상기 이미지분석부(110)에 의하여 분석된 이미지 변수가, 상기 객체를 통하여 상기 카메라로 투과되는 빛이 증가하는 패턴을 보이는 경우, 상기 사용자 단말에 대한 상기 객체의 터치강도가 높은 것으로 결정하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  7. 제 6항에 있어서,
    상기 변수는 이미지의 휘도이며, 상기 이미지의 휘도가 밝을수록, 상기 터치결정부(120)는, 상기 사용자 단말에 대한 상기 객체의 터치강도가 강한 것으로 결정하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  8. 제 1항에 있어서, 상기 카메라를 구비한 사용자 단말의 센싱장치는,
    상기 이미지분석부(110)에 의하여 분석된 이미지 변수에 따라, 상기 카메라가 촬상한 객체의 회전 정도를 결정하는 회전결정부(130)를 더 포함하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  9. 제 8항에 있어서, 상기 회전결정부(130)는,
    상기 이미지분석부(110)에 의하여 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전각을 결정하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  10. 제 1항에 있어서,
    상기 이미지분석부(110)는 상기 이미지의 전체 또는 일부 픽셀에 대하여 상기 이미지 변수를 분석하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱장치.
  11. 제 1항, 제2항, 제5항 내지 제 10항 중 어느 한 항에 따른 카메라를 구비한 사용자 단말의 센싱장치를 포함하는 사용자 단말.
  12. 카메라를 구비한 사용자 단말의 센싱방법으로,
    상기 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석되는 단계;
    상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치강도가 결정되는 단계를 포함하는 것을 특징으로 하며,
    상기 객체는 상기 카메라와 접촉하며, 상기 이미지 변수는 상기 객체를 투과하는 빛의 투과율에 따라 가변되는 변수인 것을 특징으로 하는 카메라를 구비한 사용자 단말의 센싱방법.
  13. 삭제
  14. 제 12항에 있어서,
    상기 이미지 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나인 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱방법.
  15. 제 14항에 있어서, 상기 카메라를 구비한 사용자 단말의 센싱방법은,
    상기 분석된 이미지 변수의 방향 패턴에 따라 상기 객체의 회전각이 결정되는 단계를 더 포함하는 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 센싱방법.
  16. 제 12항, 제 14항, 제15항 중 어느 한 항에 따른 카메라를 구비한 사용자 단말의 센싱방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
  17. 카메라를 구비한 사용자 단말의 제어방법으로,
    상기 카메라가 촬상한 객체의 이미지의 이미지 변수가 분석되는 단계;
    상기 분석된 이미지 변수에 따라 상기 사용자 단말에 대한 상기 객체의 터치강도가 결정되는 단계; 및
    상기 분석된 터치강도에 대응하는 상기 사용자 단말에 대한 제어 명령이 수행되는 단계를 포함하는 것을 특징으로 하며,
    상기 객체는 상기 카메라와 접촉하며, 상기 이미지 변수는 상기 객체를 투과하는 빛의 투과량에 의하여 가변되는 변수인 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 제어방법.
  18. 삭제
  19. 제 17항에 있어서,
    상기 이미지 변수는 상기 촬상된 객체 이미지의 휘도, 휘도 분포, 색상 톤, 특정 색의 양, 특정 색의 분포, 조도 및 광도 중 어느 하나인 것을 특징으로 하는, 카메라를 구비한 사용자 단말의 제어방법.
  20. 제 17항, 제19항 중 어느 한 항에 따른 카메라를 구비한 사용자 단말의 제어방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
KR1020120103450A 2012-09-18 2012-09-18 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법 KR101390090B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120103450A KR101390090B1 (ko) 2012-09-18 2012-09-18 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법
US13/854,244 US9348432B2 (en) 2012-09-18 2013-04-01 Transmittance based sensor
US13/932,072 US20140078110A1 (en) 2012-09-18 2013-07-01 Sensing apparatus for user terminal using camera, sensing method for the same and controlling method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103450A KR101390090B1 (ko) 2012-09-18 2012-09-18 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법

Publications (2)

Publication Number Publication Date
KR20140036832A KR20140036832A (ko) 2014-03-26
KR101390090B1 true KR101390090B1 (ko) 2014-05-27

Family

ID=50273935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103450A KR101390090B1 (ko) 2012-09-18 2012-09-18 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법

Country Status (2)

Country Link
US (2) US9348432B2 (ko)
KR (1) KR101390090B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616450B1 (ko) * 2014-06-09 2016-05-11 (주) 펀매직 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체
WO2016114536A1 (en) * 2015-01-13 2016-07-21 Samsung Electronics Co., Ltd. Camera activation and illuminance
CN110986917B (zh) * 2016-06-13 2021-10-01 原相科技股份有限公司 轨迹感测系统及其轨迹感测方法
KR20210070528A (ko) * 2019-12-05 2021-06-15 삼성전자주식회사 광학적 객체 인식을 이용한 반셔터 기능 수행 방법 및 이를 이용한 영상 촬영 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066364A (ko) * 2009-12-11 2011-06-17 양홍천 멀티 터치 스크린의 터치 강도 인식 장치
KR20110101995A (ko) * 2010-03-10 2011-09-16 전남대학교산학협력단 터치 및 터치 제스처 인식 시스템
KR101117289B1 (ko) 2010-08-23 2012-03-20 한국과학기술원 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기
KR20120050695A (ko) * 2010-11-11 2012-05-21 한국과학기술원 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4970499A (en) * 1998-07-07 2000-01-24 Lightouch Medical, Inc. Tissue modulation process for quantitative noninvasive in vivo spectroscopic analysis of tissues
JP5130885B2 (ja) * 2007-12-03 2013-01-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8730169B2 (en) * 2009-10-29 2014-05-20 Pixart Imaging Inc. Hybrid pointing device
KR100995130B1 (ko) 2008-06-09 2010-11-18 한국과학기술원 터치 센서와 가속도 센서를 이용한 사용자의 터치패턴 인식시스템
JP5181853B2 (ja) * 2008-06-12 2013-04-10 富士通株式会社 ガイダンス方法、その装置、そのプログラム及び機器
JP4796104B2 (ja) 2008-08-29 2011-10-19 シャープ株式会社 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体
KR20110107143A (ko) * 2010-03-24 2011-09-30 삼성전자주식회사 멀티 입력을 이용한 휴대단말의 기능 제어 방법 및 장치
US9176539B2 (en) * 2012-11-10 2015-11-03 Ebay Inc. Key input using an active pixel camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066364A (ko) * 2009-12-11 2011-06-17 양홍천 멀티 터치 스크린의 터치 강도 인식 장치
KR20110101995A (ko) * 2010-03-10 2011-09-16 전남대학교산학협력단 터치 및 터치 제스처 인식 시스템
KR101117289B1 (ko) 2010-08-23 2012-03-20 한국과학기술원 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기
KR20120050695A (ko) * 2010-11-11 2012-05-21 한국과학기술원 영상 기반 터치강도 측정방법, 장치, 이를 위한 기록매체 및 이를 포함하는 모바일 기기

Also Published As

Publication number Publication date
US20140078110A1 (en) 2014-03-20
US9348432B2 (en) 2016-05-24
US20140078041A1 (en) 2014-03-20
KR20140036832A (ko) 2014-03-26

Similar Documents

Publication Publication Date Title
US11747958B2 (en) Information processing apparatus for responding to finger and hand operation inputs
US8803820B2 (en) Touch detection device, electronic device and recording medium
US9250790B2 (en) Information processing device, method of processing information, and computer program storage device
US7969410B2 (en) Optically detecting click events
US10915750B2 (en) Method and device for searching stripe set
US20090164930A1 (en) Electronic device capable of transferring object between two display units and controlling method thereof
JP5300859B2 (ja) 撮像装置、表示撮像装置および電子機器
US9519365B2 (en) Display control apparatus and control method for the same
KR101390090B1 (ko) 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법
CN105144034B (zh) 利用被动式传感器启动非触摸式手势控制的便携式设备
CN110100251A (zh) 用于处理文档的设备、方法和图形用户界面
US11132528B2 (en) Information processing method and electronic device
JP2010055573A (ja) 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体
KR20100098726A (ko) 이미지 센서를 사용하는 터치 사용자 인터페이스를 위한 장치 및 방법
CN105094419B (zh) 手套触摸检测
CN110618852B (zh) 视图处理方法、视图处理装置及终端设备
US20150062436A1 (en) Method for video recording and electronic device thereof
CN109040729B (zh) 图像白平衡校正方法、装置、存储介质及终端
CN110865765A (zh) 终端及地图控制方法
US20190258325A1 (en) Mid-air finger pointing detection for device interaction
TWI476381B (zh) 環境光偵測裝置與方法、及使用此環境光偵測裝置之互動式裝置
US9632613B2 (en) Display control apparatus and control method of display control apparatus for reducing a number of touch times in a case where a guidance is not displayed as compared with a case where the guidance is displayed
CN111193874A (zh) 图像的显示参数调整方法及移动终端
CN105574854B (zh) 确定图像单一性的方法及装置
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 6