KR20110136268A - Single input interface method based the facial gestures cognition and system thereof - Google Patents

Single input interface method based the facial gestures cognition and system thereof Download PDF

Info

Publication number
KR20110136268A
KR20110136268A KR1020100056147A KR20100056147A KR20110136268A KR 20110136268 A KR20110136268 A KR 20110136268A KR 1020100056147 A KR1020100056147 A KR 1020100056147A KR 20100056147 A KR20100056147 A KR 20100056147A KR 20110136268 A KR20110136268 A KR 20110136268A
Authority
KR
South Korea
Prior art keywords
image
displacement value
user
computers
pattern
Prior art date
Application number
KR1020100056147A
Other languages
Korean (ko)
Other versions
KR101194259B1 (en
Inventor
최새솔
윤원근
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100056147A priority Critical patent/KR101194259B1/en
Publication of KR20110136268A publication Critical patent/KR20110136268A/en
Application granted granted Critical
Publication of KR101194259B1 publication Critical patent/KR101194259B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A single input interface method based on facial gestures cognition and a system thereof are provided to control the computer without an additional setting by extracting the intention of a user who desires to use a specific computer while controlling the computers. CONSTITUTION: A deviation calculating module(120) outputs a synchronizing signal by comparing the current image of a user and previous image which is a front facial image of a user. An interface activator(130) outputs a system enable signal by receiving the synchronizing signal. The distance calculating module includes an image pattern recognizer and distance calculating unit which detects the image pattern of previous and current image which is received from a camera. The distance calculating unit calculates the distance value corresponding to a detection result by detecting a pattern change between the previous and current image. If the distance value does not have difference, the distance value calculating unit outputs the synchronizing signal.

Description

얼굴방향 인식기반의 단일 입력 인터페이스 방법 및 이를 이용한 시스템{single Input interface method based the facial gestures cognition and System thereof} Single input interface method based the facial gestures cognition and System approximately}

본 발명은 컴퓨터 시스템에 관한 것으로, 보다 상세하게는 사용자 얼굴방향 인식 기반의 단일 입력 인터페이스 방법 및 이를 이용한 시스템에 관한 것이다.
The present invention relates to a computer system, and more particularly, to a single input interface method and a system using the same based on face recognition of a user.

기존에 사용자가 2대 이상의 컴퓨터 또는 모바일 개인장치를 사용하는 경우 장치마다 개별 입력장치가 따로 존재하는 경우가 많았다. 예를 들어 하나의 데스크탑 컴퓨터와 노트북 컴퓨터를 한 사용자가 동시에 사용하는 경우 기존에는 각각 서로 다른 마우스와 키보드를 가지고 사용하였다. 이렇기 때문에 기존의 사용자들은 2대의 컴퓨터에서 작업을 번갈아 가면서 할 경우 각각 서로 다른 2개의 마우스와 키보드를 번갈아 가면서 사용해야 하는 불편함이 존재하였다.In the past, when a user uses two or more computers or mobile personal devices, each input device has a separate input device. For example, when a user uses a desktop computer and a notebook computer at the same time, they have used different mice and keyboards. For this reason, existing users had to use two computers and two different mouse and keyboard alternately when working alternately on two computers.

한편, 이러한 점을 해결하기 위해 하나의 마우스와 키보드로 2대 이상의 컴퓨터를 제어할 수 있는 장치가 제안되었으나, 사용자가 어떤 컴퓨터를 사용할 것인지에 대한 의도에 따라 둘 중 하나의 컴퓨터 인터페이스를 활성화 또는 비활성화시키는 자동 인식 시스템의 부재로 인해 사용자가 불편함을 겪어 왔다.
In order to solve this problem, a device capable of controlling two or more computers with one mouse and a keyboard has been proposed, but it is possible to activate or deactivate one of the computer interfaces depending on the intention of which computer the user uses. The lack of an automatic recognition system has caused inconvenience to the user.

본 발명이 해결하고자 하는 과제는 카메라로부터 얻은 영상처리정보를 통하여 사용자의 얼굴 방향 인식에 따른 특정 컴퓨터를 분별해 내고, 이에 따라 컴퓨터의 입력 인터페이스의 기능을 활성화킬 수 있는 얼굴방향 인식 기반의 단일 입력 인터페이스 방법, 장치 및 이를 이용한 시스템을 제공하는 것이다.
The problem to be solved by the present invention is to identify the specific computer according to the user's face direction recognition through the image processing information obtained from the camera, and accordingly face input recognition-based single input that can activate the function of the input interface of the computer An interface method, an apparatus, and a system using the same are provided.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 얼굴방향 인식기반의 단일 입력 인터페이스 방법은 다수의 컴퓨터들 각각에 저장된 이전 영상(사용자 정면 얼굴 영상)과 카메라로부터 전송된 현재 영상(사용자의 실시간 움직임에 따른 영상)을 비교하고 비교결과에 기초하여 패턴변화를 검출하고 검출 결과에 따른 동기화 신호를 출력하는 수신 비교 단계, 상기 동기화 신호에 기초하여 다수의 컴퓨터들 중 어느 하나를 활성화시키는 활성화 단계 및 상기 활성화된 컴퓨터에 무선으로 연동되는 단일 입력장치를 동기화시키는 동기화 단계를 포함한다.
In the single input interface method based on face direction recognition according to an embodiment of the present invention for solving the above problems, the previous image stored in each of a plurality of computers (the front face image of the user) and the current image transmitted from the camera (the real-time movement of the user) And a step of comparing and detecting a pattern change based on the comparison result and outputting a synchronization signal according to the detection result, an activation step of activating any one of a plurality of computers based on the synchronization signal, and And a synchronization step of synchronizing a single input device wirelessly linked to the activated computer.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 얼굴방향 인식 기반의 단일 입력 인터페이스 방법을 이용한 이미지 센서는 사용자 정면 얼굴 영상인 이전 영상과 사용자의 실시간 움직임에 따른 현재 영상을 비교하여 비교결과 값에 따라 동기화 신호를 출력하는 변위값 산출모듈 및 상기 변위값 산출모듈로부터 동기화 신호를 수신받아 시스템 인에이블 신호를 출력하는 인터페이스 활성화부를 포함한다.According to an embodiment of the present invention, an image sensor using a single input interface method based on face direction recognition according to an embodiment of the present invention compares a previous image, which is a front face image of a user, with a current image according to a user's real-time movement, and compares the result with a value of the comparison result. According to the displacement value calculation module for outputting a synchronization signal and the interface activation unit for receiving a synchronization signal from the displacement value calculation module and outputs a system enable signal.

상기 변위값 산출모듈은 카메라로부터 수신되어 저장된 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부 및 상기 이전 영상과 현재 영상 사이의 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출하여 검출 결과와 변위값의 차이가 없을 경우 동기화 신호를 출력하는 변위값 산출부를 포함한다.
The displacement value calculation module is configured to detect an image pattern of an image pattern of a previous image and an image pattern of a previous image received from a camera, and detect a pattern change between the previous image and the current image and detect a displacement value corresponding to the detection result. And calculating a displacement value and outputting a synchronization signal when there is no difference between the detection result and the displacement value.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 얼굴방향 인식 기반의 단일 입력 인터페이스 방법을 이용한 컴퓨터 시스템은 이미지 센서를 포함하는 다수의 컴퓨터들, 상기 다수의 컴퓨터들 각각과 무선으로 연계된 단일 입력장치, 상기 다수의 컴퓨터들과 상기 단일 입력장치와 연동되는 무선 인터페이스를 포함하며, 상기 이미지 센서는 사용자 정면 얼굴 영상인 이전 영상과 사용자의 실시간 움직임에 따른 현재 영상을 비교하여 비교결과 값에 따라 동기화 신호를 출력하는 변위값 산출모듈 및 상기 변위값 산출모듈로부터 동기화 신호를 수신받아 시스템 인에이블 신호를 출력하는 인터페이스 활성화부를 포함한다.
A computer system using a single input interface method based on face recognition according to an embodiment of the present invention for solving the above problems includes a plurality of computers including an image sensor and a single input wirelessly associated with each of the plurality of computers. And a wireless interface interworking with the plurality of computers and the single input device, wherein the image sensor compares the previous image, which is the front face image of the user, with the current image according to the real-time movement of the user, and synchronizes according to the comparison result value. A displacement value calculation module for outputting a signal and an interface activation unit for receiving a synchronization signal from the displacement value calculation module and outputs a system enable signal.

상기 변위값 산출모듈은 카메라로부터 수신되어 저장된 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부 및 상기 이전 영상과 현재 영상 사이의 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출하여 검출 결과와 변위값의 차이가 없을 경우 동기화 신호를 출력하는 변위값 산출부를 포함한다.
The displacement value calculation module is configured to detect an image pattern of an image pattern of a previous image and an image pattern of a previous image received from a camera, and detect a pattern change between the previous image and the current image and detect a displacement value corresponding to the detection result. And calculating a displacement value and outputting a synchronization signal when there is no difference between the detection result and the displacement value.

상기한 바와 같이 본 발명에 따른 다수의 컴퓨터 및 모바일 개인장치 제어를 위한 얼굴방향 인식기반 단일 입력 인터페이스 장치 및 방법에 의하면 기존 다수의 컴퓨터를 제어할 때 특정한 컴퓨터를 사용하려는 사용자의 의도를 추출하는 방법을 통해 추가적인 세팅 없이도 원하는 컴퓨터를 단일 입력 장치로 제어할 수 있는 효과가 있다.As described above, according to the present invention, a method for extracting a user's intention to use a specific computer when controlling a plurality of computers is provided by a single input interface device and method based on face recognition for controlling a plurality of computers and mobile personal devices. This allows you to control the computer of your choice with a single input device without additional settings.

또한 단일 입력장치로 다수의 컴퓨터 중에서 사용자가 이용하기를 원하는 특정 컴퓨터를 활성화시켜 제어할 수 있기 때문에 비용절감 효과가 있다.In addition, since a single input device can activate and control a specific computer that a user wants to use among a plurality of computers, it is cost effective.

또한 추가적인 세팅 없이 사용자의 얼굴 방향 인식만을 통해서 사용자가 이용하고 싶어 하는 컴퓨터의 입력 인터페이스 기능을 활성화시키기 때문에 시간 절감 효과가 있다.In addition, it saves time because it activates the input interface function of the computer that the user wants to use by only recognizing the user's face without any additional setting.

또한 최신 데스크톱 컴퓨터와 노트북 컴퓨터에는 카메라가 일체형으로 생상되는 추세가 있기 때문에 추가적인 영상 카메라의 설치 없이 특정 컴퓨터를 이용하려는 사용자의 의도를 추출할 수 있는 효과가 있다.In addition, since the latest desktop computers and notebook computers have a tendency to integrate cameras, it is possible to extract a user's intention to use a specific computer without installing an additional video camera.

또한 최근 터치 스크린 기반의 모바일 개인 단말 장치의 보급 증대로 인해 기존 PC와의 동시사용 및 연도이 잦아지고 있는 상황에서 본 발명은 터치 스크린 기반 모바일 개인장치의 입력 인터페이스의 사용성 한계를 해결하는 데에도 일조할 수 있다.In addition, the present invention can also help to solve the limitations of the usability of the input interface of the touch screen-based mobile personal device due to the recent increase in the spread of the touch screen-based mobile personal terminal device and the simultaneous use and year with the existing PC. have.

상기와 같은 효과에 의해 사용자의 얼굴 방향인식을 통해 사용 의도를 갖는 특정 컴퓨터의 입력 인터페이스기능을 자동을 활성화시키고, 단일의 입력 장치를 동기화함으로, 다수의 컴퓨터를 단일 입력장치로 이음새 없이 자연스럽게 연동하여 사용할 수 있기에 기존의 시스템의 세팅 비용과 절감, 업무 효율성 증대를 가져다 줄 수 있다.
By activating the input interface function of a specific computer intended to be used by the user's face recognition by the above effects, and synchronizing a single input device, by seamlessly interlocking multiple computers to a single input device Because it can be used, it can reduce the setting cost of the existing system, and increase the work efficiency.

도 1은 본 발명의 실시 예에 따른 사용자 얼굴방향 인식기반의 단일 입력장치 시스템을 나타낸 블럭도이다.
도 2는 도 1에 도시된 다수의 컴퓨터들 각각에 포함된 이미지 센서를 구체적으로 나타낸 예시도이다.
도 3은 도 2에 도시된 변위값 산출모듈을 구체적으로 나타낸 예시도이다.
도 4는 본 발명의 실시 예에 따른 얼굴방향 인식기반의 단일 입력 인터페이스 방법을 설명하기 위한 플로우 차트이다.1 is a block diagram illustrating a single input device system based on face recognition of a user according to an exemplary embodiment of the present invention.
FIG. 2 is an exemplary view illustrating in detail an image sensor included in each of the plurality of computers illustrated in FIG. 1.
3 is an exemplary view showing in detail the displacement calculation module shown in FIG.
4 is a flowchart illustrating a single input interface method based on face direction recognition according to an exemplary embodiment of the present invention.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.Specific structural and functional descriptions of embodiments according to the concepts of the present invention disclosed in this specification or application are merely illustrative for the purpose of illustrating embodiments in accordance with the concepts of the present invention, The examples may be embodied in various forms and should not be construed as limited to the embodiments set forth herein or in the application.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to specific forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof that is implemented, and that one or more other features or numbers are present. It should be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 사용자 얼굴방향 인식기반의 단일 입력장치 시스템을 나타낸 블럭도이다.      1 is a block diagram illustrating a single input device system based on face recognition of a user according to an exemplary embodiment of the present invention.

도 1을 참조하면, 다수의 컴퓨터들(100), 단일 입력장치(300), 및 인터페이스(200)를 포함한다.Referring to FIG. 1, a plurality of computers 100, a single input device 300, and an interface 200 are included.

다수의 컴퓨터들 각각은(110) 카메라(112) 및 이미지 센서(111)를 포함하며, 카메라(112)라로부터 전송된 사용자의 얼굴 영상 예컨대, 사용자의 정면 얼굴 영상을 수신하여 저장하며, 사용자의 실시간 움직임에 따른 사용자의 얼굴 영상(Input)을 수신하여 이전 영상과의 비교결과 값에 따라 활성화된다. Each of the plurality of computers 110 includes a camera 112 and an image sensor 111, and receives and stores a face image of the user, for example, a front face image of the user, transmitted from the camera 112. Receives a face image (Input) of the user according to the real-time movement and is activated according to the comparison result with the previous image.

이때, 다수의 컴퓨터들 각각은(110) 사용자의 정면 얼굴 영상에 기반하여 활성화 되며, 활성화된 컴퓨터(110)는 인터페이스(200) 예컨대, 입력 인터페이스를 통해 단일 입력장치(300)와의 동기화 과정을 수행할 수 있다.In this case, each of the plurality of computers 110 is activated based on the front face image of the user, and the activated computer 110 performs a synchronization process with the single input device 300 through the interface 200, for example, an input interface. can do.

또한, 다수의 컴퓨터들 각각(110)은 인터페이스를 통해 서로의 활성화 상태를 감지할 수 있다, 따라서, 활성화된 컴퓨터(110)는 다수의 컴퓨터들 중 어느 하나가 활성화될때 까지 활성화 상태를 유지하며, 만약, 다수의 컴퓨터들 중 어느 하나가 사용자의 정면 얼굴 영상이 인지될 경우, 활성화된 컴퓨터(110)는 비활성화되며, 새롭게 인지된 컴퓨터가 활성화된다.In addition, each of the plurality of computers 110 may detect the activation state of each other through the interface, therefore, the activated computer 110 remains active until any one of the plurality of computers is activated, If any one of the plurality of computers recognizes the front face image of the user, the activated computer 110 is deactivated and the newly recognized computer is activated.

이때, 다수의 컴퓨터들 각각(110)은 휴대용단말기, 휴대인터넷장치(Mobile Internet Device), MP3, MP4, PMP(Portable Multimedia Player), 노트북 컴퓨터, UMPC(Ultra Mobile PC), 또는 PC(personal computer), 휴대전화(cellular phone), 스마트폰, 또는 PDA(personal digital assistants)와 같은 각종 전자장치가 될 수 있다.At this time, each of the plurality of computers 110 is a portable terminal, a mobile Internet device (Mobile Internet Device), MP3, MP4, PMP (Portable Multimedia Player), notebook computer, UMPC (Ultra Mobile PC), or PC (personal computer) Or various electronic devices such as cellular phones, smart phones, or personal digital assistants (PDAs).

단일 입력장치(300)는 다수의 컴퓨터들 각각(110)과 무선으로 연결된 무선 마우스, 무선 키보드 등 일 수 있다. The single input device 300 may be a wireless mouse, a wireless keyboard, or the like wirelessly connected to each of the plurality of computers 110.

인터페이스(200)는 무선 인터페이스 및 입력 인터페이스를 포함할 수 있다. 다수의 컴퓨터들 각각(110)은 인터페이스(200)를 이용하여 단일 입력장치(300)와 무선으로 접속할 수 있는 통신 방법을 포함할 수 있다. 예컨대, 통신 방법으로는 지그비(zigbee), UART, 블루투스 등을 포함할 수 있다. The interface 200 may include a wireless interface and an input interface. Each of the plurality of computers 110 may include a communication method for wirelessly connecting to the single input device 300 using the interface 200. For example, the communication method may include a zigbee, a UART, a Bluetooth, or the like.

참고로, 지그비(Zigbee)는 근거리 무선 네트워크 표준 중 하나로 가정, 사무실 등의 장소나 국소 지역에서 근거리 통신과 유비쿼터스 컴퓨팅(Ubiquitous computing)을 구현하기 무선 사설망(Wireless Personal Area Networks, 이하 'WPAN'이라 함) 기술의 하나이다.For reference, Zigbee is one of the short-range wireless network standards.Wireless Personal Area Networks (WPANs) to implement near field communication and ubiquitous computing in places such as homes, offices, and local areas. ) Is one of the technologies.

지그비(Zigbee)는 무선 랜이나 블루투스와 비교할 때, 전력 소비가 적기 때문에 배터리 수명이 길며, 프로토콜이 간단하기 때문에 하드웨어 구성이 간단하고, 가격 경쟁력 또한 우수하다. 지그비 통신 기기는 최대 200m 안에서 250Kbps의 속도로 데이터를 전송할 수 있으며, 망형(mesh) 네트워크 구조를 이용하면 하나의 무선 네트워크에 약 65000대의 기기를 연결할 수 있다.
Zigbee has lower power consumption compared to wireless LAN and Bluetooth, resulting in longer battery life, simple protocol, and simple hardware configuration. ZigBee communication devices can transmit data at speeds up to 250Kbps within 200m, and a mesh network structure can connect about 65,000 devices to a single wireless network.

도 2는 도 1에 도시된 다수의 컴퓨터들 각각에 포함된 이미지 센서를 구체적으로 나타낸 예시도이다.FIG. 2 is an exemplary view illustrating in detail an image sensor included in each of the plurality of computers illustrated in FIG. 1.

도 1 및 도 2를 참조하면, 이미지 센서(111)는 변위값 산출모듈(120) 및 인터페이스 활성화부(130)를 포함한다.1 and 2, the image sensor 111 includes a displacement value calculation module 120 and an interface activator 130.

변위값 산출모듈(120)은 메모리(미도시)를 포함할 수 있으며, 카메라(112)로부터 실시간 전송되는 사용자 얼굴 영상 예컨대, 사용자의 정면 얼굴 영상을 수신하여 이전 영상 신호로 저장한다. The displacement value calculation module 120 may include a memory (not shown), and receives a user face image, for example, a front face image of the user, transmitted from the camera 112 in real time and stores the image as a previous image signal.

이때, 변위값 산출모듈(120)은 카메라(112)로부터 실시간 전송되는 사용자 얼굴 영상 신호를 수신하여 이전 영상 신호와 비교하고 그 비교 결과값에 차이가 없을 경우 동기화 신호(SYN)를 출력한다. In this case, the displacement value calculation module 120 receives the user face image signal transmitted from the camera 112 in real time, compares it with a previous image signal, and outputs a synchronization signal SYN when there is no difference in the comparison result value.

보다 구체적으로, 변위값 산출모듈(125)은 카메라(112)로부터 전송된 사용자 얼굴 영상에 기초하여 카메라(112)로부터 전송되는 사용자 얼굴 영상의 패턴변화를 검출하고 검출된 패턴변화에 상응하는 변위 값에 따라 동기화 신호(SYN)를 출력한다.More specifically, the displacement value calculating module 125 detects a pattern change of the user face image transmitted from the camera 112 based on the user face image transmitted from the camera 112, and the displacement value corresponding to the detected pattern change. Outputs a synchronization signal SYN.

변위값 산출모듈(125)은 메모리(미도시)에 저장된 이전 영상(사용자의 정면 얼굴 영상)과 사용자의 움직임에 따라 실시간 변화되는 사용자의 얼굴 영상을 수신하여 비교하고, 비교 결과값에 차이가 없을 경우, 동기화 신호(SYN)를 출력한다.The displacement value calculating module 125 receives and compares the previous image (front face image of the user) stored in the memory (not shown) with the face image of the user that changes in real time according to the user's movement, and there is no difference in the comparison result value. If so, the synchronization signal SYN is output.

변위값 산출모듈(120)은 소프트웨어(S/W), 하드웨어(H/W), 또는 이들의 조합으로 이뤄질 수 있으며, 카메라(112)의 모듈 내부에 내장될 수 있고, 별도의 칩 셋으로 구현될 수도 있다.Displacement value calculation module 120 may be made of software (S / W), hardware (H / W), or a combination thereof, may be embedded in the module of the camera 112, implemented as a separate chip set May be

한편, 변위값 산출모듈(120)은 소정의 시간 주기에 따라 영상의 패턴변화를 검출하고 검출된 패턴 변화에 상응하는 변위 값을 산출할 수도 있다. Meanwhile, the displacement value calculation module 120 may detect a pattern change of an image according to a predetermined time period and calculate a displacement value corresponding to the detected pattern change.

인터페이스 활성화부(130)는 변위값 산출모듈로(120)부터 전송된 동기화 신호(SYN)를 수신받아, 컴퓨터를 활성화시키는 시스템 인에이블 신호(SYS-EN)를 출력한다.
The interface activation unit 130 receives the synchronization signal SYN transmitted from the displacement value calculation module 120 and outputs a system enable signal SYS-EN for activating a computer.

도 3은 도 2에 도시된 변위값 산출모듈을 구체적으로 나타낸 예시도이다.3 is an exemplary view showing in detail the displacement calculation module shown in FIG.

보다 구체적으로, 도 3을 참조하면, 변위값 산출모듈(120)은 영상 패턴 인식부(121) 및 변위값 산출부(122)를 포함할 수 있다.More specifically, referring to FIG. 3, the displacement value calculation module 120 may include an image pattern recognition unit 121 and a displacement value calculation unit 122.

영상 패턴 인식부(121) 및 상기 변위값 산출부(122) 각각은 H/W , S/W, 또는 이들의 조합으로 이뤄질 수 있다.Each of the image pattern recognizer 121 and the displacement calculator 122 may be formed of H / W, S / W, or a combination thereof.

영상 패턴 인식부(121)는 카메라(112)로부터 수신되어 저장된 이전 영상(예컨대, 사용자의 정면 얼굴 영상)의 영상 패턴과 현재 영상(실시간 입력되는 사용자의얼굴 영상: Input)의 영상 패턴을 검출할 수 있다. The image pattern recognition unit 121 may detect an image pattern of a previous image (eg, a front face image of the user) received from the camera 112 and an image pattern of a current image (a user's face image input in real time). Can be.

예컨대, 영상 패턴 인식부(121)는 이전 영상(사용자의 정면 얼굴 영상)과 현재 영상(사용자의 움직임에 따른 실시간 얼굴 영상:Input) 각각을 구성하는 픽셀들(pixels) 각각의 픽셀 값을 영상패턴으로서 검출할 수 있다.For example, the image pattern recognition unit 121 may display image values of pixel values of pixels constituting each of the previous image (front face image of the user) and the current image (real-time face image: input according to the movement of the user). Can be detected as.

변위값 산출부(122)는 이전 영상(사용자의 정면 얼굴 영상)과 현재 영상 사이의 패턴변화를 검출하고 검출결과에 상응하는 변위 값을 산출하고, 이때, 검출 결과와 변위값의 차이가 없을 경우 동기화 신호(SYN)를 출력한다.
The displacement value calculator 122 detects a pattern change between the previous image (front face image of the user) and the current image and calculates a displacement value corresponding to the detection result. In this case, when there is no difference between the detection result and the displacement value Outputs a synchronization signal SYN.

도 4는 본 발명의 실시예에 따른 얼굴방향 인식기반의 단일 입력 인터페이스 방법을 설명하기 위한 플로우 차트이다.4 is a flowchart illustrating a single input interface method based on face direction recognition according to an exemplary embodiment of the present invention.

도 4를 참조하면, 얼굴방향 인식기반의 단일 입력 인터페이스 방법은 수신 단계(S10) 및 활성화 단계(S20)를 포함한다.Referring to FIG. 4, the single direction input interface method based on face direction recognition includes a receiving step S10 and an activating step S20.

수신 비교단계(S10)는 카메라(112)라로부터 전송된 이전 영상(사용자 정면 얼굴 영상)과 현재 영상(사용자의 움직임에 따른 얼굴 영상(Input)을 비교하고 비교결과에 기초하여 패턴변화를 검출하고 검출결과와 상응하는 상기 변위 값을 산출한다. 이후, 카메라(112)로부터 수신되어 저장된 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출한다.
The reception comparison step S10 compares the previous image (the front face image of the user) transmitted from the camera 112 and the current image (the face image according to the movement of the user) and detects the pattern change based on the comparison result. The displacement value corresponding to the detection result is calculated, and then the image pattern of the previous image received from the camera 112 and the image pattern of the current image are detected.

그리고 나서, 검출결과와 상응하는 변위 값을 산출하여 검출 결과와 변위값의 차이가 없을 경우 동기화 신호(SYN)를 출력하는 단계일 수 있다.Thereafter, a displacement value corresponding to the detection result may be calculated to output a synchronization signal SYN when there is no difference between the detection result and the displacement value.

활성화 단계(S20)는 동기화 신호가 생성된 다수의 컴퓨터들 중 적어도 하나를 활성화시키는 단계일 수 있다.The activation step S20 may be a step of activating at least one of the plurality of computers for which the synchronization signal is generated.

즉, 변위값 산출모듈로(120)부터 전송된 동기화 신호(SYN)를 수신하여 컴퓨터를 활성화시키는 인에이블 신호(EN)를 출력하는 단계일 수 있다.That is, it may be a step of receiving the synchronization signal SYN transmitted from the displacement value calculation module 120 and outputting the enable signal EN for activating the computer.

동기화 단계(S30)는 사용자의 얼굴 영상에 기반하여 활성화된 컴퓨터(110)에 무선으로 연동되는 단일 입력장치(300)를 동기화시키는 단계일 수 있다.
The synchronization step S30 may be a step of synchronizing a single input device 300 that is wirelessly linked to the activated computer 110 based on the face image of the user.

본 발명에 따르면, 사용자의 얼굴 방향 인식을 통해 사용의도를 갖는 특정 컴퓨터의 입력 인터페이스 기능을 자동으로 활성화 시키고, 단일 입력장치만으로도 다수의 컴퓨터를 자연스럽게 연동하여 사용할 수 있어 업무의 효율성 증대를 가져올 수 있다.According to the present invention, the user can automatically activate the input interface function of a specific computer having the intention of using the user's face direction recognition, and a plurality of computers can be naturally linked with a single input device, thereby increasing work efficiency. have.

또한, 최신 데스크톱 컴퓨터와 노트북 컴퓨터에는 카메라가 일체형으로 생산되는 추세이기 때문에 추가적인 영상 카메라의 설치 없이 특정 컴퓨터를 이용하려는 사용자의 의도를 추출할 수 있다.
In addition, since the latest desktop computers and notebook computers have a built-in camera, it is possible to extract a user's intention to use a specific computer without installing an additional video camera.

또한, 터치 스크린 기반의 모바일 개인단말장치(스마트폰, 테블릿 PC, UMPC 등)의 보급 증대로 인해 기존 PC와의 동시 사용 및 연동이 잦아지고 있는 상황에서 본 발명은 터치 스크린 기반 모바일 개인장치의 입력 인터페이스의 사용성 한계를 해결하는 데 일조할 수 있다.
In addition, the present invention is in the situation that the simultaneous use and interworking with the existing PC is frequently increased due to the increase in the spread of the touch screen-based mobile personal terminal device (smartphone, tablet PC, UMPC, etc.) It can help solve the usability limitations of the interface.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 다수의 컴퓨터들 200: 무선 인터페이스
300: 단일 입력장치100: multiple computers 200: air interface
300: single input device

Claims (6)

다수의 컴퓨터들 각각에 저장된 이전 영상(사용자 정면 얼굴 영상)과 카메라로부터 전송된 현재 영상(사용자의 실시간 움직임에 따른 영상)을 비교하고 비교결과에 기초하여 패턴변화를 검출하고 검출 결과에 따른 동기화 신호를 출력하는 수신 비교 단계;
상기 동기화 신호에 기초하여 다수의 컴퓨터들 중 어느 하나를 활성화시키는 활성화 단계; 및
상기 활성화된 컴퓨터에 무선으로 연동되는 단일 입력장치를 동기화시키는 동기화 단계를 포함하는 얼굴방향 인식 기반의 단일 입력 인터페이스 방법.
Compares the previous image (user's face image) stored in each of the plurality of computers with the current image transmitted from the camera (image according to the user's real-time movement), detects the pattern change based on the comparison result, and synchronizes the signal according to the detection result A reception comparing step of outputting a;
An activation step of activating any one of a plurality of computers based on the synchronization signal; And
And a synchronization step of synchronizing a single input device wirelessly interworking with the activated computer.
사용자 정면 얼굴 영상인 이전 영상과 사용자의 실시간 움직임에 따른 현재 영상을 비교하여 비교결과 값에 따라 동기화 신호를 출력하는 변위값 산출모듈; 및
상기 변위값 산출모듈로부터 동기화 신호를 수신받아 시스템 인에이블 신호를 출력하는 인터페이스 활성화부를 포함하는 얼굴방향 인식 기반의 이미지 센서.
A displacement value calculating module for comparing a previous image, which is a front face image of the user, with a current image according to a real-time movement of the user, and outputting a synchronization signal according to a comparison result value; And
And an interface activator configured to receive a synchronization signal from the displacement value calculation module and output a system enable signal.
제2항에 있어서,
상기 변위값 산출모듈은,
카메라로부터 수신되어 저장된 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부; 및
상기 이전 영상과 현재 영상 사이의 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출하여 검출 결과와 변위값의 차이가 없을 경우 동기화 신호를 출력하는 변위값 산출부를 포함하는 얼굴방향 인식 기반의 이미지 센서.
The method of claim 2,
The displacement value calculation module,
An image pattern recognition unit configured to detect an image pattern of a previous image and an image pattern of a current image received from a camera; And
A face-based recognition-based image including a displacement value calculation unit for detecting a pattern change between the previous image and the current image, calculating a displacement value corresponding to the detection result, and outputting a synchronization signal when there is no difference between the detection result and the displacement value. sensor.
이미지 센서를 포함하는 다수의 컴퓨터들;
상기 다수의 컴퓨터들 각각과 무선으로 연계된 단일 입력장치;
상기 다수의 컴퓨터들과 상기 단일 입력장치와 연동되는 무선 인터페이스를 포함하며,
상기 이미지 센서는,
사용자 정면 얼굴 영상인 이전 영상과 사용자의 실시간 움직임에 따른 현재 영상을 비교하여 비교결과 값에 따라 동기화 신호를 출력하는 변위값 산출모듈; 및
상기 변위값 산출모듈로부터 동기화 신호를 수신받아 시스템 인에이블 신호를 출력하는 인터페이스 활성화부를 포함하는 얼굴방향 인식 기반의 컴퓨터 시스템.
A number of computers including an image sensor;
A single input device wirelessly associated with each of the plurality of computers;
A wireless interface interoperating with the plurality of computers and the single input device,
The image sensor,
A displacement value calculating module for comparing a previous image, which is a front face image of the user, with a current image according to a real-time movement of the user, and outputting a synchronization signal according to a comparison result value; And
And an interface activation unit for receiving a synchronization signal from the displacement value calculating module and outputting a system enable signal.
제4항에 있어서,
상기 변위값 산출모듈은,
카메라로부터 수신되어 저장된 이전 영상의 영상 패턴과 현재 영상의 영상 패턴을 검출하는 영상 패턴 인식부; 및
상기 이전 영상과 현재 영상 사이의 패턴변화를 검출하고 검출결과와 상응하는 변위 값을 산출하여 검출 결과와 변위값의 차이가 없을 경우 동기화 신호를 출력하는 변위값 산출부를 포함하는 얼굴방향 인식 기반의 컴퓨터 시스템.
The method of claim 4, wherein
The displacement value calculation module,
An image pattern recognition unit configured to detect an image pattern of a previous image and an image pattern of a current image received from a camera; And
A face-based recognition-based computer including a displacement value calculation unit for detecting a pattern change between the previous image and the current image, calculating a displacement value corresponding to the detection result, and outputting a synchronization signal when there is no difference between the detection result and the displacement value. system.
제4항에 있어서,
상기 단일 입력장치는,
무선 인터페이스와 연동될 수 있는 키보드, 마우스를 포함하는 입력장치인 얼굴방향 인식 기반의 컴퓨터 시스템.The method of claim 4, wherein
The single input device,
Facial orientation recognition based computer system which is an input device including a keyboard and a mouse which can be interworked with a wireless interface.
KR1020100056147A 2010-06-14 2010-06-14 single Input interface method based the facial gestures cognition and System thereof KR101194259B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100056147A KR101194259B1 (en) 2010-06-14 2010-06-14 single Input interface method based the facial gestures cognition and System thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100056147A KR101194259B1 (en) 2010-06-14 2010-06-14 single Input interface method based the facial gestures cognition and System thereof

Publications (2)

Publication Number Publication Date
KR20110136268A true KR20110136268A (en) 2011-12-21
KR101194259B1 KR101194259B1 (en) 2012-10-29

Family

ID=45502926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100056147A KR101194259B1 (en) 2010-06-14 2010-06-14 single Input interface method based the facial gestures cognition and System thereof

Country Status (1)

Country Link
KR (1) KR101194259B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125921A1 (en) * 2012-02-23 2013-08-29 Intel Corporation Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
KR101316805B1 (en) * 2013-05-22 2013-10-11 주식회사 파이브지티 Automatic face tracing and recognition method and system
CN107656443A (en) * 2017-09-18 2018-02-02 成都易慧家科技有限公司 A kind of intelligent home control system and method based on deep learning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4699139B2 (en) 2004-09-14 2011-06-08 富士フイルム株式会社 Security system
US20090083449A1 (en) 2005-06-17 2009-03-26 Governing Dynamics, Llc Synchronization for Wireless Devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125921A1 (en) * 2012-02-23 2013-08-29 Intel Corporation Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
US9261957B2 (en) 2012-02-23 2016-02-16 Intel Corporation Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
KR101316805B1 (en) * 2013-05-22 2013-10-11 주식회사 파이브지티 Automatic face tracing and recognition method and system
CN107656443A (en) * 2017-09-18 2018-02-02 成都易慧家科技有限公司 A kind of intelligent home control system and method based on deep learning

Also Published As

Publication number Publication date
KR101194259B1 (en) 2012-10-29

Similar Documents

Publication Publication Date Title
US12004244B2 (en) Method and mobile terminal for controlling Bluetooth low energy device
USRE49323E1 (en) Mobile client device, operation method, and recording medium
CN109739669B (en) Unread message prompting method and mobile terminal
KR102094505B1 (en) Method and device for broadcasting a ble packet, and method and device for adjusting operation mode of an application processor
AU2014201588B2 (en) Object control method and apparatus of user device
US20200310513A1 (en) Context data sharing
EP2919430A1 (en) Apparatus and method for authenticating a user using a wearable electronic device
EP3719612B1 (en) Processing method for reducing power consumption and mobile terminal
US20170055110A1 (en) Systems, apparatus, and methods relating to a wearable electronic hub for personal computing
US20140152538A1 (en) View Detection Based Device Operation
US9377943B2 (en) Method and apparatus for outputting display data based on a touch operation on a touch panel
EP2953003A1 (en) Touch screen terminal and working method thereof
KR102047496B1 (en) Method and mobile terminal for controlling ble device
CN105487689A (en) Ring mouse and method for operating mobile terminal through same
US20170102758A1 (en) Wake up gesture for low power using capacitive touch controller
WO2019047862A1 (en) Fingerprint acquisition method and terminal device and storage medium
CN104123072A (en) Method and device for providing virtual keyboard in mobile device
CN110837318A (en) Mistaken touch prevention method and device for folding screen of mobile terminal and storage medium
KR101194259B1 (en) single Input interface method based the facial gestures cognition and System thereof
WO2019034110A1 (en) Button control method, storage medium, and smart terminal
CN105306738A (en) Timed prompting method and apparatus for mobile terminal
CN111064847B (en) False touch prevention method and device, storage medium and electronic equipment
KR102377002B1 (en) Electronic apparatus and operating method thereof
CN109542324B (en) Icon display method and terminal
CN107808083B (en) Desktop display method, mobile terminal and computer readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee