KR101377876B1 - Apparatus and method for mobile projection - Google Patents

Apparatus and method for mobile projection Download PDF

Info

Publication number
KR101377876B1
KR101377876B1 KR1020120070761A KR20120070761A KR101377876B1 KR 101377876 B1 KR101377876 B1 KR 101377876B1 KR 1020120070761 A KR1020120070761 A KR 1020120070761A KR 20120070761 A KR20120070761 A KR 20120070761A KR 101377876 B1 KR101377876 B1 KR 101377876B1
Authority
KR
South Korea
Prior art keywords
user
information
text
finger
terminal
Prior art date
Application number
KR1020120070761A
Other languages
Korean (ko)
Other versions
KR20140003109A (en
Inventor
안양근
정광모
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120070761A priority Critical patent/KR101377876B1/en
Publication of KR20140003109A publication Critical patent/KR20140003109A/en
Application granted granted Critical
Publication of KR101377876B1 publication Critical patent/KR101377876B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Abstract

단말기 및 단말기를 이용한 정보 제공 방법이 제공된다. 단말기는 카메라를 이용하여 사용자의 학습 자료 및 학습 자료에 대한 사용자의 제스쳐를 촬영한다. 단말기는 사용자의 제스쳐를 분석하여 사용자가 추가적인 정보를 필요로하는 텍스트를 인식한다. 단말기는 해당 텍스트에 대한 정보를 검색하고, 검색된 정보를 프로젝터를 이용하여 사용자의 학습 자료 상에 프로젝션한다.Provided are a terminal and a method of providing information using the terminal. The terminal photographs the user's gesture on the user's learning material and the learning material using the camera. The terminal analyzes the user's gesture to recognize the text that the user needs additional information. The terminal searches for information on the corresponding text and projects the retrieved information onto the user's learning material using a projector.

Description

모바일 프로젝션 장치 및 방법{APPARATUS AND METHOD FOR MOBILE PROJECTION}Mobile projection device and method {APPARATUS AND METHOD FOR MOBILE PROJECTION}

본 발명은 모바일 프로젝션을 제공하는 장치 및 방법에 관한 것으로, 좀더 구체적으로는, 사용자의 제스쳐를 인식하여 사용자가 가리키는 텍스트, 그림 등과 관련된 정보를 프로젝션하여 제공하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for providing a mobile projection, and more particularly, to an apparatus and a method for projecting and providing information related to a text, a picture, etc. indicated by a user by recognizing a user's gesture.

사용자가 외국어 등의 학습을 하는 경우에, 모르는 내용이 발견되면, 사용자는 학습하던 내용부터 시선을 이동하여, 사전, 인터넷 등을 검색한다. 따라서, 검색을 통하여 모르는 내용을 알게 된 이후에 다시 학습된 내용을 찾아보기가 쉽지 않다. 또한, 검색된 내용에 신경이 집중되어 있으므로, 다시 학습하던 내용에 몰입하기도 쉽지 않다.When a user learns a foreign language or the like, and the unknown contents are found, the user moves his / her eyes from the contents of the learning and searches a dictionary and the Internet. Therefore, it is not easy to find the re-learned content after learning the unknown content through the search. In addition, since the nerves are concentrated on the searched content, it is not easy to immerse yourself in the content that was re-learned.

따라서, 사용자가 모르는 것이 많은 내용을 학습하는 경우에 사용자의 학습 능률은 낮아지는 악순환에 빠지게 된다.Therefore, when the user learns a lot of content that the user does not know, the user's learning efficiency falls into a vicious circle.

그러므로, 사용자가 학습하고 있는 내용에서 시선을 이동하지 않게 하면서도 사용자가 궁금해하는 정보를 제공할 수 있는 장치 또는 방법에 대한 요구가 증가하고 있다.Therefore, there is an increasing demand for an apparatus or method that can provide information that a user is curious while keeping his / her eyes from moving from what the user is learning.

하기의 실시예들은 사용자의 의도에 따라 손쉽게 정보를 검색하고, 검색된 정보를 디스플레이 하는 것을 목적으로 한다.The following embodiments aim to easily search for information and display the searched information according to a user's intention.

예시적 실시예에 따르면, 카메라를 이용하여 촬영된 영상을 분석하여 사용자의 제스쳐를 인식하는 제스쳐 인식부, 상기 영상에서 상기 제스쳐와 관련된 텍스트를 인식하는 OCR 인식부, 상기 인식된 텍스트와 관련된 정보를 검색하는 검색 엔진부 및 상기 검색된 정보를 상기 사용자에게 제공하는 출력부를 포함하는 단말기가 제공된다.According to an exemplary embodiment, a gesture recognition unit for recognizing a user's gesture by analyzing an image photographed using a camera, an OCR recognition unit for recognizing a text related to the gesture in the image, information related to the recognized text A terminal including a search engine unit for searching and an output unit for providing the searched information to the user is provided.

여기서, 상기 제스쳐 인식부는 상기 사용자의 손가락을 인식할 수 있다.Here, the gesture recognizing unit may recognize the finger of the user.

그리고, 상기 OCR 인식부는 상기 손가락이 가리키는 텍스트를 인식하는 단말기.And the OCR recognizing unit recognizes the text indicated by the finger.

또한, 상기 출력부는 상기 단말기의 화면을 이용하여 상기 검색된 정보를 제공할 수 있다.In addition, the output unit may provide the retrieved information using the screen of the terminal.

여기서, 상기 검색된 정보를 프로젝션하는 프로젝터부를 더 포함할 수 있다.Here, the projector may further include a projector for projecting the retrieved information.

그리고, 상기 사용자를 식별하는 사용자 식별부를 더 포함하고, 상기 검색 엔진부는 상기 사용자에 따라 상이한 정보를 검색할 수 있다.The apparatus may further include a user identification unit for identifying the user, and the search engine unit may search for different information according to the user.

또 다른 예시적 실시예에 따르면, 카메라를 이용하여 촬영된 영상을 분석하여 사용자의 제스쳐를 인식하는 단계, 상기 영상에서 상기 제스쳐와 관련된 텍스트를 인식하는 단계, 상기 인식된 텍스트와 관련된 정보를 검색하는 단계 및 상기 검색된 정보를 상기 사용자에게 제공하는 단계를 포함하는 정보 제공 방법이 제공된다.According to another exemplary embodiment, a step of recognizing a user's gesture by analyzing an image photographed using a camera, recognizing a text related to the gesture in the image, searching for information related to the recognized text An information providing method comprising the step of providing the retrieved information to the user is provided.

여기서, 상기 제스쳐를 인식하는 단계는 상기 사용자의 손가락을 인식할 수 있다.Here, the recognizing the gesture may recognize the user's finger.

그리고, 상기 텍스트를 인식하는 단계는 상기 손가락이 가리키는 텍스트를 인식할 수 있다.In the recognizing the text, the text indicated by the finger may be recognized.

또한, 상기 제공하는 단계는 상기 단말기의 화면을 이용하여 상기 검색된 정보를 제공할 수 있다.In addition, the providing may provide the searched information using a screen of the terminal.

여기서, 상기 제공하는 단계는 상기 검색된 정보를 프로젝션할 수 있다.In this case, the providing may project the retrieved information.

그리고, 상기 사용자를 식별하는 단계를 더 포함하고, 상기 정보를 검색하는 단계는 상기 사용자에 따라 상이한 정보를 검색할 수 있다.The method may further include identifying the user, and the searching of the information may search for different information according to the user.

하기의 실시예들에 따르면, 사용자의 의도에 따라 손쉽게 정보를 검색하고, 검색된 정보를 디스플레이 할 수 있다.According to the following embodiments, it is possible to easily search for information according to the user's intention, and display the retrieved information.

도 1은 사용자의 제스쳐를 인식하고 인식된 제스쳐와 관련된 텍스트에 대한 정보를 검색하는 본 발명의 예시적 실시예를 도시한 도면이다.
도 2는 예시적 실시예에 따른 단말기의 구조를 도시한 블록도이다.
도 3은 예시적 실시예에 따른 정보 제공 방법을 단계별로 설명한 순서도이다.1 is a diagram illustrating an exemplary embodiment of the present invention for recognizing a user's gesture and retrieving information about text associated with the recognized gesture.
Fig. 2 is a block diagram showing the structure of a terminal according to an exemplary embodiment.
3 is a flowchart illustrating a step-by-step method of providing information according to an exemplary embodiment.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 사용자의 제스쳐를 인식하고 인식된 제스쳐와 관련된 텍스트에 대한 정보를 검색하는 본 발명의 예시적 실시예를 도시한 도면이다. 1 is a diagram illustrating an exemplary embodiment of the present invention for recognizing a user's gesture and retrieving information about text associated with the recognized gesture.

사용자는 학습 자료(110)를 참고하여 학습을 진행한다. 일측에 따르면, 학습 자료 (110)는 텍스트는 물론 그림도 포함할 수 있다.The user proceeds with reference to the learning material 110. According to one side, the learning material 110 may include a picture as well as text.

사용자가 참고하는 학습 자료(110)에는, 사용자가 모르는 단어 또는 추가 설명이 필요한 그림(130) 등이 포함될 수 있다. 이 경우에, 사용자는 단말기(140)를 이용하여 사용자가 모르는 단어 또는 추가 설명이 필요한 그림(130)에 대한 정보를 검색할 수 있다.The learning material 110 referenced by the user may include a word 130 that the user does not know or a picture 130 that requires additional explanation. In this case, the user may use the terminal 140 to search for information on the word 130 that the user does not know or the picture 130 requiring further explanation.

도 1에서, 사용자는 단말기(140)에 구비된 카메라를 이용하여 학습 자료(110)를 촬영할 수 있다. 또한, 사용자는 학습 자료(110) 중에서, 사용자가 모르는 단어(130)를 손으로 가리킬 수 있다.In FIG. 1, a user may photograph the training material 110 by using a camera provided in the terminal 140. In addition, the user may point to a word 130 that the user does not know from the learning material 110.

이 경우에, 단말기(140)는 학습 자료(110) 및 사용자의 손(120)을 촬영하고, 촬영된 내용을 순석하여 사용자의 손(120)이 가리키는 텍스트 또는 그림(130)을 인식한다.In this case, the terminal 140 photographs the learning material 110 and the user's hand 120, and tours the photographed contents to recognize the text or the picture 130 indicated by the user's hand 120.

단말기(140)는 사용자의 손(120)이 가리키는 텍스트 또는 그림(130)에 대한 정보를 검색한다. 일측에 따르면, 단말기(140)는 자체적으로 구비한 데이터베이스에서 사용자의 손(120)이 가리키는 텍스트 또는 그림(130)에 대한 정보를 검색할 수도 있고, 통신망을 통해 외부 서버에 접속하여 정보를 검색할 수도 있다.The terminal 140 searches for information on the text or picture 130 that the user's hand 120 points to. According to one side, the terminal 140 may search for information on the text or picture 130 pointed to by the user's hand 120 in a database provided by itself, or may access information by accessing an external server through a communication network. It may be.

단말기(140)는 검색된 정보를 사용자에게 제공할 수 있다. 일측에 따르면, 단말기(140)는 프로젝터를 구비하고, 검색된 내용을 프로젝션하여 사용자에게 제공할 수 있다. 이 경우에, 단말기(140)는 학습 자료(110)에 검색된 내용을 프로젝션할 수 있다. 학습 자료(110)에 사용자가 모르는 내용과 모르는 내용에 대하여 검색된 내용이 함께 제공되므로, 사용자는 시선을 이동하지 않고도 사용자가 모르는 내용에 대한 정보를 습득할 수 있다. 따라서, 사용자는 학습 자료(110)에 계속 몰입할 수 있고, 사용자의 학습 능률은 높게 유지된다.The terminal 140 may provide the retrieved information to the user. According to one side, the terminal 140 may include a projector, and project the searched contents to the user. In this case, the terminal 140 may project the searched content to the learning material 110. Since the learning material 110 is provided with the content that the user does not know and the searched content for the unknown content, the user may acquire information about the content that the user does not know without moving the gaze. Thus, the user can continue to be immersed in the learning material 110, and the learning efficiency of the user is maintained high.

다른 측면에 따르면, 단말기(140)는 화면(150)을 구비하고, 검색된 내용을 단말기의 화면(150)에 제공할 수 있다.According to another aspect, the terminal 140 may include a screen 150 and provide the searched contents to the screen 150 of the terminal.

일측에 따르면, 단말기(140)는 마이크로폰을 구비할 수 있다. 단말기(140)는 마이크로폰을 이용하여 사용자의 목소리를 수신하고, 수신된 목소리를 분석하여 사용자를 식별할 수 있다. 단말기(140)는 식별된 사용자에 따라서 상이한 정보를 검색하고, 검색된 정보를 사용자에게 제공할 수 있다.According to one side, the terminal 140 may be provided with a microphone. The terminal 140 may receive a voice of the user using a microphone and identify the user by analyzing the received voice. The terminal 140 may search for different information according to the identified user and provide the searched information to the user.

일측에 따르면, 사용자가 손으로 가리킨 텍스트가 '물고기'이고, 식별된 사용자가 어린이라면 단말기(140)는 '물고기'의 생김새, 생태, 수명 등에 대한 정보를 검색할 수 있다.According to one side, if the user's hand pointed text is 'fish', and the identified user is a child, the terminal 140 may search for information on the appearance, ecology, lifespan, etc. of the 'fish'.

다른 측면에 따르면, 사용자가 손으로 가리킨 텍스트가 '물고기'이고, 식별된 사용자가 가정 주부라면, 단말기(140)는 최근 대형 마트에서의 어류 판매 가격 동향, 요리법에 대한 정보를 검색할 수 있다.According to another aspect, if the text hand-pointed by the user is 'fish' and the identified user is a housewife, the terminal 140 may search for information on fish price trends and recipes recently in a large supermarket.

또한, 사용자가 손으로 가리킨 텍스트가 '물고기'이고, 식별된 사용자가 성인 남성 이라면, 단말기(140)는 현재 단말기의 위치 주변에 낚시를 할 수 있는 지역에 대한 정보를 검색하여 제공할 수 있다.
In addition, if the text pointed by the user's hand is 'fish' and the identified user is an adult male, the terminal 140 may search for and provide information on an area where fishing is possible around the current terminal's location.

도 2는 예시적 실시예에 따른 단말기의 구조를 도시한 블록도이다.Fig. 2 is a block diagram showing the structure of a terminal according to an exemplary embodiment.

실시예에 따른 단말기(200)는 카메라부(210), 제스쳐 인식부(220), OCR 인식부(230), 마이크로폰(260), 사용자 식별부(270), 검색 엔진부(240), 출력부(250), 화면(281), 프로젝터(282), 스피커(283)를 포함할 수 있다.The terminal 200 according to the embodiment includes a camera unit 210, a gesture recognition unit 220, an OCR recognition unit 230, a microphone 260, a user identification unit 270, a search engine unit 240, and an output unit. 250 may include a screen 281, a projector 282, and a speaker 283.

카메라(210)는 학습 자료를 촬영한다. 일측에 따르면, 학습 자료에는 사용자가 모르는 단어 또는 추가 설명이 필요한 그림이 존재할 수 있다. 사용자는 모르는 단어 또는 추가 설명이 필요한 그림을 발견하면, 사용자의 손으로, 해당 단어 또는 그림을 가리킬 수 있다. 이 경우에, 카메라(210)를 이용하여 촬영된 영상에는 사용자의 손 및 사용자가 가리킨 텍스트, 그림이 포함될 수 있다.The camera 210 photographs the learning material. According to one side, the learning material may have a word that the user does not know or a picture that requires additional explanation. If the user finds a word or a picture that requires further explanation, the user can point to the word or picture with the user's hand. In this case, the image photographed using the camera 210 may include a user's hand, text indicated by the user, and a picture.

제스쳐 인식부(220)는 카메라를 이용하여 촬영된 영상을 분석하여 사용자의 제스쳐를 인식한다. 제스쳐 인식부(220)는 사용자가 손을 움직이다가 우연히 특정 텍스트 근처에 손이 위치한 것인지, 사용자가 단말기를 이용하여 추가적인 정보를 검색할 의도로 특정 텍스트, 그림을 손으로 가리키고 있는 것인지 여부를 판단할 수 있다. 특히, 제스쳐 인식부(220)는 사용자의 손가락을 인식하고, 손가락의 위치, 각도, 손가락을 구부린 정도, 손가락이 특정 위치에 위치한 시간 등을 분석하여 사용자의 의사를 판단할 수 있다.The gesture recognition unit 220 recognizes a user's gesture by analyzing an image photographed using a camera. The gesture recognition unit 220 determines whether the user accidentally locates the hand while moving the hand, or whether the user is pointing to the specific text or picture with the intention of searching for additional information using the terminal. can do. In particular, the gesture recognition unit 220 may recognize the user's finger, determine the user's intention by analyzing the position, angle, degree of bending the finger, the time the finger is located at a specific position, and the like.

OCR 인식부(230)는 카메라를 이용하여 촬영된 영상을 분석하여 제스쳐와 관련된 텍스트를 인식한다. 일측에 따르면, OCR 인식부(230)는 촬영된 영상에서, 사용자가 가리키는 부분을 판단할 수 있다. 또한, OCR 인식부(230)는 사용자가 가리키는 부분에 기재된 텍스트를 인식할 수 있다.The OCR recognition unit 230 recognizes text related to a gesture by analyzing an image photographed using a camera. According to one side, the OCR recognition unit 230 may determine a portion indicated by the user in the captured image. In addition, the OCR recognition unit 230 may recognize the text described in the portion indicated by the user.

마이크로폰(260)은 사용자의 목소리를 수신한다.The microphone 260 receives a voice of a user.

사용자 식별부(270)는 수신된 목소리를 분석하여 사용자를 식별한다.The user identification unit 270 analyzes the received voice to identify the user.

검색 엔진부(240)는 인식된 텍스트, 그림과 관련된 정보를 검색한다. 일측에 따르면, 검색 엔진부(240)는 단말기(200)에 포함된 데이터베이스를 검색하여 인식된 텍스트, 또는 그림과 관련된 정보를 검색할 수 있다. 다른 측면에 따르면, 단말기(200)는 무선 통신망을 통해 검색 서버에 접속할 수 있다. 이 경우에 검색 엔진부(240)는 검색 서버를 이용하여 인식된 텍스트, 또는 그림과 관련된 정보를 검색할 수 있다.The search engine 240 searches for information related to the recognized text and pictures. According to one side, the search engine 240 may search the database included in the terminal 200 to search for information related to the recognized text or picture. According to another aspect, the terminal 200 may access a search server through a wireless communication network. In this case, the search engine 240 may search for information related to the recognized text or picture using the search server.

일측에 따르면, 검색 엔진부(240)는 사용자 식별부(270)가 식별한 사용자에 따라서 상이한 정보를 검색할 수 있다.According to one side, the search engine 240 may search for different information according to the user identified by the user identifier 270.

출력부(250)는 검색된 정보를 사용자에게 제공할 수 있다.The output unit 250 may provide the searched information to the user.

일측에 따르면, 단말기(200)는 화면(281)을 구비할 수 있다. 이 경우에, 출력부(250)는 단말기(200)에 구비된 화면(281)을 이용하여 검색된 정보를 사용자에게 제공할 수 있다.According to one side, the terminal 200 may include a screen 281. In this case, the output unit 250 may provide the user with information retrieved using the screen 281 provided in the terminal 200.

다른 측면에 따르면, 단말기(200)는 프로젝터(282)를 구비할 수 있다. 이 경우에, 출력부(250)는 단말기(200)에 구비된 프로젝터(282)를 이용하여 검색된 정보를 사용자에게 제공할 수 있다. 특히 이 경우에, 단말기(200)는 프로젝터(282)를 이용하여 검색된 정보를 사용자의 학습 자료에 프로젝션할 수 있다. 사용자는 시선을 옮기지 않고, 궁금한 단어와 그 단어에 대한 정보를 함께 볼 수 있으므로 사용자의 몰입이 유지되고, 사용자의 학습 능률이 유지된다.According to another aspect, the terminal 200 may include a projector 282. In this case, the output unit 250 may provide the user with the information retrieved using the projector 282 provided in the terminal 200. In particular, in this case, the terminal 200 may project the information retrieved using the projector 282 to the learning material of the user. The user can see the questions and information about the words together without changing their eyes, so that the user's immersion is maintained and the user's learning efficiency is maintained.

또 다른 측면에 따르면, 단말기(200)는 스피커(283)를 구비할 수 있다. 이 경우에, 출력부(250)는 TTS(Text to Speech) 엔진을 구비하고, TTS 엔진을 이용하여 검색된 내용을 음성으로 변환할 수 있다. 출력부(250)는 단말기(200)에 구비된 스피커(283)를 이용하여 음성으로 변환된 검색된 정보를 사용자에게 제공할 수 있다.
According to another aspect, the terminal 200 may include a speaker 283. In this case, the output unit 250 may include a text to speech (TTS) engine, and may convert the searched content into speech using the TTS engine. The output unit 250 may provide the user with searched information converted into voice using the speaker 283 provided in the terminal 200.

도 3은 예시적 실시예에 따른 정보 제공 방법을 단계별로 설명한 순서도이다.3 is a flowchart illustrating a step-by-step method of providing information according to an exemplary embodiment.

단계(310)에서, 단말기는 단말기에 구비된 카메라를 이용하여 사용자가 학습 하고 있는 학습 자료를 촬영한다. 일측에 따르면, 카메라를 이용하여 촬영된 학습 자료에는 사용자의 신체 일부(특히 손, 손가락) 와 사용자가 검색을 원하는 텍스트 또는 도면 등이 포함될 수 있다.In step 310, the terminal photographs the learning material that the user is learning using a camera provided in the terminal. According to one side, the learning material photographed using the camera may include a user's body part (especially hands, fingers) and text or drawings that the user wants to search.

단계(320)에서, 단말기는 카메라를 이용하여 촬영된 영상을 분석하고, 사용자의 제스쳐를 인식한다. 예를 들면, 단말기는 사용자가 손을 움직이다가 우연히 특정 텍스트 근처에 손이 위치한 것인지, 사용자가 단말기를 이용하여 추가적인 정보를 검색할 의도로 특정 텍스트, 그림을 손으로 가리키고 있는 것인지 여부를 판단할 수 있다. 특히, 단말기는 사용자의 손가락을 인식하고, 손가락의 위치, 각도, 손가락을 구부린 정도, 손가락이 특정 위치에 위치한 시간 등을 분석하여 사용자의 의사를 판단할 수 있다.In operation 320, the terminal analyzes the captured image using the camera and recognizes the user's gesture. For example, the terminal may determine whether the user accidentally places the hand near a specific text while moving the hand, or whether the user is pointing to the specific text or picture with the intention of searching for additional information using the terminal. Can be. In particular, the terminal may recognize the user's finger, and determine the user's intention by analyzing the position of the finger, the angle, the degree to which the finger is bent, and the time when the finger is located at a specific position.

단계(330)에서, 단말기는 카메라를 이용하여 촬영된 영상을 분석하여 사용자의 제스쳐와 관련된 텍스트를 인식한다. 일측에 따르면, 단말기는 촬영된 영상에서, 사용자가 가리키는 부분을 판단하고, 해당 부분에 기재된 텍스트를 인식할 수 있다.In operation 330, the terminal analyzes an image photographed using a camera to recognize text related to a user's gesture. According to one side, the terminal may determine the portion indicated by the user in the captured image, and recognize the text described in the portion.

단계(340)에서, 단말기는 마이크로폰을 이용하여 사용자의 목소리를 수신한다.In step 340, the terminal receives the user's voice using the microphone.

단계(350)에서, 단말기는 사용자의 목소리를 분석하여 사용자를 식별한다.In step 350, the terminal analyzes the user's voice to identify the user.

단계(360)에서, 단말기는 인식된 텍스트, 그림과 관련된 정보를 검색한다. 일측에 따르면, 단말기는 데이터베이스를 구비하고, 단말기에 구비된 데이터베이스를 검색하여 인식된 텍스트, 또는 그림과 관련된 정보를 검색할 수 있다. 다른 측면에 따르면, 단말기는 무선 통신망을 통해 검색 서버에 접속하고, 검색된 검색 서버를 이용하여 인식된 텍스트, 또는 그림과 관련된 정보를 검색할 수 있다.In step 360, the terminal searches for information related to the recognized text and picture. According to one side, the terminal is provided with a database, it is possible to search the database provided in the terminal to search the information associated with the recognized text or picture. According to another aspect, the terminal may access a search server through a wireless communication network and search for information related to a recognized text or picture using the search server.

일측에 따르면, 단말기는 식별된 사용자에 따라서 상이한 정보를 검색할 수 있다.According to one side, the terminal may search for different information according to the identified user.

단계(370)에서, 단말기는 검색된 정보를 사용자에게 제공할 수 있다.In step 370, the terminal may provide the retrieved information to the user.

일측에 따르면, 단말기는 화면을 구비할 수 있다. 이 경우에, 단말기는 구비된 화면을 이용하여 검색된 정보를 사용자에게 제공할 수 있다.According to one side, the terminal may be provided with a screen. In this case, the terminal may provide the searched information to the user using the provided screen.

다른 측면에 따르면, 단말기는 프로젝터를 구비할 수 있다. 이 경우에, 단말기는 프로젝터를 이용하여 검색된 정보를 사용자의 학습 자료에 프로젝션할 수 있다. 사용자는 시선을 옮기지 않고, 궁금한 단어와 그 단어에 대한 정보를 함께 볼 수 있으므로 사용자의 몰입이 유지되고, 사용자의 학습 능률이 유지된다.According to another aspect, the terminal may be provided with a projector. In this case, the terminal may project the retrieved information to the user's learning material using the projector. The user can see the questions and information about the words together without changing their eyes, so that the user's immersion is maintained and the user's learning efficiency is maintained.

또 다른 측면에 따르면, 단말기는 스피커를 구비할 수 있다. 이 경우에, 단말기는 TTS(Text to Speech) 엔진을 구비하고, TTS 엔진을 이용하여 검색된 내용을 음성으로 변환할 수 있다. 단말기는 구비된 스피커를 이용하여 음성으로 변환된 검색된 정보를 사용자에게 제공할 수 있다.According to another aspect, the terminal may be provided with a speaker. In this case, the terminal may include a text to speech (TTS) engine, and the searched content may be converted into speech using the TTS engine. The terminal may provide the user with the retrieved information converted into voice using the provided speaker.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

200: 단말기
210: 카메라부
220: 제스쳐 인식부
230: OCR 인식부
240: 검색 엔진부
250: 출력부
260: 마이크로폰
270: 사용자 인식부
281: 화면
282: 프로젝터
283: 스피커200: terminal
210: camera unit
220: gesture recognition unit
230: OCR recognition unit
240: search engine
250: Output section
260: microphone
270: user recognition unit
281: screen
282: projector
283: speaker

Claims (14)

카메라를 이용하여 촬영된 영상을 분석함으로써 사용자의 제스쳐를 인식하는 제스쳐 인식부;
상기 영상에서 상기 제스쳐와 관련된 텍스트를 인식하는 OCR 인식부;
센서에 의해 획득된 상기 사용자의 바이오 정보를 사용하여 상기 사용자를 식별하는 사용자 식별부;
상기 식별된 사용자의 사용자 특징에 따라 상기 인식된 텍스트와 관련되고, 상기 사용자 특징에 맞춤화된 정보를 검색하는 검색 엔진부; 및
상기 검색된 정보를 상기 사용자에게 제공하는 출력부
를 포함하는 단말기.A gesture recognition unit for recognizing a user's gesture by analyzing an image photographed using a camera;
An OCR recognition unit recognizing text related to the gesture in the image;
A user identification unit identifying the user using the bio information of the user acquired by a sensor;
A search engine unit associated with the recognized text and searching for information customized to the user feature according to the identified user feature of the user; And
Output unit for providing the retrieved information to the user
Lt; / RTI > 제1항에 있어서,
상기 제스쳐 인식부는 상기 영상 내의 상기 사용자의 손가락을 인식하고, 상기 인식된 손가락의 자세를 분석함으로써 상기 사용자의 의사를 판단하고,
상기 자세는 상기 손가락의 각도, 상기 손가락을 구부린 정도 및 상기 손가락이 소정의 위치에 위치한 시간을 포함하는 단말기.The method of claim 1,
The gesture recognition unit recognizes the user's finger in the image, and determines the user's intention by analyzing the posture of the recognized finger,
The posture may include an angle of the finger, a degree of bending the finger, and a time when the finger is located at a predetermined position. 제2항에 있어서,
상기 OCR 인식부는 상기 영상 내의 상기 손가락이 가리키는 부분을 판단하고, 상기 판단된 부분에 기재된 텍스트를 인식하는 단말기.3. The method of claim 2,
And the OCR recognizing unit determines a portion indicated by the finger in the image and recognizes the text described in the determined portion. 제1항에 있어서,
상기 출력부는,
텍스트를 음성으로 변환하는 TTS(text to speech) 엔진
을 포함하고,
상기 출력부는 상기 TTS 엔진을 이용하여 상기 검색된 정보를 음성으로 변환하고,
상기 출력부는 스피커를 이용하여 상기 음성으로 변환된 검색된 정보를 상기 사용자에게 제공하는 단말기.The method of claim 1,
The output unit includes:
Text-to-speech engine that converts text to speech
/ RTI >
The output unit converts the retrieved information into voice using the TTS engine,
The output unit provides a user with the searched information converted into the voice using a speaker. 제1항에 있어서,
상기 검색된 정보를 프로젝션하는 프로젝터부
를 더 포함하고,
상기 출력부는 상기 프로젝터부를 이용하여 상기 검색된 정보를 프로젝션하는 단말기.The method of claim 1,
Projector unit for projecting the retrieved information
Further comprising:
The output unit is a terminal for projecting the retrieved information using the projector unit. 제5항에 있어서,
상기 출력부는 상기 검색된 정보를 상기 텍스트를 포함하는 학습 자료로 상기 프로젝션함으로써 상기 사용자가 상기 텍스트 및 상기 검색된 정보를 함께 볼 수 있게 하는 단말기.6. The method of claim 5,
And the output unit allows the user to view the text and the retrieved information together by projecting the retrieved information into the learning material including the text. 카메라를 이용하여 촬영된 영상을 분석함으로써 사용자의 제스쳐를 인식하는 단계;
상기 영상에서 상기 제스쳐와 관련된 텍스트를 인식하는 단계;
센서에 의해 획득된 상기 사용자의 바이오 정보를 사용하여 상기 사용자를 식별하는 단계;
상기 식별된 사용자의 사용자 특징에 따라 상기 인식된 텍스트와 관련되고, 상기 사용자 특징에 맞춤화된 정보를 검색하는 단계; 및
상기 검색된 정보를 상기 사용자에게 제공하는 단계
를 포함하는 정보 제공 방법.Recognizing a user's gesture by analyzing an image photographed using a camera;
Recognizing text related to the gesture in the image;
Identifying the user using the bio information of the user obtained by a sensor;
Retrieving information associated with the recognized text in accordance with a user feature of the identified user and customized to the user feature; And
Providing the retrieved information to the user
Information providing method comprising a. 제7항에 있어서,
상기 제스쳐를 인식하는 단계는 상기 영상 내의 상기 사용자의 손가락을 인식하고, 상기 인식된 손가락의 자세를 분석함으로써 상기 사용자의 의사를 판단하고,
상기 자세는 상기 손가락의 각도, 상기 손가락을 구부린 정도 및 상기 손가락이 소정의 위치에 위치한 시간을 포함하는 정보 제공 방법.8. The method of claim 7,
Recognizing the gesture may recognize the user's finger in the image, determine the user's intention by analyzing the posture of the recognized finger,
And the posture includes an angle of the finger, a degree of bending the finger, and a time when the finger is located at a predetermined position. 제8항에 있어서,
상기 텍스트를 인식하는 단계는 상기 영상 내의 상기 손가락이 가리키는 부분을 판단하고, 상기 판단된 부분에 기재된 텍스트를 인식하는 정보 제공 방법.9. The method of claim 8,
The recognizing of the text may include determining a portion indicated by the finger in the image and recognizing the text described in the determined portion. 제7항에 있어서,
상기 제공하는 단계는
상기 검색된 정보를 TTS(text to speech) 엔진을 이용하여 음성으로 변환하는 단계; 및
상기 음성으로 변환된 검색된 정보를 상기 사용자에게 제공하는 단계
를 포함하는 정보 제공 방법.8. The method of claim 7,
The providing step
Converting the retrieved information into speech using a text to speech (TTS) engine; And
Providing the searched information converted into the voice to the user
Information providing method comprising a. 제7항에 있어서,
상기 제공하는 단계는 상기 검색된 정보를 프로젝션하는 정보 제공 방법.8. The method of claim 7,
The providing step is an information providing method for projecting the retrieved information. 제11항에 있어서,
상기 제공하는 단계는 상기 검색된 정보를 상기 텍스트를 포함하는 학습 자료로 상기 프로젝션함으로써 상기 사용자가 상기 텍스트 및 상기 검색된 정보를 함께 볼 수 있게 하는 정보 제공 방법.12. The method of claim 11,
The providing step may include the projection of the searched information into a learning material including the text so that the user can view the text and the searched information together. 제7항에 있어서,
상기 사용자 특징은 상기 사용자의 성별 및 상기 사용자의 연령 중 하나 이상을 포함하는 정보 제공 방법.8. The method of claim 7,
Wherein the user characteristic comprises one or more of a gender of the user and an age of the user. 제7항 내지 제13항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 7 to 13.
KR1020120070761A 2012-06-29 2012-06-29 Apparatus and method for mobile projection KR101377876B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120070761A KR101377876B1 (en) 2012-06-29 2012-06-29 Apparatus and method for mobile projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070761A KR101377876B1 (en) 2012-06-29 2012-06-29 Apparatus and method for mobile projection

Publications (2)

Publication Number Publication Date
KR20140003109A KR20140003109A (en) 2014-01-09
KR101377876B1 true KR101377876B1 (en) 2014-03-25

Family

ID=50139791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070761A KR101377876B1 (en) 2012-06-29 2012-06-29 Apparatus and method for mobile projection

Country Status (1)

Country Link
KR (1) KR101377876B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026644A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Method and device for generating video content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100633231B1 (en) * 2005-04-18 2006-10-12 엘지전자 주식회사 Portable terminal with a information search function based on gesture recognition and implementating method thereof
JP2012003665A (en) * 2010-06-21 2012-01-05 Konica Minolta Business Technologies Inc Presentation support device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100633231B1 (en) * 2005-04-18 2006-10-12 엘지전자 주식회사 Portable terminal with a information search function based on gesture recognition and implementating method thereof
JP2012003665A (en) * 2010-06-21 2012-01-05 Konica Minolta Business Technologies Inc Presentation support device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017026644A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Method and device for generating video content
US10708650B2 (en) 2015-08-12 2020-07-07 Samsung Electronics Co., Ltd Method and device for generating video content

Also Published As

Publication number Publication date
KR20140003109A (en) 2014-01-09

Similar Documents

Publication Publication Date Title
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
US10438080B2 (en) Handwriting recognition method and apparatus
US10847147B2 (en) Hyperarticulation detection in repetitive voice queries using pairwise comparison for improved speech recognition
JP6148235B2 (en) Camera OCR using context information
US20130108994A1 (en) Adaptive Multimodal Communication Assist System
CN104850542B (en) Non-audible voice input correction
KR102544781B1 (en) Method for providing information on merchandise based on priority and electronic device thereof
US9525841B2 (en) Imaging device for associating image data with shooting condition information
KR102304701B1 (en) Method and apparatus for providng response to user's voice input
US10719695B2 (en) Method for pushing picture, mobile terminal, and storage medium
US11492741B2 (en) Electronic device
Khaled et al. In-door assistant mobile application using cnn and tensorflow
WO2016183961A1 (en) Method, system and device for switching interface of smart device, and nonvolatile computer storage medium
CN106156794B (en) Character recognition method and device based on character style recognition
CN111026949A (en) Question searching method and system based on electronic equipment
JP2010224715A (en) Image display system, digital photo-frame, information processing system, program, and information storage medium
WO2023040449A1 (en) Triggering of client operation instruction by using fitness action
WO2014181508A1 (en) Information processing apparatus, information processing method, and program
JP7315321B2 (en) Generation device, generation method and generation program
KR101377876B1 (en) Apparatus and method for mobile projection
US9641740B2 (en) Apparatus and method for auto-focusing in device having camera
KR101661669B1 (en) Dialogue system and dialogue method
US20210166685A1 (en) Speech processing apparatus and speech processing method
CN113469035A (en) Auxiliary reading method for picture book and electronic equipment
JP2022013256A (en) Keyword extraction apparatus, keyword extraction method, and keyword extraction program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee