KR102119863B1 - Apparatus of interacting with user - Google Patents
Apparatus of interacting with user Download PDFInfo
- Publication number
- KR102119863B1 KR102119863B1 KR1020170171314A KR20170171314A KR102119863B1 KR 102119863 B1 KR102119863 B1 KR 102119863B1 KR 1020170171314 A KR1020170171314 A KR 1020170171314A KR 20170171314 A KR20170171314 A KR 20170171314A KR 102119863 B1 KR102119863 B1 KR 102119863B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- unit
- target area
- manipulation
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은, 대상 영역의 영상과 사용자 관련 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 처리하는 영상 처리부; 상기 영상 처리부의 처리 결과에 기초하여, 상기 사용자에게 컨텐츠를 제공하는 컨텐츠 제공부; 및 상기 영상 획득부, 상기 영상 처리부, 및 컨텐츠 제공부를 제어하는 제어부;를 포함하고, 상기 영상 획득부는, 2개 또는 그 이상의 카메라를 이용하여 영상을 획득하는, 사용자 인터랙션이 가능한 장치를 제공한다. The present invention, the image acquisition unit for acquiring the image of the target area and the user-related image; An image processing unit that processes the image acquired by the image acquisition unit; A content providing unit that provides content to the user based on the processing result of the image processing unit; And a control unit controlling the image acquisition unit, the image processing unit, and a content providing unit, wherein the image acquisition unit provides an apparatus capable of user interaction, which acquires an image using two or more cameras.
Description
본 발명은 사용자 인터랙션이 가능한 장치에 관한 것으로, 좀 더 구체적으로는, 실제 대상체를 분실하는 등 실제 대상체가 없는 경우나, 실제 대상체가 부족한 경우에 대응하는 것이 가능하며, 어린이들의 상상력을 좀 더 자극하는 형태의 가상 대상체를 갖는, 사용자 인터랙션이 가능한 장치에 관한 것이다.The present invention relates to a device capable of user interaction, and more specifically, it is possible to respond to a case where there is no real object, such as losing a real object, or when the real object is insufficient, and further stimulate children's imagination. It relates to a device capable of user interaction, having a virtual object of the form.
우리나라는 물론이고 전 세계적으로 어린이 놀이 교구는 학부모들의 자녀들에 대한 애정과 교육열이 맞물려서 꾸준히 성장하는 분야이다. Children's play dioceses, both in Korea and around the world, are areas where parents' affection for their children and educational enthusiasm continue to grow.
관련하여, 대한민국 공개특허 제10-2016-0110354호(2016.09.21 공개, 발명의 명칭 : 두뇌활성화를 통한 어학 학습 교구 세트(LANGUAGE STUDY TOOL BY BRAIN ACTIVATION))에 따르면, "본 발명은 어학 학습 교구 세트에 관한 발명이다. 본 발명의 일실시예에 따른 어학 학습 교구 세트는, 특정한 대상이미지를 포함하는 제1시트; 상기 대상이미지에 상응하는 텍스트를 포함하는 제N시트(N은 자연수); 및 배경이미지, 패턴이미지, 대상이미지 및 텍스트 중 적어도 하나 이상을 포함하는 제2 내지 제N-1시트;를 포함하되, 제1 내지 제N시트는 서로 상이한 것을 특징으로 하며, 상기 배경이미지는 상기 제1시트 내의 상기 대상이미지를 제외한 배경에 상응하는 이미지이며, 상기 패턴이미지는 상기 대상이미지의 패턴 또는 무늬를 상기 텍스트 내에 포함하는 이미지이다. 본 발명에 따르면, 영유아를 포함하는 사용자가 특정한 대상이미지에 상응하는 텍스트를 학습하는데 있어서, 패턴화된 글자(즉, 패턴이미지)와 배경이미지 등을 활용하여 대상이미지와 텍스트 사이에 연결관계를 형성하여 대상이미지로부터 텍스트가(또는 텍스트로부터 대상이미지가) 용이하게 연상되도록 하는 효과가 있다."라는 기술이 개시되어 있다. In relation to this, according to the Republic of Korea Patent Publication No. 10-2016-0110354 (2016.09.21 published, the name of the invention: language learning through the brain activation set (LANGUAGE STUDY TOOL BY BRAIN ACTIVATION)), "The present invention is a language learning teaching aid A set of language learning teaching aids according to an embodiment of the present invention includes: a first sheet including a specific target image; an N sheet (N is a natural number) including text corresponding to the target image; and The second to N-1 sheets including at least one of a background image, a pattern image, a target image and text; including, but the first to N-th sheet is characterized in that different from each other, the background image is the first An image corresponding to a background excluding the target image in one sheet, and the pattern image is an image including the pattern or pattern of the target image in the text According to the present invention, a user including an infant is assigned to a specific target image. In learning the corresponding text, it is easy to make text from the target image (or the target image from the text) by forming a connection relationship between the target image and the text by using patterned letters (ie, pattern image) and background images. It has the effect of making it reminiscent."
또한, 대한민국 등록실용신안 제20-0480000호(2016.03.25 등록, 고안의 명칭 : 어린이 학습 교구(TEACHING TOOLS))에서는, "본 고안은 어린이 학습 교구에 관한 것으로서, 더욱 상세하게는 보드의 전체적인 형상을 과일의 단면, 동물, 꽃마차 또는 자동차 등의 형상으로 형성하여 사용함으로써, 유아 또는 어린이가 과일, 동물, 꽃마차 또는 자동차 등의 형상을 육안으로 확인할 수 있고, 특히, 과일의 단면만 보고도 과일의 이름을 알 수 있도록 효과적으로 학습할 수 있도록 하는 어린이 학습 교구에 관한 것이다. 본 고안에 따른 어린이 학습 교구는 전면 양측에 가이드홈이 형성된 보드; 상기 보드 상부에 축 결합되고, 축의 중심을 기준으로 회전하는 회전판; 상기 보드에 형성된 고정핀에 끼움 고정되고, 전면 또는 후면에 학습별 주제가 인쇄되며, 양측 테두리에 컬러 모듈이 인쇄된 학습카드; 및 상기 보드에 형성된 가이드홈에 삽입되고, 상기 가이드홈을 따라 이동되며, 학습자가 컬러를 구별할 수 있도록 상기 컬러 모듈과 동일 선상에 위치하도록 하는 컬러블록;을 포함할 수 있다."라고 개시하고 있다. In addition, in the Republic of Korea Registered Utility Model No. 20-0480000 (registered on March 25, 2016, the name of the devising: TEACHING TOOLS), "The present design is related to the teaching district of children, and more specifically, the overall shape of the board. By forming and using in the shape of a cross section of fruit, an animal, a flower cart, or a car, an infant or a child can visually check the shape of a fruit, an animal, a flower cart, or a car. It relates to a children's learning teaching aids to effectively learn to know the name The children's learning teaching aids according to the present invention is a board having guide grooves on both sides of the front surface; the shaft is coupled to the upper part of the board and rotates based on the center of the shaft A rotating plate; fitted to a fixing pin formed on the board, a learning-specific theme is printed on the front or back, and a learning card with color modules printed on both edges; and inserted into a guide groove formed on the board, along the guide groove It can be moved, and color blocks that are located on the same line as the color module so that learners can distinguish colors.
하지만, 이와 같은 종래의 어리인 학습 교구들은, 꾸준한 산업이나 시장의 성장에도 불구하고, 다양한 어린이 놀이 교구가 아직 부족한 실정이며, 특히, 본 발명에서 다루고자 하는 사용자 관련 영상 또는 사용자의 음성에 기초로 하여 사용자의 집중도 또는 흥미도를 높이는 방향으로 컨텐츠 제공부의 제어를 할 수 있는 기술에 대해서는 개시하지 못하고 있었다. 나아가, 실제 대상체를 분실하는 등 실제 대상체가 없는 경우나, 실제 대상체가 부족한 경우를 상정하여 개발된 어린이 놀이 교구는 없는 실정이다. However, such conventional early learning teaching aids, despite a steady industry or market growth, still lack various children's play teaching aids, and in particular, based on a user-related video or a user's voice to be dealt with in the present invention. As a result, a technology capable of controlling the content providing unit in a direction of increasing the concentration or interest of the user has not been disclosed. Furthermore, there are no children's play parishes developed for assuming that there is no real object, such as losing the real object, or when the real object is insufficient.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명은 실제 대상체를 분실하는 등 실제 대상체가 없는 경우나, 실제 대상체가 부족한 경우에 대응하는 것이 가능하며, 어린이들의 상상력을 좀 더 자극하는 형태의 가상 대상체를 갖는, 사용자 인터랙션이 가능한 장치를 제공하는 것을 그 목적으로 한다. The present invention was created to solve the above-mentioned problems, and the present invention is capable of responding to a case where there is no real object, such as losing a real object, or when the real object is insufficient, and further stimulating children's imagination. An object of the present invention is to provide a device capable of user interaction with a virtual object in the form.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위한 본 발명에 따른 사용자 인터랙션이 가능한 장치는, 대상 영역의 영상과 사용자 관련 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 처리하는 영상 처리부; 상기 영상 처리부의 처리 결과에 기초하여, 상기 사용자에게 컨텐츠를 제공하는 컨텐츠 제공부; 및 상기 영상 획득부, 상기 영상 처리부, 및 컨텐츠 제공부를 제어하는 제어부;를 포함하고, 상기 영상 획득부는, 2개 또는 그 이상의 카메라를 이용하여 영상을 획득한다. An apparatus capable of user interaction according to the present invention for achieving the above object includes: an image acquisition unit that acquires an image of a target region and a user-related image; An image processing unit that processes the image acquired by the image acquisition unit; A content providing unit that provides content to the user based on the processing result of the image processing unit; And a control unit controlling the image acquisition unit, the image processing unit, and a content providing unit, wherein the image acquisition unit acquires an image using two or more cameras.
또한, 상기 장치는, 특정 표면에 거치되는 거치부; 및 상기 거치부로부터 연장되어 형성된 연장부;를 포함하고, 상기 영상 획득부는, 상기 연장부의 말단에 배치된 2개의 카메라로 이루어지며, 상기 2개의 카메라에서 스트리밍되는 각각의 영상을 파노라마 영상으로 병합하고, 병합된 파노라마 영상을 병렬 처리하여, 상기 대상 영역의 영상과 상기 사용자 관련 영상을 획득할 수 있다. In addition, the device, the mounting portion mounted on a specific surface; And an extension formed extending from the mounting portion, wherein the image acquisition unit is composed of two cameras disposed at the ends of the extension portion, and merges each image streamed from the two cameras into a panorama image. , By processing the merged panoramic image in parallel, an image of the target region and the user-related image may be obtained.
또한, 상기 장치는, 특정 표면에 거치되는 거치부; 및 상기 거치부로부터 연장되어 형성된 연장부;를 포함하고, 상기 영상 획득부는, 상기 연장부의 말단에 배치되어 상기 대상 영역의 영상을 획득하는 대상 영역 카메라, 및 상기 거치부의 전면(前面)에 배치되어 상기 사용자 관련 영상을 획득하는 사용자 관련 카메라로 이루어져서, 상기 대상 영역 카메라에서는 상기 대상 영역의 영상을 획득하고, 상기 사용자 관련 카메라는 상기 사용자 관련 영상을 획득할 수 있다. In addition, the device, the mounting portion mounted on a specific surface; And an extension formed extending from the mounting portion, wherein the image acquisition unit is disposed at an end of the extension portion to obtain an image of the target region, a target region camera, and a front portion of the mounting portion. Consisting of a user-related camera that acquires the user-related image, the target region camera acquires an image of the target region, and the user-related camera may acquire the user-related image.
또한, 상기 사용자의 음성을 포함하여 청각 신호를 획득하는 음성 획득부; 및 상기 음성 획득부에서 획득한 음성을 처리하는 음성 처리부;를 포함하고, 상기 컨텐츠 제공부는, 상기 영상 처리부 및 상기 음성 처리부의 처리 결과에 기초하여, 상기 사용자에게 컨텐츠를 제공하고, 상기 제어부는, 상기 영상 획득부, 상기 음성 획득부, 상기 영상 처리부, 상기 음성 처리부 및 컨텐츠 제공부를 제어한다. In addition, a voice acquiring unit for acquiring an auditory signal including the user's voice; And a voice processing unit for processing the voice acquired by the voice acquisition unit, wherein the content providing unit provides content to the user based on the processing results of the image processing unit and the voice processing unit, and the control unit comprises: The image acquisition unit, the audio acquisition unit, the image processing unit, the audio processing unit and the content providing unit are controlled.
또한, 상기 대상 영역 상에 위치할 문자, 숫자 또는 블록을 포함하는 대상체의 윤곽선, 격자, 상기 문자, 상기 숫자 또는 상기 블록의 여백에 대한 특징점을 용이하게 추출할 수 있도록, 상기 대상 영역은 격자로 구획된 평면으로 이루어질 수 있다. In addition, the target area is a grid so as to easily extract the feature points for the outline of the object, the grid, the text, the number, or the margin of the block to be located on the target area. It can be made of a partitioned plane.
또한, 상기 대상 영역은 격자로 구획된 평면 상에 쌓여진 복수 개의 블록으로 이루어진 격자로 구획된 평면 상의 공간으로 이루어질 수 있다. In addition, the target region may be formed of a space on a plane divided by a grid composed of a plurality of blocks stacked on a plane divided by a grid.
또한, 상기 사용자 관련 영상은, 상기 사용자의 얼굴, 표정, 눈, 코, 입을 포함하는 생체 정보로서, 상기 컨텐츠 제공부는, 상기 사용자 관련 영상에 기초로 하여, 상기 사용자의 집중도 또는 흥미도를 높이는 방향으로 제어할 수 있다. Further, the user-related image is biometric information including the user's face, facial expression, eyes, nose, and mouth, and the content providing unit is based on the user-related image to increase the concentration or interest of the user Can be controlled.
또한, 상기 컨텐츠 제공부는, 상기 거치부에 배치되는 디스플레이부로 이루어지며, 상기 디스플레이부의 크기 또는 높이에 맞게, 상기 거치부에 착탈 가능하게 높이를 조절할 수 있는 적층형 맞춤 구조부를 더 구비할 수 있다. In addition, the content providing unit is made of a display unit disposed on the mounting unit, and may further include a stacked custom structure unit that can be detachably adjusted in height to fit the size or height of the display unit.
한편, 본 발명의 또다른 실시에의 의한 사용자 인터랙션이 가능한 장치는, 대상 영역의 영상과 사용자 관련 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 처리하는 영상 처리부; 상기 영상 처리부의 처리 결과에 기초하여, 상기 사용자에게 컨텐츠를 제공하는 컨텐츠 제공부; 및 상기 영상 획득부, 상기 영상 처리부, 및 컨텐츠 제공부를 제어하는 제어부;를 포함하고, 대상 영역의 대상체는 가상 대상체이다. On the other hand, an apparatus capable of user interaction according to another embodiment of the present invention includes: an image acquisition unit that acquires an image of a target region and a user-related image; An image processing unit that processes the image acquired by the image acquisition unit; A content providing unit that provides content to the user based on the processing result of the image processing unit; And a control unit controlling the image acquisition unit, the image processing unit, and a content providing unit, and the target region target is a virtual target.
물론, 대상 영역의 대상체는 실제 대상체만일 수도 있으며, 가상 대상체만일 수도 있으며, 가상 대상체와 실제 대상체를 모두 포함하는 것일 수도 있다. Of course, the object in the target area may be only a real object, only a virtual object, or may include both a virtual object and a real object.
또한, 상기 대상 영역 상에 가상 대상체를 투사하는 투사 장치를 더 포함하고, 상기 영상 획득부는, 상기 투사 장치에 의해서 투사된 가상 대상체에 대한 상기 사용자의 조작 영상을 획득하고, 상기 영상 처리부는, 상기 획득된 사용자의 조작 영상을 처리하여, 상기 컨텐츠 제공부 및 상기 투사 장치로 제공할 수 있다. In addition, further comprising a projection device for projecting a virtual object on the target area, the image acquisition unit acquires a manipulation image of the user for a virtual object projected by the projection device, and the image processing unit comprises: The obtained operation image of the user may be processed and provided to the content providing unit and the projection device.
또한, 상기 투사 장치는 상기 영상 처리부의 결과에 기초하여, 상기 대상 영역 상에 투사하는 상기 가상 대상체에 대한 정보를 수정하여 투사할 수 있다. Further, the projection device may correct and project information on the virtual object projected on the target area based on the result of the image processing unit.
또한, 상기 대상 영역의 대상체는, 터치 스크린 상에 표시되는 가상의 대상체이며, 상기 영상 획득부는, 상기 터치 스크린 상의 가상 대상체에 대한 상기 사용자의 조작 영상을 획득하고, 상기 영상 처리부는 상기 획득된 사용자의 조작 영상을 처리하여 상기 사용자의 조작을 상기 컨텐츠 제공부로 제공하거나, 또는 상기 터치 스크린에서의 가상 대상체에 대한 상기 사용자의 조작을 통신을 통해서 상기 컨텐츠 제공부로 바로 제공할 수 있다. In addition, an object in the target area is a virtual object displayed on a touch screen, and the image acquisition unit acquires an operation image of the user for the virtual object on the touch screen, and the image processing unit acquires the acquired user By processing the manipulation image, the user's manipulation may be provided to the content providing unit, or the user's manipulation of the virtual object on the touch screen may be directly provided to the content providing unit through communication.
또한, 상기 장치는, 가상의 대상체인 홀로그램 대상체를 구현하는 홀로그램부를 더 포함하고, 상기 영상 획득부는, 상기 홀로그램 대상체에 대한 상기 사용자의 조작 영상을 획득하고, 상기 영상 처리부는 상기 획득된 사용자의 조작 영상을 처리하여 상기 사용자의 조작을 상기 컨텐츠 제공부로 제공할 수 있다. In addition, the apparatus further includes a hologram unit that implements a hologram object that is a virtual object, the image acquisition unit acquires an operation image of the user for the hologram object, and the image processing unit manipulates the acquired user The user's manipulation may be provided to the content providing unit by processing an image.
본 발명에 따른 사용자 인터랙션이 가능한 장치에 의하면,According to a device capable of user interaction according to the present invention,
첫째, 실제 대상체를 분실하는 등 실제 대상체가 없는 경우나, 실제 대상체가 부족한 경우에 대응하는 것이 가능하며, 어린이들의 상상력을 좀 더 자극하는 형태의 가상 대상체를 갖는, 사용자 인터랙션이 가능한 장치를 제공하는 것이 가능하다. First, it is possible to respond to a case where there is no real object, such as losing a real object, or when the real object is insufficient, and to provide a device capable of user interaction, having a virtual object in a form that further stimulates children's imagination It is possible.
둘째, 사용자 관련 영상 또는 사용자의 음성에 기초로 하여 사용자의 집중도 또는 흥미도를 높이는 방향으로 컨텐츠 제공부의 제어를 할 수 있다. Second, it is possible to control the content providing unit in the direction of increasing the concentration or interest of the user based on the user-related video or the user's voice.
셋째, 대상 영역이 격자로 구획된 평면으로 이루어져서, 대상 영역 상에 위치할 문자, 숫자 또는 블록을 포함하는 가상의 대상체의 윤곽선, 격자, 상기 문자, 상기 숫자 또는 상기 블록의 여백에 대한 특징점을 용이하게 추출하는 것이 가능하다. Third, the target area is composed of a plane divided by a grid, thereby facilitating the feature points for the outline of the virtual object, the grid, the text, the margins of the number, or the block, including letters, numbers, or blocks to be located on the target area. It is possible to extract.
넷째, 디스플레이부의 크기 또는 높이에 맞게, 거치부에 착탈 가능하게 높이를 조절할 수 있는 적층형 맞춤 구조부를 더 구비하여, 디스플레이부를 사용자에게 맞게 맞춤형으로 조절하는 것도 가능하다. Fourth, according to the size or height of the display unit, it is also possible to adjust the display unit to be customized to the user by further comprising a stacked custom structure for detachably adjusting the height of the mounting unit.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 사시도 및 격자 무늬의 평면 대상 영역을 나타낸 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 측면도이다.
도 3은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 정면도이다.
도 4는 도 2의 측면도에 디스플레이부를 더 포함하는 것으로 도시한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치를 사용하는 사용예를 나타낸 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 2개의 카메라를 이용하여 대상 영역 및 사용자 관련 영상을 동시에 파노라마 영상으로 획득하는 것으로 설명하는 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 평면이 아닌 입체 또는 공간적 영역인 경우를 설명하는 도면이다.
도 8은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 가상의 평면 영역인 경우를 설명하는 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 평면이 아닌 가상의 입체 또는 공간적 영역인 경우를 설명하는 도면이다.1 is a view showing a planar target area of a grid and a perspective view of a device capable of user interaction according to a preferred embodiment of the present invention.
2 is a side view of a device capable of user interaction according to a preferred embodiment of the present invention.
3 is a front view of a device capable of user interaction according to a preferred embodiment of the present invention.
FIG. 4 is a view illustrating that the display unit is further included in the side view of FIG. 2.
5 is a view showing an example of using a device capable of user interaction according to a preferred embodiment of the present invention.
FIG. 6 is a diagram illustrating that a target region and a user-related image are simultaneously acquired as a panoramic image using two cameras in a device capable of user interaction according to a preferred embodiment of the present invention.
7 is a diagram for explaining a case in which a target area is a three-dimensional or spatial area other than a plane in a device capable of user interaction according to a preferred embodiment of the present invention.
8 is a diagram illustrating a case in which a target area is a virtual plane area in a device capable of user interaction according to a preferred embodiment of the present invention.
9 is a diagram for explaining a case in which a target area is a virtual three-dimensional or spatial area rather than a plane in a device capable of user interaction according to a preferred embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and are conventional in the art to which the present invention pertains. It is provided to fully inform the knowledgeable person of the scope of the present invention, and the present invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings commonly understood by those skilled in the art to which the present invention pertains. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless explicitly defined.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components other than the components mentioned.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 사시도 및 격자 무늬의 평면 대상 영역을 나타낸 도면이고, 도 2는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 측면도이고, 도 3은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치의 정면도이다. 1 is a perspective view of a device capable of user interaction according to a preferred embodiment of the present invention and a planar target area of a grid, and FIG. 2 is a side view of a device capable of user interaction according to a preferred embodiment of the present invention, 3 is a front view of a device capable of user interaction according to a preferred embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 사용자 인터랙션이 가능한 장치는, 영상 획득부, 영상 처리부, 음성 획득부, 음성 처리부, 컨텐츠 제공부, 및 제어부를 포함한다. As illustrated in FIG. 1, a device capable of user interaction according to the present invention includes an image acquisition unit, an image processing unit, an audio acquisition unit, an audio processing unit, a content providing unit, and a control unit.
여기서 영상 획득부는, 2개 또는 그 이상의 카메라를 이용하여 영상을 획득한다. 영상 획득의 대상은 대상 영역의 영상과 사용자 관련 영상이다. Here, the image acquisition unit acquires an image using two or more cameras. The target of image acquisition is an image of a target area and a user-related image.
관련해서, 사용자 인터랙션이 가능한 장치는, 테이블이나 탁자, 책상 등의 특정 표면에 거치되는 거치부 및 이 거치부로부터 연장되어 형성된 연장부를 포함한다. 여기서, 영상 획득부는, 연장부의 말단에 배치된 2개의 카메라(10 및 20)로 이루어지며, 2개의 카메라에서 스트리밍되는 각각의 영상을 파노라마 영상으로 병합하고, 병합된 파노라마 영상을 병렬 처리하여, 상술한 대상 영역의 영상과 사용자 관련 영상을 획득할 수 있다. In relation to this, a device capable of user interaction includes a mounting part mounted on a specific surface such as a table, a table, a desk, and an extension part extending from the mounting part. Here, the image acquisition unit is composed of two
또는 사용자 인터랙션이 가능한 장치는, 특정 표면에 거치되는 거치부, 및 이 거치부로부터 연장되어 형성된 연장부를 포함하고, 영상 획득부는, 연장부의 말단에 배치되어 상기 대상 영역의 영상을 획득하는 대상 영역 카메라(10 또는 20), 및 거치부의 전면(前面)에 배치되어 사용자 관련 영상을 획득하는 사용자 관련 카메라(30)로 이루어져서, 대상 영역 카메라에서는 대상 영역의 영상을 획득하고, 사용자 관련 카메라는 사용자 관련 영상을 획득할 수 있다. 여기서는, 영상 획득부가, 2개의 카메라를 갖는 경우만을 설명하였지만, 2개 이상의 카메라를 이용하여 영상을 획득할 수도 있다. Alternatively, a device capable of user interaction includes a mounting part mounted on a specific surface and an extension part extending from the mounting part, and the image acquiring part is disposed at an end of the extension part to obtain an image of the target area camera It consists of (10 or 20), and the user-related
여기서, 거치부는 테이블이나 탁자, 책상 등에 고정하기 위한 고정 부재를 더 포함하는 것도 가능하다. 이를 통해서 좀 더 안정적으로 특정 표면에 거치하게 할 수 있다. Here, the mounting portion may further include a fixing member for fixing to a table, table, desk, or the like. This allows a more stable mounting on a specific surface.
이와 같이 영상 획득부에서 획득된 영상은 영상 처리부에서 처리한다. The image obtained by the image acquisition unit is processed by the image processing unit.
한편, 사용자 인터랙션이 가능한 장치는, 시각적 정보인 영상 획득 및 영상 처리만을 이용할 수도 있지만, 나아가 사용자의 음성을 포함하여 청각 신호(탁자를 치는 소리, 사용자가 손뼉을 치는 소리 등)를 획득하는 음성 획득부와, 이 음성 획득부에서 획득한 음성을 처리하는 음성 처리부를 포함할 수 있다. On the other hand, a device capable of user interaction may use only image acquisition and image processing which are visual information, but further acquire a voice that acquires an auditory signal (a sound of a user's hand, a user's clapping sound, etc.) including the user's voice. A voice processing unit may process a voice acquired by the voice acquisition unit.
여기서, 컨텐츠 제공부는, 영상 처리부 또는 음성 처리부의 결과에 기초하여, 사용자게에 컨텐츠를 제공하는 것도 가능하다. 이를 통해서, 예를 들어, 사용자의 얼굴, 표정, 눈, 시선, 코, 입, 목, 이, 귀, 손 등을 포함하는 생체 정보 등의 사용자 관련 영상을 활용하여, 컨텐츠 제공부는, 사용자의 집중도 또는 흥미도를 높이는 방향으로 제어할 수 있다. 구체적으로 눈동자를 추적함으로써 사용자가 현재 졸리는지 집중도 또는 흥미도를 가지고 접근하는지 확인할 수 있다. 이것에 맞추어 컨텐츠 제공부에서는 적응적으로 컨텐츠를 제공하는 것이 가능하다. Here, the content providing unit may provide the content to the user based on the results of the image processing unit or the audio processing unit. Through this, for example, by utilizing a user-related image such as a user's face, facial expression, eyes, gaze, nose, mouth, neck, teeth, ears, hands, etc. Or it can be controlled in a direction that increases the degree of interest. Specifically, by tracking the pupil, it is possible to check whether the user is currently sleepy or approaching with concentration or interest. In accordance with this, the content provider can adaptively provide the content.
나아가, 도면에는 개시하지 않았지만, 추가적인 센서나 스마트 폰의 기능 등을 활용하여 사용자의 뇌파 등의 추가적인 생체 정보도 획득하여 컨텐츠 제공부에서 사용자의 현재 상태에 맞는 맞춤형 컨텐츠를 제공하는 것이 가능하다. Furthermore, although not disclosed in the drawings, it is possible to obtain additional biometric information, such as the user's brain waves, by using additional sensors or functions of a smart phone, so that the content providing unit can provide customized content suitable for the current state of the user.
이 때, 제어부는, 영상 획득부, 음성 획득부, 영상 처리부, 음성 처리부 및 컨텐츠 제공부를 제어한다. At this time, the control unit controls the image acquisition unit, the audio acquisition unit, the image processing unit, the audio processing unit, and the content providing unit.
도 1에 도시된 바와 같이, 평면의 대상 영역 상에 위치할 문자, 숫자 또는 블록을 포함하는 대상체의 윤곽선, 격자, 상기 문자, 상기 숫자 또는 상기 블록의 여백에 대한 특징점을 용이하게 추출할 수 있도록, 대상 영역은 격자로 구획된 평면(40)으로 이루어질 수 있다. 즉, 대상체의 영상 인식 및 영상 처리에 용이하기 때문에 격자 무늬를 활용한다. As illustrated in FIG. 1, to easily extract feature points for an outline, grid, object, or margin of the number, or block, including an object, number, or block to be located on a target area of the plane. , The target region may be formed of a
도 1에 도시된 바와 같이, 격자판(40)에 "A", "C", "E"라는 3개의 문자 또는 블록을 배치하게 되며, 영상 획득부에서 이것을 획득하여, 영상 처리부에서는 이것을 처리하여 영어 단어인 "ACE"라는 것을 인식하고, 컨텐츠 제공부에서는 ACE의 뜻에 해당하는 사진이나 캐릭터나 설명을 표시하고, 도시되지는 않았지만, 음성 출력부, 예를 들어 스피커에서 "ACE"의 영어 발음을 미국식, 영국식 등으로 출력하여, 사용자와 인터랙션을 하게 된다. As shown in FIG. 1, three letters or blocks of “A”, “C”, and “E” are arranged on the
도 4는 도 2의 측면도에 디스플레이부를 더 포함하는 것으로 도시한 도면이다. 컨텐츠 제공부는, 통상 거치부에 배치되는 디스플레이부로 이루어진다. 디스플레이부의 크기 또는 높이에 맞게, 거치부에 착탈 가능하게 높이를 조절할 수 있는 적층형 맞춤 구조부를 더 구비할 수 있다. 구체적으로, 삼성전자의 갤럭시 탭을 이용하는 경우와 애플사의 아이패드를 이용하는 경우가 서로 다를 수 있으며, 각각의 버전에 따라서 거기에 맞는 적층형 맞춤 구조부가 제공하는 것이 좋다.FIG. 4 is a view illustrating that the display unit is further included in the side view of FIG. 2. The content providing unit is usually composed of a display unit disposed in the mounting unit. According to the size or height of the display unit, a stacked custom structure unit capable of adjusting the height detachably from the mounting unit may be further provided. Specifically, the case of using Samsung Electronics' Galaxy Tab and the case of using Apple's iPad may be different, and it is good to provide a stacked custom structure for each version.
도 5는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치를 사용하는 사용예를 나타낸 도면이다. 5 is a view showing an example of using a device capable of user interaction according to a preferred embodiment of the present invention.
앞에서 설명한 바와 같이, 격자 무늬를 이용할 경우, 대상체의 영상 인식 및 영상 처리에 용이하다. 이를 위해서 격자 무늬의 격자판을 사용하는 것도 가능하지만, 격자 무늬의 격자판 없이도 구현하는 것이 가능하다. 예를 들어, 대상 영역 상에 격자 무늬를 투사되는 투사장치를 더 포함하여, 투사장치에 의한 투사에 의해서 격자로 구획된 평면의 대상 영역이 형성되게 하는 것도 가능하다. As described above, when a grid pattern is used, it is easy for image recognition and image processing of an object. For this, it is possible to use a grid-shaped grid, but it is possible to implement without a grid-shaped grid. For example, it is possible to further include a projection device projecting a grid pattern on the target area, so that a target area of a plane divided by a grid is formed by projection by the projection device.
또는, 대상 영역 상에 빛을 조사하는 광원을 가지고, 이 광원과 대상 영역의 중간에 위치하는 격자 무늬 창을 더 포함하여 격자 무늬를 만들 수 있다. 이 경우, 격자로 구획된 평면의 대상 영역은 광원이 격자 무늬 창에 대해서 조사함으로써, 격자 무늬 창의 그림자를 통해서 격자 무늬를 형성하는 것도 가능하다. Alternatively, a grid may be formed by further including a grid pattern window positioned between the light source and the target area, with a light source irradiating light on the target area. In this case, it is also possible to form a grid pattern through the shadow of the grid pattern window by irradiating a grid pattern window with a light source irradiating the target area of the plane divided by the grid.
도 5는 "R", "A", "B", "B", "I", "T"라는 6개의 문자 또는 블록(60)을 배치하게 되며, 영상 획득부에서 이것을 획득하여, 영상 처리부에서는 이것을 처리하여 영어 단어인 "RABBIT"라는 것을 인식하고, 컨텐츠 제공부에서는 RABBIT의 뜻에 해당하는 토끼 사진이나 캐릭터나 설명을 표시하고, 음성 출력부인 스피커에서 "ACE"의 영어 발음을 미국식, 영국식 등으로 출력하여, 사용자와 인터랙션을 하게 된다. 나아가 사용자가 영어 발음을 한 것을 마이크(미도시)에서 획득하여 음성 처리하여 사용자에게 발음에 대한 피드백을 주는 것도 가능하다. In FIG. 5, six characters or blocks 60, “R”, “A”, “B”, “B”, “I”, and “T”, are arranged, and the image acquisition unit acquires this, thereby obtaining an image processing unit. The process handles this and recognizes the English word "RABBIT". The content provider displays a rabbit picture or character or description corresponding to the meaning of RABBIT, and the English pronunciation of "ACE" in the speaker, which is the audio output unit, is American or British. It outputs to etc. and interacts with the user. Furthermore, it is also possible to obtain feedback from the microphone by notifying the user of the pronunciation of the user's pronunciation in English (not shown).
도 6은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 2개의 카메라를 이용하여 대상 영역 및 사용자 관련 영상을 동시에 파노라마 영상으로 획득하는 것으로 설명하는 도면이다. FIG. 6 is a diagram illustrating that a target region and a user-related image are simultaneously acquired as a panoramic image using two cameras in a device capable of user interaction according to a preferred embodiment of the present invention.
영상 획득부는, 연장부의 말단에 배치된 2개의 카메라(10 및 20)로 이루어지며, 2개의 카메라에서 스트리밍되는 각각의 영상을 파노라마 영상으로 병합하고, 병합된 파노라마 영상을 병렬 처리하여, 상술한 대상 영역의 영상과 사용자 관련 영상을 획득할 수 있다. The image acquisition unit is composed of two
이를 위해서, 2개의 카메라(10 및 20) 각각(각각의 카메라의 화각의 예로는, 약 75도를 들 수 있음)은 서로 교차하지 않는 ROI(Region of Interest)를 설정할 수 있어서, 넓은 화각의 영상을 처리하는 것이 가능하다. 이와 같이 할 경우, 하나의 광각 렌즈를 이용하여 영상을 획득하고 처리하는 것과 비교하여 왜곡을 줄이는 것이 가능하다. 참고로, 도 6에서 도시된 공간(70)은 2개의 카메라를 통해서 획득되는 공간적인 영역을 표시한 것이다. To this end, each of the two
도 7은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 평면이 아닌 입체 또는 공간적 영역인 경우를 설명하는 도면이다.7 is a diagram for explaining a case in which a target area is a three-dimensional or spatial area other than a plane in a device capable of user interaction according to a preferred embodiment of the present invention.
도 7에 도시된 바와 같이, 대상 영역은 격자로 구획된 평면 상에 쌓여진 복수 개의 블록으로 이루어진 격자로 구획된 평면 상의 공간으로 이루어질 수 있다. 도 6에서는 영상 획득부에서 2개 또는 그 이상의 카메라에서 입체적인, 즉 평면 상의 공간 정보를 획득하여 평면 상에 쌓여진 블록 등을 인식하는 것이 가능하다. 여기서는 블록만을 설명하였지만, 블록 이외의 입체적인 모형 등을 영상 획득 및 영상 처리를 통해서 획득하는 것이 가능하다. 이를 통해서, 앞에서 설명한 평면의 대상 영역이 아닌 입체적, 공간적 대상 영역도 인식하는 것이 가능하게 된다. As illustrated in FIG. 7, the target region may be formed of a space on a plane divided by a grid composed of a plurality of blocks stacked on a plane divided by a grid. In FIG. 6, it is possible to recognize blocks stacked on a plane by acquiring three-dimensional, that is, spatial information on a plane, from two or more cameras in the image acquisition unit. Although only blocks are described here, it is possible to obtain a three-dimensional model other than the block through image acquisition and image processing. Through this, it is possible to recognize a three-dimensional and spatial target region, not the plane target region described above.
도 8은 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 가상의 평면 영역인 경우를 설명하는 도면이다.8 is a diagram illustrating a case in which a target area is a virtual plane area in a device capable of user interaction according to a preferred embodiment of the present invention.
도 8에 도시된 바와 같이, 도 6의 블록(60)과 같은 실제의 대상체가 아니라, 가상이 대상체인 경우를 도시한 것으로, 가상의 대상체는 아이패드(80)나 갤럭시 탭(80)과 같은 터치 스크린 상에서 가상의 대상체가 존재하고, 이를 옮겨서 정해진 위치 또는 터치 스크린 상의 격자 무늬 위에 올려서, 도 5와 같이, 도 5의 "R", "A", "B", "B", "I", "T"라는 단어를 완성하는 것이 가능하다. As illustrated in FIG. 8, the virtual object is not an actual object such as the
이 경우, 제어부는, 가상의 대상체가 존재하는 터치 스크린의 전자 제품도 같이 제어하는 것이 바람직하다. 또는 서로 간의 블루투스 통신을 통해서 연동하여 동작하는 것도 가능하다. 이 경우, 터치 스크린 역할을 하는 아이패드나 갤럭시 탭의 마이크나 스피커를 활용하여 청각적인 신호를 획득하고 처리하고, 출력하는 것도 가능하다. In this case, it is preferable that the controller also controls the electronic product of the touch screen where the virtual object is present. Alternatively, it is also possible to operate in conjunction with each other through Bluetooth communication. In this case, it is also possible to acquire, process, and output an audible signal using a microphone or speaker of an iPad or Galaxy Tab that acts as a touch screen.
즉, 상술한 바와 같이, 대상 영역의 대상체는 실제 대상체만일 수도 있으며, 가상 대상체만일 수도 있으며, 가상 대상체와 실제 대상체를 모두 포함하는 것일 수도 있다. 실제 대상체를 분실하는 등 실제 대상체가 없는 경우나, 실제 대상체가 부족한 경우에 대응하는 것이 가능하며, 어린이들의 상상력을 좀 더 자극하는 형태의 가상 대상체를 갖게 할 수 있다. That is, as described above, the object in the target area may be only a real object, only a virtual object, or may include both a virtual object and a real object. It is possible to respond to a case where there is no real object, such as losing a real object, or when the real object is insufficient, and to have a virtual object in a form that further stimulates children's imagination.
가상 대상체를 구현하는 방식은 도 8에 도시된 바와 같이, 대상 영역의 대상체는, 터치 스크린 상에 표시되는 가상의 대상체이며, 영상 획득부는, 터치 스크린 상의 가상 대상체에 대한 사용자의 조작 영상을 획득하고, 영상 처리부는 획득된 사용자의 조작 영상을 처리하여 사용자의 조작을 상기 컨텐츠 제공부로 제공하거나, 또는 터치 스크린에서의 가상 대상체에 대한 사용자의 조작을 통신을 통해서 컨텐츠 제공부로 바로 제공할 수 있다. As illustrated in FIG. 8, a method of implementing a virtual object is an object in a target area, a virtual object displayed on a touch screen, and the image acquisition unit acquires a user's manipulation image for the virtual object on the touch screen, The image processing unit may process the acquired user's manipulation image to provide the user's manipulation to the content providing unit, or provide the user's manipulation of the virtual object on the touch screen directly to the content providing unit through communication.
또한, 가상 대상체를 구현하는 방식은 도 8과 같은 형태 이외에도, 대상 영역 상에 가상 대상체를 투사하는 투사 장치를 더 포함하고, 영상 획득부는, 투사 장치에 의해서 투사된 가상 대상체에 대한 사용자의 조작 영상을 획득하고, 영상 처리부는, 획득된 사용자의 조작 영상을 처리하여, 컨텐츠 제공부 및 상기 투사 장치로 제공할 수 있다. 여기서, 투사 장치는 영상 처리부의 결과에 기초하여, 대상 영역 상에 투사하는 가상 대상체에 대한 정보를 수정하여 투사할 수도 있다. In addition, the method of implementing the virtual object further includes a projection device for projecting the virtual object on the target area, in addition to the form shown in FIG. 8, and the image acquisition unit includes a user's manipulation image of the virtual object projected by the projection device The image processing unit may process the acquired user's manipulation image and provide it to the content providing unit and the projection device. Here, the projection device may correct and project information on the virtual object projected on the target area based on the result of the image processing unit.
도 9는 본 발명의 바람직한 실시예에 따른 사용자 인터랙션이 가능한 장치에서 대상 영역이 평면이 아닌 가상의 입체 또는 공간적 영역인 경우를 설명하는 도면이다. 9 is a diagram for explaining a case in which a target area is a virtual three-dimensional or spatial area rather than a plane in a device capable of user interaction according to a preferred embodiment of the present invention.
도 9에 도시된 바와 같이, 도 7과 같이, 대상 영역을 평면이 아니라 공간으로 확장한 것이며, 도 8과 같이 대상체를 실제 대상체가 아니라 가상의 대상체로 구현하고 동작하는 것으로, 홀로그램 대상체를 형성하여 동작하는 것을 도시한 것이다. 홀로그램 대상체 구현을 위해서, 본 발명에 따른 사용자 인터랙션이 가능한 장치의 연장부는 내부 공간이 만들어지게 되는 형태로 유선형의 형상을 가지는 것이 바람직하다. 홀로그램의 실제 구현은 다수의 종래 기술을 활용하여 구현하는 것이 가능하므로, 여기서 실제 구현의 설명은 생략하기로 한다. As shown in FIG. 9, as shown in FIG. 7, the target area is expanded to a space rather than a plane. As shown in FIG. 8, a hologram object is formed by operating and realizing an object as a virtual object instead of a real object. It shows what works. In order to implement the hologram object, it is preferable that the extension portion of the device capable of user interaction according to the present invention has a streamlined shape in which an internal space is created. Since the actual implementation of the hologram can be implemented by using a number of conventional technologies, the description of the actual implementation will be omitted here.
도 8와 같이, 도 9는 가상 대상체를 구현하는 또다른 방식으로, 사용자 인터랙션이 가능한 장치는, 가상의 대상체인 홀로그램 대상체를 구현하는 홀로그램부를 더 포함하고, 영상 획득부는, 홀로그램 대상체에 대한 사용자의 조작 영상을 획득하고, 영상 처리부는 획득된 사용자의 조작 영상을 처리하여 사용자의 조작을 컨텐츠 제공부로 제공할 수 있다. As shown in FIG. 8, FIG. 9 is another method of implementing a virtual object, and the apparatus capable of user interaction further includes a hologram unit that implements a hologram object that is a virtual object, and the image acquisition unit is configured by the user for the hologram object. The manipulation image may be acquired, and the image processing unit may process the acquired manipulation image of the user to provide the manipulation of the user to the content providing unit.
이상, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.The embodiments of the present invention have been described above with reference to the accompanying drawings, but those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. You will understand that there is. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
10 또는 20 .... 대상 영역 카메라
30 .... 사용자 관련 카메라
40 .... 격자로 구획된 평면 또는 격자판 10 or 20 .... Target area camera
30 .... User-related cameras
40 .... Planes or grids divided by grids
Claims (6)
상기 영상 획득부에서 획득한 영상을 처리하되, 상기 대상 영역의 영상에서 격자로 구획된 상기 대상 영역 상에 위치하는 문자, 숫자 및 블록 중 어느 하나 이상을 포함하는 대상체의 윤곽선 및 여백 및 상기 격자 구획에 대한 영상 인식 및 영상 처리를 수행하고, 상기 사용자 관련 영상에서 상기 사용자의 얼굴, 표정, 눈, 시선, 코, 입, 목, 이, 귀, 손 중 적어도 하나 이상을 포함하는 생체 정보에 대한 영상 인식 및 영상 처리를 수행하는 영상 처리부;
상기 영상 처리부에서의 상기 대상체의 인식 처리 결과 인식된 대상체의 의미에 해당하는 사진, 캐릭터, 설명, 음성 중 어느 하나 이상을 포함하는 컨텐츠를 제공하며, 상기 생체 정보를 포함하는 상기 사용자 관련 영상에 기초로 하여, 상기 사용자의 집중도 또는 흥미도를 높이는 방향으로 제어하는 컨텐츠 제공부;
상기 영상 획득부, 상기 영상 처리부, 및 컨텐츠 제공부를 제어하는 제어부; 및
상기 대상 영역 상에 대상체 및 상기 격자 구획을 투사하는 투사 장치;를 포함하고,
상기 영상 획득부는 상기 투사 장치에 의해서 투사된 상기 대상체에 대한 상기 사용자의 조작 영상을 획득하고,
상기 영상 처리부는 상기 획득된 사용자의 조작 영상을 처리하여, 상기 컨텐츠 제공부 및 상기 투사 장치로 제공하고,
상기 투사장치는 상기 영상 처리부의 결과에 기초하여, 상기 대상 영역 상에 투사하는 상기 대상체에 대한 정보를 수정하여 투사하고,
상기 대상 영역의 대상체는 가상의 입체적 대상체인,
사용자 인터랙션이 가능한 장치.
An image acquisition unit that acquires an image of a target region and a user-related image using two or more cameras;
The outline and margins of the object and the grid section of the object including one or more of letters, numbers, and blocks located on the target area partitioned by a grid in the image of the target area, while processing the image acquired by the image acquisition unit Performs image recognition and image processing for the image of the user, and the image related to the biometric information including at least one of the user's face, facial expression, eyes, gaze, nose, mouth, neck, teeth, ears, hands An image processing unit that performs recognition and image processing;
The image processing unit provides content including any one or more of pictures, characters, descriptions, and voices corresponding to the meaning of the recognized object as a result of the object recognition process, and is based on the user-related image including the biometric information. The content providing unit for controlling the user's concentration or interest in a direction to increase;
A control unit controlling the image acquisition unit, the image processing unit, and a content providing unit; And
It includes; a projection device for projecting the object and the grid section on the target area; includes,
The image acquisition unit acquires the manipulation image of the user for the object projected by the projection device,
The image processing unit processes the acquired operation image of the user, and provides it to the content providing unit and the projection device,
The projection apparatus corrects and projects information on the object projected on the target area based on a result of the image processing unit,
The object in the target area is a virtual three-dimensional object,
User-interactable devices.
상기 대상 영역의 대상체는 상기 가상 대상체 이외에 실제 대상체를 포함하는,
사용자 인터랙션이 가능한 장치.
According to claim 1,
An object in the target area includes a real object in addition to the virtual object,
User-interactable devices.
상기 대상 영역의 대상체는, 터치 스크린 상에 표시되는 가상의 대상체이며,
상기 영상 획득부는, 상기 터치 스크린 상의 가상 대상체에 대한 상기 사용자의 조작 영상을 획득하고, 상기 영상 처리부는 상기 획득된 사용자의 조작 영상을 처리하여 상기 사용자의 조작을 상기 컨텐츠 제공부로 제공하거나, 또는
상기 터치 스크린에서의 가상 대상체에 대한 상기 사용자의 조작을 통신을 통해서 상기 컨텐츠 제공부로 바로 제공하는,
사용자 인터랙션이 가능한 장치.
According to claim 1,
The object in the target area is a virtual object displayed on the touch screen,
The image acquisition unit acquires the user's manipulation image for the virtual object on the touch screen, and the image processing unit processes the acquired user's manipulation image to provide the user's manipulation to the content providing unit, or
Providing the user's manipulation of the virtual object on the touch screen directly to the content providing unit through communication,
User-interactable devices.
상기 장치는, 가상의 대상체인 홀로그램 대상체를 구현하는 홀로그램부를 더 포함하고,
상기 영상 획득부는, 상기 홀로그램 대상체에 대한 상기 사용자의 조작 영상을 획득하고, 상기 영상 처리부는 상기 획득된 사용자의 조작 영상을 처리하여 상기 사용자의 조작을 상기 컨텐츠 제공부로 제공하는,
사용자 인터랙션이 가능한 장치.
According to claim 1,
The apparatus further includes a hologram unit that implements a holographic object that is a virtual object,
The image acquisition unit acquires the user's manipulation image of the hologram object, and the image processing unit processes the acquired user's manipulation image to provide the user's manipulation to the content providing unit,
User-interactable devices.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170171314A KR102119863B1 (en) | 2017-12-13 | 2017-12-13 | Apparatus of interacting with user |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170171314A KR102119863B1 (en) | 2017-12-13 | 2017-12-13 | Apparatus of interacting with user |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190070619A KR20190070619A (en) | 2019-06-21 |
| KR102119863B1 true KR102119863B1 (en) | 2020-06-16 |
Family
ID=67056525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170171314A KR102119863B1 (en) | 2017-12-13 | 2017-12-13 | Apparatus of interacting with user |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102119863B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011206471A (en) * | 2010-03-30 | 2011-10-20 | Konami Digital Entertainment Co Ltd | Game device, control method of game device, and program |
| JP2012208705A (en) * | 2011-03-29 | 2012-10-25 | Nec Casio Mobile Communications Ltd | Image operation apparatus, image operation method and program |
| KR101369358B1 (en) * | 2013-08-06 | 2014-03-04 | 홍주희 | Display control system and recording medium thereof |
| JP2015212898A (en) * | 2014-05-02 | 2015-11-26 | キヤノン株式会社 | Image processor, information processing method and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09197582A (en) * | 1996-01-17 | 1997-07-31 | Sony Corp | Seamless panoramic video photographing device for multiscreen |
| KR20170019400A (en) * | 2017-02-13 | 2017-02-21 | 아토큐브 주식회사 | Cube-type puzzle pattern matching method |
-
2017
- 2017-12-13 KR KR1020170171314A patent/KR102119863B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011206471A (en) * | 2010-03-30 | 2011-10-20 | Konami Digital Entertainment Co Ltd | Game device, control method of game device, and program |
| JP2012208705A (en) * | 2011-03-29 | 2012-10-25 | Nec Casio Mobile Communications Ltd | Image operation apparatus, image operation method and program |
| KR101369358B1 (en) * | 2013-08-06 | 2014-03-04 | 홍주희 | Display control system and recording medium thereof |
| JP2015212898A (en) * | 2014-05-02 | 2015-11-26 | キヤノン株式会社 | Image processor, information processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190070619A (en) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guarniero | Experience of tactile vision | |
| KR101169674B1 (en) | Telepresence robot, telepresence system comprising the same and method for controlling the same | |
| EP2482760B1 (en) | Object tracking for artificial vision | |
| US20180277117A1 (en) | Method and Apparatus for Speech Interaction with Children | |
| CN112601509B (en) | Hybrid perspective augmented reality system and method for low vision users | |
| US20080058894A1 (en) | Audiotactile Vision Substitution System | |
| CN204706208U (en) | Intelligence children education robot | |
| US11397467B1 (en) | Tactile simulation of initial contact with virtual objects | |
| KR20170107229A (en) | cognitive training apparatus and method with eye-tracking | |
| CN107020632A (en) | A kind of control system of teaching robot | |
| JP7066115B2 (en) | Public speaking support device and program | |
| CN110176162B (en) | Wearable system and teaching method applied to wearable system | |
| KR102081685B1 (en) | Apparatus of interacting with user | |
| KR102119863B1 (en) | Apparatus of interacting with user | |
| Fontana | Association of haptic trajectories to takete and maluma | |
| Valencia et al. | A computer-vision based sensory substitution device for the visually impaired (See ColOr). | |
| KR20170107224A (en) | eye-tracking module with cognitive training contents and cognitive training method thereof | |
| Lansing | The research of Jean Piaget and its implications for art education in the elementary school | |
| CN107967825A (en) | A kind of learning aids system that the corresponding figure of display is described according to language | |
| WO2007022054A2 (en) | System and method for simultaneous demonstration of mouth movements together with visual presentation of an image that represents a letter(s) or word(s) being pronounced | |
| Maidenbaum et al. | Non-visual virtual interaction: Can Sensory Substitution generically increase the accessibility of Graphical virtual reality to the blind? | |
| CN205508179U (en) | Behavior modeling education device | |
| WO2019190817A1 (en) | Method and apparatus for speech interaction with children | |
| US20200312177A1 (en) | Interactive Educational Electronic Toy System | |
| CN105280028A (en) | Classroom assistant based on three-dimensional simulation technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |