KR101862381B1 - Mobile terminal device for providing image matching with focus of user's two eyes - Google Patents
Mobile terminal device for providing image matching with focus of user's two eyes Download PDFInfo
- Publication number
- KR101862381B1 KR101862381B1 KR1020160169815A KR20160169815A KR101862381B1 KR 101862381 B1 KR101862381 B1 KR 101862381B1 KR 1020160169815 A KR1020160169815 A KR 1020160169815A KR 20160169815 A KR20160169815 A KR 20160169815A KR 101862381 B1 KR101862381 B1 KR 101862381B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- eye
- image
- lens
- value
- Prior art date
Links
Images
Classifications
-
- G02B27/2207—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
본 발명은 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치에 관한 것으로, 사용자의 양안을 촬영하여 획득한 이미지로 사용자마다 각기 다른 눈의 구조를 분석하고 영상 또는 렌즈를 조절하여 사용자의 각기 다른 눈의 초점에 부합하는 영상을 제공하는 기술에 관한 것이다.The present invention relates to an image providing portable terminal device that matches the focus of a user's binoculars. The present invention relates to an image providing portable terminal device that analyzes the structure of an eye for each user with an image obtained by photographing both eyes of a user and adjusts an image or a lens, To a technique for providing an image matching the focus of an eye.
일반적으로 HMD는 개인용 디스플레이 장치로서, 사용자가 머리에 착용한 상태에서 대형 화면을 현장감 있고 실감나는 화면을 감상할 수 있게 되었다. 그러나, HMD는 사용자의 안구와 출력되는 영상의 위치가 서로 매우 가깝기 때문에 짧은 거리에서 초점을 맞춰야한다. 이는 실감나는 화면을 감상함에 있어, 눈에 피로감을 줄 수 있으며 멀미, 어지럼증을 유발할 수 있다. 따라서 각기 다른 눈의 구조에 따른 초점에 부합하는 영상 제공이 요구된다.In general, the HMD is a personal display device, allowing a user to enjoy a realistic and realistic screen on a large screen while worn on the user's head. However, the HMD must focus at a short distance because the position of the user's eye and the output image are very close to each other. This can result in tired eyes, nausea, and dizziness in viewing realistic pictures. Therefore, it is required to provide images that match the focus of each different eye structure.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 휴대단말장치로, 사용자의 각기 다른 신체구조에 부합하는 영상을 자동으로 조절하는 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치를 제공하는 데 있다.Accordingly, it is an object of the present invention to provide a portable terminal device capable of automatically adjusting an image corresponding to a different body structure of a user, And to provide an image providing portable terminal device that conforms to the present invention.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치는, 상기 사용자의 양안을 촬영하는 촬영부와, 촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부와, 상기 생성된 결과값을 기초로 출력영상의 위치를 사용자의 각 눈의 초점에 부합하는 출력위치로 보정하는 출력위치보정부와, 상기 출력위치로 보정된 출력영상을 출력하는 영상출력부를 포함하는 것을 특징으로 한다.In order to achieve the above object, according to the technical idea of the present invention, there is provided an image providing portable terminal according to the focal point of a user's eyes, comprising: a photographing unit for photographing both eyes of the user; A binocular image analyzing unit for generating a result value indicating a position on a three-dimensional image of each eye of the eye based on the generated result value, and an outputting unit for correcting the position of the output image to an output position, And a video output unit for outputting an output image corrected to the output position.
본 발명의 일 실시예에 따르는 결과값은, 세로 중심선으로부터 이격된 각 눈의 수평거리값과, 가로 중심선으로부터 이격된 각 눈의 수직거리값 및 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값을 포함하는 것을 특징으로 한다.The resultant value according to an embodiment of the present invention is a value obtained by dividing the horizontal distance value of each eye separated from the vertical center line, the vertical distance value of each eye separated from the horizontal center line, And a distance value.
한편, 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치는, 상기 사용자의 양안을 촬영하는 촬영부와, 촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부와, 상기 생성된 결과값을 기초로 각 눈의 초점에 부합하는 출력위치를 제공하도록 각 눈과 영상 사이에 위치한 렌즈의 위치를 제어하는 렌즈제어신호를 생성하는 렌즈제어신호생성부와, 상기 생성된 렌즈제어신호를 송신하는 렌즈제어신호송신부를 포함하는 것을 특징으로 한다.On the other hand, the image providing portable terminal device that matches the focus of the user's binocular includes a photographing section for photographing both eyes of the user, and a resultant value indicating the position of the eye of the user in three dimensions by analyzing the photographed binocular image A lens control signal for generating a lens control signal for controlling a position of a lens positioned between each eye and an image to provide an output position corresponding to the focus of each eye based on the generated result value, And a lens control signal transmitter for transmitting the generated lens control signal.
본 발명의 일 실시예에 따르는 결과값은, 세로 중심선으로부터 이격된 각 눈의 수평거리값과, 가로 중심선으로부터 이격된 각 눈의 수직거리값 및 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값을 포함하는 것을 특징으로 한다.The resultant value according to an embodiment of the present invention is a value obtained by dividing the horizontal distance value of each eye separated from the vertical center line, the vertical distance value of each eye separated from the horizontal center line, And a distance value.
본 발명의 일 실시예에 따르면, 상기 렌즈제어신호송신부에서 유선 또는 무선으로 상기 렌즈제어신호를 전달받는 렌즈제어신호수신부 및 상기 전달받은 렌즈제어신호에 따라 각 렌즈의 3차원 위치를 제어하는 렌즈위치제어부를 더 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, a lens control signal receiving unit that receives the lens control signal in a wired or wireless manner from the lens control signal transmitting unit and a lens control signal receiving unit that controls a three- And a control unit.
본 발명의 일 실시예에 따르면, 상기 렌즈위치제어부는 상기 각 렌즈와 연결되고, 각 렌즈의 수평거리를 조절하는 수평구동모터, 각 렌즈의 수직거리를 조절하는 수직구동모터 및 각 렌즈의 깊이거리를 조절하는 깊이구동모터를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, the lens position control unit includes a horizontal driving motor connected to each of the lenses, for adjusting the horizontal distance of each lens, a vertical driving motor for adjusting the vertical distance of each lens, And a depth drive motor that adjusts the depth of the substrate.
본 발명에 의한 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치는 사용자의 각기 다른 각 눈의 구조에 따라 각 눈의 수평거리, 수직거리, 깊이거리를 측정하고 분석하여 그에 부합하는 영상을 사용자가 인식할 수 있도록 한다. 자동으로 조절하므로 부합하는 영상을 정확하게 제공받을 수 있으며, 이를 통해 양안시차의 다양함에 따른 멀미, 어지럼증을 예방할 수 있고, 입체영상에 대한 입체감을 높일 수 있는 효과가 있게 된다.The image providing portable terminal according to the present invention can measure and analyze the horizontal distance, the vertical distance and the depth distance of each eye according to the structure of each eye of the user, To be recognized. So that it is possible to accurately receive the matching images. Accordingly, it is possible to prevent nausea and dizziness due to various binocular parallaxes, and to increase stereoscopic effect on the stereoscopic image.
도 1은 본 발명의 일 실시예에 따른 출력영상 위치보정기능을 포함하는 휴대단말장치에 관한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 결과값을 나타내는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 렌즈위치제어기능을 포함하는 휴대단말장치에 관한 구성도이다.
도 4는 본 발명의 일 실시예에 따른 렌즈위치제어부를 나타내는 구성도이다.1 is a block diagram of a portable terminal apparatus including an output image position correction function according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a result value according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a block diagram of a portable terminal device including a lens position control function according to an embodiment of the present invention.
4 is a block diagram of a lens position controller according to an embodiment of the present invention.
첨부한 도면을 참조하여 본 발명의 실시예들에 의한 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.A portable terminal apparatus according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. In the accompanying drawings, the dimensions of the structures are enlarged to illustrate the present invention, and are actually shown in a smaller scale than the actual dimensions in order to understand the schematic structure.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Also, the terms first and second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. On the other hand, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
본 발명의 실시예에 의한 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치는, 사용자의 양안을 촬영하여 획득한 양안이미지로 사용자마다 각기 다른 눈의 구조를 분석하고 영상의 출력위치를 보정하거나 렌즈의 위치를 제어하여 사용자의 각기 다른 눈의 초점에 부합하는 영상을 제공하는 기술이다.The image providing portable terminal according to the embodiment of the present invention can analyze the structure of the eyes of each user in the binocular image obtained by photographing both eyes of the user and correct the output position of the image It is a technique to control the position of the lens to provide an image that matches the focus of different eyes of the user.
이러한 휴대단말장치를 통해 사용자의 각기 다른 각 눈의 구조에 따라 각 눈의 수평거리, 수직거리, 깊이거리를 측정하고 분석하여 그에 부합하는 영상을 사용자가 인식할 수 있도록 한다. 자동으로 조절하므로 부합하는 영상을 정확하게 제공받을 수 있으며, 이를 통해 양안시차의 다양함에 따른 멀미, 어지럼증을 예방할 수 있고, 입체영상에 대한 입체감을 높일 수 있는 효과가 있게 된다.The portable terminal device measures and analyzes the horizontal distance, the vertical distance and the depth distance of each eye according to the structure of each eye of the user so that the user can recognize the image corresponding thereto. So that it is possible to accurately receive the matching images. Accordingly, it is possible to prevent nausea and dizziness due to various binocular parallaxes, and to increase stereoscopic effect on the stereoscopic image.
이하, 본 발명의 실시예에 의한 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치에 대해 도면을 참조하여 설명한다.Hereinafter, an image providing portable terminal according to a preferred embodiment of the present invention will be described with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상의 출력위치 보정기능을 휴대단말장치에 관한 구성도이다. 상기 사용자의 양안을 촬영하는 촬영부와, 촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부와, 상기 생성된 결과값을 기초로 출력영상의 위치를 사용자의 각 눈의 초점에 부합하는 출력위치로 보정하는 출력위치보정부와, 상기 출력위치로 보정된 출력영상을 출력하는 영상출력부를 포함하는 것을 특징으로 한다. 휴대단말장치를 착용하여 고정을 하고, 휴대단말장치가 포함하고 있는 촬영부에서 사용자의 양안을 촬영한다. 이때 보다 정확한 양안이미지 획득을 위해 연속으로 촬영하여 가장 비슷한 이미지가 많이 출력되었을 때의 사용자의 양안이미지를 택하여 양안이미지를 생성할 수 있다. 또는 양안이미지에 한정하지 않고, 영상을 촬영하여 보다 자연스러운 사용자의 양안을 인식할 수 있으며, 양안에서 눈 깜빡임을 인식하고 눈 깜빡임과 깜빡임 사이에 가장 먼 양안이미지를 획득할 수도 있다. 눈 깜빡임을 인식하는 경우에는, 깜빡임에 따라 피부색과 눈 색을 따로 구분하여 각 눈의 위치를 인식할 수도 있다. 이렇게 얻은 양안이미지를 양안이미지분석부에서 분석을 하고 결과값을 생성한다. 결과값은, 사용자의 각 눈의 3차원 상의 위치를 나타낸다. 눈이 갖는 3차원 입체적 형상에 의해 특정 값뿐만 아니라 범위 값을 갖는 것도 포함된다. 상기 생성된 결과값을 기초로 출력영상의 위치를 사용자의 각 눈의 초점에 부합하는 출력위치로 보정한다. 만약 출력영상이 사용자의 각 눈의 초점에 부합하지 않았을 경우에는 멀미 또는 어지럼증이 유발된다. 출력되는 곳과 인식하는 각 눈 사이의 거리가 매우 짧으므로 출력영상을 조절하는 것은 매우 중요하다. 일반적으로 상을 인식하는 것보다 짧은 거리에서 더 작은 상이 출력되므로 정밀한 위치 조절이 요구된다. 본 발명의 일 실시예에 따르면 각 눈의 3차원 상의 위치를 나타내는 결과값을 통해 사용자의 각 눈의 초점이 맺히는 위치 또는 사용자가 각 눈을 통해 영상을 인식 가능한 정도의 범위를 분석하고, 그러한 위치 또는 범위에 출력영상이 출력될 수 있도록 출력되는 위치를 보정한다. 영상출력부는 상기 출력위치로 보정된 출력영상을 출력한다. 보정의 과정에서 출력위치를 변경하거나, 상기 영상출력부 자체의 위치를 변경하는 것도 포함한다.FIG. 1 is a configuration diagram of a portable terminal apparatus for performing an output position correction function of an image according to an exemplary embodiment of the present invention. A binocular image analyzing unit for analyzing the captured binocular image and generating a result value indicating a position of a user's three-dimensional image on the basis of the binocular image analyzing unit; An output position correcting unit for correcting the position of the image to an output position corresponding to the focus of each eye of the user, and an image output unit for outputting the output image corrected to the output position. The portable terminal device is worn and fixed, and the photographing part included in the portable terminal device photographs both sides of the user. At this time, it is possible to generate a binocular image by taking a user's binocular image when consecutive images are taken to obtain a more accurate binocular image and when the most similar images are outputted a lot. Alternatively, the present invention is not limited to a binocular image, but a binocular image of a more natural user can be recognized by capturing an image. In addition, binocular binocular images can be recognized between binocular blinking and blinking. If the blinking of the eye is recognized, the position of each eye can be recognized by separating the skin color and the eye color according to the blinking. The binocular image analysis unit analyzes the obtained binocular image and generates a resultant value. The resultant value represents the three-dimensional position of each eye of the user. Dimensional shape of the eye as well as a specific value as well as a range value. And the position of the output image is corrected to an output position corresponding to the focus of each eye of the user based on the generated result value. If the output image does not match the focus of each eye of the user, motion sickness or dizziness is triggered. Since the distance between the output and each eye is very short, adjusting the output image is very important. Generally, a smaller phase is output at a shorter distance than a phase recognizing, so precise position control is required. According to an embodiment of the present invention, the user can analyze the range of the focus of each eye of the user or the range of the degree that the user can recognize the image through each eye through the result value indicating the position of the three-dimensional image of each eye, Or the output position so that the output image can be output in the range. The video output unit outputs the output video corrected to the output position. Changing the output position in the course of the correction, or changing the position of the image output unit itself.
도 2는 본 발명의 일 실시예에 따른 결과값을 나타내는 구성도이다. 본 발명의 일 실시예에 따르는 결과값은, 세로 중심선으로부터 이격된 각 눈의 수평거리값과, 가로 중심선으로부터 이격된 각 눈의 수직거리값 및 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값을 포함한다. 세로 중심선으로부터 이격된 각 눈의 수평거리값은 수평 정도를 나타내는 값으로, 사용자의 양안의 사이에서 세로 중심선이 임의로 생성되고, 각 눈이 그곳에서 얼마나 벗어났는지를 측정하는 것을 포함한다. 눈과 눈 사이가 좁은 사람과 눈과 눈 사이가 넓은 사람의 수평거리값은 다르게 측정된다. 수평 거리값은 세로 중심선이 각 눈의 사이를 정확히 2등분 하는 곳에 생성되어, 얼굴의 중심과 세로 중심선이 얼마나 벗어났는지를 통해 수평거리값을 측정할 수도 있다. 가로 중심선으로부터 이격된 각 눈의 수직거리값도 수평거리값과 유사하며 서로 수직 관계에 있다. 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값은 수평거리값과, 수직거리값을 각 x축과 y축이라고 할 때 z축에 해당하는 것을 의미한다. 따라서 각 눈의 깊이를 의미하며 이는 눈 주변의 명암값으로부터 계산된다. 명암값은 사람의 피부색과 눈의 색을 고려하여 산출하는 것을 포함한다.FIG. 2 is a block diagram illustrating a result value according to an exemplary embodiment of the present invention. Referring to FIG. The resultant value according to an embodiment of the present invention is a value obtained by dividing the horizontal distance value of each eye separated from the vertical center line, the vertical distance value of each eye separated from the horizontal center line, It contains the distance value. The horizontal distance value of each eye spaced from the vertical center line is a value representing the horizontal degree, which includes the randomly generated vertical center line between the user's eyes and measuring how far each eye is from there. The horizontal distance between a person with a narrow eye and an eye and a person with a wide eye is measured differently. The horizontal distance value is generated where the vertical center line is exactly bisected between each eye, and the horizontal distance value can be measured through the distance between the center of the face and the vertical center line. Vertical distance values of each eye spaced from the horizontal center line are also similar to the horizontal distance values and are perpendicular to each other. The depth distance value of each eye calculated from the light intensity around each eye means that the horizontal distance value and the vertical distance value correspond to the z axis when each of the x axis and the y axis is referred to. Thus, it means the depth of each eye, which is calculated from the light and darkness around the eye. The darkness value includes calculation of the color of the human skin and the color of the eyes.
도 3은 본 발명의 일 실시예에 따른 렌즈제어기능을 포함하는 휴대단말장치에 관한 구성도이다. 렌즈제어기능을 포함하는 휴대단말장치는, 상기 사용자의 양안을 촬영하는 촬영부와, 촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부와, 상기 생성된 결과값을 기초로 각 눈의 초점에 부합하는 출력위치를 제공하도록 각 눈과 영상 사이에 위치한 렌즈의 위치를 제어하는 렌즈제어신호를 생성하는 렌즈제어신호생성부와, 상기 생성된 렌즈제어신호를 송신하는 렌즈제어신호송신부를 포함하는 것을 특징으로 한다. 사용자의 양안의 초점에 부합하는 영상을 제공하는 또 다른 방법으로, 사용자의 눈과 영상 사이에 위치한 렌즈의 위치를 제어한다. 생성된 결과값을 기초로 각 눈의 초점에 부합하는 영역에 출력영상을 제공할 수 있도록 렌즈를 제어하는 것을 포함한다. 렌즈제어신호생성부에서 결과값을 통해 렌즈제어신호를 생성하고, 생성한 렌즈제어신호를 렌즈제어신호송신부로 송신한다. 렌즈제어신호수신부와 렌즈위치제어부는 휴대단말장치에 렌즈와 함께 있는 것과, 휴대단말장치 외부에 렌즈와 함께 있는 것을 모두 포함할 수 있다.3 is a configuration diagram of a portable terminal device including a lens control function according to an embodiment of the present invention. A portable terminal apparatus including a lens control function includes a photographing section for photographing both eyes of the user and a binocular image analyzing section for analyzing the photographed binocular image and generating a result value indicating the position of the user's three- A lens control signal generator for generating a lens control signal for controlling a position of a lens positioned between each eye and an image to provide an output position corresponding to the focus of each eye based on the generated result value, And a lens control signal transmitter for transmitting the lens control signal. Another way of providing an image that matches the focus of the user's binocular is to control the position of the lens positioned between the user's eye and the image. And controlling the lens so as to provide an output image in an area corresponding to the focal point of each eye based on the generated result value. The lens control signal generation unit generates a lens control signal based on the resultant value, and transmits the generated lens control signal to the lens control signal transmission unit. The lens control signal receiving unit and the lens position control unit may include both the lens with the lens in the portable terminal unit and the lens with the lens outside the portable terminal unit.
도 4는 본 발명의 일 실시예에 따른 렌즈위치제어부를 나타내는 구성도이다. 상기 렌즈제어신호송신부에서 유선 또는 무선으로 상기 렌즈제어신호를 전달받는 렌즈제어신호수신부 및 상기 전달받은 렌즈제어신호에 따라 각 렌즈의 3차원 위치를 제어하는 렌즈위치제어부를 더 포함하는 것을 특징으로 한다. 생성한 렌즈제어신호를 렌즈제어수신부로 수신한다. 렌즈위치제어부에서는 전달받은 렌즈제어신호에 따라 사용자의 초점에 부합하는 영상을 제공하기 위한 각 렌즈의 3차원 위치를 판별하고 제어한다. 렌즈위치제어부는 렌즈의 위치를 제어할 수 있으며, 렌즈의 위치 제어를 통해 사용자는 양안의 초점에 부합하는 영상을 제공받을 수 있다. 각 눈의 렌즈는 적어도 하나 이상일 수 있다.4 is a block diagram of a lens position controller according to an embodiment of the present invention. A lens control signal receiving unit for receiving the lens control signal from the lens control signal transmitting unit in a wired or wireless manner, and a lens position controller for controlling the three-dimensional position of each lens according to the received lens control signal . And receives the generated lens control signal to the lens control receiving unit. The lens position control unit discriminates and controls the three-dimensional position of each lens for providing an image corresponding to the focus of the user according to the received lens control signal. The lens position control unit can control the position of the lens, and the user can receive images corresponding to the focus of both eyes through the position control of the lens. The lens of each eye may be at least one or more.
본 발명의 일 실시예에 따르는 렌즈위치제어부는 각 렌즈와 연결되고, 각 렌즈의 수평거리, 수직거리, 깊이거리를 조절하는 수평구동모터, 수직구동모터, 깊이구동모터를 포함할 수 있다. 수평, 수직, 깊이를 제어하는 것 외에도, 같은 수평, 수직, 깊이에서 다수의 렌즈의 위치 조절로 영상을 제공할 수 있다. 하나의 축으로만 구동하는 모터 외에도 3차원 공간에서의 위치변경이 가능한 장치가 사용되는 것을 포함한다.The lens position control unit according to an embodiment of the present invention may include a horizontal driving motor, a vertical driving motor, and a depth driving motor, which are connected to respective lenses and adjust the horizontal distance, vertical distance, and depth distance of each lens. In addition to controlling the horizontal, vertical, and depth, images can be provided by adjusting the position of multiple lenses at the same horizontal, vertical, and depth. In addition to a motor that drives only one axis, a device capable of positional change in three-dimensional space is used.
본 발명의 일 실시예에 따르면, 매번 사용자의 양안을 촬영하는 불필요함을 줄이고자, 사용자의 고유값을 부여하고, 고유값을 휴대단말기에 인식시켰을 때 기보정된 데이터를 저장하거나 로드할 수 있는 저장부를 더 포함할 수 있다. 이는 하나의 장치를 다수의 사용자가 지속적으로 사용하는 경우, 사용자 스스로 부합하다고 판단한 출력영상의 위치데이터를 저장하거나 로드함으로써 불필요한 양안을 분석하는 시간을 줄일 수 있다.According to an embodiment of the present invention, in order to reduce unnecessary photographing of the user's eyes each time, a unique value of a user is given, and when the portable terminal recognizes the unique value, And may further include a storage unit. When a plurality of users continuously use one device, it is possible to save time for analyzing unnecessary binaries by storing or loading position data of an output image determined by the user himself / herself.
본 발명의 일 실시예에 따르면, 사용자마다 고유값을 부여하고, 같은 사용자의 출력영상 위치가 변경되는 경우 상기 사용자의 각 눈의 구조 및 위치 등의 변경사항을 알리는 것을 포함한다. 또한 사용자마다 다른 각 눈의 구조에 따라 단순히 부합하는 출력영상만을 제공하는 것이 아니라, 기 분석된 사용자의 눈의 구조를 사용자에게 알려주어 사고나 질병을 예방할 수 있고, 출력영상의 위치가 비대칭에서 대칭으로 가는 경우에 눈의 교정 사항을 사용자에게 알려줄 수도 있으며, 변화되는 눈의 구조 및 위치를 기반으로 향후 변화되는 모습을 예측할 수 있고, 그에 따른 교정 사항을 알려줄 수 있는 것을 포함한다.According to an embodiment of the present invention, an eigenvalue is assigned to each user, and when the output image position of the same user is changed, the change of the structure and position of each eye of the user is informed. Also, it is possible to prevent accident or illness by informing the user of the structure of the user's eye that has been analyzed before, instead of providing only the output image that conforms to each other eye structure according to each user's eyes, The user can be informed of the correction of the eyes when going to the subject, and can predict the future changes based on the structure and position of the eye to be changed, and can inform the user of the correction.
본 발명의 일 실시예에 따르면, 스마트폰과 HMD를 이용하는 것을 포함한다. 이때 HMD는 스마트폰 거치식이거나 일체형 HMD일 수 있다. HMD를 장착하기 전에 스마트폰에서 촬영하여 도출한 결과값을 통해 HMD에서 부합하는 영상을 사용자에게 전달할 수 있다. 출력되는 영상을 사용자가 수동으로 조작하는 것과 달리, 자동으로 출력영상의 위치를 조절하거나, 사용자와 HMD 사이에 있는 렌즈를 조절하는 것을 포함한다.According to an embodiment of the present invention, a smartphone and an HMD are used. In this case, the HMD may be a smartphone-mounted type or an integrated HMD. Before the HMD is mounted, it is possible to transmit the image corresponding to the HMD to the user through the result obtained by taking the image from the smart phone. It automatically adjusts the position of the output image, or adjusts the lens between the user and the HMD, as opposed to manually manipulating the output image.
본 발명의 일 실시예에 따르면, 스마트폰의 다양한 어플리케이션으로 올바른 자세, 올바르게 눈의 구조가 변화하는지, 눈의 구조가 비대칭이 되는지를 사용자에게 알려주는 헬스케어에도 사용될 수 있다. 또는 사용자에게 당장은 부합할 수 있지만 올바른 위치에서의 출력영상을 제공함으로써 시력을 개선하거나, 안면의 구조를 바르게 교정할 수 있는 것을 포함한다.According to an embodiment of the present invention, the present invention can be used in a health care system that notifies the user that the various structures of the smartphone can be correctly positioned, correctly change the structure of the eyes, and make the structure of the eyes asymmetric. Or improving the visual acuity by providing an output image at the correct position, which can be immediately matched to the user, or correcting the structure of the face correctly.
본 발명의 일 실시예에 따르면, 휴대단말장치와 사용자간의 거리가 계속해서 변경될 수 있으며, 촬영부에서 실시간으로 측정되는 사용자의 영상을 통해 어떤 위치에서도 사용자의 양안의 초점에 부합하는 영상을 제공하는 것을 포함한다. 또한, 휴대단말장치가 가상현실 또는 증강현실에 이용되는 것을 포함한다. According to an embodiment of the present invention, the distance between the portable terminal apparatus and the user can be continuously changed, and the user can be provided with an image corresponding to the focus of the user's eyes in any position through the user's image measured in real- . It also includes that the portable terminal apparatus is used in a virtual reality or augmented reality.
이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is clear that the present invention can be suitably modified and applied in the same manner. Therefore, the above description does not limit the scope of the present invention, which is defined by the limitations of the following claims.
1 : 휴대단말장치 100 : 촬영부
200 : 양안이미지분석부 300 : 출력위치보정부
400 : 영상출력부 500 : 렌즈제어신호생성부
600 : 렌즈제어신호송신부 700 : 렌즈제어신호수신부
800 : 렌즈위치제어부 830 : 수평구동모터
860 : 수직구동모터 890 : 깊이구동모터1: portable terminal apparatus 100: photographing section
200: binocular image analyzing unit 300: output position correcting unit
400: video output unit 500: lens control signal generation unit
600: lens control signal transmission unit 700: lens control signal reception unit
800: lens position control unit 830: horizontal drive motor
860: Vertical drive motor 890: Depth drive motor
Claims (6)
상기 사용자의 양안을 촬영하는 촬영부;
촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부;
상기 생성된 결과값을 기초로 출력영상의 위치를 사용자의 각 눈의 초점에 부합하는 출력위치로 보정하는 출력위치보정부;
상기 출력위치로 보정된 출력영상을 출력하는 영상출력부;를 포함하고,
상기 결과값은, 세로 중심선으로부터 이격된 각 눈의 수평거리값과, 가로 중심선으로부터 이격된 각 눈의 수직거리값 및 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값을 포함하여 사용자의 각 눈의 초점이 맺히는 위치 또는 사용자가 각 눈을 통해 영상 인식 가능한 정도 범위를 분석하고,
사용자의 안구의 3차원 입체적 형상에 의해 특정 값 또는 범위 값을 갖는 것을 특징으로 하는 사용자의 양안의 초점에 부합하는 영상제공휴대단말장치.
1. A portable terminal apparatus for providing images in accordance with a focus of a user's eyes,
A photographing unit photographing both eyes of the user;
A binocular image analyzing unit for analyzing the photographed binocular image and generating a result value indicating a position of the user's three-dimensional image on each eye;
An output position correcting unit for correcting a position of an output image based on the generated result value to an output position corresponding to a focus of each eye of a user;
And an image output unit for outputting an output image corrected to the output position,
The resultant value includes the horizontal distance value of each eye spaced from the vertical center line, the vertical distance value of each eye spaced from the horizontal center line, and the depth distance value of each eye calculated from the lightness value around each eye, The position where each eye focuses, or the extent to which the user can recognize the image through each eye,
Wherein the user has a specific value or a range value according to a three-dimensional stereo shape of the user's eyeball.
상기 사용자의 양안을 촬영하는 촬영부;
촬영된 양안이미지를 분석하여, 사용자의 각 눈의 3차원 상의 위치를 나타내는 결과값을 생성하는 양안이미지분석부;
상기 생성된 결과값을 기초로 각 눈의 초점에 부합하는 출력위치를 제공하도록 각 눈과 영상 사이에 위치한 렌즈의 위치를 제어하는 렌즈제어신호를 생성하는 렌즈제어신호생성부;
상기 생성된 렌즈제어신호를 송신하는 렌즈제어신호송신부;를 포함하고,
상기 결과값은, 세로 중심선으로부터 이격된 각 눈의 수평거리값과, 가로 중심선으로부터 이격된 각 눈의 수직거리값 및 각 눈 주변의 명암값으로부터 계산된 각 눈의 깊이거리값을 포함하여 사용자의 각 눈의 초점이 맺히는 위치 또는 사용자가 각 눈을 통해 영상 인식 가능한 정도 범위를 분석하고,
사용자의 안구의 3차원 입체적 형상에 의해 특정 값 또는 범위 값을 갖는 것을 특징으로 하는 사용자의 양안의 초점에 부합하는 영상제공휴대단말장치.
1. A portable terminal apparatus for providing images in accordance with a focus of a user's eyes,
A photographing unit photographing both eyes of the user;
A binocular image analyzing unit for analyzing the photographed binocular image and generating a result value indicating a position of the user's three-dimensional image on each eye;
A lens control signal generator for generating a lens control signal for controlling a position of a lens positioned between each eye and an image to provide an output position corresponding to the focus of each eye based on the generated result;
And a lens control signal transmitter for transmitting the generated lens control signal,
The resultant value includes the horizontal distance value of each eye spaced from the vertical center line, the vertical distance value of each eye spaced from the horizontal center line, and the depth distance value of each eye calculated from the lightness value around each eye, The position where each eye focuses, or the extent to which the user can recognize the image through each eye,
Wherein the user has a specific value or a range value according to a three-dimensional stereo shape of the user's eyeball.
상기 렌즈제어신호송신부에서 유선 또는 무선으로 상기 렌즈제어신호를 전달받는 렌즈제어신호수신부; 및
상기 전달받은 렌즈제어신호에 따라 각 렌즈의 3차원 위치를 제어하는 렌즈위치제어부;
를 더 포함하는 것을 특징으로 하는 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치.The method of claim 3,
A lens control signal receiver for receiving the lens control signal from the lens control signal transmitter in a wired or wireless manner; And
A lens position controller for controlling the three-dimensional position of each lens according to the received lens control signal;
Wherein the portable terminal device further comprises a display unit for displaying the image of the user.
상기 렌즈위치제어부는 상기 각 렌즈와 연결되고,
각 렌즈의 수평거리를 조절하는 수평구동모터;
각 렌즈의 수직거리를 조절하는 수직구동모터; 및
각 렌즈의 깊이거리를 조절하는 깊이구동모터;
를 포함하는 것을 특징으로 하는 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치.6. The method of claim 5,
Wherein the lens position control unit is connected to the respective lenses,
A horizontal drive motor for adjusting the horizontal distance of each lens;
A vertical drive motor for adjusting the vertical distance of each lens; And
A depth drive motor for adjusting the depth distance of each lens;
Wherein the user's focus of the binocular is in focus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160169815A KR101862381B1 (en) | 2016-12-13 | 2016-12-13 | Mobile terminal device for providing image matching with focus of user's two eyes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160169815A KR101862381B1 (en) | 2016-12-13 | 2016-12-13 | Mobile terminal device for providing image matching with focus of user's two eyes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101862381B1 true KR101862381B1 (en) | 2018-05-29 |
Family
ID=62452760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160169815A KR101862381B1 (en) | 2016-12-13 | 2016-12-13 | Mobile terminal device for providing image matching with focus of user's two eyes |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101862381B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196869A1 (en) * | 2021-03-15 | 2022-09-22 | 삼성전자 주식회사 | Head mounted display device, operating method for device, and storage medium |
-
2016
- 2016-12-13 KR KR1020160169815A patent/KR101862381B1/en active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| 윤여진, "시각적 인지 기반 스테레오 렌더링 기술," 세종대학교 대학원 컴퓨터공학과 학위논문(박사), 2016.08. * |
| 윤여진, "시각적 인지 기반 스테레오 렌더링 기술," 세종대학교 대학원 컴퓨터공학과 학위논문(박사), 2016.08. 1부. * |
| 윤여진, "시각적 인지 기반 스테레오 렌더링 기술," 세종대학교 대학원 컴퓨터공학과 학위논문(박사), 2016.08.* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196869A1 (en) * | 2021-03-15 | 2022-09-22 | 삼성전자 주식회사 | Head mounted display device, operating method for device, and storage medium |
| US11960643B2 (en) | 2021-03-15 | 2024-04-16 | Samsung Electronics Co., Ltd. | Head mounted display apparatus, method for operating the same, and computer-readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11536973B2 (en) | Fixed-distance virtual and augmented reality systems and methods | |
| US11455032B2 (en) | Immersive displays | |
| KR102233223B1 (en) | Image display device and image display method, image output device and image output method, and image display system | |
| EP3240969B1 (en) | Light projector using an acousto-optical control device | |
| JP6339239B2 (en) | Head-mounted display device and video display system | |
| US9122321B2 (en) | Collaboration environment using see through displays | |
| US10528133B2 (en) | Bracelet in a distributed artificial reality system | |
| JP6378781B2 (en) | Head-mounted display device and video display system | |
| CN109002164B (en) | Display method and device of head-mounted display equipment and head-mounted display equipment | |
| US10572002B2 (en) | Distributed artificial reality system with contextualized hand tracking | |
| CN106125309A (en) | A kind of home-use virtual reality glasses | |
| JP6576639B2 (en) | Electronic glasses and control method of electronic glasses | |
| JP2018513656A (en) | Eyeglass structure for image enhancement | |
| CN207148430U (en) | A kind of wear-type 2D display devices | |
| KR101862381B1 (en) | Mobile terminal device for providing image matching with focus of user's two eyes | |
| JP2017191546A (en) | Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display | |
| CN206833075U (en) | Head-mounted display apparatus and electronic equipment | |
| WO2022059521A1 (en) | Head-mounted image display device | |
| CN107436492A (en) | A kind of wear-type 2D display devices and display methods | |
| JP2016133541A (en) | Electronic spectacle and method for controlling the same | |
| JP2013131884A (en) | Spectacles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |