KR101148508B1 - A method and device for display of mobile device, and mobile device using the same - Google Patents
A method and device for display of mobile device, and mobile device using the same Download PDFInfo
- Publication number
- KR101148508B1 KR101148508B1 KR1020100068905A KR20100068905A KR101148508B1 KR 101148508 B1 KR101148508 B1 KR 101148508B1 KR 1020100068905 A KR1020100068905 A KR 1020100068905A KR 20100068905 A KR20100068905 A KR 20100068905A KR 101148508 B1 KR101148508 B1 KR 101148508B1
- Authority
- KR
- South Korea
- Prior art keywords
- display
- image
- mobile device
- user
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/36—Memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/38—Displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
모바일 기기 디스플레이의 표시 장치가 제공된다.
상기 장치는 광각렌즈로 객체를 촬영하는 카메라부; 상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부; 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부; 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부; 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 이미지를 상기 디스플레이에 표시하는 제어부를 포함하며, 본 발명의 상술한 장치 및 방법에 의하여 사용자 시야각에 따라 사용자에게 보여지는 모바일 기기 내의 이미지와 외부 이미지를 일치시켜, 이미지의 왜곡 또는 분리의 문제를 효과적으로 해결하며, 사용자는 마치 투명한 창을통해 증강된 객체 이미지를 보는 듯한 자연스러운 시각 인터렉션을 할 수 있다. 또한 이를 모바일 기기를 이용한 가상현실에 적용하는 경우, 증강현실의 효과를 극대화시킬 수 있고, 사용자의 몰입감이 극대화된다. A display device of a mobile device display is provided.
The apparatus includes a camera unit for photographing an object with a wide-angle lens; A correction unit correcting the object image photographed by the camera unit into a planar image; A face position tracking unit for acquiring face position information of the user; A calculator configured to determine a display center point and a magnification of the planar image such that the external image of the object and the planar image displayed on the display are successively corresponding to the face position information of the user acquired by the face position tracker; And a controller for displaying the planar image on the display based on the determined display center point and the magnification, and the image and the external image in the mobile device shown to the user according to the user's viewing angle by the apparatus and method described above. By matching, effectively solving the problem of image distortion or separation, the user can have a natural visual interaction as if viewing an augmented object image through a transparent window. In addition, when applied to the virtual reality using a mobile device, the effect of augmented reality can be maximized, the user's immersion feeling is maximized.
Description
본 발명은 모바일 기기 디스플레이 표시 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자의 시야각을 고려하여, 실제 사용자의 시야와 일치하는 형태로 외부 객체를 모바일 기기 디스플레이에 표시할 수 있는 모바일 기기 디스플레이 표시 장치 및 방법에 관한 것이다. The present invention relates to a display device and method for a mobile device, and more particularly, to a mobile device display display device capable of displaying an external object on a mobile device display in a form that matches the field of view of a user in consideration of a viewing angle of a user. And to a method.
최근 가상 환경(VE: Virtual Environment)과 실시계 환경(RE: Real Environment)를 서로 혼합하여 사용자에게 보다 높은 현실감을 제공하는 혼합 현실(Mixed Reality)에 대한 연구가 활발히 진행되고 있다. Recently, research on mixed reality (VE), which combines a virtual environment (RE) and a real environment (RE) to provide a higher realism to a user, is being actively conducted.
혼합 현실(Mixed Reality)은 가상 환경과 실제 현실 환경 중 어느 것을 기반으로 하는가에 따라 증강현실(AR: Augmented Reality)과 증강 가상 현실(AV: Augmented Virtuality)로 나누어진다. 여기에서, 증강현실(Augmented Reality)은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술로, 사용자가 보고 있는 실사 영상에 가상 영상을 겹쳐(overlap), 현실 환경과 가상화면의 구분이 모호해지도록 하여 사용자를 더욱 몰입하게 하는 기술이다. 이러한 증강현실에서 사용자가 보고 있는 실사 영상의 표시는 매우 중요한 기술 요소인데, 왜냐하면 사용자는 모바일 기기에 표시되는 실사 영상과 모바일 기기 바깥으로 보이는 외부 이미지가 겹쳐지지 않음으로써, 사용자는 마치 두 개의 다른 영상 이미지를 보는 듯한 착각을 일으키어, 증강현실에 몰입하기 어렵게 되는 문제가 있다. Mixed Reality is divided into Augmented Reality (AR) and Augmented Virtuality (AV) according to whether it is based on a virtual environment or a real environment. Here, Augmented Reality is a technology of superimposing three-dimensional virtual objects in the real world, overlapping the virtual image on the real-life image that the user is viewing, and blurring the distinction between the real environment and the virtual screen. It's a more immersive technique. In this augmented reality, the display of the live image viewed by the user is a very important technology element, because the user does not overlap the live image displayed on the mobile device and the external image seen outside the mobile device, so that the user is like two different images. There is a problem that it is hard to immerse in augmented reality, causing an illusion as if seeing an image.
도 1a는 실제 모바일 기기로부터 보여지는 이미지와 외부 이미지가 겹쳐지지 않음으로써 마치 두 개의 다른 객체(모바일 기기 영상 내의 객체와 모바일 기기 외부의 객체로서, 도 1a에서는 Starbucks라는 상점이 객체에 해당함)가 사용자에게 보이는 사진이다. Figure 1a shows that the image seen from the actual mobile device and the external image do not overlap, so that two different objects (objects in the mobile device image and objects outside the mobile device, in FIG. 1a, a store named Starbucks correspond to objects) It's a picture that looks to you.
또한 도 1b는 실제 모바일 기기로부터 보여지는 시점이 사용자의 시점과 겹쳐져서 하나의 객체가 마치 두 개의 객체처럼 보이는 사진이다. 이러한 경우 사용자는 실세계에 3차원 가상물체가 겹쳐있다고 느끼게 되는 사용자 경험을 할수 없게 되버리는 단점이 있다. In addition, FIG. 1B is a picture where an object viewed from an actual mobile device overlaps with a user's viewpoint, so that one object looks like two objects. In this case, the user may not be able to experience the user experience that the 3D virtual object overlaps with the real world .
도 2 또한 비록 하나의 객체이지만, 두 객체의 외곽선이 서로 일치하지 않음으로써, 하나의 객체가 분리(separated)된 듯한 이미지가 사용자에게 보이는 사진이다. 만약, 이러한 문제를 제거한 이상적인 모바일 기기의 객체 표시는 도 3과 같다. Although FIG. 2 is also a single object, the outlines of the two objects do not coincide with each other, so that the image appears to the user as if the one object is separated. If the object display of the ideal mobile device to eliminate this problem is shown in FIG.
도 3을 참조하면, 사용자가 보는 모바일 기기 영상과 외부 객체의 이미지는 서로 일치하여, 하나의 객체가 일부는 모바일 기기 외부에, 또 다른 일부는 모바일 기기의 디스플레이에 표시되며, 이로써 사용자는 객체의 관심 영역만을 모바일 기기로 표시하는 듯한 느낌을 받게 되어, 인지 부조화를 없애 증강 현실의 효과를 극대화시키게 된다. 하지만, 현재까지 개시된 기술 중 모바일 기기 영상에서의 이러한 이미지 왜곡 문제를 효율적으로 해결한 것은 개시되지 않는다. Referring to FIG. 3, the mobile device image seen by the user and the image of the external object match each other, so that one object is partially displayed on the outside of the mobile device and another part is displayed on the display of the mobile device, thereby allowing the user to display the object. It feels like displaying only the region of interest on a mobile device, maximizing the effects of augmented reality by eliminating cognitive dissonance. However, none of the technologies disclosed to date effectively solves this problem of image distortion in a mobile device image.
따라서, 본 발명이 해결하고자 하는 과제는 사용자의 시야에 따라 표시되는 이미지가 변화되어, 모바일 기기에서 표시되는 이미지와 외부 이미지를 일치시켜 이미지 왜곡의 문제를 해결할 수 있는 모바일 디스플레이 표시 장치에 관한 것이다. Accordingly, an object of the present invention is to solve the problem of image distortion by changing the image displayed according to the user's field of view and matching the image displayed on the mobile device with the external image.
본 발명이 해결하려는 또 다른 과제는 사용자의 시야에 따라 표시되는 이미지가 변화되어, 모바일 기기에서 표시되는 이미지와 외부 이미지를 일치시켜 이미지 왜곡 문제를 해결할 수 있는 어안렌즈를 이용한 모바일 디스플레이 표시 방법에 관한 것이다. Another problem to be solved by the present invention relates to a mobile display display method using a fisheye lens that can solve the image distortion problem by matching the image displayed on the mobile device with the external image is changed according to the user's field of view will be.
본 발명이 해결하려는 또 다른 과제는 상기 표시 장치를 구비하는 모바일 기기 및 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.Another object of the present invention is to provide a mobile device having the display device and a computer-readable recording medium having recorded thereon a program therefor.
상기 과제를 해결하기 위하여, 본 발명은 모바일 기기 디스플레이의 표시 장치로서, 상기 장치는 광각렌즈로 객체를 촬영하는 카메라부; 상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부; 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부; 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부; 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 영상을 상기 디스플레이에 표시하는 제어부를 포함하는 것을 특징으로 하는 모바일 기기의 디스플레이 표시 장치를 제공한다. In order to solve the above problems, the present invention provides a display device of a mobile device display, the device comprising: a camera unit for photographing an object with a wide-angle lens; A correction unit correcting the object image photographed by the camera unit into a planar image; A face position tracking unit for acquiring face position information of the user; A calculator configured to determine a display center point and a magnification of the planar image such that the external image of the object and the planar image displayed on the display are successively corresponding to the face position information of the user acquired by the face position tracker; And a controller configured to display the planar image on the display on the basis of the determined display center point and the magnification.
본 발명의 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 외부 이미지는 상기 모바일 기기 바깥으로 사용자에게 보이는 객체 이미지이다. In one embodiment of the present invention, the facial position information is a facial angle based on the display center point and the distance between the mobile device and the face, and the external image is an object image visible to the user out of the mobile device.
본 발명의 또 다른 일 실시예에서 상기 광각 렌즈는 어안렌즈이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 연산부는 상기 평면 영상 중 상기 시야각이 연장된 영역 내의 일 지점을 표시 중심점으로 결정한다. In another embodiment of the present invention, the wide-angle lens is a fisheye lens, and the calculator determines a point in the area where the viewing angle is extended in the planar image as a display center point according to a user's viewing angle calculated from the facial angle.
본 발명의 또 다른 일 실시예에서 상기 연산부는 사용자의 안면 거리가 클수록 상기 배율이 감소하는 방식으로 상기 배율을 결정한다. In another embodiment of the present invention, the calculator determines the magnification in such a manner that the magnification decreases as the face distance of the user increases.
본 발명은 상기 또 다른 과제를 해결하기 위하여, 상술한 모바일 기기 디스플레이 표시 장치를 구동시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. 또한, 본 발명은 상술한 모바일 기기 디스플레이 표시 장치를 포함하는 모바일 기기를 제공한다. The present invention provides a computer readable recording medium having recorded thereon a program for driving the above-mentioned mobile device display and display device, in order to solve the above further problem. In addition, the present invention provides a mobile device including the above-mentioned mobile device display display device.
상기 또 다른 과제를 해결하기 위하여, 본 발명은 모바일 기기 디스플레이의 표시방법으로, 상기 방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계; 상기 왜곡 이미지를 평면 이미지로 보정하는 단계; 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계; 상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점을 결정하는 단계; 및 상기 결정된 표시 중심점 및 배율에 따라 상기 평면 이미지를 추출하여, 표시하는 단계를 포함하며, 여기에서 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법을 제공한다. In order to solve the above further problem, the present invention provides a display method of a mobile device display, the method comprising the steps of obtaining a distortion image for an external object with a fisheye lens; Correcting the distortion image into a planar image; Detecting facial location information of the mobile device user; Determining a magnification and a display center point of the corrected planar image according to the detected face position information; And extracting and displaying the planar image according to the determined display center point and magnification, wherein the extracted and displayed planar image is continuous with an external object image displayed outside the mobile device. A display method of a device display is provided.
본 발명의 또 다른 일 실시예는 모바일 기기 디스플레이의 표시방법으로, 상기 방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계; 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계; 상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계; 상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계; 상기 평면 이미지를 상기 디스플레이에 표시하는 단계를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법을 제공한다. Another embodiment of the present invention is a display method of a mobile device display, the method comprising: obtaining a distorted image of an external object with a fisheye lens; Detecting facial location information of the mobile device user; Determining a distortion correction point and a magnification of the distortion image according to the detected face position information; Correcting the distortion image from a spherical image to a planar image based on the determined distortion correction point, and then enlarging / reducing the planar image according to the determined magnification; And displaying the plane image on the display, wherein the displayed plane image is contiguous with an external object image displayed outside the mobile device.
본 발명의 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 일 지점이 표시 중심점으로 결정된다. In one embodiment of the present invention, the face position information is a face angle based on the display center point and a distance between the mobile device and the face, and the face angle in the region where the viewing angle is extended according to the user viewing angle calculated from the face angle. One point of the planar image is determined as the display center point.
본 발명의 또 다른 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 선을 기준으로 상기 구면 이미지의 왜곡 보정 지점이 결정된다. 또한, 사용자 안면과 디스플레이 사이의 거리가 멀수록 배율은 감소한다. In another embodiment of the present invention, the face position information is a face angle based on the display center point and a distance between the mobile device and the face, and a line extending the view angle according to a user viewing angle calculated from the face angle. Based on this, the distortion correction point of the spherical image is determined. Also, as the distance between the user's face and the display increases, the magnification decreases.
본 발명의 상술한 장치 및 방법에 의하여 사용자 시야각에 따라 사용자에게 보여지는 모바일 기기 내의 이미지와 외부 이미지를 일치시켜, 이미지의 왜곡 또는 분리의 문제를 효과적으로 해결하며, 사용자는 마치 투명한 창을통해 증강된 객체 이미지를 보는 듯한 자연스러운 시각 인터렉션을 할 수 있다. 또한 이를 모바일 기기를 이용한 가상현실에 적용하는 경우, 증강현실의 효과를 극대화시킬 수 있고, 사용자의 몰입감이 극대화된다. By the above-described apparatus and method of the present invention by matching the image in the mobile device and the external image shown to the user according to the viewing angle of the user effectively solve the problem of distortion or separation of the image, the user is augmented through a transparent window You can have natural visual interaction as if you are looking at an object image. In addition, when applied to the virtual reality using a mobile device, the effect of augmented reality can be maximized, the user's immersion feeling is maximized.
더 나아가, 본 발명에 따른 디스플레이 표시 장치 및 방법은 어안렌즈를 사용하므로, 모바일 기기 전면의 외부 영역 모두를 실질적인 표시 대상으로 할 수 있으며, 더 나아가 이러한 어안렌즈가 안면 추적부와 함께 사용됨으로써 사용자로 하여금 사실적인 영상을 획득할 수 있게끔 한다.
Furthermore, since the display display device and method according to the present invention uses a fisheye lens, all of the external areas of the front surface of the mobile device can be used as the actual display target. Enables you to acquire realistic images.
도 1a, 도 1b 및 도 2는 종래 기술에 대한 문제점을 설명하는 사진이다.
도 3은 본 발명에서 구현하는 이미지에 대한 사진이다.
도 4는 본 발명의 일 실시예에 따라 시야각 및 그 배율이 조정된 후의 이미지이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 시야각 조절 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 블록도이다.
도 7은 본 발명에 따른 안면 위치 추적부(530)에 의하여 얻어지는 안면 위치 정보인 안면 각도 및 거리를 설명하는 도면이다.
도 8 및 9는 본 발명에 따른 디스플레이 표시 장치에서 사용자의 안면 각도에 따라 시야각이 조절되는 방식을 설명하는 도면이다.
도 10은 표시 중심점을 시야각 영역 내에 설정하는 방식을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다.
도 12는 본 발명의 또 다른 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다 .1A, 1B and 2 are photographs illustrating the problem with the prior art.
Figure 3 is a photograph of the image implemented in the present invention.
4 is an image after the viewing angle and its magnification are adjusted according to an embodiment of the present invention.
5 is a view illustrating a viewing angle adjusting method of a display display device according to an exemplary embodiment.
6 is a block diagram of a display display device according to an exemplary embodiment.
FIG. 7 is a view illustrating facial angles and distances that are facial position information obtained by the facial position tracking unit 530 according to the present invention.
8 and 9 are views illustrating a method of adjusting a viewing angle according to a face angle of a user in the display display device according to the present invention.
10 is a diagram for explaining a method of setting a display center point in a viewing angle area.
11 is a flowchart illustrating a method of displaying a mobile device display according to an embodiment of the present invention.
12 is a flowchart illustrating a display method of a mobile device display according to another exemplary embodiment of the present invention.
이하, 본 발명을 도면을 참조하여 상세하게 설명하고자 한다. 다음에 소개되는 실시예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서 본 발명은 이하 설명된 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the drawings. The following embodiments are provided as examples to ensure that the spirit of the present invention to those skilled in the art will fully convey. Therefore, the present invention is not limited to the embodiments described below, but may be embodied in other forms. In the drawings, the width, length, thickness, etc. of the components may be exaggerated for convenience. Like numbers refer to like elements throughout.
도 4 및 5는 이미지 왜곡 및 변형 발생과 본 발명에 따라 영상 이미지와 외부 이미지를 연속적으로 구성하는 방식을 설명하는 도면이다.4 and 5 are diagrams for explaining image distortion and distortion generation and a method of continuously configuring an image image and an external image according to the present invention.
도 4는 객체(110)를 모바일 기기(100)에 구비된 카메라(미도시)로 촬영하여 모바일 기기(100)의 디스플레이(120)에 표시한 경우를 나타낸다. 4 illustrates a case where the object 110 is photographed by a camera (not shown) provided in the
도 4를 참조하면, 하나의 객체는 모바일 기기의 바깥쪽 이미지(110a, 이하 외부 이미지)와 디스플레이에 표시되는 이미지(110b, 이하 객체 이미지)로 표시된다. 하지만, 사용자의 시야각 및 거리(이는 사용자 안면과 디스플레이 사이의 각도 및 거리에 대응한다)에 따라, 두 이미지가 서로 연속하지 않는다는 문제가 있다. 이 경우, 마치 두 개의 객체가 불연속적으로 표시되므로, 사용자는 이를 서로 다른 객체라는 직관으로 느끼게 되는 문제가 있다. 따라서, 본 발명은 이러한 문제를 해결하기 위하여, 먼저 보다 넓은 영역으로 객체를 촬영할 수 있는 광각렌즈를 사용하여 외부 객체를 촬영하며, 본 발명의 일 실시예에서 어안렌즈를 사용하여 외부 객체의 이미지를 얻었다. 하지만, 어안렌즈 이외의 임의의 광학렌즈(광각렌즈)가 본 발명에 따른 디스플레이 표시 장치에 사용될 수 있으며, 이는 본 발명의 범위에 속한다.Referring to FIG. 4, one object is represented by an
도 5는 본 발명의 일 실시예에 따라 시야각 및 그 배율이 조정된 후의 이미지이다. 5 is an image after the viewing angle and its magnification are adjusted according to an embodiment of the present invention.
도 5를 참조하면, 본 발명에 따른 디스플레이 표시 장치에 의하여 상기 보정된 평면 영상 중 객체(연필)의 앞 부분 중 일 지점이 표시 중심점(P)으로 설정되고, 그 배율이 확대됨으로써, 외부 이미지와 디스플레이에 표시되는 객체 이미지가 연속적으로 표시되도록 한다. 즉, 본 발명은 사용자가 디스플레이를 통하여 객체 이미지를 보는 시야각(안면 각도)과 그 거리로부터, 평면 영상의 표시 지점 및 해당 표시 지점의 배율을 결정한다. 이때 상기 평면 영상은 넓은 시야각을 갖는 어안렌즈로부터 촬영된 구면 이미지(왜곡 이미지)로부터 추출, 보정된 것이므로, 상기 평면 영상은 매우 넓은 영역 범위 및 시야각을 가지게 된다. 따라서, 본 발명은 어안 렌즈를 통하여 사용자의 시야각과 일치하는 각도의 평면 영상을 얻을 수 있고, 상기 얻어진 영상을 거리에 대응하여 확대/축소시킨다. 즉, 본 발명은 어안렌즈를 통하여 마치 종래의 카메라를 회전시키며 객체 이미지 각도를 조절하는 것과 동일한 효과를 얻게 한다. Referring to FIG. 5, one point of the front portion of the object (pencil) of the corrected planar image by the display display device according to the present invention is set as the display center point P, and the magnification thereof is enlarged, thereby allowing the external image and the external image. The object image shown on the display is displayed continuously. That is, the present invention determines the display point of the planar image and the magnification of the corresponding display point from the viewing angle (face angle) and the distance at which the user views the object image on the display. In this case, since the planar image is extracted and corrected from a spherical image (distorted image) photographed from a fisheye lens having a wide viewing angle, the planar image has a very wide area range and a viewing angle. Accordingly, the present invention can obtain a planar image having an angle that matches the viewing angle of the user through the fisheye lens, and enlarges / reduces the obtained image corresponding to the distance. That is, the present invention achieves the same effect as adjusting the object image angle by rotating the conventional camera through the fisheye lens.
도 6은 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 블록도이다. 6 is a block diagram of a display display device according to an exemplary embodiment.
도 6을 참조하면, 본 발명에 따른 모바일 기기 디스플레이의 표시 장치는 광각렌즈로 객체를 촬영하는 카메라부(610); 상기 카메라부(610)에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부(620); 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부(630); 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부(640); 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 영상을 상기 디스플레이에 표시하는 제어부(650)를 포함한다. 즉, 본 발명에 따른 표시 장치는 사용자와 디스플레이 사이의 시야각 및 거리를 측정하기 위한 안면 위치 추적부(630), 즉, 헤드 트렉커(head tracker)와 광각렌즈, 즉 어안렌즈를 동시에 구비함으로써, 모바일 기기를 보는 사용자의 시야와 카메라 촬영 각도를 동일하게 구성한다. Referring to FIG. 6, a display device of a mobile device display according to the present invention includes a
도 7은 본 발명에 따른 안면 위치 추적부(630)에 의하여 얻어지는 안면 위치 정보, 즉, 안면 각도 및 거리를 설명하는 도면이다. 7 is a view illustrating facial position information, that is, facial angle and distance obtained by the facial position tracking unit 630 according to the present invention.
도 7을 참조하면, 모바일 기기(100)의 디스플레이 중심점(120)을 기준으로, 사용자의 안면이 좌측과 우측에 있는 경우, 디스플레이 중심을 기준으로 각도 및 거리에 관한 정보가 획득될 수 있다. 따라서, 상기 안면 위치 추적부(630)는 사용자 머리의 위치와 그 이동을 측정하기 위한 별도의 카메라 모듈을 더 구비할 수 있다. 하지만, 이와 달리 상기 모바일 기기와 사용자의 상대적 거리, 각도는 안면 추적부의 카메라 등을 기준할 수 있으며, 적어도 모바일 기기를 중심으로 거리 및 각도를 검출할 수 있는 한, 이는 본 발명의 범위에 속한다. Referring to FIG. 7, when the user's face is on the left and right sides with respect to the
도 8 및 9는 본 발명에 따른 디스플레이 표시 장치에서 사용자의 안면 각도에 따라 시야각이 조절되는 방식을 설명하는 도면이다. 8 and 9 are views illustrating a method of adjusting a viewing angle according to a face angle of a user in the display display device according to the present invention.
도 8을 참조하면, 사용자의 시야각(810)과 모바일 기기 카메라가 촬영하는 촬영각(820)은 서로 동일한 각도가 아닐 수 있으며, 이 경우 카메라로부터 보여지는 이미지(821)와 사용자가 눈으로 확인하는 이미지(811)는 비록 동일 객체라 하더라도 서로 일치하지 않게 된다. Referring to FIG. 8, the
도 9를 참조하면, 카메라의 촬영각(820)와 사용자의 시야각(810)을 일치시키는 경우, 동일한 시야각에 따라 동일 객체의 연속된 이미지를 얻을 수 있다. 이 경우, 통상적인 렌즈가 아닌, 보다 확대된 영역으로 이미지를 촬영하여, 추출할 수 있는 렌즈가 필요한데, 본 발명자는 구면 렌즈 형태인 어안렌즈에 주목하였다. Referring to FIG. 9, when the photographing
통상적으로 어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안렌즈는 광역의 영상을 획득할 수 있도록 하나, 이때의 획득한 영상은 심한 왜곡을 가진다. 이에 어안렌즈를 구비하는 카메라를 이용하는 시스템은 어안렌즈를 통해 광역의 영상을 획득하고, 이의 왜곡을 보정하여 사용자가 필요로 하는 영상을 제공하여 준다. 이러한 영상의 왜곡을 보정하기 위해 현재 많은 영상 보정 방법이 개시되고 사용되고 있는데, 그 예로는 Nayar 방법과 Xianghua 방법들이 있다. In general, fisheye lenses intentionally create cylindrical distortion to maintain uniform brightness and sharpness over the entire angle of view of more than 180 degrees. . That is, the fisheye lens can acquire a wide range of images, but the obtained image has a severe distortion. Accordingly, a system using a camera having a fisheye lens acquires an image of a wide area through the fisheye lens and corrects its distortion to provide an image that a user needs. Currently, many image correction methods are disclosed and used to correct distortion of an image, and examples thereof include the Nayar method and the Xianghua method.
본 발명의 일 실시예에서는 먼저 광역으로 촬영된 왜곡 이미지(곡면 이미지)를 평면 이미지로 보정하며, 이 경우, 광역으로 확대된 평면 이미지가 나오게 된다. 이때 상기 평면 이미지 중 어느 지점을 중심으로 한 평면 이미지를 추출, 표시하는지에 따라 카메라 촬영각 변경과 동일한 효과가 발생한다. In an embodiment of the present invention, first, a distortion image (curved image) photographed in a wide area is corrected to a planar image. In this case, a planar image enlarged in a wide area comes out. In this case, the same effect as changing the camera photographing angle occurs depending on which point of the plane image is extracted and displayed.
본 발명의 일 실시예에서는 평면 이미지 중 사용자의 시야각이 연장된 영역 내의 일 지점이 표시 중심점, 즉, 평면 이미지 일부가 추출되어, 표시되는 중심점이 된다. According to an embodiment of the present invention, one point in the area where the viewing angle of the user extends in the planar image is a display center point, that is, a part of the planar image is extracted and displayed.
도 10은 표시 중심점을 시야각 영역 내에 설정하는 방식을 설명하기 위한 도면이다. 10 is a diagram for explaining a method of setting a display center point in a viewing angle area.
도 10을 참조하면, 모바일 기기(910)를 보는 사용자 안면(920)이 개시되며, 상기 사용자 안면(920) 각도로부터, 소정 각도로 기울어진 시야각(930)이 계산된다. 특히, 어안렌즈에 의하여 미리 촬영된 후, 왜곡 보정된 평면 이미지(940)는 상당히 넓은 광역의 이미지를 포함하는 데, 이때 사용자의 시야각이 연장된 영역(940a) 중 임의의 일 지점에 상기 표시 중심점이 결정되고, 상기 결정된 표시 중심점을 기준으로 상기 평면 이미지가 추출되어, 표시된다. Referring to FIG. 10, a
본 발명은 시야각에 따른 카메라 촬영 각도 변경뿐만 아니라, 사용자와 모바일 기기 사이의 거리에 따라 추출된 이미지 배율이 가변적으로 결정되는데, 본 발명의 일 실시예에서는 사용자 안면과 모바일 기기 사이의 거리가 멀수록 표시되는 이미지 배율이 감소된다. 이는 사용자가 모바일 기기 사이의 거리가 멀수록, 외부 객체와 사용자 사이의 거리 또한 멀어지는 특성을 고려한 것이다.According to the present invention, the extracted image magnification is variably determined according to the distance between the user and the mobile device as well as the camera photographing angle according to the viewing angle. In an embodiment of the present invention, the farther the distance between the user's face and the mobile device is, The image magnification displayed is reduced. This is because the distance between the user and the mobile device, the distance between the external object and the user also takes into account.
본 발명은 또 다른 과제를 해결하기 위하여, 표시되는 이미지와 외부 이미지를 연속하게 하는, 즉, 동일 객체인 경우 그 형태를 일치시키는 모바일 기기 디스플레이의 표시방법을 제공한다. The present invention provides a display method of a mobile device display to make the displayed image and the external image continuous, that is, to match the shape in the case of the same object in order to solve another problem.
도 11은 본 발명의 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다. 11 is a flowchart illustrating a method of displaying a mobile device display according to an embodiment of the present invention.
도 11을 참조하면, 먼저 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득한다(S100). 이후 상기 획득된 왜곡 이미지를 평면 이미지로 보정하며(S110), 이에 따라 넓은 영역으로 촬영된 평면 이미지가 얻어진다. 또한, 본 발명에 따른 표시방법은 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는데(S120), 상기 안면 위치 정보 검출은 상술한 S100, S110 단계와 독립적으로 진행될 수 있으며, 본 발명에서 상기 안면 위치 정보는 모바일 기기와 사용자 안면 사이의 각도 및 거리를 포함한다. 이후 상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점이 결정되고(S130), 상기 결정된 배율 및 표시 중심점을 기준으로 상기 평면 이미지를 추출하여, 표시한다(S140). 이로써 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하게 되며, 이는 마치 카메라를 적당한 위치로 회전, 이동시켜, 외부 이미지와 일치하는 디스플레이 이미지를 획득하는 것과 동일한 방식이다. Referring to FIG. 11, first, a distortion image of an external object is obtained using a fisheye lens (S100). Thereafter, the acquired distortion image is corrected to a planar image (S110), thereby obtaining a planar image photographed with a wide area. In addition, the display method according to the present invention detects the face location information of the user of the mobile device (S120), the face location information detection may be performed independently of the above-described step S100, S110, the face location information in the present invention Includes the angle and distance between the mobile device and the user's face. Then, according to the detected face position information, the magnification and the display center point of the corrected plane image are determined (S130), and the plane image is extracted and displayed based on the determined magnification and the display center point (S140). As a result, the extracted and displayed planar image is continuous with the external object image displayed outside the mobile device, which is the same as obtaining a display image that matches the external image by rotating and moving the camera to an appropriate position.
본 발명은 더 나아가, 미리 왜곡 이미지를 평면 이미지로 보정하는 후, 이로부터 표시 중심점을 설정하는 대신, 왜곡 이미지 자체에서 왜곡 보정 지점을 설정하는 방식을 제공하며, 이는 하기 도 12에 도시된 바와 같다. The present invention further provides a method of setting a distortion correction point in the distorted image itself, instead of correcting the distorted image into a planar image in advance, and then setting the display center point therefrom, as shown in FIG. 12. .
도 12를 참조하면, 본 발명에 따른 모바일 기기 디스플레이의 표시방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계(S101); 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계(S111); 상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계(S121); 상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계(S131); 상기 평면 이미지를 상기 디스플레이에 표시하는 단계(S141)를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하게 된다. 이때 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리를 포함할 수 있다. Referring to FIG. 12, the display method of the mobile device display according to the present invention may include obtaining a distorted image of an external object with a fisheye lens (S101); Detecting face location information of the mobile device user (S111); Determining a distortion correction point and a magnification of the distorted image according to the detected face position information (S121); Correcting the distortion image from the spherical image to the planar image based on the determined distortion correction point, and then enlarging / reducing the planar image according to the determined magnification (S131); Displaying the plane image on the display (S141), wherein the displayed plane image is contiguous with an external object image displayed out of the mobile device. In this case, the face location information may include a face angle based on the display center point and a distance between the mobile device and the face.
또한 상기 왜곡 보정 지점 및 표시 중심 지점은 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 또는 왜곡 이미지의 일 지점이 될 수 있다. 이는 도 8에서 설명한 바와 동일한 방식이므로, 이하 생략한다. 또한 사용자와 모바일 기기 사이의 거리에 따라 추출된 평면 이미지의 배율은 가변적으로 변하게 되는데, 본 발명의 일 실시예에서 상기 거리가 멀수록 배율이 감소한다.In addition, the distortion correction point and the display center point may be one point of the planar image or the distorted image in the region where the viewing angle is extended according to the user viewing angle calculated from the face angle. Since this is the same method as described with reference to FIG. 8, it will be omitted below. In addition, the magnification of the extracted flat image varies according to the distance between the user and the mobile device. In an embodiment of the present invention, the magnification decreases as the distance increases.
본 발명에 따른 표시 장치 및 방법은 특히 손으로 이동가능한 모바일 기기, 예를 들면, 휴대전화, 노트북, 넷북 등에 사용가능하나, 이 외에도 통상의 퍼스널 컴퓨터 등에서도 사용가능하다. The display device and method according to the present invention are particularly usable for hand-movable mobile devices such as mobile phones, laptops, netbooks and the like, but can also be used in ordinary personal computers.
본 발명은 이상의 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. Although the present invention has been described by the above limited embodiments and drawings, the present invention is not limited to the above embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Do. Accordingly, the spirit of the invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications will fall within the scope of the invention.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the apparatus according to the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also include a carrier wave (for example, transmission through the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
Claims (15)
광각렌즈로 객체를 촬영하는 카메라부;
상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 이미지로 보정하는 보정부;
사용자의 안면 위치 정보를 획득하는 안면 위치 추적부;
상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상가 연속적으로 보이도록 상기 평면 이미지의 표시 중심점 및 배율을 결정하는 연산부;
상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 이미지를을 상기 디스플레이에 표시하는 제어부를 포함하는 것을 특징으로 하는 모바일 기기의 디스플레이 표시 장치. A display device of a mobile device display, wherein the device is
A camera unit for photographing an object with a wide angle lens;
A correction unit correcting the object image photographed by the camera unit into a planar image;
A face position tracking unit for acquiring face position information of the user;
A calculator configured to determine the display center point and the magnification of the planar image such that the external image of the object and the planar image displayed on the display are successively corresponding to the face position information of the user obtained by the face position tracker;
And a controller configured to display the planar image on the display based on the determined display center point and the magnification.
상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.The method of claim 1,
And the face position information is a face angle based on the display center point and a distance between the mobile device and the face.
상기 외부 이미지는 상기 모바일 기기 바깥으로 사용자에게 보이는 객체 이미지인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.The method of claim 1,
And the external image is an image of an object visible to a user outside of the mobile device.
상기 광각 렌즈는 어안렌즈인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치. The method of claim 1,
And the wide-angle lens is a fisheye lens.
상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 연산부는 상기 평면 영상 중 상기 시야각이 연장된 영역 내의 일 지점을 표시 중심점으로 결정하는 모바일 기기의 디스플레이 표시 장치.The method of claim 2,
And the calculation unit determines a point in the area where the viewing angle extends from the planar image as a display center point according to the user viewing angle calculated from the face angle.
상기 연산부는 사용자의 안면 거리가 클수록 상기 배율이 감소하는 방식으로 상기 배율을 결정하는 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.The method of claim 1,
And the calculator determines the magnification in such a manner that the magnification decreases as the face distance of the user increases.
어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계;
상기 왜곡 이미지를 평면 이미지로 보정하는 단계;
상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계;
상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점을 결정하는 단계; 및
상기 결정된 표시 중심점 및 배율에 따라 상기 평면 이미지를 추출하여, 표시하는 단계를 포함하며, 여기에서 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.A display method of a mobile device display, wherein the method
Obtaining a distorted image of the external object with the fisheye lens;
Correcting the distortion image into a planar image;
Detecting facial location information of the mobile device user;
Determining a magnification and a display center point of the corrected planar image according to the detected face position information; And
And extracting and displaying the planar image according to the determined display center point and magnification, wherein the extracted and displayed planar image is continuous with an external object image displayed outside the mobile device. How to display the display.
어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계;
상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계;
상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계;
상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계;
상기 평면 이미지를 상기 디스플레이에 표시하는 단계를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.A display method of a mobile device display, wherein the method
Obtaining a distorted image of the external object with the fisheye lens;
Detecting facial location information of the mobile device user;
Determining a distortion correction point and a magnification of the distortion image according to the detected face position information;
Correcting the distortion image from a spherical image to a planar image based on the determined distortion correction point, and then enlarging / reducing the planar image according to the determined magnification;
And displaying the planar image on the display, wherein the displayed planar image is contiguous with an external object image displayed out of the mobile device.
상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.The method of claim 10,
And the face position information is a face angle based on the display center point and a distance between the mobile device and the face.
상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 일 지점을 표시 중심점으로 결정하는 모바일 기기의 디스플레이 표시방법.12. The method of claim 11,
The display display method of the mobile device according to the user's viewing angle calculated from the face angle determines the point of the planar image in the area where the viewing angle is extended as the display center point.
상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.The method of claim 10,
And the face position information is a face angle based on the display center point and a distance between the mobile device and the face.
상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 선을 기준으로 상기 구면 이미지의 왜곡 보정 지점이 결정되는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.13. The method of claim 12,
And a distortion correction point of the spherical image is determined based on a line extending the viewing angle according to the user viewing angle calculated from the face angle.
상기 거리가 멀수록 배율이 감소하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.The method according to claim 11 or 13,
The magnification decreases as the distance increases.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100068905A KR101148508B1 (en) | 2010-07-16 | 2010-07-16 | A method and device for display of mobile device, and mobile device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100068905A KR101148508B1 (en) | 2010-07-16 | 2010-07-16 | A method and device for display of mobile device, and mobile device using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120008191A KR20120008191A (en) | 2012-01-30 |
| KR101148508B1 true KR101148508B1 (en) | 2012-05-25 |
Family
ID=45613248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100068905A KR101148508B1 (en) | 2010-07-16 | 2010-07-16 | A method and device for display of mobile device, and mobile device using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101148508B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101923177B1 (en) * | 2012-04-04 | 2019-02-27 | 삼성전자주식회사 | Appratus and method for providing augmented reality information based on user |
| KR102079097B1 (en) * | 2013-04-09 | 2020-04-07 | 삼성전자주식회사 | Device and method for implementing augmented reality using transparent display |
| US9525817B2 (en) | 2013-11-22 | 2016-12-20 | Samsung Electro-Mechanics Co., Ltd. | System and method of controlling imaging direction and angle of view of camera |
| KR101588971B1 (en) | 2013-11-22 | 2016-01-27 | 삼성전기주식회사 | System and method of controlling photographing viewpoint and the angle of view of camera |
| US11853635B2 (en) | 2016-03-09 | 2023-12-26 | Samsung Electronics Co., Ltd. | Configuration and operation of display devices including content curation |
| CN111091507A (en) * | 2019-12-09 | 2020-05-01 | Oppo广东移动通信有限公司 | Image processing method, image processing apparatus, electronic device, and storage medium |
| KR102406921B1 (en) * | 2020-12-04 | 2022-06-10 | (주)딥인사이트 | Optical device with Monolithic Architecture, and production method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030686A (en) | 2001-07-19 | 2003-01-31 | Konami Co Ltd | Video game device, pseudo camera view point movement control method in video game and program |
| KR20060104606A (en) * | 2005-03-31 | 2006-10-09 | 주식회사 팬택 | Apparatus and method of controlling the zoom using the distance between user and camera |
| KR20100006652A (en) * | 2008-07-10 | 2010-01-21 | 성균관대학교산학협력단 | Full browsing method using gaze detection and handheld terminal performing the method |
| KR20100048747A (en) * | 2008-10-31 | 2010-05-11 | 한국과학기술원 | User interface mobile device using face interaction |
-
2010
- 2010-07-16 KR KR1020100068905A patent/KR101148508B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030686A (en) | 2001-07-19 | 2003-01-31 | Konami Co Ltd | Video game device, pseudo camera view point movement control method in video game and program |
| KR20060104606A (en) * | 2005-03-31 | 2006-10-09 | 주식회사 팬택 | Apparatus and method of controlling the zoom using the distance between user and camera |
| KR20100006652A (en) * | 2008-07-10 | 2010-01-21 | 성균관대학교산학협력단 | Full browsing method using gaze detection and handheld terminal performing the method |
| KR20100048747A (en) * | 2008-10-31 | 2010-05-11 | 한국과학기술원 | User interface mobile device using face interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120008191A (en) | 2012-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10269177B2 (en) | Headset removal in virtual, augmented, and mixed reality using an eye gaze database | |
| CN113382168B (en) | Apparatus and method for storing overlapping regions of imaging data to produce an optimized stitched image | |
| KR101148508B1 (en) | A method and device for display of mobile device, and mobile device using the same | |
| US11050994B2 (en) | Virtual reality parallax correction | |
| JP2018522429A (en) | Capture and render panoramic virtual reality content | |
| KR20180111798A (en) | Adaptive stitching of frames in the panorama frame creation process | |
| CN108463840B (en) | Information processing apparatus, information processing method, and recording medium | |
| EP2328125A1 (en) | Image splicing method and device | |
| JP2018518078A (en) | Camera rig and 3D image capture | |
| US10567649B2 (en) | Parallax viewer system for 3D content | |
| EP2954487A1 (en) | Improvements in and relating to image making | |
| CN113518996A (en) | Damage detection from multiview visual data | |
| US11720996B2 (en) | Camera-based transparent display | |
| US20190266802A1 (en) | Display of Visual Data with a Virtual Reality Headset | |
| CN110855972A (en) | Image processing method, electronic device, and storage medium | |
| KR20200056721A (en) | Method and apparatus for measuring optical properties of augmented reality device | |
| US20230018560A1 (en) | Virtual Reality Systems and Methods | |
| US11749141B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2018033107A (en) | Video distribution device and distribution method | |
| CN113870213A (en) | Image display method, image display device, storage medium, and electronic apparatus | |
| JP2017199958A (en) | Imaging apparatus, control method thereof, and control program | |
| CN108027646B (en) | Anti-shaking method and device for terminal display | |
| KR20170044319A (en) | Method for extending field of view of head mounted display | |
| US20210037230A1 (en) | Multiview interactive digital media representation inventory verification | |
| WO2018083757A1 (en) | Image provision device, image provision method, program, and non-transitory computer-readable information recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |