KR20170003892A - wearable display for the low vision - Google Patents

wearable display for the low vision Download PDF

Info

Publication number
KR20170003892A
KR20170003892A KR1020160180598A KR20160180598A KR20170003892A KR 20170003892 A KR20170003892 A KR 20170003892A KR 1020160180598 A KR1020160180598 A KR 1020160180598A KR 20160180598 A KR20160180598 A KR 20160180598A KR 20170003892 A KR20170003892 A KR 20170003892A
Authority
KR
South Korea
Prior art keywords
display
image
hmd
camera
unit
Prior art date
Application number
KR1020160180598A
Other languages
Korean (ko)
Other versions
KR101722459B1 (en
Inventor
최해룡
유선영
최장호
Original Assignee
(주)그린광학
재단법인 대구경북첨단의료산업진흥재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)그린광학, 재단법인 대구경북첨단의료산업진흥재단 filed Critical (주)그린광학
Priority to KR1020160180598A priority Critical patent/KR101722459B1/en
Publication of KR20170003892A publication Critical patent/KR20170003892A/en
Application granted granted Critical
Publication of KR101722459B1 publication Critical patent/KR101722459B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

The present invention relates to a wearable display for people with low vision. More specifically, the present invention relates to a head-mount display device capable of controlling a focus position of a display image by controlling a gap between the display and an optical system including a lens for people with low vision. The wearable display for people with low vision includes: a head-mount display comprising an optical module delivering an image light, emitted from at least one display, to the eyes of a user; a first camera obtaining content by photographing; and a control part controlling the head-mount display to output the obtained content. The control part is able to control the obtained content to vividly display the content to the user by adjusting a focus on retinas of the eyes of the user by changing a position of the display.

Description

저시력자용 웨어러블 디스플레이{wearable display for the low vision}[0001] Wearable display for the low vision [0002]

본 발명은 저시력자용 웨어러블 디스플레이에 관한 것이다. 구체적으로 본 발명은 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치를 조절할 수 있는 헤드마운트 디스플레이 장치에 관한 것이다.The present invention relates to a wearable display for low vision. More specifically, the present invention relates to a head mount display device capable of adjusting a focus position of a display image through adjustment of an interval between an optical system including a lens for low vision and a display.

일반적으로 이미지 디스플레이 장치는 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 먼 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 화상 표시 장치를 말한다.2. Description of the Related Art Generally, an image display device forms a focal point so that a virtual large-sized screen can be formed at a long distance by using a precision optical device, which is generated in a position very close to an eye, so that a user can view an enlarged virtual image An image display device.

또한, 이미지 디스플레이 장치는, 주위 환경은 볼 수 없고 디스플레이 소자에서 발산된 영상광만을 볼 수 있는 밀폐형(See-close)과, 윈도우를 통해 주위 환경을 볼 수 있으면서도 디스플레이 소자에서 발산된 영상광을 동시에 볼 수 있는 투과식(See-through)으로 나뉠 수 있다.In addition, the image display device is configured to include a see-close type in which only the image light emitted from the display device can not be seen in the surrounding environment, and a see-close mode in which the image light emitted from the display device (See-through) that can be seen.

헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.Head-mounted display (HMD) refers to various digital devices that can be worn on the head like glasses to receive multimedia contents. Various wearable computers (Wearable Computers) have been developed in accordance with the trend of weight reduction and miniaturization of digital devices, and HMDs are also widely used. The HMD can be combined with augmented reality technology, N screen technology, etc., beyond the simple display function, to provide various convenience to the user.

예를 들어, HMD에 마이크와 스피커가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 전화 통화를 수행할 수 있다. 또한, 예를 들어, HMD에 카메라가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 유저가 원하는 방향의 이미지를 캡쳐할 수 있다.For example, when a microphone and a speaker are mounted on the HMD, the user can perform a telephone conversation while wearing the HMD. Further, for example, when a camera is mounted on the HMD, the user can capture an image of a desired direction in a state in which the HMD is worn.

한편, 저시력자의 경우에는 헤드 마운트 디스플레이(HMD)를 착용한 경우에도 시력문제로 인해 컨텐츠를 제공받기 어렵다는 문제점이 있어, 이에 대한 해결방안이 요구되고 있는 실정이다.On the other hand, in the case of low visibility, there is a problem that it is difficult to receive contents due to a visual problem even when a head-mounted display (HMD) is worn.

대한민국 특허청 공개번호 제 20-2012-0001640호Korean Patent Application Publication No. 20-2012-0001640

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 저시력자용 웨어러블 디스플레이를 제안하고자 한다.Disclosure of Invention Technical Problem [8] The present invention has been made to overcome the above-mentioned problems, and a wearable display for a low vision device is proposed.

구체적으로 본 발명은 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치를 조절할 수 있는 헤드마운트 디스플레이 장치를 제안하고자 한다.Specifically, the present invention proposes a head mount display device capable of adjusting a focus position of a display image by adjusting an interval between an optical system including a lens and a display for low vision.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are not intended to limit the invention to the precise form disclosed. It can be understood.

상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 저시력자용 웨어러블 디스플레이는, 적어도 하나의 디스플레이에서 발산되는 영상광을 사용자의 안구에 전달하는 광학 모듈로 이루어진 헤드마운트 디스플레이; 콘텐츠를 촬영하여 획득하기 위한 제 1 카메라; 및 상기 획득한 콘텐츠를 상기 헤드마운트 디스플레이가 출력하도록 제어하는 제어부;를 포함하되, 상기 제어부는, 상기 적어도 하나의 디스플레이의 위치를 변경하여 상기 사용자의 안구의 망막에 맺히는 초점을 조정함으로써, 상기 획득한 콘텐츠가 상기 사용자에게 선명하게 출력되도록 제어할 수 있다.A wearable display for low visibility according to an embodiment of the present invention for realizing the above-mentioned problems includes a head mount display comprising an optical module for transmitting image light emitted from at least one display to a user's eyeball; A first camera for capturing and acquiring contents; And a control unit for controlling the head mounted display to output the obtained content, wherein the control unit adjusts a focus of the at least one display to be focused on the retina of the user's eyeball, So that one content can be clearly output to the user.

또한, 상기 헤드마운트 디스플레이는, 상기 콘텐츠를 촬영하여 획득하기 위한 제 2 카메라;를 더 포함할 수 있다.The head mount display may further include a second camera for capturing and acquiring the content.

또한, 상기 콘텐츠는, 텍스트, 이미지 및 동영상 정보를 포함하고, 상기 획득하고자 하는 콘텐츠와 상기 사용자 간의 이격거리가 기 설정된 범위 이내인 경우, 상기 제어부는 상기 제 1 카메라 및 제 2 카메라 중 상기 제 1 카메라를 이용하여 상기 콘텐츠를 촬영하여 획득하고, 상기 기 설정된 범위를 초과하는 경우, 상기 제어부는 상기 제 1 카메라 및 제 2 카메라 중 상기 제 2 카메라를 이용하여 상기 콘텐츠를 촬영하여 획득할 수 있다.If the distance between the content to be acquired and the user is within a predetermined range, the control unit controls the first camera and the second camera among the first camera and the second camera, Capturing and acquiring the content using a camera, and when the content exceeds the predetermined range, the control unit can photograph and acquire the content using the second camera among the first camera and the second camera.

또한, 상기 제 1 카메라 및 제 2 카메라는, 상기 제어부의 제어에 따라 각도 조절이 가능하고, 줌인 및 또는 줌아웃이 가능할 수 있다.In addition, the first camera and the second camera may be adjustable in angle according to the control of the control unit, and zoom in or zoom out may be possible.

또한, 상기 제 1 카메라 또는 제 2 카메라는 상기 각도 조절을 통해 객체의 원하는 영역을 촬영하고, 상기 줌인 동작을 통해 상기 영역이 확대된 영상을 획득하며, 상기 획득된 확대된 영상을 이용하여 상기 객체에 표시된 정보는 확인 가능할 수 있다.In addition, the first camera or the second camera photographs a desired area of the object through the angle adjustment, acquires an enlarged image of the area through the zoom-in operation, The information displayed on the screen may be identifiable.

또한, 상기 제 1 카메라는 마우스 또는 핸드헬드 스캐너(handheld scanner) 형태로 구현될 수 있다.The first camera may be implemented as a mouse or a handheld scanner.

한편, 상술한 과제를 실현하기 위한 본 발명의 다른 일예와 관련된 저시력자를 위한 디스플레이 방법은, 헤드마운트 디스플레이를 통해 적어도 하나의 디스플레이에서 발산되는 영상광을 사용자의 안구에 전달하는 단계; 콘텐츠를 촬영하여 획득하는 단계; 상기 획득한 콘텐츠를 상기 헤드마운트 디스플레이가 출력하는 단계; 및 상기 적어도 하나의 디스플레이의 위치를 변경하여 상기 사용자의 안구의 망막에 맺히는 초점을 조정함으로써, 상기 획득한 콘텐츠가 상기 사용자에게 선명하게 출력되도록 제어하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a display method for a low visor, comprising: transmitting image light emitted from at least one display through a head mount display to a user's eyeball; Capturing and acquiring contents; Outputting the acquired content to the head mount display; And controlling the focus of the at least one display to be focused on the retina of the user's eyeball so that the obtained content is clearly output to the user.

본 발명은 저시력자용 웨어러블 디스플레이를 사용자에게 제공할 수 있다. 구체적으로 본 발명은 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치를 조절할 수 있는 헤드마운트 디스플레이 장치를 제공할 수 있다.The present invention can provide a wearable display for a low vision user to a user. Specifically, the present invention can provide a head mount display device capable of adjusting a focus position of a display image through adjustment of an interval between an optical system including a lens for low vision and a display.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It should be understood, however, that the effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art to which the present invention belongs It will be possible.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 명세서에 적용되는 헤드 마운트 디스플레이(HMD)의 블록도 일례를 도시한 것이다.
도 2는 본 발명과 관련된 HMD의 실시예를 나타내는 도면이다.
도 3a 내지 도 3b는 본 발명의 HMD의 제 2 바디의 회전 보상을 나타내는 도면이다.
도 4a 내지 도 4c는 본 발명의 HMD의 제 1 바디의 회전 보상을 나타내는 도면이다.
도 5는 본 발명의 HMD의 제어 방법을 나타내는 도면이다.
도 6은 본 발명과 관련하여, 증강현실을 구현하기 위하여 외부 이미지와 가상화면이 동시에 제공되는 종래의 헤드마운트 디스플레이 장치의 개념을 개략적으로 도시한 단면도이다.
도 7은 본 발명과 관련하여, 시야방해를 최소화하기 위하여 사용자의 안구 상부에 위치한 구글글라스의 구체적인 일례를 도시한 것이다.
도 8은 본 발명에 따른 고글부 회전 구조를 가진 헤드마운트 디스플레이의 개념을 개략적으로 도시한 측면도를 도시한 것이다.
도 9는 본 발명이 제안하는 저시력자용 웨어러블 디스플레이의 블록도 일례를 도시한 것이다.
도 10은 도 9에서 설명한 저시력자용 웨어러블 디스플레이의 구체적인 일례를 도시한 것이다.
도 11은 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 설명하기 위한 도면이다.
도 12는 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 추가적으로 설명하기 위한 도면이다.
도 13은 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 추가적으로 설명하기 위한 도면이다.
도 14는 저시력자용 웨어러블 디스플레이를 이용하여 사용자에게 컨텐츠가 제공되는 과정을 순서도로 설명한 일례이다.
도 15는 저시력자용 웨어러블 디스플레이를 이용하여 사용자에게 컨텐츠가 제공되는 과정을 순서도로 설명한 다른 일례이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate preferred embodiments of the invention and, together with the description, serve to further the understanding of the technical idea of the invention, It should not be construed as limited.
1 shows an example of a block diagram of a head-mounted display (HMD) according to the present invention.
2 is a diagram showing an embodiment of an HMD related to the present invention.
3A and 3B are diagrams illustrating rotation compensation of a second body of the HMD of the present invention.
4A to 4C are views showing rotation compensation of the first body of the HMD of the present invention.
5 is a view showing a control method of the HMD of the present invention.
6 is a cross-sectional view schematically illustrating a concept of a conventional head-mounted display device in which an external image and a virtual screen are simultaneously provided to realize an augmented reality.
FIG. 7 illustrates a specific example of a Google Glass located at the upper part of the user's eye to minimize visual disturbance in connection with the present invention.
8 is a side view schematically illustrating the concept of a head mount display having a goggle negative rotation structure according to the present invention.
Fig. 9 shows an example of a block diagram of a wearable display for a low vision device proposed by the present invention.
Fig. 10 shows a specific example of the wearable display for low visibility use described in Fig.
11 is a view for explaining the adjustment of the focus position of the display image through adjustment of the gap between the optical system including the lens for low visibility and the display in the present invention.
12 is a diagram for further illustrating that the focus position of a display image is adjusted by adjusting the gap between an optical system including a lens for low visibility and a display in the present invention.
13 is a view for further illustrating that the focus position of a display image is adjusted by adjusting the gap between an optical system including a lens for low visibility and a display in the present invention.
FIG. 14 is a flowchart illustrating a process of providing contents to a user using a wearable display for low visibility.
FIG. 15 is another example of a process of providing content to a user using a wearable display for a low vision by a flowchart.

일반적으로 이미지 디스플레이 장치는 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 눈 앞의 근접 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 화상 표시 장치를 말한다.Generally, the image display device forms a focus so that a virtual large screen can be formed at a close distance in front of the eye using a precise optical device, And the like.

즉, 일반적인 이미지 디스플레이 장치는 주위 환경은 볼 수 없고 디스플레이 소자에서 발산된 영상광 만을 볼 수 있는 밀폐형(See-close)과, 윈도우를 통해 주위 환경을 볼 수 있으면서도 디스플레이 소자에서 발산된 영상광을 동시에 볼 수 있는 투과식(See-through)으로 나뉘어 진다.In other words, a general image display device can not see the surrounding environment, but can be closed (see-close) in which only the image light emitted from the display device can be seen, and the image light emitted from the display device (See-through).

우선적으로 화상 표시 장치에 대해 도면을 참조하여 구체적으로 설명한다.First, an image display apparatus will be described in detail with reference to the drawings.

본 명세서에서 사용되는 용어는 일 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, the term " general < RTI ID = 0.0 > commonly used < / RTI > term is selected with consideration given to the function according to an embodiment, but this may vary depending on the intention or custom of the person skilled in the art or the emergence of a new technique. In addition, in certain cases, there may be a term arbitrarily selected by the applicant, in which case the meaning thereof will be described in the description of the corresponding invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification.

더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 본 명세서가 실시예들에 의해 제한되거나 한정되는 것은 아니다.Furthermore, although the embodiments are described in detail below with reference to the accompanying drawings and the accompanying drawings, the present invention is not limited to or limited by the embodiments.

도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.1 is a block diagram of a head-mounted display (HMD) of the present disclosure. However, FIG. 1 illustrates an embodiment in which some configuration modules may be deleted or a new configuration module may be added according to the needs of those skilled in the art.

도 1에 도시된 바와 같이, 일 실시예에 따른 HMD(100)는 디스플레이 유닛(110), 커뮤니케이션 유닛(120), 센싱유닛(130), 카메라 유닛(140), 프로세서(150)를 포함할 수 있다.1, an HMD 100 according to one embodiment may include a display unit 110, a communication unit 120, a sensing unit 130, a camera unit 140, a processor 150, have.

한편, HMD(100)는 제 1 바디 및 제 2 바디를 포함할 수 있다. 제 1 바디는 HMD(100)의 본체에 해당하는 것으로서, 디스플레이 유닛(110), 제 1 커뮤니케이션 유닛, 제 1 각도 센싱 유닛, 프로세서(150) 등을 포함할 수 있다. 또한, 제 2 바디는 HMD(100)의 본체로부터 분리가능한 바디로서, 제 2 각도 센싱 유닛, 카메라 유닛(140), 제 2 커뮤니케이션 유닛 등을 포함할 수 있다. 상술한 제 1 바디 및 제 2 바디는 일 실시예로서, 당업자의 필요에 따라, 제 1 바디 및 제 2 바디에 일부 구성 유닛을 변경 또는 새로운 구성 유닛을 추가할 수 있다.Meanwhile, the HMD 100 may include a first body and a second body. The first body corresponds to the body of the HMD 100 and may include a display unit 110, a first communication unit, a first angle sensing unit, a processor 150, and the like. The second body may be a body detachable from the body of the HMD 100, and may include a second angle sensing unit, a camera unit 140, a second communication unit, and the like. The above-described first body and second body are, as one embodiment, capable of changing some of the constituent units or adding new constituent units to the first body and the second body, as required by those skilled in the art.

제 1 바디 및 제 2 바디와 관련하여 도 2에서 다시 설명하도록 한다.The first body and the second body will be described again in Fig.

디스플레이 유닛(110)은 비주얼 정보를 디스플레이할 수 있다. 여기에서, 비주얼 정보는 컨텐츠, 애플리케이션, 이미지, 동영상 등을 포함할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(150)의 제어 명령에 기초하여 비주얼 정보를 스크린에 출력할 수 있다. 본 명세서에서, 디스플레이 유닛(110)은 HMD(100)의 제 1 바디에 포함될 수 있다.The display unit 110 may display visual information. Here, the visual information may include contents, applications, images, moving pictures, and the like. In addition, the display unit 110 can output visual information to the screen based on the control command of the processor 150. [ In this specification, the display unit 110 may be included in the first body of the HMD 100.

한편, 본 명세서에서, HMD(100)는 다양한 방식으로 디스플레이 스크린에 이미지를 출력할 수 있다. 일 예로서, HMD(100)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 디스플레이 스크린이 투명한 것으로, HMD(100)를 착용한 상태에서 유저가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, HMD(100)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다.Meanwhile, in the present specification, the HMD 100 can output an image to a display screen in various ways. As an example, the HMD 100 may output an image in a see-through manner. Here, the see-through method is a method in which the display screen is transparent and the user can use the contents while recognizing the surrounding environment while wearing the HMD 100. As another example, the HMD 100 may output an image in a front-light manner. Here, the forward scanning method represents a method of displaying a reflected image through a reflector such as a mirror without projecting the light directly onto the eye.

또한, 다른 일 예로서, HMD(100)는 암막형(see-closed) 방식으로 이미지를 출력할 수 있다. 여기에서, 암막형 방식은 디스플레이 스크린을 통해 외부 환경을 볼 수 없고, 디스플레이 스크린을 통해 컨텐츠를 이용하는 방식을 나타낸다. 본 명세서에서, HMD(100)는 투시형 또는 전방 주사 방식으로 이미지를 디스플레이하는 것으로 가정하도록 한다.Also, as another example, the HMD 100 may output an image in a see-closed manner. Here, the dark type method can not view the external environment through the display screen, and shows the manner of using the contents through the display screen. In this specification, it is assumed that the HMD 100 displays an image in a perspective type or a forward scanning manner.

커뮤니케이션 유닛(120)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(120)은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.The communication unit 120 can communicate with an external device and transmit / receive data using various protocols. Further, the communication unit 120 can be connected to a network by wire or wireless, and can transmit / receive digital data such as contents. For example, the communication unit may be a WLAN (Wi-Fi), a Wibro (wireless broadband), a Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access Specifications and the like can be used.

본 명세서에서, 커뮤니케이션 유닛(120)은 제 1 커뮤니케이션 유닛 및 제 2 커뮤니케이션 유닛을 포함할 수 있다. 상술한 바와 같이, 제 1 커뮤니케이션 유닛은 제 1 바디에 구비될 수 있고, 제 2 커뮤니케이션 유닛은 제 2 바디에 구비될 수 있다. 예를 들어, 제 1 커뮤니케이션 유닛 및 제 2 커뮤니케이션 유닛은 제 1 바디에 포함된In this specification, the communication unit 120 may include a first communication unit and a second communication unit. As described above, the first communication unit may be provided in the first body, and the second communication unit may be provided in the second body. For example, the first communication unit and the second communication unit may include a first communication unit

프로세서(150)로부터 신호를 송/수신하고, 제 2 바디에 포함된 카메라 유닛(140)으로부터 신호를 송/수신할 수 있다.Receive signals from the processor 150, and transmit / receive signals from the camera unit 140 included in the second body.

센싱 유닛(130)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여, HMD(100)의 주변 환경을 센싱하고, 이를 신호 형태로 프로세서(150)에 전달할 수 있다.The sensing unit 130 senses the surrounding environment of the HMD 100 using at least one sensor mounted on the HMD 100 and can transmit the sensing data to the processor 150 in the form of a signal.

센싱 유닛(130)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 센싱 수단을 포함할 수 있다.The sensing unit 130 may include at least one sensing means. In one embodiment, the at least one sensing means includes at least one sensor selected from the group consisting of a gravity sensor, a geomagnetism sensor, a motion sensor, a gyroscope sensor, an acceleration sensor, an infrared sensor, an inclination sensor, a brightness sensor, A sensor, a depth sensor, a pressure sensor, a banding sensor, an audio sensor, a video sensor, a global positioning system (GPS) sensor, a touch sensor, and a grip sensor.

또한, 센싱 유닛(130)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 HMD(100)의 환경을 센싱하여, 프로세서(150)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나의 엘리먼트에 통합되어 포함될 수 있다.The sensing unit 130 collectively refers to the various sensing means described above. The sensing unit 130 senses the various inputs of the user and the environment of the HMD 100, and transmits the sensing result so that the processor 150 can perform the operation . The above-described sensors may be included in the HMD 100 as separate elements or integrated into at least one element.

본 명세서에서, 센싱 유닛(130)은 각도 센싱 유닛(131) 및 입력 센싱 유닛(132)를 포함할 수 있다. 또한, 각도 센싱 유닛(131) 및 입력 센싱 유닛(132)는 각각 제 1 바디 및 제 2 바디에 구비될 수 있다. 예를 들어, 제 1 바디에 구비된 각도 센싱 유닛은 제 1 바디의 회전 각도를 센싱할 수 있고, 제 1 바디에 구비된 입력 센싱 유닛은 제 1 바디에 대한 유저의 입력 신호를 디텍트할 수 있다. 또한, 예를 들어, 제 2 바디에 구비된 각도 센싱 유닛은 제 2 바디의 회전 각도를 센싱할 수 있고, 제 2 바디에 구비된 입력 센싱 유닛은 제 2 바디에 대한 유저의 입력 신호를 디텍트할 수 있다. 또한, 제 1 바디 및 제 2 바디에 구비된 다양한 센싱 수단을 통하여, 제 1 바디와 제 2 바디 간의 분리 신호 및 장착 신호를 디텍트할 수 있다. 또한, 제 1 바디 또는 제 2 바디에 구비된 입력 센싱 유닛을 통하여, 이미지 캡쳐링 신호를 디텍트할 수 있다.In this specification, the sensing unit 130 may include an angle sensing unit 131 and an input sensing unit 132. In addition, the angle sensing unit 131 and the input sensing unit 132 may be provided in the first body and the second body, respectively. For example, the angle sensing unit of the first body may sense the rotation angle of the first body, and the input sensing unit of the first body may detect the input signal of the user to the first body have. In addition, for example, the angle sensing unit provided on the second body may sense the rotation angle of the second body, and the input sensing unit provided on the second body may detect a user's input signal with respect to the second body, can do. Also, a separation signal and a mounting signal between the first body and the second body can be detected through various sensing means provided on the first body and the second body. Also, the image capturing signal can be detected through the input sensing unit provided in the first body or the second body.

카메라 유닛(140)은 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(140)은 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라 유닛(140)이 향하고 있는 방향에 해당할 수 있다. 또한, 카메라 유닛(140)은 화각 영역 내의 이미지를 센싱하여 프로세서(150)에 제공할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다.The camera unit 140 can take an image. More specifically, the camera unit 140 can take an image in the forward direction. Here, the front direction may correspond to the direction in which the camera unit 140 is oriented. In addition, the camera unit 140 may sense the image within the field of view area and provide it to the processor 150. Here, the angle of view field represents the range of horizontal and vertical viewing angles that can be included in a certain screen when sensing an image.

본 명세서에서, 카메라 유닛(140)은 제 2 바디에 포함될 수 있다. 한편, 본 명세서에서, 카메라 유닛(140)은 제 2 바디뿐만 아니라 제 1 바디에도 구비될 수 있다. 제 2 바디에 포함된 카메라 유닛(140)은 제 1 바디에 장착되어 이미지를 센싱할 수 있다. 또한, 제 2 바디에 포함된 카메라 유닛(140)은 제 1 바디로부터 분리되어 이미지를 센싱할 수 있다.In this specification, the camera unit 140 may be included in the second body. Meanwhile, in this specification, the camera unit 140 may be provided not only to the second body but also to the first body. The camera unit 140 included in the second body may be mounted on the first body to sense an image. In addition, the camera unit 140 included in the second body may be separated from the first body to sense the image.

프로세서(150)는 데이터를 프로세싱하고, 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다. 본 명세서에서, 프로세서(150)는 제 1 바디에 포함될 수 있다. 예를 들어, 프로세서(150)는 제 1 바디에 포함된 디스플레이 유닛(110), 제 1 각도 센싱 유닛, 제 1 커뮤니케이션 유닛 뿐만 아니라, 제 2 바디에 포함된 카메라 유닛(140), 제 2 커뮤니케이션 유닛, 센서 유닛(130), 제 2 각도 센싱 유닛을 제어할 수 있다. 한편, 프로세서(150)는 제 1 바디뿐만 아니라 제 2 바디에서 별도로 구비될 수도 있다.The processor 150 may process data, control each unit of the HMD 100 described above, and control data transmission / reception between the units. In this specification, the processor 150 may be included in the first body. For example, the processor 150 may include a display unit 110 included in the first body, a first angle sensing unit, a first communication unit, a camera unit 140 included in the second body, The sensor unit 130, and the second angle sensing unit. Meanwhile, the processor 150 may be provided separately from the first body as well as the second body.

본 명세서에서, 제 2 바디가 제 1 바디로부터 분리된 경우, 프로세서(150)는 제 1 회전 각도 및 제 2 회전 각도를 획득할 수 있다. 또한, 프로세서(150)는 센싱된 이미지를 제 2 회전 각도에 기초하여 제 1 회전 보상한 이미지를 디스플레이하는 분리 이미지 프리뷰 인터페이스를 디스플레이할 수 있다. 또한, 프로세서(150)는 제 1 캡쳐링 신호를 디텍트할 수 있다. 또한, 프로세서(150)는 센싱된 이미지를 캡쳐하고, 캡쳐된 이미지를 제 1 회전 각도 및 제 2 회전 각도에 기초하여 제 2 회전 보상한 이미지를 저장할 수 있다.In the present specification, when the second body is separated from the first body, the processor 150 can obtain the first rotation angle and the second rotation angle. In addition, the processor 150 may display a separate image preview interface that displays an image obtained by performing a first rotation compensation on the sensed image based on the second rotation angle. In addition, the processor 150 may detect the first capturing signal. The processor 150 may also capture the sensed image and store the captured image a second rotationally compensated image based on the first rotational angle and the second rotational angle.

본 명세서의 일 실시예로서, HMD(100)가 수행하는 동작들은 프로세서(150)에 의해 제어될 수 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 HMD(100)가 수행/제어하는 것으로 설명하도록 한다.In one embodiment of the present disclosure, the operations performed by the HMD 100 may be controlled by the processor 150. For convenience, the drawings and the following description are collectively referred to as being performed / controlled by the HMD 100.

한편, 도 1에는 도시되지 않았으나, HMD(100)는 파워 유닛, 스토리지 유닛, 오디오 유닛 등을 포함할 수 있다.1, the HMD 100 may include a power unit, a storage unit, an audio unit, and the like.

파워 유닛은 HMD(100)의 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, HMD(100)에 파워를 공급할 수 있다. 또한, 스토리지 유닛은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다. 또한, 오디오 유닛은 마이크 및 스피커를 통해 오디오 데이터를 수신하거나 출력할 수 있다.The power unit may supply power to the HMD 100 as a power source connected to an internal battery of the HMD 100 or an external power source. In addition, the storage unit can store various digital data such as audio, pictures, movies, and applications. The storage unit may represent various digital data storage spaces such as a flash memory, a random access memory (RAM), and a solid state drive (SSD). Further, the audio unit can receive or output audio data through a microphone and a speaker.

도 1에 도시된 HMD(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 HMD(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.The HMD 100 shown in FIG. 1 is a block diagram according to an embodiment, and the blocks separately displayed are logically distinguished from the elements of the HMD 100. FIG. Therefore, the elements of the HMD 100 described above can be mounted as one chip or a plurality of chips according to the design of the device.

도 2는 본 명세서의 HMD의 실시예를 나타내는 도면이다. 보다 상세하게는, 도 2의 (a)는 HMD(100)의 제 1 바디(10)로부터 제 2 바디(20)가 분리된 상태를 나타내고, 도 2의 (b)는 HMD(100)의 제 1 바디(10)에 제 2 바디(20)가 장착된 상태를 나타낸다.2 is a diagram showing an embodiment of the HMD of the present specification. 2 (a) shows a state in which the second body 20 is separated from the first body 10 of the HMD 100, and FIG. 2 (b) 1 shows a state in which the second body 20 is mounted on the body 10;

도 1에서 상술한 바와 같이, HMD(100)는 제 1 바디(10) 및 제 2 바디(20)를 포함할 수 있다. 또한, 제 1 바디(10)는 HMD(100)의 메인 바디에 해당할 수 있고, 제 2 바디(20)는 HMD(100)의 서브 바디에 해당할 수 있다.As described above with reference to FIG. 1, the HMD 100 may include a first body 10 and a second body 20. The first body 10 may correspond to the main body of the HMD 100 and the second body 20 may correspond to the sub body of the HMD 100. [

본 명세서에서, 제 1 바디(10)는 디스플레이 유닛, 제 1 커뮤니케이션 유닛, 제 1 센싱 유닛, 프로세서 등을 구비할 수 있다. 다만, 제 1 바디(10)는 카메라 유닛 등을 추가로 구비할 수도 있다. 또한, 본 명세서에서, 제 2 바디(20)는 카메라 유닛, 제 2 커뮤니케이션 유닛, 제 2 센싱 유닛 등을 구비할 수 있다. 다만, 제 2 바디(20)는 제 1 바디(10)의 프로세서와 별도로 동작하는 프로세서를 추가로 구비할 수도 있다.In this specification, the first body 10 may include a display unit, a first communication unit, a first sensing unit, a processor, and the like. However, the first body 10 may further include a camera unit or the like. Also, in this specification, the second body 20 may include a camera unit, a second communication unit, a second sensing unit, and the like. However, the second body 20 may further include a processor that operates separately from the processor of the first body 10.

또한, 도 2에 도시된 바와 같이, 제 2 바디(20)는 제 1 바디(10)에 분리장착 가능하다. 이를 통해, 제 2 바디(20)에 포함된 카메라 유닛은 제 1 바디(10)에 장착되거나 분리됨에 따라 다양한 각도의 이미지를 센싱할 수 있다. 한편, 제 1 바디(10) 및 제 2 바디(20)는 다양한 방식을 통해 분리 장착 가능하다. 예를 들어, 제 1 바디(10) 또는 제 2 바디(20)가 분리 장착되는 부분에 마그네틱 파트가 존재하여, 제 1 바디(10) 및 제 2 바디(20) 간에 분리 장착 가능하도록 구성될 수 있다. 또한, 예를 들어, 제 1 바디(10) 또는 제 2 바디(20)가 분리 장착되는 부분에 분리 장착이 용이하도록 접합 구조로 구성될 수 있다.2, the second body 20 is detachably mountable to the first body 10. Accordingly, the camera unit included in the second body 20 can be mounted on or separated from the first body 10 to sense images at various angles. Meanwhile, the first body 10 and the second body 20 can be separately mounted through various methods. For example, the first body 10 and the second body 20 may be separately mounted on the first body 10 and the second body 20, have. In addition, for example, the first body 10 or the second body 20 may be configured to have a bonding structure so that the first body 10 or the second body 20 can be easily separated and mounted.

도 3은 본 명세서의 HMD의 제 2 바디의 회전 보상을 나타내는 도면이다. 보다 상세하게는, 도 3a는 제 2 바디(20)의 회전을 나타내고, 도 3b는 제 2 바디(20)의 회전에 따른 회전 보상을 나타낸다.3 is a diagram illustrating rotation compensation of a second body of the HMD of the present disclosure; More specifically, FIG. 3A shows the rotation of the second body 20, and FIG. 3B shows the rotation compensation according to the rotation of the second body 20.

먼저, 도 3a를 참조하면, 제 2 바디(20)는 제 1 바디로부터 분리된 상태에서, 우측으로 각도 a만큼 회전된 상태에 있을 수 있다. 이 경우, 도 3b의 첫번째 도면과 같이, 제 2 바디(20)에 포함된 카메라 유닛의 이미지 센서(21)가 우측으로 각도 a만큼 회전된 상태에 있을 수 있다. 따라서, HMD(100)는 카메라 유닛을 통해, 이미지 센서(21)에 나타난 수평 상태에서 각도 a만큼 우측으로 회전된 이미지를 센싱할 수 있다.3A, the second body 20 may be separated from the first body and rotated to the right by an angle a. In this case, the image sensor 21 of the camera unit included in the second body 20 may be rotated to the right by an angle a, as shown in the first diagram of FIG. 3B. Accordingly, the HMD 100 can sense the image rotated to the right by the angle a in the horizontal state shown by the image sensor 21 through the camera unit.

이를 통해, HMD(100)는 도 3b의 두번째 도면에 도시된 바와 같은 센싱된 이미지(21)를 획득할 수 있다. 이 경우, 센싱된 이미지(21)의 수평선이 각도 -a만큼 회전된 상태이므로, 수평 이미지를 위해 HMD(100)는 센싱된 이미지의 회전 보상을 수행할 수 있다. 보다 상세하게는, HMD(100)는 센싱된 이미지(21)를 각도 a만큼 우측으로 회전시키는 회전 보상을 수행할 수 있다. 이 때, HMD(100)는 수평 보정을 위해 카메라 유닛의 프레임의 종횡비에 기초하여 센싱된 이미지를 크로핑(22)할 수 있다. 예를 들어, 카메라 유닛의 프레임의 종횡비는 3:2에 해당할 수 있다. 아울러, 회전 보상 및 크로핑이 완료된 이미지(22)가 카메라 유닛을 통해 센싱된 이미지의 수평 보정된 이미지에 해당한다.Through this, the HMD 100 can obtain the sensed image 21 as shown in the second figure of FIG. 3B. In this case, since the horizontal line of the sensed image 21 is rotated by the angle -a, the HMD 100 can perform the rotation compensation of the sensed image for the horizontal image. More specifically, the HMD 100 may perform rotation compensation to rotate the sensed image 21 to the right by an angle a. At this time, the HMD 100 may crop (22) the sensed image based on the aspect ratio of the frame of the camera unit for horizontal correction. For example, the aspect ratio of the frame of the camera unit may correspond to 3: 2. In addition, the rotation compensated and cropped image 22 corresponds to the horizontally corrected image of the image sensed by the camera unit.

상술한 회전 보상 및 크로핑은 카메라 유닛의 회전 각도를 고려하여 수행된 것으로서, 일반적으로 카메라의 회전 보상을 수행하는 방법에 해당할 수 있다. 다만, 본 명세서에서는 카메라 유닛의 회전 각도뿐만이 아니라 유저에게 착용된 HMD(100)의 회전 각도까지 고려하여 회전 보상하는 경우를 가정하도록 한다. 따라서, 도 4에서는 카메라 유닛이 포함된 제 2 바디의 회전 보상이 수행된 상태에서, 제 1 바디의 회전 보상을 수행하게 되는 경우를 살펴보도록 한다.The above-described rotation compensation and cropping are performed in consideration of the rotation angle of the camera unit, and generally correspond to a method of performing rotation compensation of a camera. However, in this specification, it is assumed that rotation compensation is performed in consideration of not only the rotation angle of the camera unit but also the rotation angle of the HMD 100 worn by the user. Accordingly, the case where the rotation compensation of the first body including the camera unit is performed will be described with reference to FIG.

도 4는 본 명세서의 HMD의 제 1 바디의 회전 보상을 나타내는 도면이다. 보다 상세하게는, 도 4a는 제 1 바디(10)의 회전을 나타내고, 도 4b는 제 1 바디(10)의 회전에 따라 디스플레이되는 이미지를 나타내고, 도 4c는 제 1 바디(10)의 회전에 따른 회전 보상을 나타낸다.4 is a diagram illustrating rotation compensation of a first body of the HMD of the present disclosure; 4A shows the rotation of the first body 10, Fig. 4B shows the image displayed according to the rotation of the first body 10, Fig. 4C shows the rotation of the first body 10, Fig.

먼저, 도 4b의 첫번째 도면에 도시된 바와 같이, HMD(100)를 착용한 유저가 수평 상태에 있는 경우, 디스플레이 유닛(110)과 이미지 프리뷰 인터페이스(30)는 수평 상태에 있을 수 있다. 여기에서, 이미지 프리뷰 인터페이스(30)에 디스플레이되는 이미지는 상술한 도 3에서 센싱된 이미지의 회전 보상 및 크로핑이 수행된 이미지에 해당한다.First, as shown in the first drawing of FIG. 4B, when the user wearing the HMD 100 is in a horizontal state, the display unit 110 and the image preview interface 30 may be in a horizontal state. Here, the image displayed on the image preview interface 30 corresponds to the image on which the rotation compensation and the cropping of the sensed image in FIG. 3 described above are performed.

한편, 도 4a에 도시된 바와 같이, HMD(100)는 각도 b만큼 오른쪽으로 회전된 상태에 있을 수 있다. 보다 상세하게는, HMD(100)는 제 2 바디의 회전 각도와 무관하게 유저가 착용하는 제 1 바디(10)가 각도 b만큼 오른쪽으로 회전된 상태에 있을 수 있다.Meanwhile, as shown in FIG. 4A, the HMD 100 may be rotated to the right by an angle b. More specifically, the HMD 100 may be in a state in which the first body 10 worn by the user is rotated to the right by an angle b regardless of the rotation angle of the second body.

이 경우, 도 4b의 두번째 도면에 도시된 바와 같이, HMD(100)의 디스플레이 유닛(110)은 각도 b만큼 우측으로 회전된 상태에 해당한다. 또한, 이 경우, HMD(100)는 이미지 프리뷰 인터페이스(30)를 각도 b만큼 우측으로 회전시킬 수 있다. 따라서, 유저는 HMD(100)가 회전하더라도 이미지 프리뷰 인터페이스(30)에 디스플레이된 이미지가 수평 상태를 유지하여 제공받을 수 있다.In this case, the display unit 110 of the HMD 100 corresponds to a state rotated to the right by an angle b, as shown in the second drawing of FIG. 4B. In this case, the HMD 100 can rotate the image preview interface 30 to the right by the angle b. Therefore, even if the HMD 100 rotates, the user can be provided with the image displayed on the image preview interface 30 while maintaining the horizontal state.

이때, HMD(100)는 이미지 캡쳐링 신호를 디텍트할 수 있다. 이 경우, 도 4c에 도시된 바와 같이, HMD(100)는 이미지 프리뷰 인터페이스(30)에 디스플레이된 이미지(22)가 각도 b만큼 우측으로 회전된 상태에서 이미지를 캡쳐할 수 있다. 즉, 캡쳐된 이미지(23)는 우측으로 각도 b만큼 회전된 이미지에 해당할 수 있다. 보다 상세하게는, 캡쳐된 이미지(23)는 우측으로 각도 b만큼 회전되어, 프레임의 종횡비에 맞게 크로핑된 이미지에 해당한다. 이를 통해, 유저가 착용한 HMD의 회전 각도를 갖는 움직임에 따라 기울어진 이미지의 촬영 및 저장이 가능하다.At this time, the HMD 100 may detect an image capturing signal. In this case, as shown in FIG. 4C, the HMD 100 can capture the image with the image 22 displayed on the image preview interface 30 rotated to the right by an angle b. That is, the captured image 23 may correspond to an image rotated to the right by an angle b. More specifically, the captured image 23 is rotated to the right by an angle b, corresponding to an image cropped to fit the aspect ratio of the frame. Accordingly, it is possible to photograph and store an oblique image according to the motion of the HMD worn by the user.

도 5는 본 명세서의 HMD의 제어 방법을 나타내는 도면이다. 보다 상세하게는, 도 5는 HMD(100)의 제 1 바디(10)로부터 분리된 제 2 바디(20)를 이용하여 이미지를 캡쳐하는 경우를 나타낸다.5 is a diagram showing a control method of the HMD of the present specification. More specifically, FIG. 5 shows a case where an image is captured using a second body 20 separated from the first body 10 of the HMD 100.

HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)가 분리된 경우, 카메라 인터페이스를 액티베이트할 수 있다.The HMD 100 can activate the camera interface when the second body 20 is separated from the first body 10. [

즉, HMD(100)는 제 1 바디(10)로부터 제 2 바디(20)의 분리 신호를 디텍트하면, 카메라 애플리케이션을 실행할 수 있다. 다만, 카메라 인터페이스가 액티베이트되는 것은 이외에도 다양한 방법을 통해 가능하다.That is, the HMD 100 can execute the camera application by detecting the separation signal of the second body 20 from the first body 10. However, the camera interface can be activated in various other ways.

카메라 인터페이스가 액티베이트된 경우, HMD(100)는 디스플레이 유닛(110)에 이미지 프리뷰 인터페이스(30)를 디스플레이할 수 있다. 이미지 프리뷰 인터페이스(30)는 제 2 바디(20)에 포함된 카메라 유닛을 통해 센싱되는 이미지를 디스플레이할 수 있다. 도 5에서, 카메라 유닛은 수평 상태이므로, HMD(100)는 이미지 프리뷰 인터페이스(30)에 카메라 유닛을 통해 센싱되는 수평 이미지를 디스플레이할 수 있다. 여기에서, 수평 이미지는 이미지 내부의 수평선 또는 지평선과 같은 수평을 나타내는 선이 수평 상태를 유지하고 있는 이미지를 나타낸다.When the camera interface is activated, the HMD 100 can display the image preview interface 30 on the display unit 110. [ The image preview interface 30 may display an image to be sensed through a camera unit included in the second body 20. 5, since the camera unit is in a horizontal state, the HMD 100 can display a horizontal image sensed through the camera unit in the image preview interface 30. [ Here, a horizontal image represents an image in which a horizontal line such as a horizontal line or a horizon line inside the image is maintained in a horizontal state.

또한, HMD(100)는 이미지 프리뷰 인터페이스(30) 이외에도, 투시형 HMD인 경우, 유저(1)의 눈에 보이는 외부 환경이 디스플레이 유닛(110)에서 그대로 보일 수 있다. 한편, 유저(1)의 눈의 화각보다 카메라 유닛의 화각이 넓은 경향이 있는 경우, 도 5에서 도시된 바와 같이, 눈에 보이는 외부 환경에 비해 이미지 프리뷰 인터페이스(30)에 넓은 화각을 갖는 이미지가 디스플레이될 수 있다.In addition to the image preview interface 30, in the case of the perspective type HMD, the external environment visible to the user 1 can be seen in the display unit 110 as it is. On the other hand, when the angle of view of the camera unit tends to be wider than the angle of view of the eyes of the user 1, as shown in Fig. 5, an image having a wide angle of view in the image preview interface 30 Can be displayed.

도 5의 실시예를 통해, 유저(1)는 제 2 바디(20)를 쥔 상태에서 이미지 프리뷰 인터페이스(30)에 디스플레이된 이미지를 캡쳐할 수 있다. 이 경우, 제 1 바디(10) 및 제 2 바디(20)가 수평 상태이므로, 캡쳐된 이미지에 대하여 별도의 회전 보상이 필요 없을 수 있다.Through the embodiment of FIG. 5, the user 1 can capture the image displayed on the image preview interface 30 while holding the second body 20. In this case, since the first body 10 and the second body 20 are in a horizontal state, separate rotation compensation for the captured image may be unnecessary.

한편, 도 6은 종래 기술에 따른 투과식 이미지 디스플레이 장치의 예를 보여주고 있다.Meanwhile, FIG. 6 shows an example of a conventional transmissive image display device.

먼저, 도 6에 도시된 안경형 디스플레이 장치는 한국특허 10-0928226로 게재되었으며 영상광을 발산하는 디스플레이 소자(10)와, 상기 마이크로 디스플레이 패널에서 나오는 광 중 특정 편광만을 반사시키는 편광분리기(11)와, 상기 편광분리기에서 반사된 선편광을 원편광으로 변환시키거나 입사된 원편광을 선편광으로 변화시키는 위상 지연판(12)과, 상기 위상 지연판(12)을 통과한 원편광된 광을 확대하여 다시 상기 위상 지연판(12)으로 보내주는 반투과 오목 반사경(13)과, 주변 광을 개폐할 수 있도록 상기 반투과 오목 반사경의 외측면에 부착된 광 개폐 스위치 패널(14)을 포함하는 HMD 장치의 광학시스템으로 이루어져 있다.6 includes a display device 10 for emitting image light, a polarized light separator 11 for reflecting only specific polarized light out of the light emitted from the microdisplay panel 10, A phase delay plate 12 for converting the linearly polarized light reflected by the polarized light separator into circularly polarized light or changing incident circularly polarized light to linearly polarized light and a circularly polarized light having passed through the phase delay plate 12 A semitransparent concave reflector 13 to be sent to the phase delay plate 12 and an optical opening and closing switch panel 14 attached to the outer surface of the transflective concave reflector so as to be able to open and close the ambient light, Optical system.

도 6에 도시된 구성에 의하여 디스플레이 소자(10)에서 생성된 영상광은 상기 디스플레이 소자(10)에 45도 기울여 배치된 상기 편광분리기(11)에 의해 90도 방향으로 전체 영상광중 P파 혹은 S파 성질의 50% 빔만이 투과 또는 반사되어 상기 위상 지연판(12)에 도달하게 된다.6, the image light generated by the display device 10 is converted into a P-wave or S-polarized light in the 90-degree direction by the polarized light separator 11 arranged at an angle of 45 degrees with respect to the display device 10 Only a 50% beam of a wave property is transmitted or reflected to arrive at the phase delay plate 12.

또한, 위상 지연판(12)에서 선편광된 영상광이 원편광으로 바뀌어 상기 반투과 오목반사경(13)에 도달한 후 반사되며 회전 방향이 반대인 원편광 상태가 되어 상기 위상지연판(12)과 상기 편광분리기(11)를 다시 통과하여 사용자의 눈에 도달함으로써 상기 반투과 오목반사경(13)에서 확대된 영상을 사용자는 시청할 수 있게 된다.In addition, the image light that has been linearly polarized in the phase delay plate 12 is converted into circularly polarized light, reaches the transflective concave reflector 13, is reflected, becomes a circularly polarized light state whose rotation direction is opposite to that of the phase delay plate 12, The user can see the image enlarged by the transflective concave reflector 13 by reaching the user's eyes through the polarized light separator 11 again.

도 7은 본 발명과 관련하여, 시야방해를 최소화하기 위하여 사용자의 안구 상부에 위치한 구글글라스의 구체적인 일례를 도시한 것이다.FIG. 7 illustrates a specific example of a Google Glass located at the upper part of the user's eye to minimize visual disturbance in connection with the present invention.

도 7을 참고하면, 가상화면은 사용자 시선축의 상부에 배치되어 경사를 가지고 사용자에게 제공되며(A), 외부이미지는 사용자의 수평 시선축을 따라 평행하게 진행되므로(B) 사용자가 가상이미지를 확인하기 위해서는 눈을 상부로 치켜뜨면 상기 가상이미지(A)를 확인할 수 있고 정면을 응시할 경우에는 전방 시야에 방해를 받지 않고 상기 외부이미지(B)를 확인할 수 있는 구조로 제시되었다.Referring to FIG. 7, the virtual screen is disposed at the upper part of the user's gaze axis and is provided to the user with a slope (A), and the external image is parallel to the user's horizontal axis of vision. In this case, the virtual image A can be confirmed by raising the eye upward, and the external image B can be confirmed without disturbing the forward view when gazing at the front.

도 8은 본 발명에 따른 고글부 회전 구조를 갖는 헤드마운트 디스플레이 장치를 도식화한 그림이며 상기 고글부 회전 구조를 갖는 헤드마운트 디스플레이 장치는 하나의 고글 모듈(30)과, 하나의 힌지 모듈(31)과, 하나의 컨트롤러 모듈(32)과, 하나의 프레임(33)으로 이루어진다.8 is a schematic view of a head mount display device having a goggle negative rotation structure according to the present invention. The head mount display device having the goggle negative rotation structure includes one goggle module 30, one hinge module 31, A single controller module 32, and a single frame 33. As shown in Fig.

도 8을 참고하면, 사용자에게 가상화면(A)을 제공하기 위한 상기 고글 모듈(30)은 사용자의 안구(34)의 중심 수평 방향에 수직으로 위치하며 상기 컨트롤러 모듈(32)과는 분리된 부재이고 부착된 상기 힌지 모듈(31)에 의해 상기 컨트롤러 모듈(32)과 상호 연결되어 있으며 상기 컨트롤러 모듈(32)은 상기 프레임(33)과 움직일 수 없도록 단단히 부착되어 있다. 8, the goggle module 30 for providing a virtual screen A to a user is disposed at a position perpendicular to the center horizontal direction of the eye 34 of the user and separated from the controller module 32 And is connected to the controller module 32 by the attached hinge module 31 and the controller module 32 is firmly attached to the frame 33 so as not to move.

이때, 상기 고글 모듈(30)은 증강현실용 투과형(See-through) 광학모듈이거나 가상화면만을 제공하는 밀폐형(See-closed) 광학모듈 중 하나로서 어떤 방식이라도 사용될 수 있고 본 발명에서는 증강현실용 투과형(See-through) 광학모듈이 일례로서 제시되었으며, 사용자는 상기 광학 모듈(30)의 광 가이드 방식을 통하여 출사면(301)을 통해 제공되는 가상화면(A)과 상기 광학모듈(31) 의 상기 출사면(301)을 투과하여 사용자에게 전달되는 외부이미지(B)를 동시에 시청할 수 있게 된다.Here, the goggle module 30 may be either a see-through optical module for an augmented reality or a see-closed optical module providing only a virtual screen, and any method may be used. In the present invention, A user may view the virtual screen A provided through the light emitting surface 301 through the optical guiding method of the optical module 30 and the virtual screen A provided through the light emitting surface of the optical module 31 It is possible to simultaneously view the external image B transmitted through the emitting surface 301 and transmitted to the user.

한편, 저시력자의 경우에는 헤드 마운트 디스플레이(HMD)를 착용한 경우에도 시력문제로 인해 컨텐츠를 제공받기 어렵다는 문제점이 있어, 이에 대한 해결방안이 요구되고 있는 실정이다.On the other hand, in the case of low visibility, there is a problem that it is difficult to receive contents due to a visual problem even when a head-mounted display (HMD) is worn.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 저시력자용 웨어러블 디스플레이를 제안하고자 한다. 구체적으로 본 발명은 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치를 조절할 수 있는 헤드마운트 디스플레이 장치를 제안하고자 한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a wearable display for a low vision device. Specifically, the present invention proposes a head mount display device capable of adjusting a focus position of a display image by adjusting an interval between an optical system including a lens and a display for low vision.

설명의 편의를 위해 상기에서 도면을 이용하여 설명한 헤드 마운트 디스플레이는 100으로 호칭하고, 전체 웨어러블 디스플레이를 1000으로 호칭한다.For convenience of explanation, the head mount display described above with reference to the drawings is referred to as 100 and the entire wearable display is referred to as 1000. [

도 9는 본 발명이 제안하는 저시력자용 웨어러블 디스플레이의 블록도 일례를 도시한 것이다.Fig. 9 shows an example of a block diagram of a wearable display for a low vision device proposed by the present invention.

도 9를 참조하면, 저시력자용 웨어러블 디스플레이(1000)는 헤드마운트 디스플레이(100), 스캐너(200) 및 제어부(300)를 포함할 수 있다. 단, 이러한 구성은 본 발명의 예시적인 내용에 불과하고, 더 많은 구성 또는 더 적은 구성을 통해 본 발명의 기능이 실현될 수 있는 경우에는 적용 가능하다.Referring to FIG. 9, the wearable display 1000 for low vision may include a head mount display 100, a scanner 200, and a controller 300. However, this configuration is only exemplary of the present invention, and is applicable to the case where the functions of the present invention can be realized through more configurations or fewer configurations.

먼저, 헤드마운트 디스플레이(100)는 도 1 내지 도 8을 이용하여 전술하였는바, 명세서의 간명화를 위해 설명은 생략한다.First, the head mount display 100 has been described above with reference to FIGS. 1 to 8, and a description thereof will be omitted for the sake of simplification of the description.

다음으로, 스캐너(200)는 카메라(210) 및 스크롤 컨트롤(220)을 포함할 수 있다.Next, the scanner 200 may include a camera 210 and a scroll control 220.

스캐너(200)는 외부로부터 컨텐츠 정보를 획득하기 위한 장비로서, 여기서 컨텐츠 정보는 텍스트, 이미지, 동영상 정보를 포함할 수 있다.The scanner 200 is an apparatus for acquiring content information from outside, and the content information may include text, image, and moving picture information.

이러한 컨텐츠 정보를 획득하기 위한 기구로서 카메라(210)이 이용된다.A camera 210 is used as a mechanism for acquiring such content information.

카메라(210)는 텍스트, 이미지 및 동영상을 촬영할 수 있다. 보다 상세하게는, 카메라(210)는 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라(210)가 향하고 있는 방향에 해당할 수 있다. 또한, 카메라(210)는 화각 영역 내의 이미지를 센싱하여 제어부(300)에 제공할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다.The camera 210 may capture text, images, and moving images. More specifically, the camera 210 can take an image in the forward direction. Here, the front direction may correspond to the direction in which the camera 210 is directed. In addition, the camera 210 may sense the image within the angle of view area and provide the sensed image to the control unit 300. Here, the angle of view field represents the range of horizontal and vertical viewing angles that can be included in a certain screen when sensing an image.

또한, 이러한 카메라(210)의 동작을 제어하기 위해, 스크롤 컨트롤(220)이 이용될 수 있다.In addition, a scroll control 220 may be used to control the operation of this camera 210. [

스크롤 컨트롤(220)은 사용자의 조작을 통해 카메라(210)의 조도, 줌 정도 등을 조절할 수 있는 입력부에 해당한다.The scroll control 220 corresponds to an input unit that can adjust the illuminance, the degree of zoom, and the like of the camera 210 through a user's operation.

또한, 제어부(300)는 스캐너(200)와 헤드마운트 디스플레이(100)의 전반적인 동작을 제어한다.In addition, the controller 300 controls the overall operation of the scanner 200 and the head mount display 100.

여기에 설명되는 제어부(300)는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The control unit 300 described herein may be embodied in a recording medium readable by a computer or similar device using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 제어부(300)는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. According to a hardware implementation, the control unit 300 described herein may be implemented as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs) arrays, processors, controllers, micro-controllers, microprocessors, and other units for performing other functions.

한편, 헤드마운트 디스플레이(100)에 표시되기 위해 획득되는 정보가 원거리에 있는 경우에는 카메라(210)가 아닌 헤드마운트 디스플레이(100)에 구비된 카메라 유닛(120)을 통해 획득될 수도 있다.On the other hand, when the information obtained to be displayed on the head mount display 100 is at a remote location, it may be acquired through the camera unit 120 provided in the head mount display 100, not the camera 210. [

도 10은 도 9에서 설명한 저시력자용 웨어러블 디스플레이의 구체적인 일례를 도시한 것이다.Fig. 10 shows a specific example of the wearable display for low visibility use described in Fig.

도 10을 참조하면, 책이나 신문 등을 볼 때 근거리용 스캐너(200)의 카메라(210)를 사용하고 버스번호 혹은 칠판글씨 등을 확인할 때는 원거리용의 헤드마운트 디스플레이(100)에 구비된 카메라 유닛(120)을 사용할 수 있다.Referring to FIG. 10, when the camera 210 of the near vision scanner 200 is used to view a book or a newspaper, and a bus number or blackboard type is checked, a camera unit (120) can be used.

또한, 스캐너(200)의 카메라(210)와 원거리용의 헤드마운트 디스플레이(100)에 구비된 카메라 유닛(120)은 줌(zoom) 2배~50배 기능과 autofocusing 기능을 내장할 수 있다.In addition, the camera 210 of the scanner 200 and the camera unit 120 of the head-mounted display 100 for a long distance can incorporate a function of zooming 2 to 50 times and an autofocusing function.

여기서 스캐너(200)의 카메라(210)는 마우스와 핸드헬드 스캐너 형태로 구현될 수 있고, 무선통신 또는 유선통신으로 연결될 수도 있다.Here, the camera 210 of the scanner 200 may be implemented as a mouse and a handheld scanner, and may be connected by wireless communication or wired communication.

여기서 이용되는 무선통신은 근거리 통신 또는 원거리 통신으로 구분될 수 있다.The wireless communication used herein may be classified into short-range communication or long-distance communication.

상기 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술 중 적어도 하나를 이용하며, 상기 무선 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술 중 적어도 하나를 이용할 수 있다.The near field communication uses at least one of Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), and ZigBee technology, access, frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), and single carrier frequency division multiple access (SC-FDMA).

한편, 헤드마운트 디스플레이(100)에 구비된 카메라 유닛(120)은 HMD에 장착되고, 각도조절이 가능하며, zoom 조절 기능을 구비하고 있다.On the other hand, the camera unit 120 provided in the head mount display 100 is mounted on the HMD, is adjustable in angle, and has a zoom control function.

또한, 헤드마운트 디스플레이(100)는 전술한 것과 같이, 안경형 웨어러블 디스플레이인 경우에는 카메라로 촬영된 확대된 영상을 안경과 같이 착용하여 볼 수 있는 형태로써, HMD 내장 카메라 및 마우스 형태의 카메라 모두 포함하는 것이 가능하다.As described above, the head mount display 100 is a form in which an enlarged image photographed by a camera can be worn by wearing glasses as in the case of a wearable display of a spectacles type, and includes both an HMD-built camera and a mouse- It is possible.

또한, 헤드마운트 디스플레이(100)가 헬멧형 웨어러블 디스플레이인 경우, 카메라로 촬영된 확대된 영상을 헬멧에 일체형으로 장착된 안경형 디스플레이로 볼 수 있는 형태로써, HMD 내장 카메라 및 마우스 형태의 카메라 모두 포함하는 것이 가능하다.In the case where the head mount display 100 is a helmet type wearable display, the enlarged image photographed by the camera can be viewed as a spectacular display mounted integrally on the helmet, and includes both an HMD-built camera and a mouse- It is possible.

다음으로, 본 발명이 제안하는 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 구체적인 과정에 대해 도면을 참조하여 설명한다.Next, a detailed process of adjusting the focus position of the display image through adjustment of the gap between the optical system including the lens and the display for low visibility, proposed by the present invention, will be described with reference to the drawings.

도 11은 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 설명하기 위한 도면이다.11 is a view for explaining the adjustment of the focus position of the display image through adjustment of the gap between the optical system including the lens for low visibility and the display in the present invention.

도 11을 참조하면, 영상 초점거리 조절 기능이 구체적으로 설명되어 있다.Referring to FIG. 11, the image focal length adjusting function is specifically described.

즉, 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 hmd 영상의 초점 위치가 조절가능해 진다.That is, the focus position of the hmd image can be adjusted through the adjustment of the distance between the optical system including the lens and the display.

기존에는 개인별 얼굴 형상 및 시력차에 따라 영상의 Focus가 동일하지 않은 현상이 발생하는 문제점이 존재하였다.There has been a problem that the focus of the image is not the same depending on the face shape and the difference in visual acuity of the individual.

그러나 본 발명의 기능이 적용되는 경우, Microdisplay와 HMD 광학계 사이의 간격을 조절할 수 있는 가변 Focus 조절 장치가 구성됨으로써, Microdisplay 미세 조정을 통해서 개인별 Focus 위치 조정(~10cm - ~100cm)이 가능해진다.However, when the function of the present invention is applied, a variable focus adjusting device capable of adjusting the distance between the microdisplay and the HMD optical system is provided, so that individual focus position adjustment (~ 10 cm ~ ~ 100 cm) is possible through microdisplay fine adjustment.

또한, Microdisplay 위치가 가까워 질수록 Focus 위치가 앞으로 당겨짐으로써, 저시력자를 위한 컨텐츠가 표시될 수 있다.Also, as the Microdisplay position approaches, the focus position is pulled forward, so that the content for low vision can be displayed.

한편, 도 12는 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 추가적으로 설명하기 위한 도면이다.12 is a view for further illustrating that the focus position of the display image is adjusted by controlling the gap between the optical system including the lens and the display for low vision by the present invention.

도 12의 (a) 및 (b)를 참조하면, 디스플레이 focus 조정장치를 이용해 디스플레이 위치에 따라 망막에 맺히는 초점이 조절되어 blur하게 보이던 영상을 clear 하게 볼 수 있는 구체적인 과정이 도시되어 있다.12 (a) and 12 (b), a specific process is shown in which a focus displayed on the retina is adjusted according to a display position using a display focus adjusting device so that a blurred image can be clearly seen.

또한, 도 13은 본 발명에서 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치가 조정되는 것을 추가적으로 설명하기 위한 도면이다.13 is a view for further illustrating adjustment of the focus position of the display image through adjustment of the gap between the optical system including the lens for low visibility and the display in the present invention.

도 13을 참조하면, 각도조절 카메라와 zoom lens계가 장착된 hmd(100)이 도시되어 있다.Referring to FIG. 13, an hmd (100) equipped with an angle-controlled camera and a zoom lens system is shown.

또한, 각도조절 카메라로 원하는 위치를 촬영할 수 있고, zoom lens의 zoom 기능으로 확대된 영상을 hmd를 통해 전송할 수 있다.In addition, you can shoot the desired position with the angle adjustment camera, and the enlarged image can be transmitted through hmd by the zoom function of the zoom lens.

도 13에서는 버스를 촬영하고 zoom in 하여 버스번호를 확인하는 일례가 도시되어 있다.13 shows an example in which the bus number is confirmed by photographing the bus and zooming in.

전술한 본 발명의 구성을 기초로 저시력자용 웨어러블 디스플레이(1000)을 이용하여 사용자에게 컨텐츠가 제공되는 과정을 설명한다.A description will be given of a process in which content is provided to a user using the wearable display 1000 for a low vision device based on the configuration of the present invention.

도 14는 저시력자용 웨어러블 디스플레이를 이용하여 사용자에게 컨텐츠가 제공되는 과정을 순서도로 설명한 일례이다.FIG. 14 is a flowchart illustrating a process of providing contents to a user using a wearable display for low visibility.

도 14를 참조하면, 가장 먼저. 스크롤 컨트롤을 이용하여 컨텐츠 정보를 획득하는 스캐너 카메라의 조도와 줌을 조절하는 단계(S110)가 진행된다.14, first, A step S110 of adjusting the illuminance and the zoom of the scanner camera for acquiring the content information using the scroll control is performed.

이후, 스캐너를 통해 외부의 컨텐츠 정보를 획득하는 단계(S120)가 진행된다.Thereafter, the step of acquiring external content information through the scanner (S120) proceeds.

또한, 컨텐츠 정보가 헤드마운트디스플레이로 전달되는 단계(S130)가 진행되고, 헤드마운트디스플레이의 포거스 조정장치를 통해 디스플레이 위치에 따라 망막이 맺히는 초점이 조절되는 단계(S140)가 수행된다.In addition, the step S130 in which the content information is transmitted to the head mount display is performed, and the step of adjusting the focus of the retina according to the display position is performed through the focus adjustment device of the head mount display (S140).

이후, 컨텐츠 정보가 헤드마운트디스플레이 상에 표시되는 단계(S150)가 수행됨으로써, 저시력자들을 상대로도 효율적으로 정보가 전달될 수 있다.Thereafter, step S150 of displaying the content information on the head-mounted display is performed, so that information can be efficiently transmitted even to the low vision persons.

한편, 도 15는 저시력자용 웨어러블 디스플레이를 이용하여 사용자에게 컨텐츠가 제공되는 과정을 순서도로 설명한 다른 일례이다.Meanwhile, FIG. 15 is another example of a process of providing content to a user using a wearable display for low vision by a flowchart.

도 15를 참조하면, 가장 먼저, 헤드마운트 디스플레이의 카메라를 통해 원거리에 있는 외부의 컨텐츠 정보를 획득하는 단계(S210)가 수행된다.Referring to FIG. 15, first, the step of acquiring external content information at a distance via the camera of the head mount display (S210) is performed.

이후, 컨텐츠 정보가 헤드마운트디스플레이로 전달되는 단계(S220)가 수행되고, 헤드마운트디스플레이의 포커스 조정장치를 통해 디스플레이 위치에 따라 망막에 맺히는 초점이 조절되는 단계(S230)가 수행된다.Thereafter, the step S220 in which the content information is transmitted to the head-mounted display is performed, and the focus of the retina is adjusted according to the display position through the focus adjusting device of the head-mounted display (S230).

이에 따라 컨텐츠 정보가 헤드마운트디스플레이 상에 표시되는 단계(S240)가 수행됨으로써, 저시력자들을 상대로도 효율적으로 정보가 전달될 수 있다.Accordingly, step S240 of displaying the content information on the head-mounted display is performed, so that information can be efficiently transmitted even to low vision persons.

전술한 본 발명의 구성을 통해 저시력자용 웨어러블 디스플레이를 사용자에게 제공할 수 있고, 저시력자들을 위해 렌즈가 포함된 광학계와 디스플레이와의 간격 조절을 통한 디스플레이 영상의 초점 위치를 조절할 수 있는 헤드마운트 디스플레이 장치를 제공할 수 있다.A head mount display device capable of providing a wearable display for a low vision device to a user through a configuration of the present invention and adjusting a focus position of a display image through adjustment of an interval between a display and an optical system including a lens for low vision, Can be provided.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet) .

또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.It should be noted that the above-described apparatus and method are not limited to the configurations and methods of the embodiments described above, but the embodiments may be modified so that all or some of the embodiments are selectively combined .

Claims (1)

저시력자용 웨어러블 디스플레이에 있어서,
마우스(mouse) 또는 핸드헬드 스캐너(handheld scanner) 형태로 구현되어, 텍스트, 이미지 및 동영상 중 적어도 어느 하나를 포함하는 콘텐츠를 근접 촬영하여 콘텐츠 영상을 획득하는 제1카메라;
제1바디 및 상기 제1바디에 탈착 가능하게 결합되는 제2바디로 구성되는 헤드마운트 디스플레이(Head Mounted Display, HMD); 및
상기 HMD의 사용자의 시력에 맞도록 초점을 조정하는 초점조정장치;로 구성되되,
상기 HMD의 상기 제2바디는,
상기 콘텐츠를 원거리에서 촬영하여 콘텐츠 영상을 획득하는 제2카메라 유닛 및
상기 제2카메라 유닛의 지면에 대한 수직선으로부터 회전한 회전각도(a)를 감지하는 제2각도센싱 유닛을 구비하며,
상기 HMD의 상기 제1바디는,
상기 제2바디가 탈착되는 장착부,
상기 제1카메라 및 상기 제2카메라에서 획득한 콘텐츠 영상을 표시하는 디스플레이 유닛,
상기 디스플레이 유닛에 표시되는 콘텐츠 영상을 상기 HMD의 사용자의 안구의 망막에 제공하는 광학계,
상기 제1바디가 지면에 대한 수평선으로부터 회전한 회전각도(b)를 감지하는 제1각도센싱 유닛 및
상기 제2각도센싱 유닛에서 회전각도(a)가 감지되면, 상기 제2카메라 유닛에서 획득한 콘텐츠 영상에 대하여 상기 제2카메라 유닛의 프레임 종횡비에 맞춰 보상각도(-a)만큼 회전된 영역을 크로핑(Cropping)하여 상기 디스플레이 유닛에 표시하도록 하고,
상기 제1바디로부터 상기 제2바디의 분리신호가 감지되면, 상기 디스플레이 유닛에 이미지 프리뷰 인터페이스를 디스플레이하고, 상기 이미지 프리뷰 인터페이스에 상기 제2카메라 유닛이 획득한 콘텐츠 영상을 디스플레이하며,
상기 제1각도센싱 유닛에서 회전각도(b)가 감지되면, 상기 이미지 프리뷰 인터페이스에 디스플레이되는 영상에 대하여 상기 제2카메라 유닛의 프레임 종횡비에 맞춰 상기 회전각도(b)만큼 회전된 영역을 크로핑함으로써 상기 제1바디의 회전각도(b)에 따라 기울어진 이미지를 상기 디스플레이 유닛에 표시하도록 하는 프로세서를 구비하며,
상기 초점조정장치는,
상기 제1바디의 디스플레이 유닛의 위치를 변경하여 상기 광학계와의 거리를 조정함으로써 상기 사용자의 안구의 망막에 맺히는 초점을 조정하는 것을 특징으로 하는 저시력자용 웨어러블 디스플레이.
In a wearable display for low vision,
A first camera which is implemented in the form of a mouse or a handheld scanner to photograph a content including at least one of text, images and moving images to obtain a content image;
A head mounted display (HMD) comprising a first body and a second body detachably coupled to the first body; And
And a focus adjusting device for adjusting a focus according to the visual acuity of the user of the HMD,
Wherein the second body of the HMD comprises:
A second camera unit for photographing the content at a long distance to acquire a content image and
And a second angle sensing unit for sensing a rotation angle (a) rotated from a vertical line to the ground of the second camera unit,
Wherein the first body of the HMD comprises:
A mounting portion to which the second body is detached,
A display unit for displaying a content image acquired by the first camera and the second camera,
An optical system for providing a content image displayed on the display unit to a retina of an eyeball of a user of the HMD,
A first angle sensing unit for sensing a rotation angle (b) of rotation of the first body from a horizontal line relative to the ground;
(A) is detected in the second angle sensing unit, a region rotated by a compensation angle (-a) in accordance with the frame aspect ratio of the second camera unit with respect to the content image acquired by the second camera unit The display unit is cropped and displayed on the display unit,
Displaying an image preview interface on the display unit when the separation signal of the second body from the first body is sensed and displaying the content image acquired by the second camera unit on the image preview interface,
(B) is detected in the first angle sensing unit, an area displayed on the image preview interface is cropped by the rotation angle (b) in accordance with the frame aspect ratio of the second camera unit And a processor for causing the display unit to display the tilted image according to the rotation angle (b) of the first body,
Wherein the focus adjustment device comprises:
Wherein a focus of the user's eyeball is adjusted by changing a position of the display unit of the first body and adjusting a distance from the optical system to the retina of the eyeball of the user.
KR1020160180598A 2016-12-28 2016-12-28 wearable display for the low vision KR101722459B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160180598A KR101722459B1 (en) 2016-12-28 2016-12-28 wearable display for the low vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180598A KR101722459B1 (en) 2016-12-28 2016-12-28 wearable display for the low vision

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150082709 Division 2015-06-11

Publications (2)

Publication Number Publication Date
KR20170003892A true KR20170003892A (en) 2017-01-10
KR101722459B1 KR101722459B1 (en) 2017-04-19

Family

ID=57811863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180598A KR101722459B1 (en) 2016-12-28 2016-12-28 wearable display for the low vision

Country Status (1)

Country Link
KR (1) KR101722459B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111175972A (en) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 Head-mounted display, scene display method thereof and storage medium
WO2020251083A1 (en) * 2019-06-13 2020-12-17 엘지전자 주식회사 Electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120001640U (en) 2010-08-30 2012-03-08 임재선 HMD head mounted display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002287079A (en) 2001-03-26 2002-10-03 Eiji Shimizu Video imparting device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120001640U (en) 2010-08-30 2012-03-08 임재선 HMD head mounted display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251083A1 (en) * 2019-06-13 2020-12-17 엘지전자 주식회사 Electronic device
US11340462B2 (en) 2019-06-13 2022-05-24 Lg Electronics Inc. Electronic device
CN111175972A (en) * 2019-12-31 2020-05-19 Oppo广东移动通信有限公司 Head-mounted display, scene display method thereof and storage medium

Also Published As

Publication number Publication date
KR101722459B1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
US9316835B2 (en) Head worn display device
KR102086510B1 (en) A head mounted display and the method of controlling the same
US10495885B2 (en) Apparatus and method for a bioptic real time video system
US10162412B2 (en) Display, control method of display, and program
US9360671B1 (en) Systems and methods for image zoom
JP6225546B2 (en) Display device, head-mounted display device, display system, and display device control method
US8325263B2 (en) Camera and wearable image display apparatus
KR102088020B1 (en) A head mounted display ant the method of controlling thereof
JPWO2015198477A1 (en) Gaze detection device
TWI489870B (en) Method and apparatus for dynamically adjusting viewing angle of screen
CA2875261C (en) Apparatus and method for a bioptic real time video system
JP6707823B2 (en) Display device, display device control method, and program
US20150323798A1 (en) Smart helmet
KR20150034558A (en) A head mounted display and the method of controlling the same
CN110140077B (en) Visual aid
JP2017034494A (en) Display system
KR101722459B1 (en) wearable display for the low vision
KR20150026201A (en) A digital device and method of controlling the same
US11025894B2 (en) Head-mounted display device and display control method for head-mounted display device
WO2011058707A1 (en) Imaging device and remote operations support system
US10379357B2 (en) Apparatus and method for displaying content
TW202336561A (en) Gaze-guided image capture
KR102410872B1 (en) Head mounted display device with projector mode
US11514649B2 (en) Camera for augmented reality display
JP6638195B2 (en) DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant