KR20190094673A - Snow goggle system with function of augmented reality - Google Patents

Snow goggle system with function of augmented reality Download PDF

Info

Publication number
KR20190094673A
KR20190094673A KR1020180014108A KR20180014108A KR20190094673A KR 20190094673 A KR20190094673 A KR 20190094673A KR 1020180014108 A KR1020180014108 A KR 1020180014108A KR 20180014108 A KR20180014108 A KR 20180014108A KR 20190094673 A KR20190094673 A KR 20190094673A
Authority
KR
South Korea
Prior art keywords
main body
transparent display
processor
sound wave
augmented reality
Prior art date
Application number
KR1020180014108A
Other languages
Korean (ko)
Inventor
박민수
Original Assignee
롯데정보통신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 롯데정보통신 주식회사 filed Critical 롯데정보통신 주식회사
Priority to KR1020180014108A priority Critical patent/KR20190094673A/en
Publication of KR20190094673A publication Critical patent/KR20190094673A/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/02Goggles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/08Body-protectors for players or sportsmen, i.e. body-protecting accessories affording protection of body parts against blows or collisions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • A63B2071/0661Position or arrangement of display arranged on the user
    • A63B2071/0666Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • A63B2220/12Absolute positions, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/40Acceleration
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/50Force related parameters
    • A63B2220/56Pressure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00Exercise devices
    • Y10S482/901Exercise devices having computer circuitry
    • Y10S482/902Employing specific graphic or video display

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)

Abstract

The present invention relates to a smart snow goggle system which can implement a risk detection and alarm function by incorporating a smart glass function in which augmented reality or virtual reality is displayed on a lens to snow goggles. The smart snow goggle system includes a main body having a communication means capable of performing wireless communication with a mobile communication terminal, a transparent display, a processor capable of controlling augmented reality content to be projected onto the transparent display, an acceleration sensor, and a GPS receiver. In the snow goggle system, the processor uses the GPS receiver and the rotation of the main body measured using the acceleration sensor to display a moving route of the main body predicted based on the measured velocity of the main body as an augmented reality image on the transparent display.

Description

증강현실 기능을 갖는 스노우고글 시스템{SNOW GOGGLE SYSTEM WITH FUNCTION OF AUGMENTED REALITY}SNOW GOGGLE SYSTEM WITH FUNCTION OF AUGMENTED REALITY}

본 발명은 ICT 기술을 접목한 스노우고글 시스템에 관한 것으로서, 특히 증강현실 또는 가상현실이 렌즈에 디스플레이 되는 스마트 글라스 기능을 스노우 고글에 접목시켜 위험 감지 및 알람 기능을 구현할 수 있는 스마트 스노우고글 시스템에 관한 것이다. The present invention relates to a snow goggle system incorporating ICT technology, and more particularly, to a smart snow goggle system that can implement a risk detection and alarm function by integrating a smart glass function displayed on a lens with augmented reality or virtual reality to snow goggles. will be.

최근 평창올림픽 개최와 맞물려 스키 및 스노우보드 인구의 증가가 급격히 증가하고 있는 실정이며, 이에 따라 슬로프 내의 인구밀도가 높아지며 스키장 안전사고도 증가하고 있는 실정이다. The recent increase in the population of skis and snowboards has been rapidly increasing in conjunction with the recent Pyeongchang Olympic Games. As a result, the population density on slopes has increased and safety accidents on ski slopes are also increasing.

한국소비자원의 시즌별 스키관련 안전사고 분석 자료에 따르면, 16/17시즌 안전사고 건수는 240건으로서 15/16시즌 107건에 비해 두배이상 급증하였다. 따라서 헬멧, 보호대 등 부상의 위험을 줄이기 위한 충격완화를 위한 장비들의 보급 및 착용이 부상을 방지하는 노력이 필요할 뿐만 아니라, 사고율 자체를 낮추기 위한 방안이 필요한 실정이다. According to the analysis data on ski accidents by Korea Consumer Resources, the number of safety accidents in the 16/17 season was 240, more than double the 107 cases in the 15/16 season. Therefore, the dissemination and wearing of equipment for shock alleviation to reduce the risk of injury, such as helmets and guards, requires efforts to prevent injuries, as well as measures to lower the accident rate itself.

한편, 스마트 글라스는 착용가능한 핸즈프리 웨어러블 스마트 기기로서 시각적인 효용을 극대화 시킨 안경 또는 고글 형태의 웨어러블 기기이다. 스마트 글라스는 투명 디스플레이를 이용하여 렌즈를 형성하고 해당 렌즈를 통해 실제 외부 환경을 착용자가 인지할 수 있으면서도 렌즈에 증강현실(Augmented Reality, AR)을 디스플레이함으로써 착용자에게 편의를 제공할 수 있는 장치이며, 별도의 HMD 장치를 이용하지 않고도 가상현실(Virtual Reality) 컨텐츠를 디스플레이할 수 있다. On the other hand, smart glass is a wearable hands-free wearable smart device is a wearable device in the form of glasses or goggles that maximize the visual utility. Smart glass is a device that can provide convenience to the wearer by forming a lens using a transparent display and displaying augmented reality (AR) on the lens while the wearer can recognize the actual external environment through the lens. It is possible to display virtual reality content without using a separate HMD device.

이와 같은 스마트 글라스 프로젝트들은 동영상 녹화, 사진 촬영, 인터넷 접속 및 검색, 사진검색, 번역, 방향지시, 스마트 폰 기능으로서 메시지 보내기 및 전화기능, 다른 스마트기기와의 기능 및 자료 연동 등을 구현하고 있으며, 의료, 자동차, 여러 분야에 이용되고 있다. Smart glass projects such as video recording, photo shooting, internet access and search, photo search, translation, directions, smart phone functions, sending messages, calling, and interworking with other smart devices. It is used in medical, automotive, and various fields.

따라서 전술한 스마트 글라스등의 ICT기기를 이용하여 위험요인을 분석하고 스키어 또는 스노우보더에 위험을 미리 인식시켜 사고율을 낮추는 기술이 필요한 실정이다. Therefore, there is a need for a technology that analyzes risk factors using the above-described ICT devices such as smart glasses and recognizes risks to skiers or snowboarders in advance to lower the accident rate.

PCT국제공개 WO/2013/043288PCT International Publication WO / 2013/043288

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 사용자와 타인의 예측경로를 분석하고 위험율 및 물체의 접근 등을 알릴 수 있는 스노우고글 시스템을 제공하는데 그 목적이 있다. An object of the present invention is to provide a snow goggle system that can analyze a predicted path of a user and another person and notify a risk rate and an approach of an object.

상기와 같은 목적을 달성하기 위하여 본 발명은 이동통신단말기와 무선통신할 수 있는 통신수단과, 투명디스플레이와, 상기 투명디스플레이에 투사될 증강현실 컨텐츠를 제어할 수 있는 프로세서와, 가속도센서와, GPS수신기를 구비하는 본체를 포함하며, 상기 프로세서는 상기 가속도센서를 이용하여 측정된 상기 본체의 회전과 상기 GPS수신기를 이용하여 측정된 상기 본체의 속도에 기초하여 예측되는 본체의 이동경로를 상기 투명디스플레이에 증강현실 이미지로 표시하는 스노우고글 시스템을 제공한다. In order to achieve the above object, the present invention provides a communication means capable of wireless communication with a mobile communication terminal, a transparent display, a processor capable of controlling augmented reality content to be projected on the transparent display, an acceleration sensor, a GPS And a main body having a receiver, wherein the processor is configured to display a moving path of the main body predicted based on the rotation of the main body measured using the acceleration sensor and the speed of the main body measured using the GPS receiver. Provides a snow goggle system to display augmented reality images on.

상기 프로세서는 상기 가속도 센서가 계측한 상기 본체의 각가속도가 0인 경우, 상기 이동경로를 상기 본체의 진행방향에서 연장된 직선경로로 상기 투명디스플레이에 표시하고, 상기 본체의 각가속도가 0이 아닌 경우 상기 본체의 각속도를 계산하여 상기 본체의 이동경로를 상기 속도와 상기 각속도를 더한 벡터 방향의 곡선경로로 상기 투명디스플레이에 표시하는 것이 바람직하다. When the angular acceleration of the main body measured by the acceleration sensor is 0, the processor displays the movement path on the transparent display as a straight path extending in the traveling direction of the main body, and when the angular acceleration of the main body is not 0, It is preferable to calculate the angular velocity of the main body and to display the moving path of the main body on the transparent display as a curved path in the vector direction plus the speed and the angular velocity.

상기 곡선경로의 최종 방향은 직선 이동경로에서 상기 본체의 회전 각도에 비례상수를 곱한 각도만큼 회전한 것으로 표시되고, 상기 비례상수는 상기 본체의 회전각도와 상기 GPS수신기로 측정한 실제 진행경로 회전각도를 비교하여 지속적으로 수정되는 것이 바람직하다. The final direction of the curved path is represented as rotated by the angle multiplied by the proportional constant to the rotation angle of the main body in the linear movement path, the proportional constant is the actual rotation angle of the rotation path measured by the rotation angle of the main body and the GPS receiver It is desirable to be constantly corrected by comparing with.

한편, 상기 본체는 카메라를 더 포함하고, 상기 프로세서는,상기 카메라에서 인식하는 주변 물체의 이동경로를 계측하고,상기 본체의 이동경로와 상기 주변 물체의 이동경로의 접점에서의 충돌확률을 계산하며, 상기 충돌확률이 위험수준 이상인 경우 증강현실 이미지를 이용하여 경고화면을 표시하거나 경고음을 출력할 수 있다. The main body further includes a camera, and the processor measures a moving path of a peripheral object recognized by the camera, and calculates a collision probability at a contact point between the moving path of the main body and the moving path of the peripheral object. When the probability of collision is greater than or equal to the risk level, a warning screen may be displayed or an alarm sound may be output using an augmented reality image.

상기 충돌확률은 상기 본체의 상기 접점까지의 예상 이동시간과 상기 주변 물체의 상기 접점까지의 예상 이동시간의 차이가 시간설정값 이하인 경우 위험수준인 것으로 결정될 수 있다. The collision probability may be determined to be a risk level when the difference between the estimated movement time to the contact point of the main body and the expected movement time to the contact point of the peripheral object is equal to or less than a time set value.

또한, 상기 본체는 제1 음향센서 및 제2 음향센서를 더 포함하고, 상기 프로세서는, 상기 제1 음향센서와 상기 제2 음향센서에서 동시에 측정되는 한 쌍의 제1 음파 및 제2 음파를 추출하며, 상기 제1 음파와 상기 제2 음파를 결합한 음파의 최대진폭이 음향설정값 이상이며, 상기 제1 및 제2 음파의 결합 음파의 시간에 대한 변화율이 양의 값을 갖는 경우 증강현실 이미지를 이용하여 상기 투명디스플레이에 충돌주의표시를 하거나 경고음을 출력할 수 있다. The main body may further include a first acoustic sensor and a second acoustic sensor, and the processor may extract a pair of first sound waves and second sound waves simultaneously measured by the first sound sensor and the second sound sensor. When the maximum amplitude of the sound wave combining the first sound wave and the second sound wave is equal to or greater than the sound setting value, and the rate of change of the combined sound wave of the first and second sound waves with a positive value is augmented reality image By using a collision warning display or a warning sound may be output on the transparent display.

또한, 상기 프로세서는, 상기 제1 음파의 시간에 대한 변화율과, 상기 제2 음파의 시간에 대한 변화율을 계측하고, 상기 제1 음파의 시간에 대한 변화율이 상기 제2 음파의 시간에 대한 변화율보다 큰 경우 상기 투명디스플레이에 상기 물체가 상기 제1 음향센서 측에서 상기 투명디스플레이의 중앙을 향해 다가오는 것을 알리는 충돌주의표시를 상기 투명디스플레이에 디스플레이하고, 상기 제1 음파의 시간에 대한 변화율이 상기 제2 음파의 시간에 대한 변화율보다 작은 경우 상기 투명디스플레이에 상기 물체가 상기 제2 음향센서 측에서 상기 투명디스플레이의 중앙을 향해 다가오는 것을 알리는 충돌주의표시를 상기 투명디스플레이에 디스플레이하며, 상기 제1 음파의 시간에 대한 변화율과, 상기 제2 음파의 시간에 대한 변화율이 비슷한 수준인 경우 상기 물체가 상기 본체의 후방에서 다가오는 것을 알리는 충돌주의 표시를 상기 투명디스플레이에 디스플레이할 수 있으며, 상기 음향설정값은 상기 속도에 반비례하는 것이 바람직하다. The processor measures the rate of change of the first sound wave with respect to time and the rate of change of the second sound wave with respect to time, wherein the rate of change of the first sound wave with respect to time is greater than the rate of change of the second sound wave with time. If large, a collision notice indicating that the object is approaching the transparent display toward the center of the transparent display is displayed on the transparent display, and the rate of change of the first sound wave with respect to time is increased. If the sound wave is less than the rate of change with respect to the time of the first sound wave is displayed on the transparent display, a collision notice indicating that the object is approaching the center of the transparent display from the second acoustic sensor side on the transparent display, When the rate of change for the second sound wave is similar to the rate of change for the second sound wave It may be that the object to display the collision indication informing that coming from the rear portion of the main body for the transparent display, the sound setting is preferably inversely proportional to the speed.

또한, 상기 본체는 카메라를 더 포함하고, 상기 프로세서는 메모리를 구비하고, 상기 메모리에는 복수개의 항목에 대한 일행의 이미지정보가 저장되며, 상기 카메라는 주변의 대상의 이미지를 인식하고, 상기 인식된 대상의 이미지를 상기 메모리에 저장된 일행의 이미지정보와 항목별로 비교하여 각 항목별 유사도를 평가하며, 상기 항목별 유사도의 총합이 판별설정값 이상인 경우 상기 인식된 대상을 일행으로 특정하여 상기 투명디스플레이에 증강현실이미지를 디스플레이할 수 있다. In addition, the main body further comprises a camera, the processor is provided with a memory, the memory stores a line of image information for a plurality of items, the camera recognizes the image of the surrounding object, the recognized The similarity of each item is evaluated by comparing the image of the object with the image information of the line stored in the memory for each item, and if the total of the similarity for each item is equal to or greater than the determination setting value, the recognized object is identified as one line and displayed on the transparent display. Augmented reality images can be displayed.

상기 복수개의 항목은 크기를 달리하는 가중치가 설정되고, 상기 항목별 유사도는 상기 각 항목의 인식된 대상의 이미지의 상기 일행의 이미지에 대한 유사율에 상기 가중치를 곱한 값인 것이 바람직하다. Preferably, the plurality of items have weights of different sizes, and the similarity for each item is a value obtained by multiplying the similarity rate with respect to the image of the party of the recognized object image of each item by the weight.

또한, 상기 프로세서는, 상기 GPS수신기를 이용하여 지도상 특정위치에 가상의 장애물을 설정하고 상기 투명디스플레이에 상기 기문을 증강현실 이미지로 디스플레이하여 게임을 실행하거나, 조난발생시, 상기 GPS수신기를 이용하여 지도상에 조난 위치를 특정한 조난 메시지를 생성하며, 상기 이동통신단말기와 통신하여 외부로 조난 신호 메시지를 송출할 수 있다. The processor may set a virtual obstacle at a specific location on a map using the GPS receiver and display the gate as an augmented reality image on the transparent display to execute a game, or when a distress occurs, use the GPS receiver. The distress message may be generated by specifying a distress position on a map, and the distress signal message may be transmitted to the outside by communicating with the mobile communication terminal.

또한, 상기 본체는, 압력센서를 더 구비하고, 상기 프로세서는 상기 압력센서에서 측정된 기압을 이용하여 상기 본체가 위치하는 고도를 계산하여 상기 투명디스플레이에 디스플레이할 수 있으며, 상기 본체는 온도센서를 더 구비하고, 상기 프로세서는 상기 온도센서를 이용하여 측정된 상기 본체 주변 온도를 상기 투명디스플레이에 디스플레할 수도 있다. The main body may further include a pressure sensor, and the processor may calculate an altitude at which the main body is located using the air pressure measured by the pressure sensor and display the altitude on the transparent display. The processor may further include displaying the ambient temperature of the main body measured using the temperature sensor on the transparent display.

또한, 상기 프로세서는 지도상의 상기 본체의 위치를 상기 투명디스플레이에 디스플레이할 수도 있으며, 상기 이동통신단말기의 전화수신여부, 착신 메시지 또는 메일을 상기 투명디스플레이에 디스플레이할 수도 있다. In addition, the processor may display the position of the main body on the map on the transparent display, and may display the call reception, incoming message or mail of the mobile communication terminal on the transparent display.

전술한 바와 같이 본 발명에 따르면, 가속도 센서를 이용하여 사용자의 진행경로를 예측하여 고글에 디스플레이하고, 카메라로 인식되는 전방 사물의 이동경로를 예측하여 사용자의 진행경로와 사물의 이동경로가 만나는 경우 증강현실로 위험 표시를 함으로써 사용자의 안전에 대한 주의를 환기시킬 수 있는 효과가 있다. As described above, according to the present invention, when the user's progress path and the movement path of the object meet by predicting the user's progress path using the acceleration sensor and displaying it on the goggles, and predicting the movement path of the front object recognized by the camera. By displaying the danger with augmented reality there is an effect that can call attention to the safety of the user.

또한, 본 발명에 따르면 음향센서를 이용하여 음향의 크기 변화를 분석함으로써 후방에서의 물체의 접근을 감지하고 증강현실로 접금상태를 사용자에게 알림으로써 사용자의 안전에 대한 주의를 환기시킬 수 있는 또 다른 효과가 있다. In addition, according to the present invention by analyzing the change in the size of the sound by using an acoustic sensor to detect the approach of the object from the rear and notify the user of the state of engagement with augmented reality by another user can call attention to the safety of the user It works.

또한, 본 발명에 따르면 이미지 분석을 통해 일행을 찾을수 있으며, 증강현실 이미지를 이용하여 게임을 수행할 수도 있고, 사고 또는 조난시 통신기능을 이용하여 상황실 또는 일행에게 조난 위치를 송신할 수 있는 효과가 있다. In addition, according to the present invention can find the party through the image analysis, it is possible to play the game using augmented reality image, it is effective to transmit the distress position to the situation room or party using the communication function in case of accident or distress have.

도 1은 본 발명에 따른 스노우고글 시스템의 제1 실시예구성을 개략적으로 도시한 블록도,
도 2는 본 발명에 따른 스노우고글 시스템의 구성을 도시한 사시도,
도 3은 본 발명에 따른 스노우고글 시스템의 사용자 경로를 증강현실로 표시하는 과정을 도시한 순서도,
도 4는 본 발명에 따른 스노우고글 시스템의 본체 이동에 따른 진행 경로의 변화를 도시한 개념도,
도 5는 본 발명에 따른 스노우고글 시스템에서 사용자 진행경로가 증강현실로 표시된 일 예를 도시한 도면,
도 6은 본 발명에 따른 스노우고글 시스템의 위험 예측 과정을 도시한 순서도,
도 7은 도 6의 과정을 통해 예측된 충돌 위험 경고가 증강현실로 표시된 일 예를 도시한 도면,
도 8은 본 발명에 따른 스노우고글 시스템에서 음향센서를 이용하여 후방 물체 접근을 분석하는 과정을 도시한 순서도,
도 9는 도 8의 과정을 통해 분석된 후방 물체 접근 경고가 증강현실로 표시된 일예를 도시한 도면,
도 10은 본 발명에 따른 스노우고글 시스템에서 일행을 찾기 위한 이미지 분석방법을 나타낸 개념도,
도 11은 도 10의 방식으로 일행을 인식한 경우 증강현실로 표시한 일 예를 도시한 도면,
도 12는 본 발명에 따른 스노우고글 시스템의 게임모드 화면의 일 예를 도시한 도면, 그리고
도 13은 본 발명에 따른 스노우고글 시스템에서 송출되는 조난 신호 메시지의 일 예를 도시한 도면이다.
1 is a block diagram schematically showing the configuration of a first embodiment of a snow goggle system according to the present invention;
Figure 2 is a perspective view showing the configuration of a snow goggles system according to the present invention,
3 is a flowchart illustrating a process of displaying a user's path of a snow goggle system according to the present invention as augmented reality;
4 is a conceptual diagram showing a change in the traveling path according to the body movement of the snow goggles system according to the present invention,
5 is a view showing an example in which the user progress path is displayed as augmented reality in the snow goggles system according to the present invention,
6 is a flowchart illustrating a risk prediction process of a snow goggle system according to the present invention;
7 is a diagram illustrating an example in which a collision risk warning predicted through the process of FIG. 6 is displayed as augmented reality;
8 is a flowchart illustrating a process of analyzing a rear object approach using an acoustic sensor in a snow goggle system according to the present invention;
9 is a diagram illustrating an example in which a rear object approach warning analyzed through the process of FIG. 8 is displayed as augmented reality;
10 is a conceptual diagram illustrating an image analysis method for finding a party in a snow goggle system according to the present invention;
11 is a diagram illustrating an example of displaying augmented reality when a party is recognized in the manner of FIG. 10;
12 is a view showing an example of a game mode screen of the snow goggles system according to the present invention, and
13 is a diagram illustrating an example of a distress signal message sent by a snow goggle system according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. Embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Shapes and sizes of the elements in the drawings may be exaggerated for clarity, elements denoted by the same reference numerals in the drawings are the same elements.

그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다.In the specification, when a part is "connected" to another part, this includes not only a "directly connected" but also a "electrically connected" between other elements in between. In addition, when a part is said to "include" or "include" a certain component, it means that it may further include or have other components, without excluding other components, unless specifically stated otherwise. .

이하, 도 1 내지 도 2를 참조하여 본 발명에 따른 증강현실 기능을 갖는 스노우고글의 제1 실시예를 상세히 설명한다. Hereinafter, a first embodiment of a snow goggle having an augmented reality function according to the present invention will be described in detail with reference to FIGS. 1 to 2.

도 1 및 도 2에 도시된 바와 같이, 본 실시예에서 스노우고글은 스마트폰, 태블릿PC, 스마투워치 등 통신가능한 이동통신단말기(10)와, 투명디스플레이(100)와 투명디스플레이(100)에 투사될 증강현실 컨텐츠를 제어할 수 있는 프로세서(80)를 구비하는 본체(90)를 포함한다. 프로세서(80)는 증강현실 컨텐츠 프로그램 및 정보 데이터를 저장하는 메모리를 구비하며, 투명디스플레이(100)에 투사할 증강현실 이미지를 제어한다. 투명디스플레이(100)에 투사될 증강현실 컨텐츠를 선택할 수 있는 모드 선택버튼(70)이 구비된다. As shown in Figure 1 and 2, the snow goggles in the present embodiment is a mobile communication terminal 10, a transparent display 100 and a transparent display 100, such as a smart phone, tablet PC, smart watch, etc. It includes a main body 90 having a processor 80 that can control the augmented reality content to be projected. The processor 80 includes a memory for storing an augmented reality content program and information data, and controls an augmented reality image to be projected onto the transparent display 100. A mode selection button 70 is provided for selecting an augmented reality content to be projected onto the transparent display 100.

이동통신단말기(10)와 본체(90)는 서로 데이터를 주고받을 수 있도록 블루투스와, 와이파이 통신기능을 구비하고 있으며, 본체(90)에는 블루투스안테나(20) 및 와이파이안테나(30)가 구비된다. 이들 안테나는 프로세서(80)와 연결되어 프로세서(80)는 데이터의 송수신을 제어하고, 데이터를 가공한다. The mobile communication terminal 10 and the main body 90 are equipped with a Bluetooth and a Wi-Fi communication function to exchange data with each other, and the main body 90 is provided with a Bluetooth antenna 20 and a Wi-Fi antenna 30. These antennas are connected to the processor 80 so that the processor 80 controls the transmission and reception of data and processes the data.

본체(90)는 GPS수신기(40)를 구비하여 본체(90)의 위치를 특정할 수 있다. GPS수신기(40)는 프로세서(80)와 연결되며, 프로세서(80)는 본체(90)의 위치를 투명디스플레이(100)에 증강현실 아이콘으로 표시할 수 있다. The main body 90 may include a GPS receiver 40 to specify the position of the main body 90. The GPS receiver 40 is connected to the processor 80, and the processor 80 may display the position of the main body 90 as an augmented reality icon on the transparent display 100.

또한, 본체(90)는 카메라(50)를 포함하여, 착용자의 시선에서 외부 풍경의 이미지 또는 동영상을 촬영할 수 있다. 이러한 촬영 데이터는 이동통신단말기(10)와의 통신을 통해 추후 재생할 수 있다. In addition, the main body 90 may include a camera 50 to capture an image or a video of an external landscape from the wearer's eyes. Such photographing data may be reproduced later through communication with the mobile communication terminal 10.

또한, 본체(90)는 주변의 상태정보 및 증강현실 이미지의 3차원 이미지 특정을 위한 정보를 측정하기 위한 센서(60)를 구비하며, 본 실시예에서는 좌측음향센서(61)와 우측음향센서(62), 가속도센서(63), 온도센서(64) 및 압력센서(65)를 구비한다. In addition, the main body 90 has a sensor 60 for measuring the surrounding state information and information for specifying the three-dimensional image of the augmented reality image, in the present embodiment, the left sound sensor 61 and the right sound sensor ( 62), an acceleration sensor 63, a temperature sensor 64 and a pressure sensor 65.

압력센서(65)는 기압을 측정하여 고도를 계측하기 위한 것으로서, 본체(90)의 GPS수신기(40)를 통해 특정된 지역의 기압정보를 이동통신단말기(10)를 통해 인터넷 망을 통해 수신한 후 실측기압과 수신한 기압정보를 이용하여 고도를 계측한다. 통상적인 바로미터와 같이 1ATM에서 고도가 0인 것으로 하여, 실측기압을 측정하여 1ATM과의 차이를 이용하여 고도를 계산할 수도 있으나, 이 실시예에서는 이동통신단말기(10)와 통신이 가능하므로 인터넷 정보를 이용하여 더 정확한 고도를 측정할 수 있다. 즉, 해당지역의 기압정보는 관측소의 고도가 특정되므로 해당 지역의 해수면에서의 대기압을 환산할 수 있고, 압력센서(65)에서 측정된 실측기압을 이용하여 아래의 식으로 현재의 고도를 계산하여 투명디스플레이(100)에 디스플레이할 수 있다. The pressure sensor 65 measures air pressure and measures altitude. The pressure sensor 65 receives air pressure information of a specific region through the GPS receiver 40 of the main body 90 through the mobile communication terminal 10 through the Internet network. Afterwards, the altitude is measured by using the measured air pressure and the received air pressure information. As in the conventional barometer, the altitude is 0 at 1 ATM, and the altitude may be calculated using the difference between 1 ATM and the measured air pressure. However, in this embodiment, since the altitude can be communicated with the mobile communication terminal 10, Internet information is More accurate altitude can be measured. That is, since the altitude of the station is specified, the atmospheric pressure information of the region can be converted to atmospheric pressure at the sea level of the region, and the current altitude is calculated by the following equation using the actual pressure measured by the pressure sensor 65. It may be displayed on the transparent display 100.

Figure pat00001
Figure pat00001

스노우고글은 저온의 날씨에 야외활동을 하기 위한 것이므로, 온도정보를 사용자가 확인할 수 있는 것이 바람직하다. 따라서 온도센서(64)를 통해 착용자 주변의 기온을 측정하여 투명디스플레이(100)에 디스플레이할 수 있다.Since snow goggles are for outdoor activities at low temperatures, it is desirable for the user to check temperature information. Therefore, the temperature around the wearer can be measured by the temperature sensor 64 and displayed on the transparent display 100.

GPS수신기(40)를 통해 현재의 위치가 특정될 수 있으므로, 현재 위치를 투명디스플레이(100)에 디스플레이할 수 있다. Since the current position may be specified through the GPS receiver 40, the current position may be displayed on the transparent display 100.

또한, 이동통신단말기(10)에 전화가 걸려오거나 문자 또는 메일이 착신한 경우 경우 블루투스안테나(20)를 이용하여 이동통신단말기(10)와 통신이 가능하므로, 투명디스플레이(100)에 퉁화신호 수신여부, 착신 메시지 등을 디스플레이할 수 있다. In addition, when a call is received from the mobile communication terminal 10 or a text message or an email is received, since the communication is possible with the mobile communication terminal 10 by using the Bluetooth antenna 20, a transparent signal is received in the currency exchange signal. Status, an incoming message and the like can be displayed.

이 실시예에서 전술한 고도, 온도, 현재 위치 및 통화수신여부에 관한 정보는 기본정보로서 투명디스플레이(100)에 증강현실이미지로 디스플레이 된다. In this embodiment, the above-described information on the altitude, temperature, current location and call reception are displayed as augmented reality images on the transparent display 100 as basic information.

도 3 내지 도 7은 본 발명에 따른 스노우고글 시스템을 이용하여 사용자의 진행경로를 예측하고 표시하는 과정과 충돌 가능성을 예측하고 표시하는 과정을 설명하기 위한 것이다. 3 to 7 illustrate a process of predicting and displaying a progress path of a user and a process of predicting and displaying a possibility of collision using a snow goggle system according to the present invention.

도 3 내지 도 5를 참조하면, 스키어 또는 스노우보더의 시선은 스키 또는 스노우보드의 움직임과 관련이 있는데, 본체(90)의 회전은 사용자의 시선과 관련된다. 가속도센서(63)가 본체(90)의 가속도 및 각가속도를 측정하여 본체(90)의 이동 및 회전을 감지할 수 있으며, 사용자의 이동 속도(V)는 GPS(40)수신기를 통해 측정될 수 있다. 본체(90)에 가해지는 가속도가 없거나 직선 방향의 가속도인 경우 사용자는 직선경로로 진행한다(도 4(a) 참조). 이 경우, 투명디스플레이(100)에 속도 및 예측되는 직선경로(P1)가 증강현실로 표시된다(S10, 도 5 참조). 이 직선경로(P1)의 방향은 GPS수신기(40)를 통해 수신한 궤적의 연장선과 같은 방향이다. 3 to 5, the gaze of the skier or snowboarder is related to the movement of the ski or snowboard, and the rotation of the body 90 is related to the gaze of the user. The acceleration sensor 63 may measure the acceleration and the angular acceleration of the main body 90 to detect the movement and rotation of the main body 90, and the user's moving speed V may be measured through the GPS 40 receiver. . If there is no acceleration applied to the main body 90 or if the acceleration is in a linear direction, the user proceeds with a straight path (see FIG. 4 (a)). In this case, the speed and the predicted linear path P1 are displayed as augmented reality on the transparent display 100 (S10, see FIG. 5). The direction of the straight path P1 is the same as the extension line of the locus received through the GPS receiver 40.

도 3, 도 4, 도 6 및 도 7을 참조하면, 본체(90)의 각가속도(α)가 0이 아니고 회전하게 되면, 본체의 회전량(θ)를 계측한 후 사용자의 진행경로를 예측한다. 각가속도(α)가 계측되고 각속도(ω)가 발생하면 회전이 이루어지고 진행경로는 직선의 속도성분과 회전이 결합하여 곡선경로(P2)를 이루게 된다. 이 경우, 투명디스플레이(100)에 속도와 회전을 고려한 곡선경로(P2)를 증강현실로 표시한다(S20, 도 4(b) 및 도 7 참조). 표시되는 곡선경로(P2)의 곡률은 속도(V1)에 비례하고 각속도(ω)에 반비례한다. Referring to FIGS. 3, 4, 6, and 7, when the angular acceleration α of the main body 90 rotates instead of 0, the rotation path of the main body θ is measured, and then the user's progress path is predicted. . When the angular acceleration ( α ) is measured and the angular velocity ( ω ) occurs, the rotation is made, and the progress path combines the rotational speed component and the rotation to form a curved path (P2). In this case, curved path P2 considering speed and rotation is displayed as augmented reality on the transparent display 100 (see S20, FIG. 4 (b) and FIG. 7). The curvature of the curve path P2 displayed is proportional to the speed V1 and inversely proportional to the angular velocity ω .

이후, 각가속도(α)가 감소하여 각속도(ω)가 0이 되면, 다시 직선 경로(P3)를 이루게 된다(도 4(c) 참조). Thereafter, when the angular acceleration α decreases and the angular velocity ω becomes zero, the linear path P3 is again formed (see FIG. 4C).

실제 사용자의 시선 변화는 본체(90)의 회전을 일으키고, 스키 또는 스노우보드 진행방향을 변화시킨다. 본체(90)의 회전량(θ)에 1 이하의 상수를 곱하여 진행경로의 변화(θ′)를 예측할 수 있다. 진행경로의 변화(θ′)는 사용자의 신체능력에 따라 달라지므로 이 상수는 회전량과 진행경로 변화의 DB를 구축하면서 지속적으로 업데이트 되는 것이 바람직하다. The change in the line of sight of the actual user causes the rotation of the main body 90 and changes the skiing or snowboarding direction. The change in the traveling path θ 'can be predicted by multiplying the rotation amount θ of the main body 90 by a constant of 1 or less. Since the change of the progress path ( θ ′) depends on the user's physical ability, it is desirable that this constant is continuously updated while constructing the DB of the rotation amount and the progress path change.

도 6 및 도 7은 사용자의 자세변화에 따른 예상경로 및 변경경로(P1, P2 or P3)를 투명디스플레이(100)에 표시할 뿐만 아니라, 물체(O)의 이동을 카메라를 통해 인식하고 이동경로(M)를 예측하여 사용자의 예측된 변경경로(P2 또는 P3)와 접점이 존재하는 경우 증강현실을 통해 위험을 미리 알리기 위한 과정이다. 따라서 직선경로(P1) 또는 변경경로(P2 또는 P3)를 또는 카메라를 이용하여 이미지 분석하고 사물(O)의 이동경로(M)를 예측하는 프로세스를 더 포함하고, 사용자와 사물(O)의 사용자 경로(P1, P2, P3)와 사물 이동경로(M)의 접점까지의 도달시간을 계산하여 그 차이가 일정 시간(예컨대, 1초) 이내인 경우 충돌확률이 높은 것으로 판단하여 경고화면을 표시하거나, 경고음을 울릴 수 있다(S40). 도 7에서는 충돌 예상 지점과 위험표시를 증강현실로 투명디스플레이(100)에 표시한 일 예를 도시하였다. 6 and 7 not only display the expected path and the change path (P1, P2 or P3) according to the change in the posture of the user on the transparent display 100, the movement of the object (O) through the camera to recognize the movement path This is a process for notifying the risk through augmented reality when there is a contact point with the predicted change path (P2 or P3) of the user by predicting (M). Therefore, the method further includes a process of analyzing the image of the straight path P1 or the change path P2 or P3 using a camera or predicting the movement path M of the object O, and the user and the user of the object O. When the arrival time between the paths P1, P2, P3 and the contact point of the object movement path M is calculated, if the difference is within a predetermined time (for example, 1 second), it is determined that the collision probability is high and a warning screen is displayed. , May sound a warning (S40). 7 illustrates an example of displaying a collision prediction point and a danger mark on the transparent display 100 as augmented reality.

도 8 및 도 9는 카메라로 이미지를 분석하지 못하는 후방 영역의 충돌위험을 감지하기 위한 실시예를 도시한 것이다. 8 and 9 illustrate an embodiment for detecting a collision risk of a rear region in which a camera cannot analyze an image.

도 1 및 8에 도시된 바와 같이, 후방 영역의 충돌위험을 감지하기 위하여 좌측음향센서(61, 제1 마이크) 및 우측음향센서(62, 제2 마이크)를 이용한다. 본체(90)의 좌측과 우측에서 각각 음향신호 파형을 인식하고 노이즈를 제거하고 나면, 이동하는 물체에 의해 발생하는 일정한 파형을 추출할 수 있다. 움직이는 물체는 하나의 음원에서 음파를 발생시키므로 좌측과 우측에서 유사한 파형을 가지고 인식될 수 있으므로, 좌측 및 우측에서 측정되는 음파들 중 싱크로율이 최대인 파형을 추출할 수 있다. 좌측음향센서(61)에 인가된 음파는 도면부호(L)로 우측음향센서(62)에 인가된 음파는 도면부호(R)로 표시하였다. 1 and 8, the left sound sensor 61 (first microphone) and the right sound sensor 62 (second microphone) are used to detect a collision risk in the rear region. After recognizing the acoustic signal waveform and removing the noise from the left side and the right side of the main body 90, the predetermined waveform generated by the moving object can be extracted. Since the moving object generates sound waves in one sound source, the moving object may be recognized with similar waveforms on the left and right sides, and thus, the waveform having the maximum synchro ratio among the sound waves measured on the left and right sides may be extracted. Sound waves applied to the left sound sensor 61 are denoted by reference numeral L, and sound waves applied to the right sound sensor 62 are denoted by reference numeral R. As shown in FIG.

이동하는 물체의 음파는 가까울수록 그 세기가 크며, 각 음향센서(61, 62)에 입력되는 음파의 진폭은 물체의 위치에 따라 다르다. 예컨대, 같은 거리이지만, 좌측후방에 있는 물체의 이동에 의한 음파의 최대진폭은 좌측음향센서(61)에서 크게 측정되고, 우측음향센서(62)에서 상대적으로 작게 측정된다. 반대로 우측후방에 있는 물체의 이동에 의한 음파의 최대진폭은 우측음향센서(62)에서 크게 측정되고 좌측음향센서(61)에서 작게 측정된다. 따라서 물체의 위치를 감지하기 위해서는 좌측 및 우측음향센서(61, 62)에 인식한 싱크로율이 최대인 음파(L, R)의 믹스파형을 생성하여 그 최대진폭(A)을 계측함으로써 물체(O)의 위치를 계산할 수 있다. The closer the sound wave of the moving object is, the higher the intensity is, and the amplitude of the sound wave input to each of the acoustic sensors 61 and 62 depends on the position of the object. For example, the maximum amplitude of sound waves due to the movement of an object in the left rear at the same distance is measured large in the left sound sensor 61 and relatively small in the right sound sensor 62. On the contrary, the maximum amplitude of the sound wave due to the movement of the object in the right rear side is largely measured by the right sound sensor 62 and small by the left sound sensor 61. Therefore, in order to detect the position of the object, a mixed waveform of sound waves (L, R) having the maximum synchro rate recognized by the left and right acoustic sensors (61, 62) is generated and the maximum amplitude (A) is measured. ) Can be calculated.

최대진폭(A)의 시간에 대한 변화율(A′)이 0보다 큰 경우 물체(O)와의 거리가 줄어든다는 것을 의미하고 물체가 접근하고 있는 것을 의미한다. 가까이 있는 물체라도 접근하고 있지 않은 물체는 충돌가능성이 높아지는 것이 아니라고 판단할 수 있다. 최대진폭(A)의 시간에 대한 변화율(A′)이 양수이고, 최대진폭(A)이 설정값(S) 이상인 경우 물체가 일정 거리 이내에서 접근하고 있는 것을 의미하므로 충돌위험이 커지고 있다는 것을 알릴 필요가 있다. 설정값(S)은 음파의 크기에 대한 수치로서 데시벨 단위(dB)의 값이며, 사용자의 속도에 따라 다르게 할 수 있다. 물체(O)의 접근속도는 사용자의 속도에 대한 상대속도이므로 사용자의 속도가 빠를수록 설정값(S)를 작게하여 안전율을 높일 필요가 있다. If the rate of change A 'with respect to time of the maximum amplitude A is greater than zero, this means that the distance to the object O is reduced and the object is approaching. An object that is not approaching even an object that is close can be judged not to increase the probability of collision. If the rate of change (A ') with respect to time of maximum amplitude (A) is positive and the maximum amplitude (A) is greater than or equal to the set value (S), it means that the object is approaching within a certain distance. There is a need. The set value (S) is a numerical value for the magnitude of the sound wave, which is in decibel units (dB), and can be changed according to the speed of the user. Since the approach speed of the object O is relative to the speed of the user, the faster the speed of the user is, the smaller the set value S needs to be to increase the safety factor.

물체가 후방 우측에서 접근하는지, 후방 좌측에서 접근하는지, 정중앙 후방에서 접근하는지 확인할 필요가 있으며, 이는 좌측파형의 세기 변화율(L′)과 우측파형 세기변화율(R′)을 계측 후 비교해서 확인할 수 있다. 좌측파형의 세기 변화율(L′)이 우측파형의 세기변화율(R′)보다 큰 경우 좌측에서 가깝게 접근하고 있다는 것을 의미하므로 투명디스플레이(100)에 증강현실 이미지로 좌측충돌위험표시를 한다. 반대로 우측파형의 세기 변화율(R′)이 좌측파형의 세기변화율(L′)보다 큰 경우 우측에서 가깝게 접근하고 있다는 것을 의미하므로 투명디스플레이(100)에 증강현실 이미지로 우측충돌위험표시를 한다. 좌측파형의 세기 변화율(L′)과 우측파형의 세기변화율(R′)이 비슷한 경우 좌측 및 우측음향센서(61, 62)에서 비슷한 거리에서 접근하고 있다는 것을 의미하고 이는 중앙 후방에서 물체가 접근하고 있다는 것을 의미하므로 투명디스플레이(100)에 증강현실 이미지로 중앙충돌위험표시를 한다.It is necessary to check whether the object is approaching from the rear right, the rear left, or from the rear of the center. This can be confirmed by comparing the intensity variation of the left waveform (L ') and the variation of the right waveform intensity (R') after measurement. have. When the intensity change rate (L ′) of the left waveform is greater than the intensity change rate (R ′) of the right waveform, it indicates that the vehicle is approaching from the left side, and thus displays the left collision risk as an augmented reality image on the transparent display 100. On the contrary, when the intensity change rate (R ′) of the right waveform is greater than the intensity change rate (L ′) of the left waveform, it means that the vehicle is approaching from the right, so that the right collision risk is displayed as an augmented reality image on the transparent display 100. When the intensity change rate L ′ of the left waveform is similar to the intensity change rate R ′ of the right waveform, it means that the left and right acoustic sensors 61 and 62 are approaching at a similar distance, which means that the object approaches from behind the center. It means that there is a central collision risk display as augmented reality image on the transparent display (100).

도 9에서 우측충돌 위험표시의 증강현실 이미지를 예시적으로 표시하였으며, 위험알림표시(W)를 반투명하게 디스플레이하여 다른 증강현실 이미지나 실제 시야확보를 방해하지 않도록 하였다. In FIG. 9, the augmented reality image of the right collision risk mark is shown as an example, and the danger notice mark (W) is semi-transparently displayed so as not to interfere with another augmented reality image or actual field of view.

스키장에서는 고글 및 넥워머 등을 착용하므로 얼굴을 인식하기 어려워 일행을 찾기 어려운 면이 있는데, 도 10 및 도 11은 친구찾기 기능에 관한 실시예를 설명하기 위한 도면이다. 도 10에 도시된 바와 같이, 프로세서(80)의 메모리에는 일행을 특정할 수 있는 이미지 정보(I1, I2, I3, I4, I5, I6, I7)가 저장된다. 모드선택버튼(70)을 이용하여 친구찾기모드를 실행하는 경우 본체(90)의 카메라(50)는 주변의 사람을 분석하고 항목별 유사도를 평가한다. 유사도의 평가전에 이미지의 유사율을 이미지 분석을 통해 측정하는데, 유사율은 항목별로 감지할 수 있는 정보부터 비교하며 색상, 모양, 브랜드 등을 비교하여 결정된다. 예컨대, 도 10의 상의 항목은 색상 및 모양이 동일하지만, 브랜드 이미지가 감지되지 않아서 95%의 유사율을 보인다.Since skis wear goggles and neck warmers, etc., it is difficult to recognize a face, so it is difficult to find a party. FIGS. 10 and 11 are views for explaining an embodiment of a friend find function. As shown in FIG. 10, the memory 80 of the processor 80 stores image information I1, I2, I3, I4, I5, I6, and I7 capable of specifying a party. When executing the friend search mode using the mode selection button 70, the camera 50 of the main body 90 analyzes the people around and evaluates the similarity for each item. Before evaluating the similarity, the similarity rate of the image is measured through image analysis. The similarity rate is determined by comparing the information that can be detected for each item and comparing the color, shape, and brand. For example, the item of FIG. 10 has the same color and shape, but the brand image is not detected and shows a similarity rate of 95%.

각 항목은 유사도 결정을 위한 가중치를 가지고 있으며, 변화가 적은 항목일수록 가중치를 높게 한다. 통상 상의, 하의 및 부츠는 크게 변경되는 사항이 아니므로 높은 0.2의 가중치를 부여하였고, 헬멧 또는 모자, 고글 및 장비는 때때로 착용하거나 대여를 통해 다른 제품을 이용할 수 있으므로 0.1 내지 0.15의 가중치를 두었고, 장갑은 착용하지 않을 수도 있고 분실 등으로 입력제품 외의 제품을 착용할 빈도가 높으며, 전체 이미지에서 차지하는 면적이 작으므로 0.05의 가중치를 두었다. 전술한 항목들은 예시적인 것으로서 특정인을 인식하기에 필요한 정보들로 가감할 수 있고, 가중치도 변경될 수 있다. 특히 희소성이 높은 장비나 의복이 저장되는 경우 해당 항목의 가중치를 높여 인식률을 높일 수 있다. 유사율과 가중치를 곱한 점수를 합산하여 유사도 점수를 평가할 수 있고, 메모리에 저장된 특정인의 이미지에 대해 분석 대상의 평가점수가 일정수준(예컨대, 75점) 이상인 경우 해당 특정인으로 인식할 수 있다. Each item has a weight for determining similarity, and the smaller the item, the higher the weight. Normal tops, bottoms and boots are weighted at a high 0.2 because they are not significantly changed, and helmets or hats, goggles and equipment are weighted from 0.1 to 0.15 because other products are sometimes available through wear or rental, Gloves may not be worn, and the frequency of wearing products other than the input product is high due to loss, etc., and the weight of 0.05 is given because the area of the overall image is small. The above items are just examples and may be added or subtracted with information necessary to recognize a specific person, and weights may be changed. In particular, if the rare equipment or clothing is stored, the weight of the corresponding item can be increased to increase the recognition rate. The similarity score may be evaluated by summing scores obtained by multiplying the similarity rate and the weight, and may be recognized as the specific person when the evaluation score of the analysis target is higher than a predetermined level (for example, 75 points) on the image of the specific person stored in the memory.

도 10에서 전술한 예시적인 항목들을 이용하여 카메라에서 분석한 대상의 유사도 총점은 REO라는 일행과 81.5점의 높은 유사도를 가져서 REO라는 일행으로 인식하였다. In FIG. 10, the total similarity scores of the subjects analyzed by the camera using the exemplary items described above were recognized as a group of REOs with a high similarity of 81.5 points.

도 11은 REO로 인식된 대상을 증강현실 이미지를 통해 투명디스플레이(100)에 표시한 것이다. 일행으로 분석된 대상 위에는 일행임을 표시하는 증강현실 이미지 (F1)가 표시된다. 도 11에서는 대상으로 인식된 이미지 범위를 하이라이트하고 일행을 특정하는 이름(REO)을 증강현실 이미지로 표시하였다. 11 shows the object recognized as a REO on the transparent display 100 through an augmented reality image. An augmented reality image (F1) is displayed on the object analyzed as a single row. In FIG. 11, a name (REO) for highlighting a range of images recognized as an object and specifying a party is displayed as an augmented reality image.

도 12는 게임모드를 작동한 경우로서 GPS수신기(40)를 이용하여 지도상에 가상의 기문(G)과 같은 장애물을 설정하고 통과해야 하는 경로를 설정하여 통과하도록 하는 게임의 예를 도시한 것이다. 투명디스플레이(100)에는 실제 기문을 세우지 않고도 증강현실 이미지를 이용하여 설정된 위치에 기문을 디스플레이 할 수 있으므로, 대회전 경기의 기록 측정을 하거나 동일 컨텐츠를 이용하는 사용자들끼리 레이스 경기를 할 수 있다. FIG. 12 illustrates an example of a game in which the game mode is operated to set an obstacle such as a virtual gate G on a map and set a path to pass through using the GPS receiver 40. . Since the transparent display 100 can display the gate at a set position using an augmented reality image without establishing the actual gate, it is possible to measure the record of the pre-competition match or race races between users using the same content.

도 13은 조난모드를 선택한 경우 상황실 및/또는 일행에게 송출되는 메시지(200)의 예이다. GPS수신기(40)를 이용하여 지도(M) 상에 비상상황이 발생한 현재의 조난위치(E)를 표시하여 조난 사실을 일행이나 상황실에 알리며, 후속 조치를 기다릴 수 있다. 13 is an example of a message 200 sent to the situation room and / or party when the distress mode is selected. By using the GPS receiver 40 to display the current distress position (E) where the emergency situation occurred on the map (M) to inform the distress facts to the party or the situation room, it is possible to wait for follow-up.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부한 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가치 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백하다. The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various value substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It is evident to those of ordinary knowledge.

10: 이동통신단말기 20: 블루투스 안테나
30: WIFI 안테나 40: GPS 수신기
50: 카메라 62: 압력센서
64:온도센서 66: 가속도 센서
70:모드선택버튼 80: 프로세서
90: 본체 100: 투명디스플레이
10: mobile communication terminal 20: Bluetooth antenna
30: WIFI Antenna 40: GPS Receiver
50: camera 62: pressure sensor
64: temperature sensor 66: acceleration sensor
70: Mode selection button 80: Processor
90: main body 100: transparent display

Claims (16)

이동통신단말기와 무선통신할 수 있는 통신수단과, 투명디스플레이와, 상기 투명디스플레이에 투사될 증강현실 컨텐츠를 제어할 수 있는 프로세서와, 가속도센서와, GPS수신기를 구비하는 본체를 포함하며,
상기 프로세서는 상기 가속도센서를 이용하여 측정된 상기 본체의 회전과 상기 GPS수신기를 이용하여 측정된 상기 본체의 속도에 기초하여 예측되는 본체의 이동경로를 상기 투명디스플레이에 증강현실 이미지로 표시하는
스노우고글 시스템.
A main body including a communication means capable of wireless communication with a mobile communication terminal, a transparent display, a processor capable of controlling augmented reality content to be projected on the transparent display, an acceleration sensor, and a GPS receiver,
The processor may display a moving path of the main body, which is predicted based on the rotation of the main body measured using the acceleration sensor and the speed of the main body measured using the GPS receiver, as an augmented reality image on the transparent display.
Snow goggles system.
청구항 1에 있어서,
상기 프로세서는 상기 가속도 센서가 계측한 상기 본체의 각가속도가 0인 경우, 상기 이동경로를 상기 본체의 진행방향에서 연장된 직선경로로 상기 투명디스플레이에 표시하고,
상기 본체의 각가속도가 0이 아닌 경우 상기 본체의 각속도를 계산하여 상기 본체의 이동경로를 상기 속도와 상기 각속도를 더한 벡터 방향의 곡선경로로 상기 투명디스플레이에 표시하는
스노우고글 시스템.
The method according to claim 1,
When the angular acceleration of the main body measured by the acceleration sensor is 0, the processor displays the movement path on the transparent display as a straight path extending in the traveling direction of the main body,
When the angular acceleration of the main body is not 0, the angular velocity of the main body is calculated and the moving path of the main body is displayed on the transparent display as a curved path in the vector direction plus the speed and the angular velocity.
Snow goggles system.
청구항 2에 있어서,
상기 곡선경로의 최종 방향은 직선 이동경로에서 상기 본체의 회전 각도에 비례상수를 곱한 각도만큼 회전한 것으로 표시되고, 상기 비례상수는 상기 본체의 회전각도와 상기 GPS수신기로 측정한 실제 진행경로 회전각도를 비교하여 지속적으로 수정되는 스노우고글 시스템.
The method according to claim 2,
The final direction of the curved path is represented as rotated by the angle multiplied by the proportional constant to the rotation angle of the main body in the linear movement path, the proportional constant is the actual rotation angle of the rotation path measured by the rotation angle of the main body and the GPS receiver Compared to the constantly modified snow goggles system.
청구항 1에 있어서,
상기 본체는 카메라를 더 포함하고,
상기 프로세서는,
상기 카메라에서 인식하는 주변 물체의 이동경로를 계측하고,상기 본체의 이동경로와 상기 주변 물체의 이동경로의 접점에서의 충돌확률을 계산하며, 상기 충돌확률이 위험수준 이상인 경우 증강현실 이미지를 이용하여 경고화면을 표시하거나 경고음을 출력하는
스노우고글 시스템.
The method according to claim 1,
The body further includes a camera,
The processor,
Measure the movement path of the surrounding object recognized by the camera, calculate the collision probability at the contact point of the movement path of the main body and the moving object of the main body, and use the augmented reality image when the collision probability is higher than the risk level To display a warning screen or
Snow goggles system.
청구항 4에 있어서,
상기 프로세서는, 상기 본체가 상기 접점에 도달할 때 까지의 예상 이동시간과 상기 주변 물체가 상기 접점에 도달할 때 까지의 예상 이동시간을 계산하고,
상기 충돌확률은 상기 예상 이동시간들의 차이가 시간설정값 이하인 경우 위험수준인 것으로 결정되는 스노우고글 시스템.
The method according to claim 4,
The processor calculates an estimated moving time until the main body reaches the contact point and an estimated moving time until the peripheral object reaches the contact point,
And the collision probability is determined to be a risk level when the difference between the estimated travel times is equal to or less than a time set value.
청구항 1에 있어서,
상기 본체는 제1 음향센서 및 제2 음향센서를 더 포함하고,
상기 프로세서는,
상기 제1 음향센서와 상기 제2 음향센서에서 동시에 측정되는 한 쌍의 제1 음파 및 제2 음파를 추출하며,
상기 제1 음파와 상기 제2 음파를 결합한 음파의 최대진폭이 음향설정값 이상이며, 상기 제1 및 제2 음파의 결합 음파의 시간에 대한 변화율이 양의 값을 갖는 경우 증강현실 이미지를 이용하여 상기 투명디스플레이에 충돌주의표시를 하거나 경고음을 출력하는
스노우고글 시스템.
The method according to claim 1,
The main body further includes a first acoustic sensor and a second acoustic sensor,
The processor,
Extracting a pair of first sound waves and second sound waves simultaneously measured by the first sound sensor and the second sound sensor;
When the maximum amplitude of the sound wave combining the first sound wave and the second sound wave is equal to or greater than a sound setting value and the rate of change of the combined sound wave of the first and second sound waves with a positive value is used, the augmented reality image is used. Displaying a warning of collision or outputting a warning sound on the transparent display
Snow goggles system.
청구항 6에 있어서,
상기 프로세서는,
상기 제1 음파의 시간에 대한 변화율과, 상기 제2 음파의 시간에 대한 변화율을 계측하고,
상기 제1 음파의 시간에 대한 변화율이 상기 제2 음파의 시간에 대한 변화율보다 큰 경우 상기 투명디스플레이에 물체가 상기 제1 음향센서 측에서 상기 투명디스플레이의 중앙을 향해 다가오는 것을 알리는 충돌주의표시를 상기 투명디스플레이에 디스플레이하고,
상기 제1 음파의 시간에 대한 변화율이 상기 제2 음파의 시간에 대한 변화율보다 작은 경우 상기 투명디스플레이에 상기 물체가 상기 제2 음향센서 측에서 상기 투명디스플레이의 중앙을 향해 다가오는 것을 알리는 충돌주의표시를 상기 투명디스플레이에 디스플레이하며,
상기 제1 음파의 시간에 대한 변화율과, 상기 제2 음파의 시간에 대한 변화율이 비슷한 수준인 경우 상기 물체가 상기 본체의 후방에서 다가오는 것을 알리는 충돌주의 표시를 상기 투명디스플레이에 디스플레이하는
스노우고글 시스템.
The method according to claim 6,
The processor,
A rate of change of the first sound wave with respect to time and a rate of change of the second sound wave with time,
When the rate of change of the first sound wave with respect to the time of the second sound wave is greater than the rate of change with respect to the time of the second sound wave, the transparent display displays a collision notice indicating that an object is moving toward the center of the transparent display from the first acoustic sensor side. Display on a transparent display,
When the rate of change of the first sound wave with respect to the time of the second sound wave is smaller than the rate of change with respect to the time of the second sound wave, a collision warning indication indicating the object is approaching the center of the transparent display on the second acoustic sensor side is displayed on the transparent display. Displayed on the transparent display,
Displaying, on the transparent display, a collision notice indicating that the object is coming from behind the main body when the rate of change of the first sound wave with respect to time and the rate of change of the second sound wave with time are at a similar level.
Snow goggles system.
청구항 6에 있어서,
상기 음향설정값은 상기 속도에 반비례하는 스노우고글 시스템.
The method according to claim 6,
And the sound set value is inversely proportional to the speed.
청구항 1에 있어서,
상기 본체는 카메라를 더 포함하고,
상기 프로세서는 메모리를 구비하고,
상기 메모리에는 복수개의 항목에 대한 일행의 이미지정보가 저장되며,
상기 카메라는 주변의 대상의 이미지를 인식하고,
상기 인식된 대상의 이미지를 상기 메모리에 저장된 일행의 이미지정보와 항목별로 비교하여 각 항목별 유사도를 평가하며,
상기 항목별 유사도의 총합이 판별설정값 이상인 경우 상기 인식된 대상을 일행으로 특정하여 상기 투명디스플레이에 증강현실이미지를 디스플레이하는
스노우고글 시스템.
The method according to claim 1,
The body further includes a camera,
The processor has a memory,
The memory stores line information of a plurality of items.
The camera recognizes an image of a surrounding object,
The similarity of each item is evaluated by comparing the recognized target image with each other's image information stored in the memory for each item.
When the total sum of the similarity for each item is greater than or equal to the determination setting value, the augmented reality image is displayed on the transparent display by specifying the recognized object as a party.
Snow goggles system.
청구항 9에 있어서,
상기 복수개의 항목은 크기를 달리하는 가중치가 설정되고,
상기 항목별 유사도는 상기 각 항목의 인식된 대상의 이미지의 상기 일행의 이미지에 대한 유사율에 상기 가중치를 곱한 값인 스노우고글 시스템.
The method according to claim 9,
The plurality of items are weighted to vary the size,
And the similarity for each item is a value obtained by multiplying the similarity rate for the image of the party of the recognized object image of each item by the weight.
청구항 1에 있어서,
상기 프로세서는, 상기 GPS수신기를 이용하여 지도상 특정위치에 가상의 장애물을 설정하고 상기 투명디스플레이에 상기 장애물을 증강현실 이미지로 디스플레이하여 게임을 실행하는 스노우고글 시스템.
The method according to claim 1,
The processor is configured to set a virtual obstacle at a specific location on a map using the GPS receiver and display the obstacle on the transparent display as an augmented reality image to run a game.
청구항 1에 있어서,
상기 프로세서는, 조난발생시, 상기 GPS수신기를 이용하여 지도상에 조난 위치를 특정한 조난 메시지를 생성하며, 상기 이동통신단말기와 통신하여 외부로 조난 신호 메시지를 송출하는 스노우고글 시스템.
The method according to claim 1,
The processor, when the distress occurs, the distress message to identify the distress position on the map using the GPS receiver, and communicates with the mobile communication terminal to send a distress signal message to the outside.
청구항 1 내지 12 중 어느 한 항에 있어서,
상기 본체는 압력센서를 더 구비하고,
상기 프로세서는 상기 압력센서에서 측정된 기압을 이용하여 상기 본체가 위치하는 고도를 계산하여 상기 투명디스플레이에 디스플레이하는
스노우고글 시스템.
The method according to any one of claims 1 to 12,
The main body further includes a pressure sensor,
The processor calculates the altitude of the main body using the air pressure measured by the pressure sensor to display on the transparent display
Snow goggles system.
청구항 1내지 12 중 어느 한 항에 있어서,
상기 본체는 온도센서를 더 구비하고,
상기 프로세서는 상기 온도센서를 이용하여 측정된 상기 본체 주변 온도를 상기 투명디스플레이에 디스플레이하는
스노우고글 시스템.
The method according to any one of claims 1 to 12,
The main body further includes a temperature sensor,
The processor is configured to display the ambient temperature measured using the temperature sensor on the transparent display.
Snow goggles system.
청구항 1 내지 12 중 어느 한 항에 있어서,
상기 프로세서는 지도상의 상기 본체의 위치를 상기 투명디스플레이에 디스플레이하는 스노우고글 시스템.
The method according to any one of claims 1 to 12,
And the processor is configured to display the position of the body on a map on the transparent display.
청구항 1 내지 12 중 어느 한 항에 있어서,
상기 프로세서는 상기 이동통신단말기의 전화수신여부, 착신 메시지 또는 메일을 상기 투명디스플레이에 디스플레이하는 스노우고글 시스템.
The method according to any one of claims 1 to 12,
The processor is a snow goggles system for displaying whether or not the incoming call, incoming message or mail of the mobile communication terminal on the transparent display.
KR1020180014108A 2018-02-05 2018-02-05 Snow goggle system with function of augmented reality KR20190094673A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180014108A KR20190094673A (en) 2018-02-05 2018-02-05 Snow goggle system with function of augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180014108A KR20190094673A (en) 2018-02-05 2018-02-05 Snow goggle system with function of augmented reality

Publications (1)

Publication Number Publication Date
KR20190094673A true KR20190094673A (en) 2019-08-14

Family

ID=67622310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180014108A KR20190094673A (en) 2018-02-05 2018-02-05 Snow goggle system with function of augmented reality

Country Status (1)

Country Link
KR (1) KR20190094673A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065722A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Electronic device and method for displaying notification about external object
KR20220123886A (en) * 2021-03-02 2022-09-13 경북대학교 산학협력단 Apparatus and method of generating probability map that displays degree of risk according to moving path of moving object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043288A2 (en) 2011-09-21 2013-03-28 Google Inc. Wearable computer with superimposed controls and instructions for external device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043288A2 (en) 2011-09-21 2013-03-28 Google Inc. Wearable computer with superimposed controls and instructions for external device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065722A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Electronic device and method for displaying notification about external object
KR20220123886A (en) * 2021-03-02 2022-09-13 경북대학교 산학협력단 Apparatus and method of generating probability map that displays degree of risk according to moving path of moving object

Similar Documents

Publication Publication Date Title
US10834986B2 (en) Smart safety helmet with heads-up display
US10809530B2 (en) Information processing apparatus and information processing method
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
US11900795B2 (en) Pedestrian device and traffic safety assistance method
US9613477B2 (en) Collection of information using contactless devices in combination with mobile computing devices
US20110043496A1 (en) Display device
US11625097B2 (en) System and methods for recreational sport heads-up display control
US20160332059A1 (en) Display, method and computer program
CN107148636A (en) Navigation system, client terminal apparatus, control method and storage medium
CN110895861A (en) Abnormal behavior early warning method and device, monitoring equipment and storage medium
US9971402B2 (en) Information processing system, mobile terminal, server apparatus, method for processing information, and non-transitory computer readable storage medium
US20200294265A1 (en) Information processing apparatus, method for processing information, and computer program
CN112569600B (en) Path information sending method in virtual scene, computer device and storage medium
US10488222B2 (en) Mobile device control leveraging user kinematics
US20180374270A1 (en) Information processing device, information processing method, program, and server
US7873181B1 (en) Visual image sensor organ replacement: implementation
CN111298440A (en) Virtual role control method, device, equipment and medium in virtual environment
KR20190094673A (en) Snow goggle system with function of augmented reality
CN113160427A (en) Virtual scene creating method, device, equipment and storage medium
JP7147775B2 (en) Information processing device, information processing method and program
CN111325083B (en) Method and device for recording attendance information
KR102285015B1 (en) Method and apparatus for displaying virtual reality image
CN113713385B (en) Virtual prop control method, device, equipment, medium and computer program product
WO2024087456A1 (en) Determination of orientation information and autonomous vehicle
JP7439727B2 (en) Judgment device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application