KR101343550B1 - Navigation apparatus for the blind using 3-dimension audio rendering - Google Patents

Navigation apparatus for the blind using 3-dimension audio rendering Download PDF

Info

Publication number
KR101343550B1
KR101343550B1 KR1020120072984A KR20120072984A KR101343550B1 KR 101343550 B1 KR101343550 B1 KR 101343550B1 KR 1020120072984 A KR1020120072984 A KR 1020120072984A KR 20120072984 A KR20120072984 A KR 20120072984A KR 101343550 B1 KR101343550 B1 KR 101343550B1
Authority
KR
South Korea
Prior art keywords
information
user
audio
sound image
navigation device
Prior art date
Application number
KR1020120072984A
Other languages
Korean (ko)
Inventor
강홍구
양재모
전세운
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120072984A priority Critical patent/KR101343550B1/en
Application granted granted Critical
Publication of KR101343550B1 publication Critical patent/KR101343550B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Navigation (AREA)

Abstract

The present invention provides a plurality of audio images generated using three-dimensional audio rendering for guiding a path for the blind people. The present invention relates to a navigation device for the blind people comprising: a GPS reception unit for receiving the current location information GPS data of a user from a GPS satellite; a wireless communication unit for communicating data with a device for providing path guide information and geographical information through the wireless internet; a gyro scope sensor for obtaining the front direction of the user; an audio image generation unit for generating audio images based on the front direction information of the user, the path guide information, the geographical information obtained using the wireless communication unit; and an output unit for outputting the audio images generated by the audio image generation unit. [Reference numerals] (110) GPS transmission and reception unit;(120) Wireless communication unit;(130) Navigation control unit;(140) Gyro scope sensor;(150) 3D-audio rendering control unit;(160) Audio image generation unit;(170) Stereo headphone

Description

시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치{Navigation apparatus for the blind using 3-dimension audio rendering}Navigation apparatus for the blind using 3-dimension audio rendering}

본 발명은 시각 장애인을 위한 네비게이션 장치에 관한 것으로서, 더 구체적으로는 3차원 오디오 렌더링을 사용하여 진행 경로를 안내할 수 있는 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에 관한 것이다.The present invention relates to a navigation device for the visually impaired. More particularly, the present invention relates to a 3D audio rendering-based navigation device for the visually impaired.

최근 통신 및 정보기술의 발달로 휴대용 정보기기가 많이 사용되고 있으며, 휴대용 정보기기는 다양한 기능과 사용자 인터페이스를 갖추고 있다.BACKGROUND Recently, portable information devices have been widely used due to the development of communication and information technology, and portable information devices have various functions and user interfaces.

이에 따라 일반인을 대상으로 한 기본 기능과 사용자 인터페이스 외에도, 편리한 사용을 위해 동작 및 음성을 사용한 인터페이스가 많이 활용되고 있으며, 다양한 센서의 사용 등으로 사용자의 인지 능력을 보완할 수 있는 응용도 많이 개발되고 있다.Accordingly, in addition to the basic functions and user interface for the general public, many interfaces using motion and voice are utilized for convenient use, and many applications are developed to supplement the user's cognitive ability by using various sensors. have.

시각장애인은 이동을 위해서 통상 지팡이, 맹도견 또는 타인의 도움을 필요로 한다. A blind person usually needs a cane, a guide dog, or someone else's help to move.

지팡이는 비용이 저렴하여 많이 이용되지만, 좁은 범위 내의 지형지물만을 파악할 수 있을 뿐 네비게이션의 기능을 제공할 수는 없다. 맹도견과 타인은 시각장애인의 이동을 돕기 위한 좋은 방법이지만, 비용이나 보급성 측면에서 쉽게 이용할 수 없는 경우도 많다.The cane is inexpensive and is used a lot, but it can only identify features within a narrow range and cannot provide navigation. Guide dogs and others are good ways to help the visually impaired move, but they are often not readily available in terms of cost or availability.

따라서, 휴대용 정보기기를 이용하여 시각장애인에게 네비게이션 기능을 제공할 수 있다면 매우 유용할 것이다.Therefore, it would be very useful to provide a navigation function to the blind using a portable information device.

시각장애인을 위한 네이게이션 시스템에 관한 종래기술로는 공개특허 제10-2007-0089263호 등이 있다.Conventional technology related to a navigation system for the visually impaired is disclosed in Patent Publication No. 10-2007-0089263.

공개특허 제10-2007-0089263호에서는 네비게이션 수신기를 통하여 수신된 자신의 위치 정보에 의거하여 가고자 하는 목적지로 시각장애인을 인도하는 시스템을 개시하고 있다.Korean Patent Laid-Open Publication No. 10-2007-0089263 discloses a system for guiding a blind person to a destination to go based on his location information received through a navigation receiver.

본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 시각장애인에게 직관적이고 자연스러운 네비게이션 기능을 제공할 수 있는 휴대용 정보기기를 제공하는 것을 그 과제로 한다.SUMMARY OF THE INVENTION The present invention has been made in the technical background as described above, and an object thereof is to provide a portable information device capable of providing an intuitive and natural navigation function to a visually impaired person.

이와 같은 과제를 해결하기 위하여 본 발명에서는 3차원 오디오 렌더링을 사용하여 생성된 다수의 음상을 사용자에게 제공함으로써 직관적이고 현실적인 길안내를 할 수 있다. In order to solve such a problem, the present invention provides an intuitive and realistic way by providing a user with a plurality of sound images generated using 3D audio rendering.

즉, 본 발명의 일면에 따른 시각장애인용 네비게이션 장치는, GPS 위성으로부터 사용자의 현재 위치 정보 GPS 데이터를 수신하는 GPS 수신부; 상기 GPS 데이터에 기반하여, 주변 지리 정보 및 경로 안내 정보를 제공하는 장치와 무선 인터넷을 통해 데이터 통신하는 무선 통신부; 사용자의 정면 방향을 획득하는 자이로스코프 센서; 상기 GPS 수신부를 통해 획득한 상기 사용자의 현재 위치 정보, 상기 무선 통신부를 통해 획득한 주변 지리 정보 및 경로 안내 정보, 상기 사용자의 정면 방향 정보를 바탕으로 3차원 오디오 렌더링을 수행하여 진행방향 안내 음상(audio image)을 생성하는 음상 생성부; 및 상기 음상 생성부에 의해 생성된 음상을 출력하는 출력부를 포함하여 이루어진다.That is, the navigation device for the visually impaired according to an aspect of the present invention, the GPS receiver for receiving the user's current location information GPS data from the GPS satellites; A wireless communication unit which communicates data via a wireless Internet with a device that provides surrounding geographical information and route guidance information based on the GPS data; A gyroscope sensor which acquires a front direction of a user; 3D audio rendering is performed based on the current location information of the user acquired through the GPS receiver, surrounding geographical information and route guidance information obtained through the wireless communication unit, and the front direction information of the user. a sound image generating unit for generating an audio image; And an output unit for outputting a sound image generated by the sound image generator.

시각장애인용 네비게이션 장치는 상기 네비게이션 장치 주위의 장애물 정보를 수집하는 깊이 카메라를 더 포함할 수 있으며, 이때 상기 음상 생성부는 상기 깊이 카메라에 의해 수집된 장애물 정보를 바탕으로 장애물 안내 음상을 더 생성하는 것이 바람직하다.The navigation device for the visually impaired may further include a depth camera that collects obstacle information around the navigation device, wherein the sound generation unit further generates an obstacle guide sound image based on the obstacle information collected by the depth camera. desirable.

또한, 상기 음상 생성부는 상기 진행방향 안내 음상을 생성함에 있어 상기 깊이 카메라에 의해 수집된 장애물 정보를 더 고려할 수 있다. The sound image generating unit may further consider obstacle information collected by the depth camera in generating the moving direction guided sound image.

한편, 상기 음상 생성부는 기준 음상을 더 생성할 수도 있다.The sound image generator may further generate a reference sound image.

상기 출력부는 스테레오 헤드폰인 것이 바람직하다.The output unit is preferably stereo headphones.

본 발명의 다른 면에 따른 시각장애인용 네비게이션 장치는, GPS 위성으로부터 사용자의 현재 위치 정보 GPS 데이터를 수신하는 GPS 수신부; 지리 정보 및 경로 안내 정보를 저장하고 있는 저장 장치; 사용자의 정면 방향을 획득하는 자이로스코프 센서; 상기 GPS 수신부를 통해 획득한 상기 사용자의 현재 위치 정보, 상기 지리 정보 및 경로 안내 정보, 상기 사용자의 정면 방향 정보를 바탕으로 3차원 오디오 렌더링을 수행하여 진행방향 안내 음상(audio image)을 생성하는 음상 생성부; 및 상기 음상 생성부에 의해 생성된 음상을 출력하는 출력부를 포함한다.According to another aspect of the present invention, there is provided a navigation device for the visually impaired, including: a GPS receiver configured to receive GPS data of a user's current location information from a GPS satellite; A storage device storing geographic information and route guidance information; A gyroscope sensor which acquires a front direction of a user; Sound image which generates 3D audio rendering based on the current location information of the user, the geographic information, the route guide information, and the front direction information of the user obtained through the GPS receiver to generate an audio guide image. Generation unit; And an output unit for outputting a sound image generated by the sound image generator.

본 발명에 따르면, 3차원 오디오 렌더링을 이용하여 입체적인 공간감을 갖는 안내 신호를 제공하므로 기존의 음성 안내는 포함하는 네비게이션에 비하여 직관적이고 자연스러운 방향 지시 방법을 제공할 수 있다.According to the present invention, since the 3D audio rendering provides a guide signal having a three-dimensional spatial sense, the existing voice guidance can provide an intuitive and natural direction indicating method as compared to the navigation.

또한, 자이로스코프 센서를 사용하여 사용자의 얼굴이 향하는 정면 방향을 감지하고 이에 따라 진행 방향을 안내하므로, 위치 정보만을 포함하는 GPS를 이용한 안내 시스템에 비하여 정확한 진행 방향 안내를 할 수 있다.In addition, by using the gyroscope sensor to detect the front direction facing the user's face and guides the direction accordingly, it is possible to provide a precise direction of the direction compared to the guidance system using a GPS containing only the position information.

뿐만 아니라, 깊이 카메라(depth camera)를 이용하여 진행상의 지형지물과 장애물 정보를 획득하여 이를 사용자에게 제공하므로 단순한 경로 안내를 뛰어넘는 현실적인 네비게이션이 가능하게 된다.In addition, by using the depth camera (depth camera) to obtain the feature information and the progress of the progress to the user it is possible to realistic navigation beyond the simple route guidance.

이에 따라 본 발명의 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치를 사용할 경우 고가의 맹도견을 대체할 수 있다.Accordingly, in the case of using the 3D audio rendering-based navigation device for the visually impaired, an expensive guide dog can be replaced.

도 1은 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 진행 방향 및 장애물 위치를 계산하는 방법을 나타내는 개념도이다.
도 3은 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 사용하는 3차원 오디오 렌더링 기반의 연속 방향 안내를 나타내는 개념도이다.
도 4는 본 발명의 다른 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 깊이 카메라를 이용하여 장애물의 위치를 검출하는 방법을 나타내는 개념도이다.
도 5는 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 사용하는 3차원 오디오 렌더링 기반의 방향 안내를 나타내는 개념도이다.1 is a block diagram showing the configuration of a 3D audio rendering-based navigation device for the blind according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a method of calculating a moving direction and an obstacle position in a 3D audio rendering based navigation device for the visually impaired according to an embodiment of the present invention.
3 is a conceptual diagram illustrating continuous direction guidance based on 3D audio rendering used in a 3D audio rendering based navigation apparatus for the visually impaired according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a method of detecting a position of an obstacle using a depth camera in a 3D audio rendering-based navigation device for the visually impaired according to another embodiment of the present invention.
5 is a conceptual diagram illustrating a 3D audio rendering based direction guide used in a 3D audio rendering based navigation device for the visually impaired according to an exemplary embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에 대하여 상세히 설명하기로 한다.Hereinafter, a 3D audio rendering-based navigation device for the visually impaired according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치의 구성을 나타내는 블록도이다. 1 is a block diagram showing the configuration of a 3D audio rendering-based navigation device for the blind according to an embodiment of the present invention.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치(이하, "네비게이션 장치"라 함)는, 사용자의 실시간 위치 정보를 송수신할 수 있는 GPS 송수신부(110), 이동 중 지도 데이터베이스에 접근할 수 있는 무선 통신부(120), GPS 송수신부(110)와 무선 통신부(120)를 통해 획득된 정보를 바탕으로 진행 경로를 산출하는 네비게이션 제어부(130), 사용자의 정면 방향을 알 수 있는 자이로스코프(gyroscope) 센서(140), 사용자의 현재 위치, 산출 경로, 사용자의 정면 방향 정보를 이용하여 3차원 오디오 렌더링을 수행하는 3차원 오디오 렌더링 제어부(150), 3차원 오디오 렌더링 제어부(150)에 의해 수행된 렌더링 정보를 바탕으로 오디오 이미지를 생성하는 오디오 이미지 생성부(160), 생성된 오디오 이미지를 사용자에게 전달하는 스테레오 헤드폰(170)을 포함하여 이루어진다. As shown in FIG. 1, a 3D audio rendering-based navigation device (hereinafter referred to as a "navigation device") for the visually impaired according to an embodiment of the present invention is a GPS transceiver for transmitting and receiving user's real-time location information. 110, a wireless communication unit 120 for accessing a map database while moving, a navigation control unit 130 for calculating a progress path based on information obtained through the GPS transceiver 110 and the wireless communication unit 120, A gyroscope sensor 140 capable of knowing the front direction of the user, a 3D audio rendering controller 150 performing 3D audio rendering using the current position of the user, a calculation path, and the front direction information of the user, An audio image generator 160 generating an audio image based on rendering information performed by the 3D audio rendering controller 150, and using the generated audio image. It comprises a stereo headphone 170 to deliver to.

또한, 도 1에 도시되어 있지는 않지만, 더욱 현실적이고 유용한 경로 안내를 위하여 네비게이션 장치가 깊이 카메라(depth camera)를 더 포함할 수 있다. 깊이 카메라는 사용자가 진행하는 방향 주변에 위치하는 장애물의 위치, 거리, 크기 정보를 수집할 수 있다. In addition, although not shown in FIG. 1, the navigation device may further include a depth camera for more realistic and useful route guidance. The depth camera may collect location, distance, and size information of obstacles located around a direction in which the user proceeds.

GPS 송수신부(110)는 복수개의 GPS 위성으로부터 실시간으로 사용자의 위치 정보를 취득할 수 있는 시스템이다. 네비게이션 장치는 GPS 위성의 정보로부터 사용자의 지도 위의 좌표를 계산할 수 있다. The GPS transceiver 110 is a system capable of acquiring user location information in real time from a plurality of GPS satellites. The navigation device may calculate coordinates on the user's map from the information of the GPS satellites.

무선 통신부(120)는 이동 중인 사용자가 WiFi, 3G network, LTE 등의 Wireless internet 통신을 통해 네비게이션 시스템을 위한 지도 데이터베이스에 실시간으로 접근할 수 있는 인터넷 접근성을 제공한다. 다만, 네비게이션 장치 자체가 지도 정보를 저장할 수 있는 저장장치를 포함하는 경우라면 인터넷 접근성이 필요하지 않을 수 있다. The wireless communication unit 120 provides Internet access for a mobile user to access a map database for a navigation system in real time through wireless internet communication such as WiFi, 3G network, and LTE. However, if the navigation device itself includes a storage device capable of storing map information, Internet accessibility may not be required.

네비게이션 제어부(130)는 GPS에 의한 위치 좌표와 지도 정보를 이용하여 목적지까지의 사용자가 이동하는 경로를 설정하고, 이동 중 사용자의 현재 위치를 지도상에 표시한다. 다만, 네비게이션 장치가 시각장애인을 대상으로 하는 것임을 감안할 때 시각적으로 지도 상에 사용자의 현재 위치를 표시하는 것이 반드시 필요한 것은 아니다.The navigation controller 130 sets a path to which the user moves to a destination by using location coordinates and map information by GPS, and displays the current location of the user on the map during the movement. However, considering that the navigation device is aimed at the visually impaired, it is not necessary to visually display the user's current location on a map.

자이로스코프 센서(140)는 사용자의 얼굴이 향하는 정면 방향을 알려준다. 사용자의 진행 방향은 사용자의 정면 방향과 미리 설정된 네비게이션 경로 상의 방향의 차이를 이용하여 구한다. The gyroscope sensor 140 informs the front direction of the user's face. The progress direction of the user is obtained by using a difference between the front direction of the user and a direction on a preset navigation path.

도 2는 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 진행 방향 및 장애물 위치를 계산하는 방법을 나타내는 개념도이다.2 is a conceptual diagram illustrating a method of calculating a moving direction and an obstacle position in a 3D audio rendering based navigation device for the visually impaired according to an embodiment of the present invention.

도 2에 나타난 바와 같이, 자이로스코프 센서(140)에 의해 획득된 사용자의 정면 방향과 미리 설정된 네비게이션 경로 상의 방향을 이용하여 진행 방향을 결정할 수 있으며, 깊이 카메라를 이용해 장애물을 탐지한 경우, 장애물 방향을 더 고려하여 진행 방향을 결정할 수 있다. As shown in FIG. 2, the heading direction may be determined using the front direction of the user acquired by the gyroscope sensor 140 and a direction on a preset navigation path, and when the obstacle is detected using the depth camera, the obstacle direction In consideration of this, it is possible to determine the direction of travel.

또한, 본 발명의 실시예에서는 상술한 자이로스코프 센서(140)를 이용함으로써 사용자의 자연스러운 방향 전환을 가능하게 한다.In addition, in the embodiment of the present invention by using the gyroscope sensor 140 described above it is possible to switch the user's natural direction.

도 3은 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 사용하는 3차원 오디오 렌더링 기반의 연속 방향 안내를 나타내는 개념도이다.3 is a conceptual diagram illustrating continuous direction guidance based on 3D audio rendering used in a 3D audio rendering based navigation apparatus for the visually impaired according to an embodiment of the present invention.

사용자의 정면 방향을 획득함으로써, 도 3에 나타난 바와 같이, 곡선 형태 및 임의의 복잡한 경로에 대해서도 사용자의 자연스러운 방향 전환을 가능하게 하는 방향성 지시를 할 수 있다. By acquiring the frontal direction of the user, as shown in FIG. 3, it is possible to give a directional indication that enables the user's natural turning of the curved shape and any complicated path.

깊이 카메라는 사용자의 정면 방향을 중심으로 전방 좌우 30도 정도 (microsoft kinect depth-camera 기준) 내에 위치하는 진행상의 장애물, 예를 들어, 상하 계단, 급경사, 벽, 행인 등의 장애 물체를 찾아서 사용자로부터 장애물까지의 거리, 방향 등의 위치 정보를 제공한다. The depth camera searches for obstacles in progress, such as up and down stairs, steep slopes, walls, and pedestrians, located within about 30 degrees (about microsoft kinect depth-camera) in front of the user. Provides location information such as distance to obstacles and directions.

도 4는 본 발명의 다른 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 깊이 카메라를 이용하여 장애물의 위치를 검출하는 방법을 나타내는 개념도로서, 깊이 카메라로 진행 방향 상의 두 개의 장애물을 검출한 예를 나타낸다. 4 is a conceptual diagram illustrating a method of detecting a position of an obstacle using a depth camera in a 3D audio rendering-based navigation device for the visually impaired according to another embodiment of the present invention. The detected example is shown.

장애물 1에 대한 위치 검출 과정을 예로 들어 설명하면, 우선 깊이 카메라에서 장애물까지의 거리 d를 제공하고, 카메라의 최대 앵글이 30˚이므로 간단한 비례식과 삼각함수로 화면상의 장애물의 방향(θ)을 구할 수 있다. Taking the position detection process for obstacle 1 as an example, first, the distance d from the depth camera to the obstacle is provided, and since the maximum angle of the camera is 30 °, the direction (θ) of the obstacle on the screen can be obtained using a simple proportional expression and trigonometric function. Can be.

또한, 장애물의 위치에 대한 오디오 이미지의 방향성은 진행 방향을 계산하는 것과 마찬가지로 자이로스코프 센서(140)에서 취득한 사용자의 정면 방향을 중심으로 장애물의 위치에 대한 3차원 오디오 이미지를 만든다. In addition, the directionality of the audio image relative to the position of the obstacle creates a three-dimensional audio image of the position of the obstacle about the frontal direction of the user acquired by the gyroscope sensor 140, similarly to calculating the direction of travel.

다음, 3차원 오디오 렌더링 제어부(150)는 사용자의 현재 위치, 산출 경로, 사용자의 정면 방향 정보를 이용하여 3차원 오디오 렌더링을 수행한다. Next, the 3D audio rendering controller 150 performs 3D audio rendering by using the current position of the user, the calculation path, and the front direction information of the user.

3차원 오디오 렌더링(3-dimensional audio rendering) 기술은 두 채널의 신호에 대해 inter-channel phase difference (IPD) 와 inter-channel level difference (ILD)를 이용하여 오디오 소스의 입체적인 공간감을 만들어주는 기술이다. IPD와 ILD를 이용한 rendering 기법은 특히 수평각(azimuth angle)에 대한 해상도가 높으므로 시각장애인에게 연속적이고 정확한 방향을 알려주는 데 적합하다.  Three-dimensional audio rendering technology uses the inter-channel phase difference (IPD) and inter-channel level difference (ILD) for two-channel signals to create a three-dimensional spatial sense of the audio source. The rendering technique using IPD and ILD is particularly suitable for informing continuous and accurate directions to the visually impaired because of its high resolution for the azimuth angle.

사용자에게 좀 더 실재감을 느낄 수 있는 3차원 오디오 이미지를 만들기 위해서는 HRTF (head related transfer function)를 고려해야 한다. HRTF는 3D 공간상에 표현하고자 하는 각 오디오 이미지의 위치에 따라 측정해야 한다. 일반적으로 dummy head를 이용하여 미리 측정된 HRTF 값을 저장하여 이용할 수 있고, 사용자 개인에게 최적화된 HRTF를 따로 측정하여 구할 수도 있다. 예를 들어, 전방 1m (-90˚~ +90˚)를 10˚ 간격으로 오디오 렌더링하기 위해서는 총 19개의 HRTF를 측정하여 저장하고 있어야 한다. To create a three-dimensional audio image that is more realistic to the user, consider a HRTF (head related transfer function). HRTF should be measured according to the position of each audio image to be represented in 3D space. In general, a pre-measured HRTF value may be stored and used by using a dummy head, or an HRTF optimized for a user may be separately measured and obtained. For example, to render audio 1m ahead (-90 ° to + 90 °) at 10 ° intervals, a total of 19 HRTFs must be measured and stored.

여기에 사용되는 오디오 신호는 삑 소리(beep sound)와 같은 협대역 신호(narrow-band signal)를 기본적으로 이용한다. 또한 이를 확장하여 광대역 신호(wide-band signal)를 고려하여 주파수 대역에서 서로 다른 공간감을 갖는 오디오 이미지를 만들거나, 한 방향의 공간감을 더욱 잘 느낄 수 있도록 확장하여 이용할 수 있다. 본 발명의 실시예에서는 이러한 기법을 적용하여 각기 다른 공간감을 갖는 다수의 오디오 이미지들을 발생시킴으로써 사용자의 진행 방향, 장애물의 위치, 기준 음상 등에 대한 방향을 동시에 제공할 수 있다. 이러한 방법은 시각장애인인 사용자가 혼자 힘으로 목적지까지 도착할 수 있는 좀 더 현실적인 네비게이션 시스템이 된다. The audio signal used here basically uses a narrow-band signal such as a beep sound. In addition, this can be extended to create an audio image having a different sense of spatiality in the frequency band in consideration of a wide-band signal, or can be extended to use a sense of spatiality in one direction. In the embodiment of the present invention, by applying this technique, a plurality of audio images having different senses of space may be generated to simultaneously provide a direction of a user's moving direction, a position of an obstacle, and a reference image. This method becomes a more realistic navigation system that allows the blind user to reach the destination by himself.

본 발명의 실시예에서는 사용자(시각장애인)가 더욱 정확한 방향 및 거리감을 느낄 수 있도록 기준 음상(reference audio image)를 이용한다. 기준 음상은 정면 3m 에서 소리가 유지되도록 한다. 사용자는 기준 음상과 방향 안내 음상 (direction-guide audio image)를 비교하여 더욱 정확한 진행 방향 및 장애물의 위치를 인지할 수 있다. In an embodiment of the present invention, a reference audio image is used so that a user (visually impaired person) can feel a more accurate direction and distance. The reference image allows the sound to be maintained 3 m in front. The user can compare the reference sound image with the direction-guide audio image to recognize a more accurate direction of travel and the position of the obstacle.

도 5는 본 발명의 실시예에 따른 시각 장애인을 위한 3차원 오디오 렌더링 기반 네비게이션 장치에서 사용하는 3차원 오디오 렌더링 기반의 방향 안내를 나타내는 개념도이다.5 is a conceptual diagram illustrating a 3D audio rendering based direction guide used in a 3D audio rendering based navigation device for the visually impaired according to an exemplary embodiment of the present invention.

도 5에 나타난 바와 같이, 정면 3m에 위치하는 기준 음상(A)을 사용하고, 이와 함께 방향 안내 음상(B) 및 장애물 음상(C)을 제공함으로써 정확한 진행 방향 및 장애물의 위치를 인지할 수 있다. As shown in Fig. 5, by using the reference sound image (A) located in the front 3m, along with the direction guide sound (B) and the obstacle sound image (C) it is possible to recognize the correct direction of travel and the position of the obstacle. .

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다. While the invention has been described in terms of the preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Accordingly, the appended claims are intended to embrace all such modifications and variations as fall within the true spirit of the invention.

Claims (8)

GPS 위성으로부터 사용자의 현재 위치 정보 GPS 데이터를 수신하는 GPS 수신부;
상기 GPS 데이터에 기반하여, 주변 지리 정보 및 경로 안내 정보를 제공하는 장치와 무선 인터넷을 통해 데이터 통신하는 무선 통신부;
사용자의 정면 방향을 획득하는 자이로스코프 센서;
상기 GPS 수신부를 통해 획득한 상기 사용자의 현재 위치 정보, 상기 무선 통신부를 통해 획득한 주변 지리 정보 및 경로 안내 정보, 상기 사용자의 정면 방향 정보를 바탕으로 3차원 오디오 렌더링을 수행하여 진행방향 안내 음상(audio image)을 생성하는 음상 생성부; 및
상기 음상 생성부에 의해 생성된 음상을 출력하는 출력부를 포함하는 시각장애인용 네비게이션 장치.A GPS receiver for receiving the user's current location information GPS data from the GPS satellites;
A wireless communication unit which communicates data via a wireless Internet with a device that provides surrounding geographical information and route guidance information based on the GPS data;
A gyroscope sensor which acquires a front direction of a user;
3D audio rendering is performed based on the current location information of the user acquired through the GPS receiver, surrounding geographical information and route guidance information obtained through the wireless communication unit, and the front direction information of the user. a sound image generating unit for generating an audio image; And
And an output unit for outputting a sound image generated by the sound image generator. 제1항에 있어서,
상기 네비게이션 장치 주위의 장애물 정보를 수집하는 깊이 카메라를 더 포함하는 시각장애인용 네비게이션 장치.The method of claim 1,
And a depth camera for collecting obstacle information around the navigation device. 제2항에 있어서, 상기 음상 생성부는,
상기 깊이 카메라에 의해 수집된 장애물 정보를 바탕으로 장애물 안내 음상을 더 생성하는 시각장애인용 네비게이션 장치.The sound image generating unit of claim 2,
Navigation device for the visually impaired further generates a guide sound guide image based on the obstacle information collected by the depth camera. 제3항에 있어서, 상기 음상 생성부는,
상기 진행방향 안내 음상을 생성함에 있어 상기 깊이 카메라에 의해 수집된 장애물 정보를 더 고려하는 시각장애인용 네비게이션 장치.The sound image generating unit of claim 3,
The navigation device for the visually-impaired person further considers obstacle information collected by the depth camera in generating the heading guide sound image. 제1항에 있어서, 상기 음상 생성부는,
기준 음상을 더 생성하는 시각장애인용 네비게이션 장치.The sound image generating unit of claim 1,
Navigation device for the visually impaired to further generate a reference image. 제1항에 있어서, 상기 출력부는,
스테레오 헤드폰인 시각장애인용 네비게이션 장치.The image processing apparatus according to claim 1,
Navigation device for the visually impaired, which is stereo headphones. GPS 위성으로부터 사용자의 현재 위치 정보 GPS 데이터를 수신하는 GPS 수신부;
지리 정보 및 경로 안내 정보를 저장하고 있는 저장 장치;
사용자의 정면 방향을 획득하는 자이로스코프 센서;
상기 GPS 수신부를 통해 획득한 상기 사용자의 현재 위치 정보, 상기 지리 정보 및 경로 안내 정보, 상기 사용자의 정면 방향 정보를 바탕으로 3차원 오디오 렌더링을 수행하여 진행방향 안내 음상(audio image)을 생성하는 음상 생성부; 및
상기 음상 생성부에 의해 생성된 음상을 출력하는 출력부를 포함하는 시각장애인용 네비게이션 장치.A GPS receiver for receiving the user's current location information GPS data from the GPS satellites;
A storage device storing geographic information and route guidance information;
A gyroscope sensor which acquires a front direction of a user;
Sound image which generates 3D audio rendering based on the current location information of the user, the geographic information, the route guide information, and the front direction information of the user obtained through the GPS receiver to generate an audio guide image. Generation unit; And
And an output unit for outputting a sound image generated by the sound image generator. 제1항에 있어서,
상기 네비게이션 장치 주위의 장애물 정보를 수집하는 깊이 카메라를 더 포함하는 시각장애인용 네비게이션 장치.The method of claim 1,
And a depth camera for collecting obstacle information around the navigation device.
KR1020120072984A 2012-07-04 2012-07-04 Navigation apparatus for the blind using 3-dimension audio rendering KR101343550B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120072984A KR101343550B1 (en) 2012-07-04 2012-07-04 Navigation apparatus for the blind using 3-dimension audio rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120072984A KR101343550B1 (en) 2012-07-04 2012-07-04 Navigation apparatus for the blind using 3-dimension audio rendering

Publications (1)

Publication Number Publication Date
KR101343550B1 true KR101343550B1 (en) 2013-12-20

Family

ID=49988781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120072984A KR101343550B1 (en) 2012-07-04 2012-07-04 Navigation apparatus for the blind using 3-dimension audio rendering

Country Status (1)

Country Link
KR (1) KR101343550B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079129A (en) * 2013-12-31 2015-07-08 국립대학법인 울산과학기술대학교 산학협력단 System and method for providing road guide servicefor blind person
WO2016195589A1 (en) * 2015-06-03 2016-12-08 Razer (Asia Pacific) Pte. Ltd. Headset devices and methods for controlling a headset device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275519A (en) 2007-05-01 2008-11-13 Sony Corp Information processing system, mobile information terminal and control method, information providing device and control method, and program
KR100881732B1 (en) 2007-07-27 2009-02-06 (주)현대유비스 Navigation with a leisure function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275519A (en) 2007-05-01 2008-11-13 Sony Corp Information processing system, mobile information terminal and control method, information providing device and control method, and program
KR100881732B1 (en) 2007-07-27 2009-02-06 (주)현대유비스 Navigation with a leisure function

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079129A (en) * 2013-12-31 2015-07-08 국립대학법인 울산과학기술대학교 산학협력단 System and method for providing road guide servicefor blind person
WO2015102301A1 (en) * 2013-12-31 2015-07-09 국립대학법인 울산과학기술대학교 산학협력단 System and method for providing route guidance service for visually impaired people
KR101648374B1 (en) 2013-12-31 2016-08-17 울산과학기술원 System and method for providing road guide servicefor blind person
US9970779B2 (en) 2013-12-31 2018-05-15 Unist (Ulsan National Institute Of Science And Technology) System and method for providing route guidance service for visually impaired people
WO2016195589A1 (en) * 2015-06-03 2016-12-08 Razer (Asia Pacific) Pte. Ltd. Headset devices and methods for controlling a headset device
US10237678B2 (en) 2015-06-03 2019-03-19 Razer (Asia-Pacific) Pte. Ltd. Headset devices and methods for controlling a headset device

Similar Documents

Publication Publication Date Title
US20230392944A1 (en) Navigation methods and apparatus for the visually impaired
Fernandes et al. A review of assistive spatial orientation and navigation technologies for the visually impaired
KR101384528B1 (en) Method for direction-guiding using 3D-sound and navigation system using the same
US9508269B2 (en) Remote guidance system
JP5821307B2 (en) Information processing apparatus, information processing method, and program
US10598506B2 (en) Audio navigation using short range bilateral earpieces
US20130002452A1 (en) Light-weight, portable, and wireless navigator for determining when a user who is visually-impaired and/or poorly-oriented can safely cross a street, with or without a traffic light, and know his/her exact location at any given time, and given correct and detailed guidance for translocation
US20140114560A1 (en) Hearing device with a distance measurement unit
KR100807180B1 (en) Navigation service system and method for blind individuals
CN103389486B (en) Control method and electronic device
US20200326199A1 (en) Route guidance and proximity awareness system
US20170003132A1 (en) Method of constructing street guidance information database, and street guidance apparatus and method using street guidance information database
JP2007035043A (en) Receiver, transmitter, and location recognition system and method
Strumillo et al. Different approaches to aiding blind persons in mobility and navigation in the “Naviton” and “Sound of Vision” projects
KR101572548B1 (en) Stick and mobile apparatus and system for navigating of blind person, recording medium for performing the method
WO2020055281A1 (en) Method and system of forming mixed-reality images
KR101343550B1 (en) Navigation apparatus for the blind using 3-dimension audio rendering
KR20210055429A (en) Apparatus and method for providing indoor location information
CN111093585B (en) Wheelchair, control method and computer readable storage medium
US11869159B2 (en) High density 3D environment capture with guided mixed reality
JP2023075236A (en) Locus display device
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
RU2660631C1 (en) Combined reality images formation method and system
KR101950713B1 (en) Apparatus of detecting indoor position using lacation map image and method thereof
Otaegui et al. ARGUS: Assisting peRsonal GUidance System for people with visual impairment

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee