KR102334319B1 - 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치 - Google Patents

증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치 Download PDF

Info

Publication number
KR102334319B1
KR102334319B1 KR1020190167779A KR20190167779A KR102334319B1 KR 102334319 B1 KR102334319 B1 KR 102334319B1 KR 1020190167779 A KR1020190167779 A KR 1020190167779A KR 20190167779 A KR20190167779 A KR 20190167779A KR 102334319 B1 KR102334319 B1 KR 102334319B1
Authority
KR
South Korea
Prior art keywords
auditory information
information
visual
augmented reality
auditory
Prior art date
Application number
KR1020190167779A
Other languages
English (en)
Other versions
KR20210076495A (ko
Inventor
최희진
김휘
민성욱
Original Assignee
세종대학교산학협력단
고려대학교 세종산학협력단
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, 고려대학교 세종산학협력단, 경희대학교 산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020190167779A priority Critical patent/KR102334319B1/ko
Publication of KR20210076495A publication Critical patent/KR20210076495A/ko
Application granted granted Critical
Publication of KR102334319B1 publication Critical patent/KR102334319B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치가 제시된다. 일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법은, 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 단계; 상기 청각 정보를 시각 정보로 변환하는 단계; 및 상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계를 포함하고, 청각 이상을 가진 사용자 또는 상기 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 할 수 있다.

Description

증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING VISUALLY TRANSFORMED SOUND INFORMATION USING AUGMENTED REALITY DISPLAY DEVICE}
아래의 실시예들은 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치에 관한 것으로, 더욱 상세하게는 증강 현실 기기를 이용한 주변 청각 정보를 시각 정보로 변환하여 전달하는 방법 및 장치에 관한 것이다.
최근 스마트 폰이나 태블릿 컴퓨터 등과 같은 휴대용 전자 기기의 광범위한 보급과 더불어 스마트 밴드, 스마트 와치, 스마트 글래스 등과 같은 웨어러블 전자 기기의 보급도 점차 확산되고 있다. 이러한 웨어러블 전자 기기는 인간의 신체의 일부분에 착용되어 삶의 질을 향상하기 위해 사용되는 특성을 가지고 있다. 이는 액세서리처럼 전자 기기를 몸에 단순히 착용만 하는 것이 아니라, 웨어러블 전자 기기 착용자와 가장 가까운 위치에서 소통할 수 있는 전자 기기이다. 웨어러블 전자 기기의 장점은 주변 환경의 상세한 정보나 착용자의 신체 변화를 실시간으로 끊이지 않고 지속적으로 수집할 수 있다는 것이다.
특히, 스마트 글래스는 경우 시선 상에 있는 주변 정보의 기록 또는 확인이 가능하다. 스마트 글래스는 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 증강현실의 기술을 제공할 수 있다.
한편, 청각은 주변의 소리를 인지하는 능력으로 의사소통의 가장 기본적인 요구사항인 동시에 주위의 위험을 빠르게 감지할 수 있는 중요한 감각이다. 따라서 위 청각 기능에 장애가 있는 사람들은 위와 같은 기본 사회생활 욕구 충족이 어려울 뿐 아니라, 주변의 위험 상황에 빠르게 대응이 어려워 집 밖으로 나오는 것을 꺼려하게 된다. 또한, 최근 노령인구가 증가함에 따라 원래 정상 청력을 가지고 있었지만 나이가 듦에 따라 청력 감퇴 현상을 겪는 사람들의 비율이 지속적으로 증가하고 있다.
이에 따라 청각 이상으로 인해 주변의 소리 및 음성을 정상적으로 인지할 수 없는 사람들에게 시각으로 변환된 청각 정보를 증강 현실 표시 장치를 이용해 전달하는 기술이 요구된다.
한국공개특허 10-2015-0061909호는 이러한 청각 장애인용 스마트 글라스에 관한 것으로, 스마트 글라스 착용자의 수화를 카메라로 촬영하여 이를 소리 신호로 변환하여 발생시키는 장치에 관한 기술을 기재하고 있다.
한국공개특허 10-2015-0061909호
실시예들은 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치에 관하여 기술하며, 보다 구체적으로 증강 현실 기기를 이용한 주변 청각 정보를 시각 정보로 변환하여 전달하는 기술을 제공한다.
실시예들은 청각 정보를 시각 정보로 변환 시 스테레오 마이크 또는 얼굴 인식/음성 인식을 이용하여 음원의 위치를 파악함으로써, 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 향상시킬 수 있는, 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법은, 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 단계; 상기 청각 정보를 시각 정보로 변환하는 단계; 및 상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계를 포함하고, 청각 이상을 가진 사용자 또는 상기 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 할 수 있다.
상기 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 단계는, 상기 증강 현실 표시 장치에 스테레오 마이크가 장착되어, 각 마이크에 도달하는 상기 청각 정보의 시간 차이를 이용하여 상기 음원의 방향을 파악할 수 있다.
상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계는, 상기 음원 주변의 화자 또는 상기 음원의 주변에 상기 시각 정보로 변환된 청각 정보를 표시할 수 있다.
상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계는, 상기 음원 주변의 화자의 위치에 말풍선 또는 효과음 자막 형태로 상기 시각 정보로 변환된 청각 정보를 표시할 수 있다.
상기 증강 현실 표시 장치에 표시되는 상기 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식하는 단계를 더 포함할 수 있다.
상기 카메라를 이용하여 화자의 얼굴을 인식하는 단계는, 각 화자의 음성 및 얼굴을 사전에 등록하여 상기 마이크를 통해 전달 받은 각 화자의 음성과 얼굴을 매칭하여 상기 음원의 방향을 파악할 수 있다.
주변의 상기 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 단계를 더 포함할 수 있다.
상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 단계는, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시, 미리 설정된 문자, 기호 및 색상 중 적어도 어느 하나 이상을 통해 종류 및 방향을 상기 증강 현실 표시 장치에 표시할 수 있다.
다른 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치는, 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 청각 정보 수집부; 상기 청각 정보를 시각 정보로 변환하는 청각 정보 변환부; 및 상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 시각 정보 표시부를 포함하고, 청각 이상을 가진 사용자 또는 상기 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 할 수 있다.
상기 청각 정보 수집부는, 상기 증강 현실 표시 장치에 스테레오 마이크가 장착되어, 각 마이크에 도달하는 상기 청각 정보의 시간 차이를 이용하여 상기 음원의 방향을 파악할 수 있다.
상기 시각 정보 표시부는, 상기 음원 주변의 화자의 위치에 말풍선 또는 효과음 자막 형태로 상기 시각 정보로 변환된 청각 정보를 표시할 수 있다.
상기 증강 현실 표시 장치에 표시되는 상기 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식하는 얼굴 인식부를 더 포함할 수 있다.
상기 얼굴 인식부는, 각 화자의 음성 및 얼굴을 사전에 등록하여 상기 마이크를 통해 전달 받은 각 화자의 음성과 얼굴을 매칭하여 상기 음원의 방향을 파악할 수 있다.
주변의 상기 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 알림부를 더 포함할 수 있다.
상기 알림부는, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시, 미리 설정된 문자, 기호 및 색상 중 적어도 어느 하나 이상을 통해 종류 및 방향을 상기 증강 현실 표시 장치에 표시할 수 있다.
실시예들에 따르면 청각 정보를 시각 정보로 변환 시 스테레오 마이크 또는 얼굴 인식/음성 인식을 이용하여 음원의 위치를 파악함으로써, 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 향상시킬 수 있는, 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 마이크를 이용한 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 스테레오 마이크를 이용하여 제1 청각 정보를 획득하는 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 2b는 일 실시예에 따른 스테레오 마이크를 이용하여 제2 청각 정보를 획득하는 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 스테레오 마이크 및 얼굴 인식 카메라를 이용한 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 5는 일 실시예에 따른 청각 정보의 시각 변환 장치를 나타내는 블록도이다.
도 6은 일 실시예에 따른 청각 정보의 시각 변환 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 증강 현실 기기를 이용하여 주변 청각 정보를 시각 정보로 변환하여 전달하는 기술을 제공할 수 있다.
실시예들은 청각 이상으로 인해 주변의 소리 및 음성을 정상적으로 인지할 수 없는 사용자들에게 시각으로 변환된 청각 정보를 증강 현실 표시 장치를 이용하여 전달할 수 있다. 또한, 청각 이상으로 인해 주변의 소리 및 음성을 정상적으로 인지할 수 없는 사람들뿐만 아니라, 증강 현실 표시 장치를 이용하여 시각으로 변환된 청각 정보를 전달 받고자 하는 사용자들에게 제공될 수 있다.
도 1은 일 실시예에 따른 마이크를 이용한 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 마이크(110)를 통해 수집된 청각 정보(103)를 시각 정보(105)로 변환하여 전달하는 방법을 나타낸다. 증강 현실 표시 장치(100)는 주변 물체에 추가 표시 정보를 덧입혀 전달하는 기술로, 이를 이용하면 청각 정보(103)를 시각 정보(105)로 변환하여 전달할 수 있다. 여기서, 증강 현실 표시 장치(100)를 이용한 청각 정보의 시각 변환 및 전달 장치를 이용하여 사용자(101)에게 주변의 청각 정보(103)를 시각 정보(105)로 변환하여 전달할 수 있다. 증강 현실 표시 장치(100)를 이용한 청각 정보의 시각 변환 및 전달 장치는 증강 현실 표시 장치(100)를 포함하거나 증강 현실 표시 장치(100)에 포함될 수 있다. 아래에서는 증강 현실 표시 장치(100)를 이용한 청각 정보의 시각 변환 및 전달 장치를 간단히 청각 정보의 시각 변환 장치라 언급하기로 한다.
사용자(101)는 증강 현실 표시 장치(100)를 이용한 청각 정보의 시각 변환 장치를 통해 주변의 청각 정보(103)를 전달 받을 수 있으며, 이 때 청각 정보의 시각 변환 장치는 주변의 청각 정보(103)를 시각적으로 변환하여 사용자(101)에게 시각 정보(105)로 전달할 수 있다.
여기서, 사용자(101)는 증강 현실 표시 장치(100)를 사용하는 사람을 의미할 수 있다. 예를 들어 사용자(101)는 스마트 글래스 형태의 증강 현실 표시 장치(100)를 착용함으로써, 청각 정보(103)를 시각 정보(105)로 변환하여 전달 받을 수 있다.
일 실시예에 따른 증강 현실 표시 장치(100)는 스마트 글라스 형태로 구성될 수 있으며, 주변의 청각 정보(103)의 수집을 위한 마이크(110)를 포함할 수 있다.
예를 들어, 스마트 글라스는 좌, 우안 가시부와, 좌, 우안 가시부가 결합되는 프레임부와, 프레임부의 양단에 결합되는 글라스 다리부와, 프레임부에 설치되는 디스플레이부와, 스마트 글라스의 각종 구성들을 제어하는 제어부와, 외부의 장치와 통신을 수행하기 위한 통신부)와, 데이터 저장을 위한 메모리부와, 소리 신호 입력을 위한 마이크(110)와, 전원 공급을 위한 전원공급부와, 전원공급부를 온/오프시키기 위한 스위치부와, 영상의 촬영을 위한 카메라(130)를 포함할 수 있다.
스마트 글라스는 통신부를 통해 스마트폰과 연동되어 데이터를 수신하거나, 와이파이 통신망을 통해 직접 네트워크에 연결되어 데이터를 수신할 수 있도록 구성된다. 통신부는 신호 전송 방식에 따라 예를 들어, 알에프 통신신호 또는 블루투스(BT) 통신신호 등을 수신하고 이를 전기적 신호로 변환시켜 제어부로 전달하거나 외부의 통신서버와 3G/4G/5G 등의 통신망 또는 와이파이 통신망을 통해 통신하여 데이터를 수신하도록 구성된다. 그리하여, 스마트폰 또는 통신망을 통해 전달받은 데이터에 기초한 영상을 스마트 글라스의 좌, 우안 가시부를 통해 표시하도록 구성된다.
여기서, 좌, 우안 가시부는 바람직하게는 반투명 유리 또는 합성수지재로 구성되어, 외부의 광을 어느 정도 투과하면서도 디스플레이부에 의해 조사되는 영상이 맺히도록 구성된다. 프레임부의 일측에는 전원공급부를 온/오프 시키기 위한 스위치부가 설치되어, 스마트 글라스를 이용하고자 할 경우에는 스위치부를 온시켜 전원이 공급되도록 하고, 스마트 글라스를 이용하지 않을 경우에는 스위치부를 오프시켜 전원공급이 중단되도록 구성된다.
제어부는 통신부 및 디스플레이부를 제어하기 위한 제어신호를 생성한다. 제어부는 회로기판 또는 IC 칩의 형태로 구성되어, 스마트 글라스의 프레임부 또는 글라스 다리부 내에 배치된다. 메모리부는 각종 데이터를 저장하기 위한 구성으로서, 램(RAM) 또는 롬(ROM) 등의 메모리 소자로 구성되어, 글라스 다리부 또는 프레임부에 배치될 수 있다. 스위치부는 프레임부 또는 글라스 다리부의 측부에 배치될 수 있지만 이에 한정되지는 않으며, 사용자(101)의 조작이 용이한 다양한 위치에 배치될 수 있음은 물론이다. 프레임부의 일측에는 좌, 우안 가시부에 영상을 디스플레이하기 위한 디스플레이부가 설치된다. 디스플레이부는 초소형 마이크(110)로 액정과 광원을 포함하여 구성되며, 마이크(110)로 액정을 통해 표현되는 영상을 좌, 우안 가시부로 조사하여 디스플레이함으로써, 안경 착용자의 시야에 가시되도록 한다. 디스플레이부를 통해 좌, 우안 가시부에 영상을 디스플레이하면서, 좌, 우안 가시부를 통해 외부를 볼 경우, 좌, 우안 가시부에 표시되는 영상을 보면서 동시에 실제 외부 환경을 볼 수 있다.
전원공급부는 스마트 글라스의 각종 구성들에 전력을 공급하기 위한 구성으로서, 리튬 이온 배터리, 리튬 폴리머 배터리 등의 이차전지로 구성될 수 있다. 또한, 소리 신호를 입력받기 위한 마이크(110)가 프레임부 또는 글라스 다리부에 배치되어, 대화 시 상대방의 음성을 입력 받을 수 있도록 구성된다. 또한, 메모리부 내에는 사람의 음성을 문자로 변환하기 위한 음성 인식 프로그램이 저장되어, 마이크(110)를 통해 입력되는 사람의 음성 신호를 문자로 변환할 수 있도록 구성된다. 그리하여, 스마트 글라스 착용자가 상대방과 대화할 경우, 마이크(110)를 통해 상대방의 음성을 입력 받고, 이를 음성 인식 프로그램을 통해 문자로 변환하여 디스플레이부를 통해 좌, 우안 가시부에 디스플레이 하도록 구성된다.
아래에서는 사용자(101) 주변의 화자(102)로부터 획득되는 청각 정보(예컨대, 음성 정보)(103)를 시각 정보(105)로 변환하여 전달 받는 것을 예를 들어 설명한다.
사용자(101)는 증강 현실 표시 장치(100)의 마이크(110)를 통해 주변에 있는 화자(102)의 음성 정보(103)를 청각 정보(103)로써 전달 받을 수 있다. 여기서, 증강 현실 표시 장치(100)는 디스플레이를 통해 화자(102)의 음성 정보(103)를 문자, 기호, 색상 등을 통해 시각 정보(105)로 변환하여 표시할 수 있다.
특히, 시각 정보(105)로 변환된 청각 정보(103)를 주변에서 익숙하게 볼 수 있는 ‘만화’에서 사용되는 말풍선 또는 효과음 자막과 같은 형태로 표시하여 청각 이상을 갖고 있는 사용자(101)도 어려움 없이 정보를 얻을 수 있도록 할 수 있다. 특히, 시각 정보(105)로 변환된 청각 정보(103)를 화자(102)의 주변에 표시함으로써 사용자(101)가 청각 정보(103)의 위치 및 화자(102)를 쉽게 파악할 수 있도록 할 수 있다.
이와 같이 주변 청각 정보(103)를 수집하는 마이크(110)와 수집된 청각 정보(103)를 시각 정보(105)로 변환하여 이를 사용자(101)에게 증가 현실 영상의 형태로 전달하는 증강 현실 표시 장치(100)로 구성되어, 청각 이상을 갖고 있는 사용자(101)가 시각화된 청각 정보(103)를 인지할 수 있도록 할 수 있다.
이 경우, 주변에 여러 청각 정보(103)가 혼재하는 경우 청각 정보(103) 근원지의 방향을 알 수 없어 표시 영상과 실제 화자(102)와의 정합 정확도가 떨어지는 문제점이 발생할 수 있다.
이를 개선하기 위해 아래와 같이 스테레오 마이크(120)를 장착한 증강 현실 표시 장치(100)를 이용할 수 있다.
도 2a는 일 실시예에 따른 스테레오 마이크를 이용하여 제1 청각 정보를 획득하는 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다. 그리고 도 2b는 일 실시예에 따른 스테레오 마이크를 이용하여 제2 청각 정보를 획득하는 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 2a를 참조하면, 일 실시예에 따른 스테레오 마이크(120)를 이용하여 제1 청각 정보(103)를 획득하고 음원의 방향을 파악함으로써, 음원의 방향에 있는 제1 화자(102)의 위치에 청각 정보(103)를 시각 정보(105)로 변환하여 표시할 수 있다.
도 2b를 참조하면, 일 실시예에 따른 스테레오 마이크(120)를 이용하여 제2 청각 정보(103)를 획득하고 음원의 방향을 파악함으로써, 음원의 방향에 있는 제2 화자(104)의 위치에 청각 정보(103)를 시각 정보(106)로 변환하여 표시할 수 있다.
이 때, 증강 현실 표시 장치(100)에 스테레오 마이크(120)가 장착되어, 각 마이크에 도달하는 음성 정보(103)의 시간 차이를 이용하여 음원의 방향을 파악할 수 있다. 이를 이용하여 음원 주변의 주변인(화자)(102, 104)의 위치에 시각화된 청각 정보(103)를 표시함으로써 표시 영상과 화자(102, 104)와의 정합 정확도를 향상시킬 수 있다.
더욱이, 표시 영상과 화자(102, 104)와의 정합 정확도를 더욱 향상시키기 위하여, 카메라(130)와 얼굴 인식 기능을 추가할 수 있다.
도 3은 일 실시예에 따른 스테레오 마이크 및 얼굴 인식 카메라를 이용한 청각 정보의 시각 정보 변환 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 스테레오 마이크(120) 및 얼굴 인식 카메라(130)를 이용하여 음원의 방향을 보다 정확히 파악할 수 있다.
이 경우, 각 화자(102, 104)의 음성과 얼굴을 사전에 등록해 놓으면 스테레오 마이크(120)로부터 추정한 화자(102, 104)의 위치뿐만 아니라, 각 화자(102, 104)의 음성과 얼굴을 매칭하여 보다 정확하게 음원 위치를 특정하고, 이에 맞추어 청각 정보(103)를 시각 정보(105, 106)로 변환하여 정확하게 표시할 수 있다.
또한, 실시예들은 주변인의 음성 외에도 주변의 청각 정보(103) 중 사용자(101)에게 알림 및 경고가 필요한 소리(특정 단어(이름 포함), 자동차 경적, 특정 크기 이상의 소음 등)의 데이터들을 미리 등록해두고 해당 소리 발생 시 시각으로 경고하는 것이 가능하다.
자동차 경적 소리가 들리면 특정 표시를 통해 소리 종류 및 방향을 알려줄 수 있다. 예를 들어, 뒤쪽에서 자동차 경적 소리가 들리는 경우 화살표를 통해 자동차 경적 소리가 나는 방향을 알려줄 수 있고, 문자, 기호, 색상 등을 통해 소리의 종류를 알려줄 수 있다.
도 4는 일 실시예에 따른 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
예를 들어, 본 발명의 실시예들에 따른 청각 정보의 시각 변환 장치가 도 4의 컴퓨터 시스템(400)을 통해 구현될 수 있다. 도 4에 도시한 바와 같이, 컴퓨터 시스템(400)은 청각 정보의 시각 변환 방법을 실행하기 위한 구성요소로서 프로세서(410), 메모리(420), 영구 저장 장치(430), 버스(440), 입출력 인터페이스(450) 및 네트워크 인터페이스(460)를 포함할 수 있다.
프로세서(410)는 명령어들의 임의의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 프로세서(410)는 예를 들어 컴퓨터 프로세서, 이동 장치 또는 다른 전자 장치 내의 프로세서 및/또는 디지털 프로세서를 포함할 수 있다. 프로세서(410)는 예를 들어, 서버 컴퓨팅 디바이스, 서버 컴퓨터, 일련의 서버 컴퓨터들, 서버 팜, 클라우드 컴퓨터, 컨텐츠 플랫폼, 이동 컴퓨팅 장치, 스마트폰, 태블릿, 셋톱 박스, 미디어 플레이어 등에 포함될 수 있다. 프로세서(410)는 버스(440)를 통해 메모리(420)에 접속될 수 있다.
메모리(420)는 컴퓨터 시스템(400)에 의해 사용되거나 그에 의해 출력되는 정보를 저장하기 위한 휘발성 메모리, 영구, 가상 또는 기타 메모리를 포함할 수 있다. 메모리(420)는 예를 들어 랜덤 액세스 메모리(RAM: random access memory) 및/또는 동적 RAM(DRAM: dynamic RAM)을 포함할 수 있다. 메모리(420)는 컴퓨터 시스템(400)의 상태 정보와 같은 임의의 정보를 저장하는 데 사용될 수 있다. 메모리(420)는 예를 들어 청각 정보의 시각 변환을 위한 명령어들을 포함하는 컴퓨터 시스템(400)의 명령어들을 저장하는 데에도 사용될 수 있다. 컴퓨터 시스템(400)은 필요에 따라 또는 적절한 경우에 하나 이상의 프로세서(410)를 포함할 수 있다.
버스(440)는 컴퓨터 시스템(400)의 다양한 컴포넌트들 사이의 상호작용을 가능하게 하는 통신 기반 구조를 포함할 수 있다. 버스(440)는 예를 들어 컴퓨터 시스템(400)의 컴포넌트들 사이에, 예를 들어 프로세서(410)와 메모리(420) 사이에 데이터를 운반할 수 있다. 버스(440)는 컴퓨터 시스템(400)의 컴포넌트들 간의 무선 및/또는 유선 통신 매체를 포함할 수 있으며, 병렬, 직렬 또는 다른 토폴로지 배열들을 포함할 수 있다.
영구 저장 장치(430)는(예를 들어, 메모리(420)에 비해) 소정의 연장된 기간 동안 데이터를 저장하기 위해 컴퓨터 시스템(400)에 의해 사용되는 바와 같은 메모리 또는 다른 영구 저장 장치와 같은 컴포넌트들을 포함할 수 있다. 영구 저장 장치(430)는 컴퓨터 시스템(400) 내의 프로세서(410)에 의해 사용되는 바와 같은 비휘발성 메인 메모리를 포함할 수 있다. 영구 저장 장치(430)는 예를 들어 플래시 메모리, 하드 디스크, 광 디스크 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다.
입출력 인터페이스(450)는 키보드, 마우스, 음성 명령 입력, 디스플레이, 증강 현실 표시 장치 또는 다른 입력 또는 출력 장치에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 청각 정보의 시각 변환을 위한 데이터와 정보가 입출력 인터페이스(450)를 통해 수신될 수 있다.
네트워크 인터페이스(460)는 근거리 네트워크 또는 인터넷과 같은 네트워크들에 대한 하나 이상의 인터페이스를 포함할 수 있다. 네트워크 인터페이스(460)는 유선 또는 무선 접속들에 대한 인터페이스들을 포함할 수 있다. 구성 명령들 및/또는 청각 정보의 시각 변환을 위한 데이터와 정보는 네트워크 인터페이스(460)를 통해 수신될 수 있다.
또한, 다른 실시예들에서 컴퓨터 시스템(400)은 도 4의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(400)은 상술한 입출력 인터페이스(450)와 연결되는 입출력 장치들 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 컴퓨터 시스템(400)이 스마트폰과 같은 모바일 기기의 형태로 구현되는 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 컴퓨터 시스템(400)에 더 포함되도록 구현될 수 있다.
도 5는 일 실시예에 따른 청각 정보의 시각 변환 장치를 나타내는 블록도이다. 그리고 도 6은 일 실시예에 따른 청각 정보의 시각 변환 방법을 나타내는 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치는 컴퓨터 시스템의 프로세서(410)가 포함할 수 있는 구성요소의 예를 나타내며, 프로세서(410)는 청각 정보 수집부(510), 얼굴 인식부(520), 청각 정보 변환부(530), 시각 정보 표시부(540), 및 알림부를 포함할 수 있다. 이러한 프로세서(410)의 구성요소들은 적어도 하나의 프로그램 코드에 의해 제공되는 제어 명령에 따라 프로세서(410)에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 프로세서(410)가 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 청각 정보에 대한 음원의 방향을 파악하도록 컴퓨터 시스템(400)을 제어하기 위해 동작하는 기능적 표현으로서 청각 정보 수집부(510)가 사용될 수 있다. 프로세서(410) 및 프로세서(410)의 구성요소들은 도 6의 청각 정보의 시각 변환 방법이 포함하는 단계들(S110 내지 S140)을 수행할 수 있다. 예를 들어, 프로세서(410) 및 프로세서(410)의 구성요소들은 메모리(420)가 포함하는 운영체제의 코드와 상술한 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서 적어도 하나의 프로그램 코드는 상기 청각 정보의 시각 변환 방법을 처리하기 위해 구현된 프로그램의 코드에 대응될 수 있다.
청각 정보의 시각 변환 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다.
도 6을 참조하면, 일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법은 컴퓨터 시스템이 수행할 수 있는 청각 정보의 시각 변환 방법의 예를 도시한 흐름도이다.
일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법은, 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 청각 정보에 대한 음원의 방향을 파악하는 단계(S110), 청각 정보를 시각 정보로 변환하는 단계(S130), 및 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계(S140)를 포함하여 이루어질 수 있다.
또한, 증강 현실 표시 장치에 표시되는 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식하는 단계(S120)를 더 포함할 수 있다.
또한, 주변의 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 단계를 더 포함할 수 있다.
이에 따라 청각 이상을 가진 사용자 또는 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 할 수 있다.
일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법은 일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치를 예를 들어 보다 상세히 설명할 수 있다. 일 실시예에 따른 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치는 청각 정보 수집부(510), 얼굴 인식부(520), 청각 정보 변환부(530) 및 시각 정보 표시부(540)를 포함할 수 있다. 실시예에 따라 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치는 알림부를 더 포함할 수 있다.
단계(S110)에서, 청각 정보 수집부(510)는 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 청각 정보에 대한 음원의 방향을 파악할 수 있다.
특히, 청각 정보 수집부(510)는 증강 현실 표시 장치에 스테레오 마이크가 장착되어, 각 마이크에 도달하는 청각 정보의 시간 차이를 이용하여 음원의 방향을 파악할 수 있다.
단계(S120)에서, 얼굴 인식부(520)는 증강 현실 표시 장치에 표시되는 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식할 수 있다. 얼굴 인식부(520)는 각 화자의 음성 및 얼굴을 사전에 등록하여 마이크를 통해 전달 받은 각 화자의 음성과 얼굴을 매칭하여 음원의 방향을 파악할 수 있다.
단계(S130)에서, 청각 정보 변환부(530)는 청각 정보를 시각 정보로 변환할 수 있다.
단계(S140)에서, 시각 정보 표시부(540)는 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시할 수 있다.
시각 정보 표시부(540)는 음원 주변의 화자 또는 음원의 주변에 시각 정보로 변환된 청각 정보를 표시할 수 있다. 예를 들어, 시각 정보 표시부(540)는 음원 주변의 화자의 위치에 말풍선 또는 효과음 자막 형태로 시각 정보로 변환된 청각 정보를 표시할 수 있다.
더욱이, 알림부는 주변의 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고할 수 있다.
알림부는 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시, 미리 설정된 문자, 기호 및 색상 중 적어도 어느 하나 이상을 통해 종류 및 방향을 증강 현실 표시 장치에 표시할 수 있다.
실시예들에 따르면 청각 정보를 시각 정보로 변환 시 스테레오 마이크 또는 얼굴 인식/음성 인식을 이용하여 음원의 위치를 파악함으로써, 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 방법에 있어서,
    증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 단계;
    상기 청각 정보를 시각 정보로 변환하는 단계;
    상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계; 및
    주변의 상기 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 단계
    를 포함하고,
    상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 단계는,
    상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시, 미리 설정된 문자, 기호 및 색상 중 적어도 어느 하나 이상을 통해 종류 및 방향을 상기 증강 현실 표시 장치에 표시하며,
    청각 이상을 가진 사용자 또는 상기 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 방법.
  2. 제1항에 있어서,
    상기 증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 단계는,
    상기 증강 현실 표시 장치에 스테레오 마이크가 장착되어, 각 마이크에 도달하는 상기 청각 정보의 시간 차이를 이용하여 상기 음원의 방향을 파악하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 방법.
  3. 제1항에 있어서,
    상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계는,
    상기 음원 주변의 화자 또는 상기 음원의 주변에 상기 시각 정보로 변환된 청각 정보를 표시하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 방법.
  4. 제1항에 있어서,
    상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 단계는,
    상기 음원 주변의 화자의 위치에 말풍선 또는 효과음 자막 형태로 상기 시각 정보로 변환된 청각 정보를 표시하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 방법.
  5. 제1항에 있어서,
    상기 증강 현실 표시 장치에 표시되는 상기 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식하는 단계
    를 더 포함하는, 청각 정보의 시각 변환 방법.
  6. 제5항에 있어서,
    상기 카메라를 이용하여 화자의 얼굴을 인식하는 단계는,
    각 화자의 음성 및 얼굴을 사전에 등록하여 상기 마이크를 통해 전달 받은 각 화자의 음성과 얼굴을 매칭하여 상기 음원의 방향을 파악하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 방법.
  7. 삭제
  8. 삭제
  9. 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 장치에 있어서,
    증강 현실 표시 장치의 마이크를 통해 주변의 청각 정보를 전달 받고 상기 청각 정보에 대한 음원의 방향을 파악하는 청각 정보 수집부;
    상기 청각 정보를 시각 정보로 변환하는 청각 정보 변환부;
    상기 시각 정보로 변환된 청각 정보를 증강 현실 영상의 형태로 증강 현실 표시 장치에 표시하는 시각 정보 표시부; 및
    주변의 상기 청각 정보 중 사용자에게 알림 또는 경고가 필요한 청각 정보의 데이터들을 사전에 등록하여, 상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시 시각 정보로 알림 또는 경고하는 알림부
    를 포함하고,
    상기 알림부는,
    상기 사용자에게 알림 또는 경고가 필요한 청각 정보의 발생 시, 미리 설정된 문자, 기호 및 색상 중 적어도 어느 하나 이상을 통해 종류 및 방향을 상기 증강 현실 표시 장치에 표시하며,
    청각 이상을 가진 사용자 또는 상기 시각 정보로 변환된 청각 정보를 필요로 하는 사용자들이 청각 정보를 시각 정보로 변환하여 인지하도록 하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 장치.
  10. 제9항에 있어서,
    상기 청각 정보 수집부는,
    상기 증강 현실 표시 장치에 스테레오 마이크가 장착되어, 각 마이크에 도달하는 상기 청각 정보의 시간 차이를 이용하여 상기 음원의 방향을 파악하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 장치.
  11. 제9항에 있어서,
    상기 시각 정보 표시부는,
    상기 음원 주변의 화자의 위치에 말풍선 또는 효과음 자막 형태로 상기 시각 정보로 변환된 청각 정보를 표시하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 장치.
  12. 제9항에 있어서,
    상기 증강 현실 표시 장치에 표시되는 상기 시각 정보로 변환된 청각 정보와 화자와의 정합 정확도를 높이도록 카메라를 이용하여 화자의 얼굴을 인식하는 얼굴 인식부
    를 더 포함하는, 청각 정보의 시각 변환 장치.
  13. 제12항에 있어서,
    상기 얼굴 인식부는,
    각 화자의 음성 및 얼굴을 사전에 등록하여 상기 마이크를 통해 전달 받은 각 화자의 음성과 얼굴을 매칭하여 상기 음원의 방향을 파악하는 것
    을 특징으로 하는, 청각 정보의 시각 변환 장치.
  14. 삭제
  15. 삭제
KR1020190167779A 2019-12-16 2019-12-16 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치 KR102334319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190167779A KR102334319B1 (ko) 2019-12-16 2019-12-16 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190167779A KR102334319B1 (ko) 2019-12-16 2019-12-16 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210076495A KR20210076495A (ko) 2021-06-24
KR102334319B1 true KR102334319B1 (ko) 2021-12-02

Family

ID=76607117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190167779A KR102334319B1 (ko) 2019-12-16 2019-12-16 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102334319B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322516B1 (ko) * 1999-02-19 2002-02-07 권윤중 청각장애자용 음향인식 자막시스템
US9542958B2 (en) * 2012-12-18 2017-01-10 Seiko Epson Corporation Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
KR101518115B1 (ko) * 2013-05-02 2015-05-06 안태영 청각 장애인용 안경
KR20150061909A (ko) 2013-11-28 2015-06-05 주식회사 이랜텍 청각 장애인용 스마트 안경

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-1999-0045928호(1999.6.25. 공개) 1부.*
공개특허공보 제10-2014-0130893호(2014.11.12. 공개) 1부.*
미국 특허출원공개공보 US2014/0172432호(2014.6.19.) 1부.*

Also Published As

Publication number Publication date
KR20210076495A (ko) 2021-06-24

Similar Documents

Publication Publication Date Title
US11288807B2 (en) Method, electronic device and storage medium for segmenting image
JP6522527B2 (ja) 画像及びオーディオデータに基づいた危険の検出及び警告用のウェアラブルスマート装置
KR101668165B1 (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
US11887261B2 (en) Simulation object identity recognition method, related apparatus, and system
KR101692433B1 (ko) 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
CN111739517B (zh) 语音识别方法、装置、计算机设备及介质
US20230230334A1 (en) Electronic device and method for displaying notification about external object
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
JP7048784B2 (ja) 表示制御システム、表示制御方法及びプログラム
CN113160427A (zh) 虚拟场景的创建方法、装置、设备及存储介质
CN112506336A (zh) 具有触觉输出的头戴式显示器
US11798234B2 (en) Interaction method in virtual reality scenario and apparatus
US10636167B2 (en) Method and device for determining distance
KR102511720B1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
KR102334319B1 (ko) 증강 현실 표시 장치를 이용한 청각 정보의 시각 변환 및 전달 방법 및 장치
KR102334091B1 (ko) 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
CN114118408A (zh) 图像处理模型的训练方法、图像处理方法、装置及设备
CN114764480A (zh) 群组类型识别方法、装置、计算机设备及介质
CN113034822A (zh) 提示用户的方法、装置、电子设备及介质
CN111367492A (zh) 网页页面展示方法及装置、存储介质
KR20200094436A (ko) 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법
CN113407926B (zh) 设备匹配方法、装置、设备及计算机可读存储介质
WO2021112161A1 (ja) 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体
CN116392127B (zh) 注意力检测方法及相关电子设备
KR20180087643A (ko) 전자 장치 및 전자 장치 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant