KR20150092811A - 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 - Google Patents

영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 Download PDF

Info

Publication number
KR20150092811A
KR20150092811A KR1020140013210A KR20140013210A KR20150092811A KR 20150092811 A KR20150092811 A KR 20150092811A KR 1020140013210 A KR1020140013210 A KR 1020140013210A KR 20140013210 A KR20140013210 A KR 20140013210A KR 20150092811 A KR20150092811 A KR 20150092811A
Authority
KR
South Korea
Prior art keywords
information
image
sound
unit
acoustic
Prior art date
Application number
KR1020140013210A
Other languages
English (en)
Inventor
정목근
이승우
Original Assignee
주식회사 바이오사운드랩
대진대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바이오사운드랩, 대진대학교 산학협력단 filed Critical 주식회사 바이오사운드랩
Priority to KR1020140013210A priority Critical patent/KR20150092811A/ko
Publication of KR20150092811A publication Critical patent/KR20150092811A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이고, 구체적으로 카메라를 통하여 얻어진 영상을 음향으로 변환하여 스피커와 같은 장치를 통하여 출력 가능하도록 하는 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이다. 영상의 음향 변환 장치는 외부 영상의 획득을 위한 영상 획득 모듈; 영상 획득 모듈로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛; 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛; 및 상기 분석 유닛에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛을 포함한다.

Description

영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법{Apparatus for Converting Video Signal to Sound Method for Converting Video Signal into Voice Signal for the Visually Impaired}
본 발명은 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이고, 구체적으로 카메라를 통하여 얻어진 영상을 음향으로 변환하여 스피커와 같은 장치를 통하여 출력 가능하도록 하는 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법에 관한 것이다.
시각 장애인을 위한 다양한 보조기기가 개발되어 있고 예를 들어 접촉 센서(Skin Sensor), 지팡이, 영상을 진동으로 변환하는 장치 또는 영상을 점자로 표시하는 장치와 같은 것이 있다.
시각 장애인의 보행 안내와 관련된 선행기술로 특허공개번호 제2011-0004064호 ‘시각장애인 보행 안내 방법 및 그 시스템’이 있다. 상기 선행기술은 실외의 환경에서 카메라를 통해 얻은 단일 영상의 에지 영상을 기초로 소실점과 길의 외곽선 정보를 추출하여 추출된 정보를 기초로 결정된 보행자의 위치 및 보행자가 보는 길의 방향을 음성 정보로 출력하는 것에 의하여 시각 장애인이 안전한 보행을 할 수 있도록 한 시각 장애인의 보행 안내 방법 및 그 시스템에 관한 것이다. 상기 선행기술은 카메라로부터 영상을 취득하는 단계; 상기 취득된 영상 내에서 검출된 에지 정보를 이용하여 소실점 및 길의 외곽선 정보를 추출하는 단계; 상기 길의 외곽선 정보를 기초로 보행자의 위치를 결정하고, 상기 소실점을 기준으로 보행자가 보는 길의 방향을 결정하는 단계; 및 상기 결정된 보행자의 위치 및 상기 길의 방향을 미리 결정된 보행 안내 정보에 각각 적용시켜 변환된 음성 정보를 상기 음성 출력부에 제공하는 단계를 포함하는 시각 장애인 보행 안내 방법에 대하여 개시한다.
시각 장애인용 안내 시스템과 관련된 다른 선행기술로 특허공개번호 제2011-0101558호 ‘감성 정보를 포함하는 시각장애인용 안내시스템 및 그를 이용한 안내방법’이 있다. 상기 선행기술은 초음파와 적외선 및 방향 정보 제시 장치를 이용하여 시각 장애인의 이동에 정확한 안내정보를 제공하고, 디지털화된 안내 정보에 아날로그적인 감성정보를 포함시켜 제공하는 것에 의하여 시각장애인에게 보다 다양한 방식으로 안내할 수 있는 감성 정보를 포함하는 시각장애인용 안내 시스템 및 그를 이용한 안내 방법에 대하여 개시한다. 상기 선행기술은 적외선, 초음파 및 무선 통신 중 하나 이상의 통신 수단과 전방의 영상을 촬영하거나 적외선 데이터를 수신하는 영상 촬영 수단을 구비하고, 시각 장애인과 함께 이동 중 영상 촬영 수단으로부터 획득한 영상 정보 또는 적외선, 초음파 및 무선 통신 기호에 기초하여 시각 장애인에게 시각 장애인용 안내 정보를 제공하는 시각 장애인용 안내 장치; 시각 장애인용 안내 장치로부터의 적외선, 초음파 및 무선 통신 신호 중 적어도 하나에 따라, 촉감, 질감, 냉각 또는 온감 중 하나의 이상의 감성 정보 및 소정의 음성 정보를 통해 이동 방향을 제시하는 방향 정보 제시 장치; 및 시각 장애인용 안내 장치로부터의 안내 정보를 방향 정보 제시 장치로 전송하는 통신 장치를 포함하는 시각 장애인용 안내시스템에 대하여 개시한다.
상기 선행기술은 단지 영상 정보를 분석하여 음성 신호로 변환하는 방법에 대하여만 개시한다. 그러나 영상 정보는 다양한 음성 또는 음향과 같은 소리 정보를 포함할 수 있고 시각 정보와 함께 이와 같은 정보도 함께 분석이 되고 음성 정보로 변환될 필요가 있다.
본 발명은 선행기술이 가진 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다.
선행문헌1: 한국특허공개번호 제2011-0004064호(숭실대학교 산학협력단, 2011년 01월13일 공개) 선행문헌2: 한국특허공개번호 제2011-0101558호(한국표준과학연구원, 2011년09월16일 공개)
본 발명의 목적은 카메라와 같은 장치로부터 얻어진 영상 정보를 음향 신호로 변환하여 출력하기 위한 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법을 제공하는 것이다.
본 발명의 적절한 실시 형태에 따르면, 영상의 음향 변환 장치는 외부 영상의 획득을 위한 영상 획득 모듈; 영상 획득 모듈로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛; 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛; 및 상기 분석 유닛에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛을 포함한다.
본 발명의 다른 적절한 실시 형태에 따르면, 영상의 음향 변환 장치의 상기 변환 유닛은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 매개변수에 따른 분석 및 조합은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 좌우 소리의 비율 또는 지연으로 각각 변환한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 음향 변환 장치는 사용자 선택 유닛을 더 포함하고, 상기 사용자 선택 유닛에 의하여 상기 변환 유닛에서 분해 해상도가 결정된다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 음향 변환 장치는 독립적으로 외부 음향 정보 또는 위치 정보를 전달하기 위한 추가 유닛을 더 포함하고, 상기 추가 유닛은 모바일 기기를 포함한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 시각 장애인을 위한 영상 신호의 음향 변환 방법은 특정 사물에 대한 사물 정보를 결정하여 사물 음향을 선택하는 단계; 상기 특정 사물에 대한 상황 정보를 결정하여 상황 음향을 선택하는 단계; 상기 사물 음향 및 상황 음향을 사용자에게 인지시켜 숙련시키는 단계; 상기 특정 사물 및 상황 정보를 포함하는 영상 정보를 획득하는 단계; 상기 획득된 영상 정보를 분할하여 사물 정보 및 상황 정보로 분석하는 단계; 상기 조합된 정보를 상기 인지된 음향 정보로 변환 및 조합하는 단계; 및 상기 변환된 음향 정보를 출력하는 단계를 포함한다.
본 발명에 따른 장치는 영상 신호에 포함된 다양한 정보를 음향 정보로 변환하고 그리고 그에 따른 적응 훈련을 통하여 시각 장애인에게 정확한 안내 정보를 제공하도록 한다는 이점을 가진다. 또한 본 발명에 따른 장치는 스마트 폰과 같이 사용자가 상시 휴대하고 있는 장치와 연계되도록 하는 것에 의하여 장치의 실용성이 향상되도록 한다는 장점을 가진다.
도 1은 본 발명에 따른 변환 장치의 실시 예를 블록 다이어그램으로 나타낸 것이다.
도 2는 본 발명에 따른 변환 장치에서 변환 과정에 대한 실시 예를 도시한 것이다.
도 3은 본 발명에 따른 음향 변환 방법이 진행되는 과정에 대한 실시 예를 도시한 것이다.
아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 상세하게 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다.
본 명세서에서 음향은 음성 또는 음성과 다른 사람이 인지할 수 있는 모든 소리 신호를 포함하는 의미로 사용된다. 다만 특별히 필요한 경우 음성과 음향은 구별되는 의미로 사용될 수 있다.
도 1은 본 발명에 따른 변환 장치의 실시 예를 블록 다이어그램으로 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 영상의 음향 변환 장치(10)는 외부 영상의 획득을 위한 영상 획득 모듈(11); 영상 획득 모듈(11)로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛(13); 상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛(14); 및 상기 분석 유닛(14)에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛(15)을 포함한다.
본 발명에 따른 음향 변환 장치(10)는 예를 들어 시각 장애인에게 시각 정보를 음향 정보로 변환하게 하여 영상 정보를 음향 정보를 통하여 인식되도록 하기 위하여 사용될 수 있다. 예를 들어 특정 사물에 대한 영상 정보를 음향 신호로 변환하고 그리고 그에 대하여 사용자가 인지 및 숙련이 될 수 있다. 또한 특정 사물의 위치 또는 상황에 대한 영상 정보를 음향 신호로 변환하고 그리고 마찬가지로 그에 대하여 사용자가 인지 및 숙련이 될 수 있다. 특정 사물에 대한 정보는 사물에 따라 결정되고 그리고 위치 또는 상황에 대한 정보는 사물의 환경에 의하여 결정될 수 있다. 그러므로 특정 사물에 대한 영상 정보는 특정 사물에 대한 고유한 정보 및 특정 사물에 대한 환경 정보를 포함하고 각각 음향 신호로 변환되어 사용자에게 전달될 수 있다. 이후 영상 정보가 예를 들어 카메라 모듈과 같은 영상 획득 모듈(11)에 의하여 얻어질 수 있고 그리고 각각 미리 결정된 방법에 따라 음향 신호로 변환되어 사용자에게 전달될 수 있다. 그리고 사용자는 전달된 음향 신호에 의하여 영상 정보를 인식하게 된다. 만약 영상이 보행 과정에서 얻어진다면 변환된 음향 정보는 보행 안내 기능을 가지게 된다.
본 발명에 따른 음향 변환 장치(10)가 단지 시각 장애인을 위한 용도로 제한되는 것으로 이해되지 않아야 한다. 본 발명에 따른 음향 변환 장치(10)는 예를 들어 미리 결정된 방법으로 영상을 음향으로 변환되어 출력이 되면서 영상으로 인지될 필요가 있는 임의의 용도로 사용될 수 있다. 예를 들어 출력은 스피커가 될 수 있지만 이에 제한되지 않고 디스플레이 유닛이 될 수 있다.
영상 정보를 음향 정보로 변환하기 위하여 영상 정보가 먼저 얻어질 필요가 있다. 영상 정보의 획득은 예를 들어 카메라 유닛과 같은 영상 획득 모듈(11)에 의하여 얻어질 수 있다. 영상 획득 모듈(11)은 시각 정보와 소리 정보를 모두 포함할 수 있고 소리 정보는 음성 또는 음향을 포함할 수 있다. 영상 획득 모듈(11)은 일반 카메라, 적외선 카메라, 비디오카메라 또는 영상 획득이 가능한 임의의 영상 획득이 가능한 장치를 포함할 수 있다. 그리고 영상 획득 모듈(11)에서 얻어진 영상은 예를 들어 이미지 처리 장치 및 마이크로프로세서를 포함하는 제어 모듈로 전달될 수 있고 그리고 이미지 처리 장치(13)는 먼저 전달된 영상 정보를 영역 별로 분할할 수 있다. 영역 별 분할은 예를 들어 거리에 따라 분할하거나 또는 영상에 포함된 특징에 따라 영상으로부터 특징을 추출하기 위하여 분할하는 것을 말한다. 영상 분할은 시간적 분할과 공간적 분할을 포함할 수 있다. 시간적 분할은 예를 들어 연속적인 영상 신호를 일정 시간 간격으로 분할하는 것을 의미하고 그리고 공간적 분할은 시간 단위로 분할된 각각의 영상을 화면을 기준으로 분할하는 것을 의미한다. 영상 분할은 다양한 방법으로 이루어질 수 있고 미리 결정된 기준에 따라 분할 방법이 결정될 수 있다.
이미지 처리 유닛(13)에 의하여 전달된 영상의 분할되면 분석 유닛(14)에 의하여 각각의 영상이 분석되어 특징이 추출이 될 수 있다. 그리고 분석은 분할된 영역에서 물체의 종류, 이동성, 거리 및 크기와 같은 것을 미리 만들어진 데이터베이스에 기초하여 검색을 하고 그리고 일치되는 데이터를 찾아 특정을 하는 것을 말한다. 이와 동시에 특정된 사물에 대하여 미리 결정된 변환이 되어야 할 음향을 결정하는 것을 포함한다.
분석 과정에서 얻어진 영상 정보에 포함된 소리 신호가 이용될 수 있고 추가로 외부 기기로부터 얻어진 정보가 이용될 수 있다. 추가로 분석 과정에서 부가 유닛(12a)에서 얻어진 정보가 이용될 수 있다. 부가 유닛(12a)은 예를 들어 거리 측정을 위한 초음파 센서, 레이저 센서 또는 음성 또는 음향 수신을 위한 마이크와 같은 것을 포함할 수 있다.
추가로 분석 과정에서 외부 기기(12b)로부터 얻어진 정보가 이용될 수 있다. 외부 기기(12b)는 예를 들어 스마트 폰과 같은 모바일 기기를 포함할 수 있다. 필요에 따라 외부 기기(12b)는 이미지 처리 과정에 이용될 수 있거나 또는 분석 과정에서 이용될 수 있다. 구체적으로 얻어진 정보에 대한 처리 과정이 스마트 폰과 같은 모바일 기기에서 이루어질 수 있다. 또한 스마트 폰에 설치된 마이크를 통하여 유입된 음향 또는 음성이 분석 과정에서 활용될 수 있다. 또한 스마트 폰으로부터 얻어지는 위치 정보가 분석 과정에서 활용될 수 있다.
다양한 부가 유닛(12a) 또는 외부 기기(12b)가 분석 유닛(14)의 분석 과정에서 활용될 수 있고 본 발명은 이와 같은 추가적인 장치의 활용 여부에 의하여 제한되지 않는다.
분석된 영상 정보는 변환 유닛(15)에 의하여 음향 정보로 변환될 수 있고 그리고 서로 다른 특징에 따라 변환된 음향 신호는 최초 영상 정보를 형성하도록 조합될 수 있다. 음향 정보의 변환 및 조합은 사용자의 청력에 기초하여 이루어질 수 있다. 만약 사용자가 특정 주파수 또는 음역에 대하여 장애를 가지는 경우 음향 정보의 변환 및 조합은 이를 고려하여 이루어질 수 있다. 또한 사용자는 특정 주파수 대역에서 구별 능력이 약하다면 분해 해상도가 다른 주파수 대역에 비하여 커질 수 있다. 이와 같은 기능을 위하여 사용자 선택 유닛(17)이 적용될 수 있다. 사용자 선택 유닛(17)에 사용자의 청력 다이어그램(audiogram)이 저장될 수 있고 변환 및 조합 과정에서 청력 다이어그램이 적용될 수 있다. 다른 한편으로 미리 예비적으로 몇 가지 변환 특징에 따른 사용자의 반응이 사용자 선택 유닛(17)을 통하여 시험될 수 있다. 추가로 사용자 선택 유닛(17)은 모바일 기기와 같은 외부 기기(12b)와 연결되거나 외부 기기(12b)가 사용자 선택 유닛(17)의 기능을 할 수 있다. 구체적으로 스마트 폰과 같은 사용자의 외부 기기(12b)를 통하여 사용자의 반응이 입력되거나, 사용자의 청력 다이어그램이 입력되거나 또는 외부 기기(12b)에서 만들어진 사용자 선호 음향이 변환 및 조합 과정에 적용될 수 있다. 이와 같은 방법으로 변환이 되어 조합된 음향 신호는 출력 유닛(16)을 통하여 출력될 수 있다.
출력 유닛(16)은 예를 들어 시각 장애인을 위한 청력 기기 또는 보청기와 같은 것이 될 수 있지만 이에 제한되지 않고 예를 들어 스마트 폰과 같은 외부 기기(12b)가 될 수 있다. 음향 신호는 이 분야에서 공지된 다양한 음향 신호의 출력이 가능한 다양한 출력 유닛(16)이 될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
아래에서 본 발명에 따른 변환 장치의 구체적인 실시 예에 대하여 설명된다.
도 2는 본 발명에 따른 변환 장치에서 변환 과정에 대한 실시 예를 도시한 것이다.
도 2를 참조하면, 적어도 하나의 카메라 유닛(21a, 21b)으로부터 영상 정보가 얻어질 수 있다. 카메라 유닛(21a, 21b)은 예를 들어 비디오카메라와 같은 것이 될 수 있지만 이에 제한되지 않고 영상 정보의 획득이 가능한 임의의 영상 획득 수단이 될 수 있다. 적어도 하나의 카메라 유닛(21a, 21b)으로부터 서로 다른 방향의 영상이 얻어질 수 있고 그리고 얻어진 영상은 분석 유닛(22)에서 분석될 수 있다. 만약 다수 개의 카메라 유닛(21a, 21b)으로부터 영상이 얻어졌다면 영상이 합성되어 하나의 영상으로 만들어질 필요가 있다. 다른 한편으로 영상은 시간적으로 분리될 필요가 있다. 추가로 얻어진 영상은 공간적으로 분할될 필요가 있다. 이와 같은 영상 분석 과정은 예를 들어 스마트 폰과 같은 모바일 기기와 연결되어 이루어질 수 있다. 분석된 영상은 음향 변환 프로세서(23)에서 음향 신호로 변환될 수 있다. 분석 유닛(22)은 독립된 유닛이 되거나 또는 음향 변환 프로세서(23)의 일부가 될 수 있다. 또한 음향 변환 프로세서(23)는 스마트 폰과 같은 모바일 기기에 하드웨어 형태로 또는 소프트웨어 형태로 포함될 수 있다.
음향 변환 프로세서(23)는 예를 들어 특정 물체의 거리를 산출하기 위한 거리 변환 유닛(231), 특정 물체의 칼라 또는 형상을 음향 신호로 변환하기 위한 칼라 및 패턴 변환 유닛(232) 및 특정 물체의 위치를 음향 신호로 변환하기 위한 위치 변환 유닛(233)을 포함할 수 있다. 거리 변환 유닛(231)은 거리를 소리의 크기로 변환하고, 칼라 및 패턴 변환 유닛(232)은 특정 사물, 크기 또는 색상을 특정 주파수로 변환하고 그리고 위치 변환 유닛(233)은 사물의 위치를 소리의 크기 비 및 지연으로 변환할 수 있다. 그리고 이와 같이 특정 사물에 대한 영상 정보는 음향 변환 프로세서(23)에 의하여 종류, 거리 및 위치가 음향 신호로 변환될 수 있다. 이후 변환된 음향 신호는 출력 제어 유닛(24)에 의하여 출력 형태가 결정될 수 있다. 출력 제어 유닛(24)은 예를 들어 다양한 사물에 대하여 변환된 음향 정보를 조합하여 출력 방법을 결정하거나 또는 좌우 스피커(25a, 25b)를 통하여 출력되는 소리의 크기 또는 지연 시간을 결정할 수 있다. 그리고 출력 제어 유닛(24)은 사용자 선택 유닛(26)에 의하여 서로 다른 거리, 사물 종류 또는 위치 사이의 구별 기준이 되는 분해 해상도가 결정될 수 있다. 또한 사용자 선택 유닛(26)에 의하여 출력 시간 또는 볼륨과 같은 것이 결정될 수 있다. 이와 같은 방법으로 출력 제어 유닛(24)에 의하여 출력 형태가 결정되면 예를 들어 좌우 양쪽 귀에 착용된 이어폰 또는 예를 들어 모바일 기기와 같은 곳에 설치된 출력 유닛 또는 시각 장애인을 위한 전용 음향 출력 수단과 같은 스피커(25a, 25b)를 통하여 음향 신호가 출력될 수 있다.
영상 정보는 다양한 형태로 변환될 수 있고 제시된 실시 예는 예시적인 것으로 본 발명은 이에 제한되지 않는다.
본 발명에 따른 변환 장치는 시각 장애인용으로 사용될 수 있다.
도 3은 본 발명에 따른 음향 변환 방법이 진행되는 과정에 대한 실시 예를 도시한 것이다.
도 3을 참조하면, 음향 변환 방법의 적용을 위하여 서로 다른 사물 정보가 결정되고(S311) 그리고 결정된 사물 정보에 대한 사물 음향이 선택될 수 있다(S312). 예를 들어 위에서 설명된 것처럼, 사물 종류는 주파수에 의하여 구별될 수 있다. 또한 사물 정보는 사물의 명칭, 색상 또는 크기를 포함할 수 있다. 다른 한편으로 상황 정보가 결정되고(S321) 그리고 결정된 상황 정보에 대한 상황 음향이 선택될 수 있다(S322). 예를 들어 위에서 설명된 것처럼, 상황 음향은 거리 및 위치가 될 수 있고, 그리고 거리는 소리의 크기로 그리고 위치는 좌우의 음향 신호 크기 비율 또는 지연 시간으로 선택될 수 있다. 이와 같이 사물 음향 선택 및 상황 정보 선택이 이루어지면 사용자에서 음향 인지 숙련이 되어야 한다(S33). 사용자에 대한 음향 인지 숙련은 각각의 정보에 대한 구별 및 조합된 정보의 구별 과정을 포함할 수 있고 그리고 사용자는 해당 신호를 듣는 경우 이를 자연적으로 연상하게 되는 과정을 의미한다. 이와 같은 음향 인지 숙련 과정이 완성되면 이를 기초로 하여 영상 정보가 시각 장애인을 위하여 인식 정보로 적용될 수 있다.
보행 과정에서 또는 일상생활 과정에서 시각 장애인은 영상 정보의 획득이 가능한 카메라와 같은 장치를 소지할 수 있고 그리고 필요에 따라 카메라를 사용하여 영상 정보를 얻을 수 있다(S34). 예를 들어 영상 정보는 모바일 기기에 장착된 카메라를 통하여 얻어지거나 또는 전용 카메라에 의하여 얻어질 수 있다. 그리고 얻어진 정보는 제어 모듈에 포함된 음향 변환 프로세서에서 변환될 수 있다. 변환을 위하여 먼저 음향 정보가 미리 결정된 사물을 포함하고 있는지 여부 및 사물의 위치가 분석될 수 있다(S35). 그리고 이동 물체에 해당하는지 또는 고정된 물체에 해당되는지 여부가 분석될 수 있다. 그리고 위와 같은 분석에 기초하여 영역이 분할될 수 있다(S36). 적용 과정에 따라 먼저 얻어진 영상에 대한 영역 분할이 이루어지고(S36) 그리고 이후 각각의 영역에 포함된 특징이 분석될 수 있다(S35).
사용자는 분석된 영상이 변환되는 과정에서 적용되는 청력 다이어그램, 분해 해상도 또는 볼륨과 같은 것을 선택할 수 있고(S37) 또한 출력 발향을 선택할 수 있다. 이후 분석된 영상에 대한 변환이 이루어지고 그리고 각각의 분할된 영역에 대한 변환 음향 또는 특징에 따른 변환 음향이 조합될 수 있다(S38). 그리고 변환된 음향은 사용자 선택에 의하여 또는 미리 결정된 유닛을 통하여 음향으로 출력될 수 있다(S39).
본 발명에 따른 음향 변환 방법은 다양한 과정으로 진행될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다. 예를 들어 위에서 설명된 음향 변환 방법이 웹 형태로 스마트 폰과 같은 모바일 기기에 설치될 수 있고 모바일 기기에 설치된 카메라가 카메라 유닛의 기능을 가질 수 있다. 다양한 형태의 웨어러블 전자기기(wearable electronic devices)에 의하여 본 발명에 따른 음향 변환 방법이 실행될 수 있고 본 발명은 실행 웹의 형태, 웹이 실행되는 기기 또는 저장 형태에 의하여 제한되지 않는다.
본 발명에 따른 장치는 영상 신호에 포함된 다양한 정보를 음향 정보로 변환하고 그리고 그에 따른 적응 훈련을 통하여 시각 장애인에게 정확한 안내 정보를 제공하도도록 한다는 이점을 가진다. 또한 본 발명에 따른 장치는 스마트 폰과 같이 사용자가 상시 휴대하고 있는 장치와 연계되도록 하는 것에 의하여 장치의 실용성이 향상되도록 한다는 장점을 가진다.
위에서 본 발명은 제시된 실시 예를 참조하여 상세하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실시 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있을 것이다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다.
10: 영상의 음향 변환 장치 11: 영상 획득 모듈
12a: 부가 유닛 12b: 외부 기기
13: 이미지 처리 유닛 14: 분석 유닛
15: 변환 유닛 16: 출력 유닛
17: 사용자 선택 유닛 21a, 21b: 카메라 유닛
22: 분석 유닛 23: 음향 변환 프로세서
24: 출력 제어 유닛 25a, 25b: 스피커
231: 거리 변환 유닛 232: 패턴 변환 유닛
233: 위치 변환 유닛

Claims (5)

  1. 외부 영상의 획득을 위한 영상 획득 모듈(11);
    영상 획득 모듈(11)로부터 얻어진 정보를 미리 결정된 방법으로 분할하는 이미지 처리 유닛(13);
    상기 분할된 영역의 정보를 포함하는 정보를 미리 결정된 매개변수에 따라 분석 및 조합하는 분석 유닛(14); 및
    상기 분석 유닛(14)에서 전달된 정보를 미리 결정된 방법으로 음향 정보로 변환하는 변환 유닛(15)을 포함하는 영상의 음향 변환 장치.
  2. 청구항 1에 있어서, 상기 변환 유닛(15)은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 매개변수에 따른 분석 및 조합은 거리를 소리의 크기, 사물의 구분은 주파수 그리고 위치는 좌우 소리의 비율 또는 지연으로 각각 변환하는 것을 특징으로 하는 영상의 음향 변환 장치.
  3. 청구항 1에 있어서, 사용자 선택 유닛(17)을 더 포함하고, 상기 사용자 선택 유닛(17)에 의하여 상기 변환 유닛(15)에서 분해 해상도가 결정되는 것을 특징으로 하는 음향 변환 장치.
  4. 청구항 1에 있어서, 독립적으로 외부 음향 정보 또는 위치 정보를 전달하기 위한 추가 유닛(12a, 12b)을 더 포함하고, 상기 추가 유닛(12a, 12b)은 모바일 기기를 포함하는 음향 변환 장치.
  5. 시각 장애인을 위한 영상 신호의 음향 변환 방법에 있어서,
    특정 사물에 대한 사물 정보를 결정하여 사물 음향을 선택하는 단계;
    상기 특정 사물에 대한 상황 정보를 결정하여 상황 음향을 선택하는 단계;
    상기 사물 음향 및 상황 음향을 사용자에게 인지시켜 숙련시키는 단계;
    상기 특정 사물 및 상황 정보를 포함하는 영상 정보를 획득하는 단계;
    상기 획득된 영상 정보를 분할하여 사물 정보 및 상황 정보로 분석하는 단계;
    상기 조합된 정보를 상기 인지된 음향 정보로 변환 및 조합하는 단계; 및
    상기 변환된 음향 정보를 출력하는 단계를 포함하는 시각 장애인을 위한 음향 변환 방법.
KR1020140013210A 2014-02-05 2014-02-05 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법 KR20150092811A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140013210A KR20150092811A (ko) 2014-02-05 2014-02-05 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140013210A KR20150092811A (ko) 2014-02-05 2014-02-05 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160091586A Division KR20160090781A (ko) 2016-07-19 2016-07-19 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법

Publications (1)

Publication Number Publication Date
KR20150092811A true KR20150092811A (ko) 2015-08-17

Family

ID=54056952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140013210A KR20150092811A (ko) 2014-02-05 2014-02-05 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법

Country Status (1)

Country Link
KR (1) KR20150092811A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109950A (ko) * 2020-02-28 2021-09-07 한밭대학교 산학협력단 약품선별장치 및 선별방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109950A (ko) * 2020-02-28 2021-09-07 한밭대학교 산학협력단 약품선별장치 및 선별방법

Similar Documents

Publication Publication Date Title
US11531518B2 (en) System and method for differentially locating and modifying audio sources
US9805619B2 (en) Intelligent glasses for the visually impaired
US10831311B2 (en) Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
CN108762494B (zh) 显示信息的方法、装置及存储介质
EP2496196B1 (en) Representing visual images by alternative senses
CN107708624B (zh) 允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统
US20170188173A1 (en) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US20140172426A1 (en) Method for Processing Speech of Particular Speaker, Electronic System for the Same, and Program for Electronic System
CN104303177A (zh) 即时翻译系统
US20190087050A1 (en) Assistive device with a refreshable haptic feedback interface
CN107888973B (zh) 一种脑电控制的视频输入听觉显示导盲装置及方法
US20160212525A1 (en) Sound source localization device, sound processing system, and control method of sound source localization device
Bujacz et al. Sound of Vision-Spatial audio output and sonification approaches
KR20210008788A (ko) 전자 장치 및 그 제어 방법
EP3058926A1 (en) Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
KR20160090781A (ko) 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
Vítek et al. New possibilities for blind people navigation
EP3113505A1 (en) A head mounted audio acquisition module
KR20150021283A (ko) 스마트 안경을 이용한 외국어 학습 시스템 및 방법
KR20150092811A (ko) 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
US20210174823A1 (en) System for and Method of Converting Spoken Words and Audio Cues into Spatially Accurate Caption Text for Augmented Reality Glasses
CN106388763A (zh) 导盲前端设备、后端设备、移动终端及其导盲系统
KR100690562B1 (ko) 청각을 이용한 시각 재현 장치 및 제어방법
JP2004023180A (ja) 音声伝送装置、音声伝送方法及びプログラム
US20230103788A1 (en) Apparatus and method for sensory substitution and multi-path transmission of visual information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent