KR102629771B1 - 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치 - Google Patents

손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치 Download PDF

Info

Publication number
KR102629771B1
KR102629771B1 KR1020210129572A KR20210129572A KR102629771B1 KR 102629771 B1 KR102629771 B1 KR 102629771B1 KR 1020210129572 A KR1020210129572 A KR 1020210129572A KR 20210129572 A KR20210129572 A KR 20210129572A KR 102629771 B1 KR102629771 B1 KR 102629771B1
Authority
KR
South Korea
Prior art keywords
user
control module
module
voice signal
hand
Prior art date
Application number
KR1020210129572A
Other languages
English (en)
Other versions
KR20230046511A (ko
Inventor
박두고
Original Assignee
박두고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박두고 filed Critical 박두고
Priority to KR1020210129572A priority Critical patent/KR102629771B1/ko
Priority to PCT/KR2022/014331 priority patent/WO2023054996A1/ko
Publication of KR20230046511A publication Critical patent/KR20230046511A/ko
Application granted granted Critical
Publication of KR102629771B1 publication Critical patent/KR102629771B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Abstract

본 발명은 손 및/또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치에 관한 것이며, 보다 구체적으로, 사용자의 손 및/또는 손가락을 추적함과 동시에 사용자의 주시 방향에 따른 전방에 대한 이미지로부터 식별된 객체 중 사용자가 손 및/또는 손가락으로 지시한 객체에 대한 식별 결과를 사용자에게 음성으로 안내하는 것이 가능한 객체 인식용 웨어러블 장치에 관한 것이다.

Description

손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치{WEARABLE DEVICE FOR RECOGNITION OBJECT USING HAND OR FINGER TRACKING}
본 발명은 손 및/또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치에 관한 것이며, 보다 구체적으로, 사용자의 손 및/또는 손가락을 추적함과 동시에 사용자의 주시 방향에 따른 전방에 대한 이미지로부터 식별된 객체 중 사용자가 손 및/또는 손가락으로 지시한 객체에 대한 식별 결과를 사용자에게 음성으로 안내하는 것이 가능한 객체 인식용 웨어러블 장치에 관한 것이다.
최근 다양한 AR (Augmented Reality) 또는 VR (Virtual Reality) 기술이 발전함에 따라 사용자의 실제 움직임 등을 반영한 현실 또는 가상의 환경을 구축하는 사례가 늘고 있다.
구체적으로, 증강 현실 기술은 사용자가 실제 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술로서, 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이라 할 수 있다.
그러나, 이러한 기술들은 적어도 사용자의 시야 또는 시각이 제한되지 않는 한도 내에서 유용하게 사용될 수 있다.
예를 들어, 시야가 극히 제한되는 작업 환경에서 작업하는 사용자가 객체(예를 들어, 그림, 도형 또는 문자 등)를 용이하게 식별할 필요가 있다거나, 시각이 손상되거나 불능인 시각 장애우들에게 전방에 존재하는 객체(예를 들어, 그림, 도형 또는 문자 등)를 안내해주고자 할 때에는 전술한 증강 현실 기술, 즉 사용자가 실제 눈으로 보는 현실 세계에 가상 물체를 겹쳐 보여주는 기술은 그 효용성이 적다 할 수 있다.
따라서, 시야 또는 시각이 제한된 사용자가 처한 환경과 무관하게 사용자의 주시 방향에 따른 전방에 위치한 객체의 정보를 효과적으로 전달하기 위해서는 사용자가 실제 보기 어렵거나 볼 수 없는 현실 세계의 정보를 음성으로서 안내해주는 것이 필요하다 할 수 있다.
종래 기술로는 한국등록특허공보 제10-1823121호(2018. 01. 29 공고)에 개시된 시각 장애인용 문자 인식 장치(특허문헌 1)가 있다.
특허문헌 1에는 사용자에게 안경형태로 착용되며, 촬영된 이미지를 분석하여 문자를 인식하고 이를 청각적 신호로 사용자에게 안내함으로써 점자책이 아닌 문자책을 읽을 수 있도록 돕는 시각장애인용 안경형 문자 인식 장치가 개시되어 있다.
그러나, 특허문헌 1에 개시된 문자 인식 장치는 사용자의 선택 가능성(예를 들어, 사용자가 인식하고자 하는 문자에 대한 선택 가능성)이 극히 제한되어 있다는 것을 알 수 있다.
즉, 특허문헌 1에 개시된 문자 인식 장치를 착용한 사용자는 촬영부가 촬영한 이미지로부터 추출된 텍스트를 기반으로 변환된 음성 신호를 수신하는 것만 가능할 뿐, 사용자가 보기 어렵거나 볼 수 없는 전방에 위치한 객체의 위치를 찾기 위한 도움을 줄 수 없다는 한계가 있다.
한국등록특허공보 제10-1823121호(2018. 01. 29 공고)
전술한 바와 같이, 종래의 시각 장애인용 문자 인식 장치를 포함한 다양한 객체 인식용 웨어러블 장치들은 특정 상황에서만 동작이 가능하거나, 객체 인식 결과에 사용자의 선택이 반영될 수 없는 한계를 가지고 있다.
만약 시야 또는 시각이 제한된 사용자가 처한 환경과 무관하게 사용자의 주시 방향에 따른 전방에 위치한 객체의 정보를 사용자에게 전달함과 동시에 사용자가 임의의 객체를 찾기 위한 정보 또한 전달하는 것이 가능할 경우, 이러한 객체 인식용 웨어러블 장치로부터 기대할 수 있는 효용 가치가 더욱 향상될 수 있을 것이다.
이에 따라, 본 발명은 사용자의 주시 방향에 따른 전방에 대한 이미지로부터 식별된 객체 중 사용자가 지시한 객체에 대한 식별 결과를 사용자에게 음성으로 안내하는 것이 가능한 객체 인식용 웨어러블 장치를 제공하는 것을 목적으로 한다.
구체적인 예를 들어보자면, 승강기 버튼에 보호 필름이 덧대어 있어 시각 장애우가 상기 승강기 버튼에 구비된 점자를 촉지하기 어렵다 하더라도 시각 장애우가 착용한 웨어러블 장치가 인식한 객체 식별 정보를 통해 시각 장애우가 원하는 층 버튼을 누를 수 있도록 도와주고, 음성 안내가 나오지 않는 터치 스크린 방식의 키오스크에서 제3자의 도움 없이도 시각 장애우가 원하는 버튼을 터치할 수 있도록 도와주는 것이 가능한 객체 인식용 웨어러블 장치를 제공하는 것이 본 발명의 목적이라 할 수 있다.
본 발명의 목적들은 이상에서 언급한 목적(예를 들어, 본원에서 정의된 객체 인식용 웨어러블 장치는 비단 시각 장애우용으로 한정되지 않을 것이다)으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 측면에 따르면, 사용자의 얼굴에 착용 가능한 본체; 상기 본체에 구비되어 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 촬영 모듈; 상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 사용자가 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는 제어 모듈; 및 상기 제어 모듈에서 변환된 음성 신호를 출력하는 안내 모듈;을 포함하는 객체 인식용 웨어러블 장치가 제공된다.
일 실시예에 있어서, 상기 객체는 그림, 도형 및 문자로부터 선택되는 적어도 하나를 포함할 수 있다. 이 때, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출할 수 있다.
일 실시예에 있어서, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 위치한 사용자의 손 또는 임의의 손가락을 식별할 수 있다. 이와 동시에, 상기 제어 모듈은 사용자의 손 또는 임의의 손가락의 움직임을 추적하여 사용자의 손 또는 임의의 손가락이 지시한 객체에 대한 식별 결과를 음성 신호로 변환할 수 있다.
일 실시예에 있어서, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표와 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표를 추출할 수 있다.
이 경우, 상기 제어 모듈은 복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표 중 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표와 근거리에 위치하는 제1 좌표에 위치하는 임의의 객체에 대한 식별 결과를 음성 신호로 변환할 수 있다.
다른 실시예에 있어서, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 임의의 객체의 위치에 대응하는 제1 좌표와 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표를 추출할 수 있다.
이 경우, 상기 제1 좌표 및 상기 제2 좌표에 근거하여 상기 제1 좌표에 위치하는 임의의 객체에 사용자의 손 또는 임의의 손가락이 도달하기 위한 방향 정보를 음성 신호로 변환할 수 있다.
또 다른 실시예에 있어서, 상기 본체에 구비되어 사용자의 음성 신호를 수신하는 입력 모듈을 더 포함할 수 있다. 이 때, 상기 제어 모듈은 상기 입력 모듈로부터 수신된 음성 신호로부터 명령어를 도출하며, 상기 명령어에 근거한 객체에 대한 식별 결과를 음성 신호로 변환할 수 있다.
상술한 바와 같이, 본 발명에 따른 객체 인식용 웨어러블 장치는 특정 상황에서만 동작이 가능하거나, 객체 인식 결과에 사용자의 선택이 반영될 수 없는 한계를 가지는 종래의 웨어러블 장치들과 달리, 시야 또는 시각이 제한된 사용자가 처한 환경과 무관하게 사용자의 주시 방향에 따른 전방에 위치한 객체의 정보를 사용자에게 전달함과 동시에 사용자가 임의의 객체를 찾기 위한 정보 또한 전달하는 것이 가능하다는 이점이 있다.
일 예로, 승강기 버튼에 보호 필름이 덧대어 있어 시각 장애우가 상기 승강기 버튼에 구비된 점자를 촉지하기 어렵다 하더라도 시각 장애우가 착용한 웨어러블 장치가 인식한 객체 식별 정보를 통해 시각 장애우가 누르고자 하는 층 버튼과 가장 가까운 손가락의 위치 및 상기 손가락을 어떤 방향으로 움직이면 되는지 등에 대한 정보를 사용자에게 안내하여 사용자가 원하는 층을 큰 어려움 없이 누를 수 있도록 도와줄 수 있다.
다른 예로, 음성 안내가 나오지 않는 터치 스크린 방식의 키오스크에서 제3자의 도움 없이도 시각 장애우는 터치 스크린에 출력된 버튼의 정보를 전달받을 수 있으며, 원하는 버튼을 터치하기 위해 어떤 손가락을 어떤 방향으로 얼만큼 움직이면 되는지 등에 대한 정보를 얻을 수도 있을 것이다.
상기에서 본 발명의 효과를 설명함에 있어 시각 장애우가 처한 몇가지 사례를 예시로 들었으나, 시야가 극히 제한되는 작업 환경에서 작업하는 사용자가 본인의 시각에 의존하지 않고 객체(예를 들어, 그림, 도형 또는 문자 등)를 용이하게 식별하는데 있어 본 발명에 따른 객체 인식용 웨어러블 장치를 유용하게 사용할 수 있을 것이다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 객체 인식용 웨어러블 장치의 모식도이다.
도 2는 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 일 예를 개략적으로 나타낸 것이다.
도 3은 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 다른 예를 개략적으로 나타낸 것이다.
도 4는 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 또 다른 예를 개략적으로 나타낸 것이다.
본 발명을 더 쉽게 이해하기 위해 편의상 특정 용어를 본원에 정의한다. 본원에서 달리 정의하지 않는 한, 본 발명에 사용된 과학 용어 및 기술 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미를 가질 것이다. 또한, 문맥상 특별히 지정하지 않는 한, 단수 형태의 용어는 그것의 복수 형태도 포함하는 것이며, 복수 형태의 용어는 그것의 단수 형태도 포함하는 것으로 이해되어야 한다.
이하, 본원에 첨부된 도면을 참조하여 본 발명의 몇몇 실시예에 따른 시청각 시스템이 구비된 의자에 대하여 보다 상세히 설명하기로 한다. 또한, 본원에 첨부된 도면을 참조하여 설명되는 본 발명의 몇몇 실시예에 따른 의자와 관련된 내용은 각각의 독립적인 실시예로서 이해될 것이며, 필요한 경우, 적어도 두 개의 독립적인 실시예가 병합될 수도 있을 것이다. 한편, 본원에 첨부된 도면을 통해 충분히 설명되지 않은 구성 요소는 전술 또는 후술할 실시예의 구성 요소를 원용할 수 있다.
본 발명의 일 실시예에 따른 객체 인식용 웨어러블 장치의 모식도인 도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 인식용 웨어러블 장치는 사용자의 얼굴에 착용 가능한 본체; 상기 본체에 구비되어 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 촬영 모듈; 상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 사용자가 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는 제어 모듈; 및 상기 제어 모듈에서 변환된 음성 신호를 출력하는 안내 모듈;을 포함한다.
여기서, 상기 본체는 특별히 제한되지 않으나, 사용자가 착용하기 용이한 형태를 가지는 것이 바람직하다. 예를 들어, 상기 본체는 안경의 형태로서 제공되거나, 사용자가 착용한 안경 또는 모자 등과 같은 악세서리에 부착 가능한 형태로서 제공될 수 있다.
즉, 본원에서 본체란 후술할 촬영 모듈, 제어 모듈 및 안내 모듈이 장착됨과 동시에 사용자의 얼굴에 직, 간접적으로 착용 가능한 것이라면 그 종류 또는 형태에 구애받지 않을 것이다.
상기 본체에는 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 촬영 모듈이 구비된다. 만약 상기 본체가 안경의 형태로서 제공될 경우, 상기 촬영 모듈은 상기 안경의 전방에 부착됨으로써 상기 본체를 착용한 사용자가 주시하는 방향의 전방 이미지를 촬영하게 된다.
상기 촬영 모듈은 후술할 입력 모듈로부터 사용자의 촬영 명령이 입력된 경우 동작하거나, 사용자의 명령과 무관하게 상시 전방 이미지를 획득하도록 동작할 수 있다.
또한, 상기 본체에는 상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 사용자가 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는 제어 모듈이 구비된다. 상기 제어 모듈은 본원의 웨어러블 장치가 객체 인식 및 상기 객체 인식 결과에 따른 안내하는 동작이 가능하도록 설계된 하드웨어 및 소프트웨어를 포함할 것이다. 또한, 상기 제어 모듈에는 상기 촬영 모듈 및 상기 안내 모듈 등이 연결될 뿐만 아니라, 전원 공급을 위한 전원 모듈이 연결될 수도 있다.
상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 이 때, 상기 객체는 그림, 도형 및 문자로부터 선택되는 적어도 하나를 포함할 수 있다. 즉, 상기 제어 모듈이 상기 촬영 모듈로부터 획득한 이미지에 포함된 그림, 도형 및/또는 문자를 식별하고, 사용자에게 상기 식별 결과를 안내할 수 있도록 함으로써 상기 웨어러블 장치를 착용한 사용자는 본인의 전방을 식별하지 못하는 상황에서도 본인의 전방에 어떠한 그림, 도형 및/또는 문자가 존재하는지 확인할 수 있다.
상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출하도록 동작할 수 있다.
또한, 상기 제어 모듈은 상기 객체의 식별력을 높이기 위해 상기 촬영 모듈로부터 획득한 이미지에 대한 전처리를 수행할 수 있다. 상기 이미지에 대한 전처리는 예를 들어, 화이트밸런스 조정, 그레이스케일 변환 및/또는 노이즈 제거 등을 포함할 수 있다.
상기 제어 모듈은 사용자의 지시에 따라 객체에 대한 식별 결과를 음성 신호로 변환하며, 상기 음성 신호는 별도로 마련된 안내 모듈을 통해 출력된다. 상기 안내 모듈은 스피커, 이어폰 또는 헤드폰 등과 같은 음성 출력 수단으로서 마련될 수 있다. 상기 안내 모듈이 스피커로서 마련된 경우, 상기 스피커는 상기 본체 중 이를 착용한 사용자의 귀와 가까운 위치에 구비되는 것이 바람직하다.
또한, 상기 본체는 사용자의 음성 신호를 수신하는 입력 모듈을 더 포함할 수 있으며, 상기 입력 모듈은 마이크로서 마련될 수 있다. 상기 입력 모듈이 마이크로서 마련된 경우, 상기 마이크는 상기 본체 중 이를 착용한 사용자의 입과 가까운 위치에 구비되는 것이 바람직하다.
도 2는 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 일 예를 개략적으로 나타낸 것이다. 이하에서는 도 2에 도시된 순서에 따라 웨어러블 장치가 객체를 인식하고, 그 결과를 사용자에게 안내하는 방식을 설명하기로 한다.
본 발명의 일 실시예에 따른 웨어러블 장치의 동작이 개시된 후, 상기 웨어러블 장치는 사용자의 음성 신호를 수집할 수 있다.
상기 제어 모듈은 상기 입력 모듈로부터 수신된 음성 신호로부터 명령어를 도출하게 되며, 만약 도출된 명령어가 "(전방에 위치한) 모든 텍스트를 알려줘"인 경우, 촬영 모듈이 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득할 수 있도록 촬영 신호를 촬영 모듈로 전달할 수 있다.
상기 제어 모듈은 상기 촬영 모듈이 획득한 이미지로부터 객체를 식별하기 전 선택적으로 전처리를 할 수 있으며, 상기 이미지로부터 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출할 수 있다.
이어서, 상기 제어 모듈은 상기 이미지로부터 추출된 객체를 식별하고, 상기 식별 결과를 텍스트로 변환한다.
예를 들어, 상기 이미지로부터 추출된 객체가 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트를 포함할 경우, 상기 제어 모듈은 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트를 생성한다.
상기 제어 모듈에 의해 생성된 텍스트 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"는 TTS (Text To Speach) 방식을 통해 음성 신호로 변환되어 상기 안내 모듈에 의해 출력될 수 있다.
한편, 예를 들어, 상기 이미지로부터 추출된 객체가 "햄버거, 치킨, 스파게티, 피자"를 연상시키는 그림을 포함할 경우, 상기 제어 모듈은 상기 그림으로부터 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트를 생성한다. 상기 그림으로부터 그에 상응하는 텍스트를 생성하기 위해 상기 제어 모듈은 상기 그림에 대한 이미지 검색을 통해 그에 상응하는 텍스트를 생성할 수 있다.
상기 그림에 대한 이미지 검색 결과로부터 상기 그림에 상응하는 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트가 생성될 수 있으며, 상기 텍스트 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"는 TTS (Text To Speach) 방식을 통해 음성 신호로 변환되어 상기 안내 모듈에 의해 출력될 수 있다.
도 3은 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 다른 예를 개략적으로 나타낸 것이다. 이하에서는 도 3에 도시된 순서에 따라 웨어러블 장치가 객체를 인식하고, 그 결과를 사용자에게 안내하는 방식을 설명하기로 한다.
본 발명의 일 실시예에 따른 웨어러블 장치의 동작이 개시된 후, 상기 웨어러블 장치는 사용자의 음성 신호를 수집할 수 있다.
상기 제어 모듈은 상기 입력 모듈로부터 수신된 음성 신호로부터 명령어를 도출하게 되며, 만약 도출된 명령어가 "검지와 가까운 텍스트를 알려줘"인 경우, 촬영 모듈이 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득할 수 있도록 촬영 신호를 촬영 모듈로 전달할 수 있다.
상기 제어 모듈은 상기 촬영 모듈이 획득한 이미지로부터 객체를 식별하기 전 선택적으로 전처리를 할 수 있으며, 상기 이미지로부터 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출할 수 있다.
이어서, 상기 제어 모듈은 상기 이미지로부터 추출된 객체를 식별하고, 상기 식별 결과를 텍스트로 변환한다. 상기 제어 모듈이 상기 이미지로부터 추출된 객체를 식별하고, 상기 식별 결과를 텍스트로 변환하는 방식은 전술한 바와 같다. 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표를 생성하게 된다.
또한, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 위치한 사용자의 손 또는 임의의 손가락을 식별하게 된다. 즉, 사용자가 입력한 명령어로부터 "검지"라는 단어가 식별된 경우, 상기 제어 모듈은 상기 이미지 중 사용자의 "검지"의 위치를 식별하며, 이를 제2 좌표로서 추출하게 된다.
이어서, 상기 제어 모듈은 복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표와 사용자의 "검지"의 위치에 대응하는 제2 좌표 사이의 거리를 비교하고, "검지"와 근거리에 위치하는 제1 좌표에 위치하는 임의의 객체에 대한 식별 결과를 음성 신호로 변환하게 된다.
예를 들어, 상기 이미지로부터 추출된 객체가 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트를 포함할 경우, 상기 제어 모듈은 "햄버거, 치킨, 스파게티, 피자, 콜라, 사이다"라는 텍스트를 생성하고, 각각의 텍스트에 대한 제1 좌표를 생성하게 된다. 여기서, 제1 좌표는 각각의 텍스트를 포함하는 식별 영역의 중간 좌표값일 수 있으나, 반드시 이에 제한되는 것은 아니며, 이미지에 포함된 복수의 텍스트의 위치를 상호 구분할 수 있도록 기설정된 기준에 따라 설정되는 좌표값일 수 있다.
이어서, 상기 제어 모듈은 손 및/또는 손가락 추적(hand tracking or finger tracking) 기술을 통해 상기 촬영 모듈로부터 실시간으로 획득되는 이미지 중 사용자의 "검지"의 위치에 대한 제2 좌표를 생성한다.
만약 사용자의 "검지"가 텍스트 "햄버거"와 가장 가깝게 위치할 경우, 복수의 제1 좌표 중 제2 좌표와 가장 근거리에 위치하는 제1 좌표는 텍스트 "햄버거"에 대응하는 제1 좌표이며, 상기 제어 모듈은 텍스트 "햄버거" 또는 "검지와 가까운 것은 햄버거입니다"를 TTS (Text To Speach) 방식을 통해 음성 신호로 변환하게 된다.
도 4는 도 1에 도시된 웨어러블 장치를 이용한 객체 인식의 순서의 또 다른 예를 개략적으로 나타낸 것이다. 이하에서는 도 4에 도시된 순서에 따라 웨어러블 장치가 객체를 인식하고, 그 결과를 사용자에게 안내하는 방식을 설명하기로 한다.
본 발명의 일 실시예에 따른 웨어러블 장치의 동작이 개시된 후, 상기 웨어러블 장치는 사용자의 음성 신호를 수집할 수 있다.
상기 제어 모듈은 상기 입력 모듈로부터 수신된 음성 신호로부터 명령어를 도출하게 되며, 만약 도출된 명령어가 "(임의의) 글자 위치 알려줘"인 경우, 촬영 모듈이 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득할 수 있도록 촬영 신호를 촬영 모듈로 전달할 수 있다.
상기 제어 모듈은 상기 촬영 모듈이 획득한 이미지로부터 객체를 식별하기 전 선택적으로 전처리를 할 수 있으며, 상기 이미지로부터 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출할 수 있다.
이어서, 상기 제어 모듈은 상기 이미지로부터 추출된 객체를 식별하고, 상기 식별 결과를 텍스트로 변환한다. 상기 제어 모듈이 상기 이미지로부터 추출된 객체를 식별하고, 상기 식별 결과를 텍스트로 변환하는 방식은 전술한 바와 같다.
상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 복수의 객체 중 사용자가 지정한 "글자"의 위치에 대응하는 제1 좌표를 생성하게 된다.
또한, 상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 위치한 사용자의 손 또는 임의의 손가락을 식별하게 된다. 즉, 상기 제어 모듈은 상기 이미지 중 사용자의 손 또는 손가락들의 위치를 식별하며, 이를 복수의 제2 좌표로서 추출하게 된다(예를 들어, 사용자의 검지, 중지 등에 대응하는 제2 좌표를 생성할 수 있다).
이어서, 상기 제어 모듈은 사용자가 지정한 "글자"의 위치에 대응하는 제1 좌표와 사용자의 손 또는 임의의 손가락의 위치에 대응하는 복수의 제2 좌표 사이의 거리를 비교하고, 사용자가 지정한 "글자"와 근거리에 위치하는 제2 좌표에 위치하는 손가락을 식별하고, 식별된 손가락이 "글자"에 도달하기 위한 방향을 음성 신호로 변환하게 된다.
예를 들어, 사용자가 "햄버거의 위치 알려줘"라는 명령어를 입력한 경우, 상기 제어 모듈은 상기 이미지에 대한 객체 식별 결과 중 "햄버거"가 존재하는지 여부와 객체 식별 결과 중 "햄버거"가 존재할 경우 "햄버거"의 위치에 대응하는 제1 좌표를 생성한다.
이어서, 상기 제어 모듈은 상기 이미지로부터 사용자의 손가락의 위치를 추적하여 각각의 손가락에 대한 제2 좌표를 생성한다. 만약 사용자의 "검지"가 텍스트 "햄버거"와 가장 가깝게 위치하고, 사용자의 "검지"가 텍스트 "햄버거"의 왼쪽 아래에 위치한 경우, 상기 제어 모듈은 "햄버거는 검지의 오른쪽 위에 있습니다"라는 음성 신호를 생성할 수 있다.
이 때, 사용자가 손을 움직여 "검지"가 텍스트 "햄버거"의 아래에 위치한 경우, 상기 제어 모듈은 실시간 손가락 추적 기술을 통해 "햄버거는 검지의 위에 있습니다"라는 음성 신호를 생성하게 된다.
종래의 시각 장애인용 문자 인식 장치를 포함한 다양한 객체 인식용 웨어러블 장치들은 특정 상황에서만 동작이 가능하거나, 객체 인식 결과에 사용자의 선택이 반영될 수 없는 한계를 가지고 있다.
만약 시야 또는 시각이 제한된 사용자가 처한 환경과 무관하게 사용자의 주시 방향에 따른 전방에 위치한 객체의 정보를 사용자에게 전달함과 동시에 사용자가 임의의 객체를 찾기 위한 정보 또한 전달하는 것이 가능할 경우, 이러한 객체 인식용 웨어러블 장치로부터 기대할 수 있는 효용 가치가 더욱 향상될 수 있을 것이다.
전술한 바와 같이, 본 발명의 다양한 실시예에 따른 객체 인식용 웨어러블 장치는 사용자의 주시 방향에 따른 전방에 대한 이미지로부터 식별된 객체에 대한 정보를 사용자에게 안내하는 것에 그치지 않고, 사용자가 지시한 객체에 대한 식별 결과를 사용자에게 음성으로 안내하는 것이 가능하다는 이점이 있다.
이를 통해, 승강기 버튼에 보호 필름이 덧대어 있어 시각 장애우가 상기 승강기 버튼에 구비된 점자를 촉지하기 어렵다거나, 음성 안내가 나오지 않는 터치 스크린 방식의 키오스크에서도 본 발명의 다양한 실시예에 따른 객체 인식용 웨어러블 장치를 통해 원하는 객체의 위치를 사용자에게 안내함과 동시에 사용자가 원하는 객체를 촉지할 수 있는 정보를 제공하는 것이 가능하다.
이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.

Claims (6)

  1. 사용자의 얼굴에 착용 가능한 본체;
    상기 본체에 구비되어 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 촬영 모듈;
    상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 사용자가 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는 제어 모듈; 및
    상기 제어 모듈에서 변환된 음성 신호를 출력하는 안내 모듈;
    을 포함하며,
    상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표와 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표를 추출하고,
    복수의 객체의 위치에 각각 대응하는 복수의 제1 좌표 중 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표와 근거리에 위치하는 제1 좌표에 위치하는 임의의 객체에 대한 식별 결과를 음성 신호로 변환하는,
    객체 인식용 웨어러블 장치.
  2. 제1항에 있어서,
    상기 객체는 그림, 도형 및 문자로부터 선택되는 적어도 하나를 포함하며,
    상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 상기 객체를 포함하는 식별 영역과 상기 식별 영역에 포함된 객체를 추출하는,
    객체 인식용 웨어러블 장치.
  3. 제1항에 있어서,
    상기 제어 모듈은,
    상기 촬영 모듈로부터 획득한 이미지로부터 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 위치한 사용자의 손 또는 임의의 손가락을 식별하고,
    사용자의 손 또는 임의의 손가락의 움직임을 추적하여 사용자의 손 또는 임의의 손가락이 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는,
    객체 인식용 웨어러블 장치.
  4. 제1항에 있어서,
    상기 본체에 구비되어 사용자의 음성 신호를 수신하는 입력 모듈을 더 포함하며,
    상기 제어 모듈은 상기 입력 모듈로부터 수신된 음성 신호로부터 명령어를 도출하며, 상기 명령어에 근거한 객체에 대한 식별 결과를 음성 신호로 변환하는,
    객체 인식용 웨어러블 장치.
  5. 사용자의 얼굴에 착용 가능한 본체;
    상기 본체에 구비되어 상기 본체를 착용한 사용자의 주시 방향에 따른 전방에 대한 이미지를 획득하는 촬영 모듈;
    상기 촬영 모듈로부터 획득한 이미지에 포함된 객체를 식별하며, 사용자가 지시한 객체에 대한 식별 결과를 음성 신호로 변환하는 제어 모듈; 및
    상기 제어 모듈에서 변환된 음성 신호를 출력하는 안내 모듈;
    을 포함하며,
    상기 제어 모듈은 상기 촬영 모듈로부터 획득한 이미지로부터 식별된 임의의 객체의 위치에 대응하는 제1 좌표와 사용자의 손 또는 임의의 손가락의 위치에 대응하는 제2 좌표를 추출하고,
    상기 제1 좌표 및 상기 제2 좌표에 근거하여 상기 제1 좌표에 위치하는 임의의 객체에 사용자의 손 또는 임의의 손가락이 도달하기 위한 방향 정보를 음성 신호로 변환하는,
    객체 인식용 웨어러블 장치.
  6. 삭제
KR1020210129572A 2021-09-30 2021-09-30 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치 KR102629771B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210129572A KR102629771B1 (ko) 2021-09-30 2021-09-30 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치
PCT/KR2022/014331 WO2023054996A1 (ko) 2021-09-30 2022-09-26 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129572A KR102629771B1 (ko) 2021-09-30 2021-09-30 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치

Publications (2)

Publication Number Publication Date
KR20230046511A KR20230046511A (ko) 2023-04-06
KR102629771B1 true KR102629771B1 (ko) 2024-01-29

Family

ID=85783141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129572A KR102629771B1 (ko) 2021-09-30 2021-09-30 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치

Country Status (2)

Country Link
KR (1) KR102629771B1 (ko)
WO (1) WO2023054996A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP6385173B2 (ja) * 2014-07-15 2018-09-05 三菱電機株式会社 エレベータのタッチパネル式行き先階登録操作盤およびエレベータのタッチパネル式行き先階登録操作盤における利用者判定方法
KR101823121B1 (ko) 2016-04-12 2018-01-29 울산과학기술원 시각장애인용 문자 인식 장치
CN111713091A (zh) * 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US20190369725A1 (en) * 2018-06-02 2019-12-05 Awespire Technology Inc. Guided virtual reality system for relaxing body and mind
KR102324740B1 (ko) * 2019-07-24 2021-11-10 이상현 시각 장애인을 위한 객체 위치 정보 안내 장치 및 방법

Also Published As

Publication number Publication date
WO2023054996A1 (ko) 2023-04-06
KR20230046511A (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
AU2017308914B2 (en) Word flow annotation
US11410392B2 (en) Information display in augmented reality systems
US6115482A (en) Voice-output reading system with gesture-based navigation
KR20170094668A (ko) 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
US11320655B2 (en) Graphic interface for real-time vision enhancement
EP1050010A1 (en) Voice-output reading system with gesture-based navigation
US11048326B2 (en) Information processing system, information processing method, and program
US11482134B2 (en) Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner
Khambadkar et al. GIST: a gestural interface for remote nonvisual spatial perception
Günther et al. Exploring audio, visual, and tactile cues for synchronous remote assistance
KR102629771B1 (ko) 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치
JP4845183B2 (ja) 遠隔対話方法及び装置
JP2004301869A (ja) 音声出力装置およびポインティングデバイス
JP6980150B1 (ja) ３次元仮想現実空間提供サーバ、３次元仮想現実空間提供方法、３次元仮想現実空間提供プログラム、３次元仮想現実空間表示制御装置、３次元仮想現実空間表示制御方法、３次元仮想現実空間表示制御プログラムおよび３次元仮想現実空間提供システム
WO2020149271A1 (ja) 仮想空間におけるキャラクタの制御方法
WO2021101460A1 (en) Navigational assistance system with auditory augmented reality for visually impaired persons
JP7483798B2 (ja) ワードフロー注釈
KR102211445B1 (ko) 인공지능 기반 시청각 통합 정보 제공 시스템
Kushnir et al. Development of a Wearable Vision Substitution Prototype for Blind and Visually Impaired That Assists in Everyday Conversations
US20230394755A1 (en) Displaying a Visual Representation of Audible Data Based on a Region of Interest
Ivanoska Wearable Computers
SU et al. DESIGN AND IMPLEMENTATION OF AN ARTIFICIAL SYSTEM TO FACILITATE COMMUNICATION BETWEEN VISUALLY AND HEARING IMPAIRED PEOPLE

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant