KR20160028889A - 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 - Google Patents

쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 Download PDF

Info

Publication number
KR20160028889A
KR20160028889A KR1020140118003A KR20140118003A KR20160028889A KR 20160028889 A KR20160028889 A KR 20160028889A KR 1020140118003 A KR1020140118003 A KR 1020140118003A KR 20140118003 A KR20140118003 A KR 20140118003A KR 20160028889 A KR20160028889 A KR 20160028889A
Authority
KR
South Korea
Prior art keywords
sign language
translation
command
lip motion
displays
Prior art date
Application number
KR1020140118003A
Other languages
English (en)
Inventor
이대휘
Original Assignee
이대휘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이대휘 filed Critical 이대휘
Priority to KR1020140118003A priority Critical patent/KR20160028889A/ko
Publication of KR20160028889A publication Critical patent/KR20160028889A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전면부와 후면부에 각각 디스플레이를 경사지게 구성하고 전면부의 하부에 립모션 장치를 구비하고, 수화자의 수화 동작을 립모션 장치에 의해 검출하여 번역하고, 그 결과를 상기 디스플레이에 각각 표시하여, 수화자와 상대방에게 모두 볼 수 있게 하는 립모션 기반 수화 번역 장치에 관한 것으로서, 전면부 및 후면부가 바닥면과 예각을 이루도록 구성된 본체; 상기 본체의 전면부 및 후면부에 각각 설치된 2개의 디스플레이; 상기 본체의 전면부의 하부에 설치되어, 상기 전면부에 수직하는 전방의 수화 동작을 검출하는 립모션 장치; 및, 상기 립모션 장치에 의해 검출된 수화 동작을 번역하여, 번역 결과를 상기 2개의 디스플레이에 모두 표시하게 하는 제어부를 포함하는 구성을 마련한다.
상기와 같은 립모션 기반 수화 번역 장치에 의하여, 상대방 뿐만 아니라 수화자 자신도 번역 결과를 보게 하여 번역이 제대로 수행되는지를 확인시켜줄 수 있고, 수화자가 수화 동작을 통해 번역 장치에 명령을 입력할 수 있게 하여 보다 편리한 인터페이스를 제공할 수 있다.

Description

쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 { A finger-language translation device based on leap-motion with two-way display }
본 발명은 전면부와 후면부에 각각 디스플레이를 구비하고 전면부의 하부에 립모션 장치를 구비하고, 수화자의 수화 동작을 립모션 장치에 의해 검출하여 번역하고, 그 결과를 상기 디스플레이에 각각 표시하여, 수화자와 상대방에게 모두 볼 수 있게 하는 립모션 기반 수화 번역 장치에 관한 것이다.
일반적으로, 수화는 음성 언어와는 달리 손으로 표현되는 비음성 언어로서, 음성 언어가 청각적으로 이해되고 음성으로 표현되는 청각 음성체계임에 반하여, 수화는 시각적으로 이해되고 손동작으로 표현되는 시각 운동체계이다.
이로 인해 상기 수화는 주로 청각 장애인의 의사소통수단으로 이용되어진다. 그러나, 수화를 모르는 일반인은 수화를 이용하여 청각 장애인과 의사 소통을 할 수 없다. 따라서 청각 장애인은 일반인과의 대화에 많은 애로사항을 겪는다. 하지만 수화는 수화를 배운 사람들끼리만 대화를 할 수 있는데 수화를 익히는 것은 쉽지 않고, 일반적인 경우에는 사용하지 않기 때문에, 건청인과 청각장애인 사이의 대화에는 필담을 이용하거나 수화 통역사를 이용한다.
청각 장애인들의 사회 활동이 점차 활발해지고 있지만 수화를 구사할 수 있는 사람이 적기 때문에 수화 통역사의 필요성은 커지고 있는 실정이다. 하지만 수화 통역사들의 수요에 비해 인력이 부족하여 수화 통역사의 양성 또는 다른 방법이 필요하게 되었다. 현재 정부차원에서 수화통역센터를 운영하고 있다. 수화통역센터에서는 서비스 요청이 계속 늘어나고 있다고 하지만 전담하는 수화통역사 인력은 서비스 요청에 비해 매우 부족한 현실이다. 수화통역센터에는 정부에서 보조 지원금이 많이 나오지만 대부분을 인건비가 차지한다고 한다. 최근 수화통역사의 수요가 많아지고 있다. 수화 통역사가 필요한 분야가 많아짐에 따라 이에 맞는 양의 수화 통역사를 육성해야 하지만 수화 통역사의 수가 부족하여 모든 수요를 충족시키지 못하고 있다. 이에 서울시에서는 수화 전문 교육과정을 개설하는 등의 노력을 하고 있지만 그래도 수요에 비해 공급이 너무 적기 때문에 아직까지는 수화통역사의 육성에 노력을 해야 한다.
따라서 이러한 육성에도 도움을 줄 수 있고 수화통역사 없이도 건청인과의 의사소통이 가능하도록 만들어 주는 수화 번역 장치가 요구되고 있다. 간단하지만 지속적으로 업무를 진행해야 하는 분야에서 전문 인력이 아닌 수화를 번역할 수 있는 시스템을 이용한다면 부족한 인력을 대체할 수 있는 해결책이 될 것이다.
특히, 청각 장애인이 수화 번역을 필히 필요로 하는 곳은 공공 장소나 관공서 등 공공기관, 또는 대형 시설물의 안내 데스크 등이다. 따라서 이러한 장소에 먼저, 청각 장애인을 위한 수화 번역 장치가 도입될 필요가 있다. 이것은 공공 장소, 공공기관, 또는 대형 시설물에는 장애인을 위한 시설을 설치하도록 법제화되어 있는 것과 마찬가지이다. 즉, 청각 장애인을 위한 수화 번역 장치도 장애인을 위한 시설로서 이러한 공공 건물이나 대형 건물에 설치되어야 하고, 나아가, 이러한 설치가 법제화 되어야 한다. 그러나 현실적으로 아직 수화 번역 장치가 보편화되고 있지 못하다.
그러나 기술적으로는, 수화를 번역하는 기술들이 많이 제시되고 있다. 이런 기술의 일례로서, 수화 통역자를 통한 수화자와 상대방 사이의 수화를 번역해주는 기술이 제시되고 있다[특허문헌 1,2]. 그러나 상기와 같은 종래기술들은 수화 통역자가 항시 대기하고 있어야 하고, 수화 통역자와 통신할 수 있는 통신망이 구비되어야 하고, 수화 번역을 위한 절차가 복잡하다는 문제점이 있다.
또한, 사용자의 수화 동작을 감지하여 그에 대응하는 정보를 문자 또는 음성으로 출력하는 기술들도 제시되고 있다[특허문헌 3,4]. 그러나 상기 선행기술들은 수화 번역을 하는 기초적인 기술들을 제시할 뿐, 공공 장소나 대형 건물 등에 설치하는 수화 번역 장치에 현실적으로 적용하는 데는 어려움이 있다.
즉, 수화를 100% 완벽하게 번역하지 못하더라도, 공공 장소나 대형 건물에서 최소한의 수화 대화가 가능한 수화 번역 장치가 필요하다.
한편, 수화 번역 시스템은 지금까지 몇 번 개발이 시도되어왔다. 하지만 기존의 방식들은 카메라를 이용한 2차원적인 인식을 통하여 손의 모양만 인식을 하여 번역하는 방식의 시스템이었다. 이는 인식률이 낮은 편은 아니지만 많은 손동작을 감지하지 못하며 인식 속도 또한 매우 느리기 때문에 상용화는 불가능했다. 하지만 지금은 손동작을 매우 정확하게 인식할 수 있는 립모션(Leap Motion) 컨트롤러가 개발되었다. 이를 이용한다면 여태까지 개발되지 못했던 새로운 시스템을 개발할 수 있다.
제스처나 표정, 움직임 등을 인식하여 인터랙션하는 방식으로 마이크로소프트의 키넥트, 닌텐도의 Wii 등에서 비젼 및 센서 기반으로 구현한 기술들이 그 대표적인 예이다. 키넥트와 Wii 같은 제품이 사람의 손짓이나 발짓 등 비교적 큰 움직임을 감지하여 서비스를 제공했다면 립모션(Leap Motion)은 손을 사용하여 화면을 보다 정밀하고 세부적으로 컨트롤할 수 있도록 초점이 맞추어져 있다.
[특허문헌 1] 일본공개특허 특개평6-337631호(1994.12.06.공개) [특허문헌 2] 한국공개특허 제10-2005-0057032호(2005.06.16.공개) [특허문헌 3] 한국공개특허 제10-2003-0049256호(2003.06.25.공개) [특허문헌 4] 일본공개특허 특개평6-26999호(1998.01.27.공개)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 전면부와 후면부에 각각 디스플레이를 구비하고 전면부의 하부에 립모션 장치를 구비하고, 수화자의 수화 동작을 립모션 장치에 의해 검출하여 번역하고, 그 결과를 상기 디스플레이에 각각 표시하여, 수화자와 상대방에게 모두 볼 수 있게 하는 립모션 기반 수화 번역 장치를 제공하는 것이다.
또한, 본 발명의 목적은 수화 동작의 시작 명령, 일시정지 명령, 일시정지 재개 명령, 종료 명령 등 수화 동작 인식을 위한 명령들을 수화 동작으로 미리 번역 장치에 설정하는 립모션 기반 수화 번역 장치를 제공하는 것이다.
또한, 본 발명의 목적은 전면부의 하부에는 립모션 장치를 구비하여 수화자의 수화 동작을 검출하여 번역하거나, 후면부의 하부에는 마이크 장치를 구비하여 상대방의 음성을 검출하여 번역하여, 양 디스플레이에 각각 표시하는 립모션 기반 수화 번역 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명은 립모션 기반 수화 번역 장치에 관한 것으로서, 전면부 및 후면부가 바닥면과 예각을 이루도록 구성된 본체; 상기 본체의 전면부 및 후면부에 각각 설치된 2개의 디스플레이; 상기 본체의 전면부의 하부에 설치되어, 상기 전면부에 수직하는 전방의 수화 동작을 검출하는 립모션 장치; 및, 상기 립모션 장치에 의해 검출된 수화 동작을 번역하여, 번역 결과를 상기 2개의 디스플레이에 모두 표시하게 하는 제어부를 포함하는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 전면부 및 후면부는 상기 바닥면과 45°~ 60°의 경사각을 이루도록 구성되는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 제어부는 수화 동작에 의한 시작 명령과 종료 명령을 사전에 설정하고, 상기 시작 명령을 검출하면 수화 동작을 번역하고, 상기 종료 명령을 검출하면 수화 동작의 번역을 종료하는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 제어부는 수화 동작에 의한 일시정지 명령과 재개 명령을 사전에 설정하고, 상기 일시정지 명령을 검출하면 수화 동작의 번역을 일시 정지하고, 상기 재개 명령을 검출하면 일시 정지한 수화 동작의 번역을 재개하는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 제어부는 시작 명령이 처음으로 입력되기 전에, 상기 디스플레이에 상기 시작 명령, 종료 명령, 일시정지 명령, 및 재개 명령 중 어느 하나 이상의 수화 동작을 상기 디스플레이에 표시하여 안내하는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 수화 번역 장치는 후면부에서 설치되는 마이크 장치를 더 포함하고, 상기 제어부는 상기 마이크 장치를 통해 입력되는 음성을 번역하여, 번역된 결과를 상기 디스플레이에 표시하는 것을 특징으로 한다.
또, 본 발명은 립모션 기반 수화 번역 장치에 있어서, 상기 수화 번역 장치는 수화 동작 데이터와, 상기 수화 동작 데이터에 대응되는 번역 결과 문장을 수화번역 테이블 형태로 저장하는 메모리를 더 포함하고, 상기 제어부는 입력되는 수화 동작 데이터를 상기 메모리에 저장된 수화번역 테이블에서 검색하여, 대응되는 번역 결과 문장을 가져오는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 립모션 기반 수화 번역 장치에 의하면, 관공서, 병원 등 공공 장소나 대형 건물에 수화 번역 장치를 설치함으로써, 청각 장애인은 꼭 필요한 장소에서 서비스 제공자에게 자신의 의견을 명확하게 전달하여, 의사소통을 원활하게 할 수 있다는 효과가 얻어진다.
또한, 본 발명에 따른 립모션 기반 수화 번역 장치에 의하면, 전면부와 후면부에 모두 디스플레이를 설치함으로써, 상대방 뿐만 아니라 수화자 자신도 번역 결과를 보게 하여 번역이 제대로 수행되는지를 확인시켜줄 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 립모션 기반 수화 번역 장치에 의하면, 립모션 장치를 전방의 위쪽으로 향하게 설치함으로써, 수화자의 수화동작을 상대방의 시점에서 검출하여 보다 정확한 수화 동작을 인식할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 립모션 기반 수화 번역 장치에 의하면, 수화 동작 인식의 시작 명령, 일시정지 명령, 종료 명령 등 번역 장치의 작동을 위한 명령을 수화 동작으로 사전에 설정함으로써, 수화자가 수화를 통해 번역 장치에 명령을 입력할 수 있게 하여 보다 편리하게 인터페이스를 제공할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 립모션 기반 수화 번역 장치에 의하면, 후면부에는 음성인식 장치를 구비함으로써, 청각 장애인과 건청자가 수화 및 음성으로 의사소통을 할 수 있게 하는 효과가 얻어진다.
도 1은 본 발명의 일실시예에 따른 립모션 기반 수화 번역 장치의 사시도.
도 2는 본 발명의 일실시예에 따른 립모션 기반 수화 번역 장치의 측면도.
도 3은 본 발명의 일실시예에 따른 립모션 기반 수화 번역 장치의 구성에 대한 블록도.
도 4는 본 발명의 일실시예에 따른 립모션 기반 수화 번역 장치에 의한 수화 번역 방법을 설명하는 흐름도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명의 일실시예에 따른 립모션 기반 수화 번역 장치의 구성을 도 1 내지 도 2를 참조하여 구체적으로 설명한다. 도 1 내지 도 2는 각각 립모션 기반 수화 번역 장치의 사시도, 및, 측면도이다.
도 1에서 보는 바와 같이, 본 발명에 따른 립모션 기반 수화 번역 장치(100)는 전면부(11)와 후면부(12)가 경사가 있도록 구성된 본체(10), 전면부(11) 및 후면부(12)에 각각 설치된 디스플레이(21,22), 전면부(11)의 하부에 구비된 립모션 장치(30), 및, 연산장치(50)로 구성된다. 또한, 후면부(12)에 구비되는 마이크 등 음성입력장치(40)를 더 포함하여 구성될 수 있다.
본체(10)는 전면부(11)와 후면부(12)가 경사가 있도록 구성되고, 바닥에는 받침대(13)가 구성된다. 전면부(11)와 후면부(12)는 바닥면과 예각을 이루도록 경사지게 구성되어, 전면부(11)와 후면부(12)는 각각 약간 위로 비스듬히 향하도록 구성된다. 바람직하게는, 전면부(11)와 후면부(12)는 바닥면과 45°~ 60°의 경사각을 이루도록 구성된다.
본체(10)의 측면부(14)는 바닥면과 수직으로 형성되는 것이 바람직하다. 또한, 측면부(14)에는 전원 버튼이나 시작 버튼 등 입력 버튼(61)이 설치된다.
전면부(11)와 후면부(12) 각각에는 디스플레이(또는 표시장치)(21,22)가 설치된다. 전면부(11)와 후면부(12)가 각각 경사지도록 형성되어 있기 때문에, 디스플레이(21,22)도 경사지도록 구성된다. 바람직하게는, 디스플레이(21,22)는 바닥면과 45°~ 60°의 경사각을 이루도록 구성된다.
도 1 및 도 2에서 보는 바와 같이, 립모션 장치(30)는 전면부(11)의 하부(11b)의 하단 측면에 설치된다. 디스플레이(21)가 전면부(11)의 상부(11a)에서 하부(11b)의 위쪽에 걸쳐 설치되고, 하부(11b)의 나머지 영역인 하부(11b)의 하단 측면에 립모션 장치(30)가 설치된다. 바람직하게는, 디스플레이(21)가 전면부(11)의 전체 영역에서 약 3/4에서 4/5 정도의 영역을 차지하도록 구성된다.
립모션 장치(30)는 전면부(11)에 평행하도록 설치되므로, 바닥면과 예각을 이루며 경사지게 구성된다. 바람직하게는, 립모션 장치(30)는 바닥면과 45°~ 60°의 경사각을 이루도록 구성된다.
립모션 장치(30)는 전면부(11)와 수직을 이루는 수직선 상의 물체(또는 손)의 동작을 검출한다. 따라서 청각 장애인은 본체(10)의 정면 쪽에서 위쪽으로 향하는 부분에서 수화 동작을 취할 수 있다.
립모션 장치(30)는 적외선 기반의 멀티 제스쳐 인식장치로서 두 손을 이용한 자유로운 움직임으로 명령을 내릴 수 있는 입력장치이다. 립모션 장치(30)는 매우 빠른 반응속도와 정확성이 특징이다. 립모션 장치(30)는 전면부 디스플레이(21)의 하단에 위치하여 전면부(11)의 경사를 이용해, 수화자의 손을 아래에서 위로 45°~ 60°각도로 올려다보며 센싱한다.
일반적으로 수화 동작은 상대방에게 보이게 동작된다. 즉, 수화를 아는 상대방은 수화 동작을 보고 수화를 통해 말하고자 하는 바를 인식한다. 따라서 수화 동작은 상대방에서 바라보는 방향에서 인식하는 것이 가장 좋다. 따라서 본 발명에 따른 립모션 장치(30)는 수화자의 정면에 위치하여 수화자 쪽 상방으로 검출하기 때문에, 수화자의 수화 동작을 보다 정확하게 검출할 수 있다.
립모션 장치(30)는 수화자의 수화 동작을 검출하고, 검출된 센싱 데이터를 읽어와 연산장치(50)로 전송한다.
또한, 바람직하게는, 마이크 등 음성입력장치(40)가 후면부(12)에 설치된다. 음성입력장치(40)는 상대방 또는 건청자의 음성 등을 입력받는 장치로서, 통상의 마이크 등 음성 입력장치로 구성된다.
도 3에서 보는 바와 같이, 연산장치(50)는 립모션 장치(30)로부터 수화 동작 센싱 데이터를 입력받아 수화 번역을 하는 제어부(51) 및, 수화 번역 데이터 또는 수화 데이터베이스를 저장하는 메모리(52)로 구성된다.
제어부(51)는 립모션 장치(30)로부터 받은 손 동작 센싱 데이터를 수화 데이터베이스와 매칭하여 그 의미를 수화 번역 데이터 테이블에서 읽어와 번역한다. 그리고 제어부(51)는 번역된 결과(번역 문자/문장 또는 글자)를 디스플레이(21,22)에 전송하여 표시한다. 제어부(51)는 마이크로 컨트롤러 및 프로그램, 또는, 주문형 반도체(ASIC) 등 IC칩으로 구성된다.
메모리(52)는 수화 번역을 위한 데이터베이스 또는 데이터 테이블을 저장한다. 수화 데이터베이스는 제어부(51)에서 수화를 번역하기 위해 수화의 신호를 데이터베이스화 시켜둔 것으로, 수화의 손 동작과 이와 대응되는 문자 데이터를 저장하는 수화 번역 데이터 테이블로 구성된다.
한편, 수화 동작은 통상의 의미 전달을 위한 수화 동작과, 명령을 입력하는 수화 동작이 있다. 후자를 전자와 구별하기 위하여, 이하에서 명령 동작이라 부르기로 한다. 명령 동작은 통상의 수화 동작과 겹치지 않은 손 동작으로 미리 설정한다. 두 주먹을 쥔다거나 좌우에서 우로 지나가는 동작 등 일정한 손 동작을 명령 동작으로 설정한다.
명령 동작으로는, 시작 명령, 종료 명령, 일시정지 명령, 일시정지 재개 명령 등을 포함한다. 시작 명령은 수화 동작을 시작하겠다는 명령이고, 종료 명령은 수화 동작을 모두 수행하여 종료하겠다는 명령이다. 또한, 일시정지 명령은 수화 동작 중에 잠깐 쉬겠다는 명령이고, 재개 명령은 일시 정지 상태에서 다시 수화 동작을 수행하겠다는 명령이다.
한편, 제어부(51)는 마이크 장치(40)를 통해 입력되는 음성 데이터를 번역하여, 번역된 결과를 디스플레이(21,22)에 표시한다.
다음으로, 본 발명의 일실시예 따라, 립모션 기반 수화 번역 장치에 의한 수화 번역 방법을 도 4를 참조하여 구체적으로 설명한다.
도 4에서 보는 바와 같이, 시작 버튼(61)이 입력되면(S10), 립모션 장치(30)가 작동되어, 수화 동작을 검출한다(S20).
다음으로, 검출된 수화 동작이 시작 명령인가를 판단한다(S30). 수화 동작이 시작 명령이 아니면 수화 동작 번역을 하지 않는다. 계속해서 시작 명령만을 기다린다.
이때, 바람직하게는, 본체(10) 전면부(11)에 설치된 디스플레이(21)를 통해, 시작 명령을 입력해야만 수화 동작을 번역할 수 있다는 안내를 표시한다. 동시에, 시작 명령이 어떤 수화 동작에 의해 입력되는지 화면 상에 명령 동작을 수화 동작으로 표시해줄 수 있다. 또한, 바람직하게는, 시작 명령 외에도 종료 명령이나, 일시 정지 명령, 재개 명령 등을 도움말 기능으로 안내해줄 수 있다.
만약, 검출된 수화 동작이 시작 명령이라면, 수화 동작을 번역하기 시작한다. 이를 위해, 립모션 장치(30)는 수화 동작을 검출한다(S40).
검출된 수화 동작이 일시정지 명령인지를 판단한다(S50). 만약 일시정지 명령이 아니면, 다시 종료 명령인지를 판단한다(S60). 종료 명령이면 종료한다.
종료 명령이 아니면, 검출된 수화 동작을 번역하고(S71), 번역 결과를 디스플레이(21,22)로 표시한다(S72). 이때, 디스플레이(21,22)는 전면부(11) 및 후면부(12) 모두에 표시한다. 표시되는 번역 결과는 글자로 표시한다. 따라서 수화자나 상대방 모두 번역 결과를 글자로 읽을 수 있게 된다.
앞서 검출된 수화 동작이 일시정지 명령으로 판단되면, 일시정지 재개 명령이 입력될 때까지, 수화 동작 번역을 일시 정지한다. 즉, 립모션 장치(30)로 수화 동작을 검출하여(S81), 일시정지 재개 명령인지를 판단한다(S82). 일시 재개 명령이 아니면, 일시정지 재개 명령인지를 판단하는 과정을 반복한다. 만약 일시재개 명령이면, 립모션에 의한 수화 동작 번역 과정을 수행한다. 즉, 앞서 S40단계로 다시 돌아간다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 본체 11 : 전면부
12 : 후면부 13 : 받침대
21,22 : 디스플레이 30 : 립모션 장치
40 : 음성인식장치 50 : 연산장치
51 : 제어부 52 : 메모리

Claims (7)

  1. 립모션 기반 수화 번역 장치에 있어서,
    전면부 및 후면부가 바닥면과 예각을 이루도록 구성된 본체;
    상기 본체의 전면부 및 후면부에 각각 설치된 2개의 디스플레이;
    상기 본체의 전면부의 하부에 설치되어, 상기 전면부에 수직하는 전방의 수화 동작을 검출하는 립모션 장치; 및,
    상기 립모션 장치에 의해 검출된 수화 동작을 번역하여, 번역 결과를 상기 2개의 디스플레이에 모두 표시하게 하는 제어부를 포함하는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  2. 청구항 1에 있어서,
    상기 전면부 및 후면부는 상기 바닥면과 45°~ 60°의 경사각을 이루도록 구성되는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  3. 청구항 1에 있어서,
    상기 제어부는 수화 동작에 의한 시작 명령과 종료 명령을 사전에 설정하고, 상기 시작 명령을 검출하면 수화 동작을 번역하고, 상기 종료 명령을 검출하면 수화 동작의 번역을 종료하는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  4. 청구항 3에 있어서,
    상기 제어부는 수화 동작에 의한 일시정지 명령과 재개 명령을 사전에 설정하고, 상기 일시정지 명령을 검출하면 수화 동작의 번역을 일시 정지하고, 상기 재개 명령을 검출하면 일시 정지한 수화 동작의 번역을 재개하는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  5. 청구항 4에 있어서,
    상기 제어부는 시작 명령이 처음으로 입력되기 전에, 상기 디스플레이에 상기 시작 명령, 종료 명령, 일시정지 명령, 및 재개 명령 중 어느 하나 이상의 수화 동작을 상기 디스플레이에 표시하여 안내하는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  6. 청구항 1에 있어서,
    상기 수화 번역 장치는 후면부에서 설치되는 마이크 장치를 더 포함하고,
    상기 제어부는 상기 마이크 장치를 통해 입력되는 음성을 번역하여, 번역된 결과를 상기 디스플레이에 표시하는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
  7. 청구항 1에 있어서,
    상기 수화 번역 장치는 수화 동작 데이터와, 상기 수화 동작 데이터에 대응되는 번역 결과 문장을 수화번역 테이블 형태로 저장하는 메모리를 더 포함하고,
    상기 제어부는 입력되는 수화 동작 데이터를 상기 메모리에 저장된 수화번역 테이블에서 검색하여, 대응되는 번역 결과 문장을 가져오는 것을 특징으로 하는 립모션 기반 수화 번역 장치.
KR1020140118003A 2014-09-04 2014-09-04 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치 KR20160028889A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140118003A KR20160028889A (ko) 2014-09-04 2014-09-04 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140118003A KR20160028889A (ko) 2014-09-04 2014-09-04 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치

Publications (1)

Publication Number Publication Date
KR20160028889A true KR20160028889A (ko) 2016-03-14

Family

ID=55541618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140118003A KR20160028889A (ko) 2014-09-04 2014-09-04 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치

Country Status (1)

Country Link
KR (1) KR20160028889A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190093340A (ko) 2018-02-01 2019-08-09 금오공과대학교 산학협력단 3d 가상 애완동물과의 교감 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JPH1026999A (ja) 1996-07-10 1998-01-27 Nec Shizuoka Ltd 手話翻訳装置
KR20030049256A (ko) 2001-12-14 2003-06-25 주식회사 지아이텍 수화번역장치 및 이를 이용한 데이터통신시스템
KR20050057032A (ko) 2002-09-17 2005-06-16 가부시키가이샤 깅가네트 수화 영상 제시 장치, 수화 영상 입출력 장치 및, 수화통역 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JPH1026999A (ja) 1996-07-10 1998-01-27 Nec Shizuoka Ltd 手話翻訳装置
KR20030049256A (ko) 2001-12-14 2003-06-25 주식회사 지아이텍 수화번역장치 및 이를 이용한 데이터통신시스템
KR20050057032A (ko) 2002-09-17 2005-06-16 가부시키가이샤 깅가네트 수화 영상 제시 장치, 수화 영상 입출력 장치 및, 수화통역 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190093340A (ko) 2018-02-01 2019-08-09 금오공과대학교 산학협력단 3d 가상 애완동물과의 교감 시스템

Similar Documents

Publication Publication Date Title
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
EP2784693A1 (en) Translation device, translation system, translation method and program
KR102296271B1 (ko) 시각 및 청각장애인용 키오스크
KR102324740B1 (ko) 시각 장애인을 위한 객체 위치 정보 안내 장치 및 방법
JP2019023767A (ja) 情報処理装置
JP2019061590A (ja) 情報処理装置、情報処理システム及びプログラム
US20200372902A1 (en) Language presentation device, language presentation method, and language presentation program
KR20160028889A (ko) 쌍방향 디스플레이를 구비한 립모션 기반 수화 번역 장치
JP2007142957A (ja) 遠隔対話方法及び装置
CN110941381A (zh) 会议一体机的显示屏亮度调节方法、系统及会议一体机
US20200081549A1 (en) Method and a system for assisting in performing financial services
KR102178175B1 (ko) 사용자 단말 및 그 제어방법
Tao Scalable and vision free user interface approaches for indoor navigation systems for the visually impaired
KR20160004561A (ko) 수화 자동 인식 스마트 글라스 장치
WO2018056169A1 (ja) 対話装置、処理方法、プログラム
WO2018047932A1 (ja) 対話装置、ロボット、処理方法、プログラム
KR102094906B1 (ko) 보완 대체 의사소통 단말기
US20200278754A1 (en) Display processing apparatus, display processing method, and program
US9122312B2 (en) System and method for interacting with a computing device
Balani et al. Drishti-Eyes for the blind
KR102629771B1 (ko) 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치
JP7000547B1 (ja) プログラム、方法、情報処理装置、システム
KR102211445B1 (ko) 인공지능 기반 시청각 통합 정보 제공 시스템
Bharadwaj et al. Smart blind stick for detection and avoidance of obstacle
KR20180033738A (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid