KR20240048409A

KR20240048409A - 햅틱 피드백 장치 및 방법

Info

Publication number: KR20240048409A
Application number: KR1020220128160A
Authority: KR
Inventors: 위대한; 최재순; 문영진
Original assignee: 재단법인 아산사회복지재단; 울산대학교 산학협력단
Priority date: 2022-10-06
Filing date: 2022-10-06
Publication date: 2024-04-15
Also published as: WO2024076039A1

Abstract

일 실시예에 따른 햅틱 피드백 장치는 제1 비전 센서를 통해 사용자의 머리 방향에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처하고, 사용자의 머리방향에 대응하는 장면에 대한 진동 피드백 요청 시 요청된 시점의 하나 이상의 햅틱 유닛의 제2 비전 센서가 캡처한 제2 이미지 데이터를 통해 검출된 위치에 기초하여 가상 평면이 결정되며, 가상 평면에서 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 검출된 위치 및 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 하나 이상의 햅틱 유닛을 통해 제공할 수 있다.

Description

햅틱 피드백 장치 및 방법{HAPTIC FEEDBACK APPARATUS AND METHOD}

햅틱 피드백 장치 및 방법에 관한 기술이 제공된다.

햅틱 장치는 분리형과 착용형으로 나눌 수 있다. 분리형 방식은 태블릿 형태 등의 감각대체요소 군집체에 손을 접촉하여 자극에 민감한 손 끝으로 이미지를 느끼게 할 수 있다. 착용형 방식은 진동모터나 전기자극이 패드형식으로 구성된 감각대체요소의 모음을 사용자의 복부, 등, 팔 등 신체에 접촉하여 진동 등을 통해 이미지를 전달할 수 있다.

분리형 햅틱 장치는 사용자가 손 끝을 매개체에 접촉하여 감각대체요소들을 느껴야 하기 때문에 필연적으로 사용자의 이동을 제한하며 실외사용에 제약이 있을 수 있다. 이를 해결하는 착용형 햅틱 장치는 매개체가 작아 이동 중 사용이 가능할 수 있다. 그러나 착용형 햅틱 장치에 진동모터를 사용하는 경우, 자극 민감도가 둔한 접촉부위에 착용하므로 큰 방향지시 정도의 인식만 가능하여 사용자 주변 시야 관련 이미지를 전달하는 것이 불가능할 수 있다. 착용형 햅틱 장치에 전기자극을 사용하는 경우, 민감도 향상을 위해서는 수분이 있는 환경이 요구되기 때문에 입안 환경으로 기기의 인체접촉 부위가 제한될 수 있다. 입안 환경으로 기기 접촉 시 전기자극을 전달하는 일렉트로드(electrode)의 수는 제한되어 매우 낮은 해상도를 가지는 문제가 발생할 수 있다.

위에서 설명한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.

일 실시예에 따른 햅틱 피드백 장치는 주변 시야에 대한 장면을 나타내는 이미지를 햅틱 피드백에 기초하여 시각 장애인에게 제공할 수 있다.

다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.

일 실시예에 따른 햅틱 피드백 장치는 사용자의 머리에 착용 가능하게 구성되는 하우징; 상기 하우징에 위치되고, 시야에 관한 시각적 정보를 수집하기 위해 상기 사용자의 머리방향 에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처하는 제1 비전 센서; 상기 하우징에 위치되고, 상기 사용자의 조작 신체 부위에 관한 시각적 정보를 수집하기 위해 상기 머리방향보다 낮은 방향에 대응하는 제2 시야각의 제2 이미지 데이터를 캡처하는 제2 비전 센서; 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 분석한 결과에 기초하여 진동 피드백을 결정하는 프로세서; 및 상기 사용자의 상기 조작 신체 부위에 착용 가능하게 구성되고, 상기 진동 피드백을 제공하는 하나 이상의 햅틱 유닛을 포함하고, 상기 프로세서는, 상기 제2 이미지 데이터에 기초하여 상기 하나 이상의 햅틱 유닛의 위치를 검출하고, 상기 사용자의 머리방향에 대응하는 장면에 대한 진동 피드백이 요청되는 것에 응답하여 상기 진동 피드백이 요청된 시점(time point)의 상기 하나 이상의 햅틱 유닛의 검출된 위치에 기초하여 가상 평면을 결정하며, 상기 가상 평면에서 상기 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 상기 검출된 위치 및 상기 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 상기 하나 이상의 햅틱 유닛을 통해 제공할 수 있다.

상기 프로세서는, 상기 결정된 가상 평면의 좌표들에 상기 제1 이미지 데이터의 픽셀 값 들을 매핑하고, 상기 하나 이상의 햅틱 유닛 중 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 픽셀 값에 대응하는 진동 피드백을 제공할 수 있다.

상기 조작 신체 부위는 손을 포함하고, 상기 프로세서는, 상기 진동 피드백이 요청된 시점의 상기 손의 바닥면에 대응하는 평면을 상기 가상 평면으로 결정하고, 상기 가상 평면에서 손의 이동에 따라 상기 진동 피드백을 제공할 수 있다.

상기 프로세서는, 상기 사용자의 음성 명령 또는 제스쳐 중 적어도 하나에 기초하여, 상기 진동 피드백이 요청된 것으로 결정하고 상기 가상 평면을 생성할 수 있다.

상기 햅틱 피드백 장치는, 상기 제1 시야각의 중심방향 및 제2 시야각의 중심방향 간의 각도 차이가 임계 각도를 초과하도록 형성될 수 있다.

상기 프로세서는, 상기 제1 이미지 데이터를 분석함으로써, 상기 제1 시야각에 대응하는 장면에 나타나는 객체 또는 배경 중 적어도 하나에 관한 시각적 정보를 추출하고, 상기 햅틱 피드백 장치는, 상기 추출된 시각적 정보를 안내하는 소리를 출력하는 소리 출력부를 더 포함할 수 있다.

상기 햅틱 피드백 장치는, 사용자의 음성을 수집하는 소리 수집부를 더 포함하고, 상기 프로세서는, 상기 수집된 음성에 기초하여 상기 제1 시야각에 대응하는 장면에 나타나는 하나 이상의 객체 중 관심 객체를 선택하고, 상기 제1 이미지 데이터 중 상기 선택된 관심 객체에 대응하는 포커싱 영역에 대한 진동 피드백을 상기 가상 평면 상의 상기 하나 이상의 햅틱 유닛을 통해 제공할 수 있다.

상기 프로세서는, 상기 제1 이미지 데이터에서 상기 포커싱 영역에 대해 강조된 픽셀 값을 가상 평면의 좌표에 매핑하고, 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 강조된 픽셀 값에 대응하는 진동 피드백을 제공할 수 있다.

상기 프로세서는, 상기 제1 이미지 데이터에서 상기 포커싱 영역의 픽셀 값을 가상 평면의 좌표에 매핑하고 나머지 영역의 픽셀 값을 배제할 수 있다.

상기 비전 센서는, 카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 프로세서에 의해 수행되는 햅틱 피드백 방법은 제1 비전 센서를 통해 사용자의 머리 방향에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처하는 단계, 상기 사용자의 머리방향에 대응하는 장면에 대한 진동 피드백 요청 시 요청된 시점에 제2 비전 센서로 제2 이미지 데이터를 캡처하는 단계; 상기 제2 이미지 데이터를 통해 검출된 하나 이상의 햅틱 유닛의 위치에 기초하여 가상 평면이 결정되는 단계; 및 상기 가상 평면에서 상기 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 상기 검출된 위치 및 상기 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 상기 하나 이상의 햅틱 유닛을 통해 제공하는 단계를 포함할 수 있다.

상기 제1 이미지 데이터를 캡처하는 단계는, 상기 제1 이미지 데이터를 분석하여 나타나는 객체 또는 배경 중 적어도 하나에 관한 시각적 정보를 추출하는 단계; 상기 추출된 시각적 정보를 소리 출력부를 통해 안내하는 소리를 출력하는 단계; 상기 안내하는 소리를 기초로 발화하는 사용자의 음성을 소리 수집부를 통해 수집하는 단계; 및 상기 수집된 사용자의 음성에 기초하여 상기 제1 이미지 데이터에 나타나는 하나 이상의 객체 중 관심 객체에 대응하는 포커싱 영역을 선택하는 단계를 더 포함할 수 있다.

상기 제1 이미지 데이터는 상기 포커싱 영역에 대해 강조된 픽셀 값을 상기 가상 평면의 좌표에 매핑하고, 나머지 영역의 픽셀 값은 배제하며, 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 강조된 픽셀 값에 대응하는 진동 피드백을 제공할 수 있다.

일 실시예에 따른 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체는, 방법을 수행하기 위한 명령어를 포함할 수 있다.

도 1은 일 실시예에 따른 햅틱 피드백 장치의 예시적인 실시예를 도시한다.
도 2는 일 실시예에 따른 햅틱 피드백 장치의 블록도를 도시한다.
도 3a는 일 실시예에 따른 햅틱 피드백 장치의 측면도, 도 3b는 햅틱 피드백 장치의 정면도를 도시한다.
도 4는 일 실시예에 따른 햅틱 피드백 장치 중 제2 웨어러블 장치의 사시도를 도시한다.
도 5는 일 실시예에 따른 햅틱 피드백 장치 중 제2 웨어러블 장치의 진동 피드백 예시도를 도시한다.
도 6은 일 실시예에 따른 햅틱 피드백 방법의 흐름도를 도시한다.
도 7은 일 실시예에 따른 제1 이미지 데이터의 포커싱 영역을 선택하기 위한 동작을 나타내는 흐름도를 도시한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 햅틱 피드백 장치의 예시적인 실시예를 도시한다.

일 실시예에 따른 햅틱 피드백 장치(100)는 제1 웨어러블 장치(110)(예: 센싱부(sensing unit)) 및 제2 웨어러블 장치(120)(예: 피드백부(feedback unit))를 포함할 수 있다.

제1 웨어러블 장치(110)는 사용자(예: 시각장애인)의 머리에 착용 가능할 수 있다. 제1 웨어러블 장치(110)는 해당 장치에 탑재된 비전 센서에 기초하여 이미지 데이터를 캡처할 수 있다. 예를 들어, 제1 웨어러블 장치(110)는 탑재된 비전 센서의 시야각들(130)로 이미지 데이터를 촬영할 수 있다. 제1 웨어러블 장치(110)는 제1 시야각(131)에 대응하는 제1 이미지 데이터 및 제2 시야각(132)에 대응하는 제2 이미지 데이터를 개별적으로 캡처할 수 있다. 제1 시야각(131)는 사용자의 전방(예: 머리 방향)에 대응하는 시야각일 수 있고, 제2 시야각(132)은 제1 시야각(131)보다 낮은 시야각일 수 있다. 제1 웨어러블 장치(110)는 제1 시야각(131)에 대응하는 장면에 관한 제1 이미지 데이터 및 제2 시야각(132) 내에서 이동되는 사용자의 손 또는 해당 손에 장착된 제2 웨어러블 장치(120)를 포함한 제2 이미지 데이터를 함께 획득할 수 있다. 또한, 제1 웨어러블 장치(110)는 연속된 프레임들에서 복수의 이미지 데이터를 캡처할 수 있다. 햅틱 피드백 장치(100)는 제1 이미지 데이터의 프레임 및 제2 이미지 데이터의 프레임을 동기화할 수 있다. 달리 말해, 제1 웨어러블 장치(110)는 각 프레임 별로 동시에 캡처된 제1 이미지 데이터 및 제2 이미지 데이터를 식별할 수 있다.

제1 웨어러블 장치(110)는 제1 이미지 데이터 및 제2 이미지 데이터를 분석할 수 있다. 예를 들어 제1 웨어러블 장치(110)는 제1 이미지 데이터의 픽셀 값들을 가상 평면에 매핑할 수 있다. 가상 평면은 사용자의 손 또는 제2 웨어러블 장치(120)의 포인팅 위치가 위치될 수 있으면서 제2 시야각(132) 내에 포함되는 평면으로 설정될 수 있다. 가상 평면은 후술한다. 제1 웨어러블 장치(110)는 제2 이미지 데이터에 기초하여 가상 평면 중 제2 웨어러블 장치(120)의 포인팅 위치(pointing position)(예: 손가락의 팁 부분(tip portion))와 매칭하는 지점을 결정할 수 있다. 제1 웨어러블 장치(110)는 팁 부분과 매칭하는 지점에 매핑된 픽셀 값에 기초하여 진동 데이터를 생성할 수 있다. 예를 들어, 제1 웨어러블 장치(110)는 픽셀 값에 대응하는 진동 세기 또는 진동 시간 중 적어도 하나를 포함하는 진동 데이터를 생성할 수 있다. 제1 웨어러블 장치(110)는 이미지 데이터들을 처리한 결과(예: 진동 데이터)를 제2 웨어러블 장치(120)에게 전송 또는 공유할 수 있다.

제2 웨어러블 장치(120)는 사용자의 손 또는 손가락에 착용될 수 있다. 제2 웨어러블 장치(120)는 캡처된 이미지 데이터를 처리한 결과에 기초한 진동 피드백을 발생시킬 수 있다. 예를 들어, 제2 웨어러블 장치(120)는 제1 웨어러블 장치(110)로부터 진동 피드백을 위한 데이터(예: 진동 세기 또는 진동 시간 중 적어도 하나를 포함하는 진동 데이터)를 수신할 수 있다. 제2 웨어러블 장치(120)는 수신된 진동 데이터에 기초하여 진동 피드백을 발생시킬 수 있다. 예를 들어, 제2 웨어러블 장치(120)는 진동 데이터에서 지시된 진동 세기 또는 진동 시간 중 적어도 하나에 따른 진동을 발생시킬 수 있다.

다만, 본 명세서에서 이미지 데이터의 처리 및 진동 피드백을 위한 데이터의 생성이 제1 웨어러블 장치(110)에 의해 수행되는 예시를 주로 설명하나 이로 한정하는 것은 아니다. 제1 웨어러블 장치(110) 및 제2 웨어러블 장치(120)가 협력하여 이미지 데이터를 분석 및 진동 피드백을 위한 데이터를 생성할 수 있다. 또한, 별도의 전자 장치(예: 스마트폰)이 제1 웨어러블 장치(110) 또는 제2 웨어러블 장치(120) 중 적어도 하나와 통신을 수립하여 데이터를 처리할 수도 있다. 예를 들어, 해당 전자 장치가 제1 웨어러블 장치(110)로부터 이미지 데이터를 수신하고 분석하며, 분석 결과를 제2 웨어러블 장치(120)에게 전달할 수도 있다.

도 2는 일 실시예에 따른 햅틱 피드백 장치의 블록도를 도시한다.

도 1에서 전술한 바와 같이 햅틱 피드백 장치(100)는 제1 웨어러블 장치(110) 및 제2 웨어러블 장치(120)를 포함할 수 있다. 제1 웨어러블 장치(110)와 제2 웨어러블 장치(120)는 직접 통신(Direct Communication) 방식으로 통신 채널을 형성할 수 있다. 햅틱 피드백 장치(100)는 제1 웨어러블 장치(110) 및 제2 웨어러블 장치(120)의 통신채널을 통해 전자 장치(200)와 연결될 수 있다.

제1 웨어러블 장치(110)는 제1 비전 센서(111), 제2 비전 센서(112), 제1 프로세서(113) 및 제1 통신부(114)를 포함할 수 있다.

제1 비전 센서(111)는 제1 시야각(131)의 제1 이미지 데이터를 캡처할 수 있다. 제1 시야각(131)은 사용자의 머리방향에 대응하는 방향의 범위와 각도를 가질 수 있다. 제1 비전 센서(111)는 제1 시야각(131)에 대응하는 시야에 관한 시각적 정보를 수집할 수 있다. 예를 들어 제1 비전 센서(111)는 외출 시 사용자의 전방에 있는 객체 및/또는 배경을 캡처할 수 있다.

제2 비전 센서(112)는 제2 시야각(132)의 제2 이미지 데이터를 캡처할 수 있다. 제2 시야각(132)은 사용자의 머리방향보다 낮은 방향에 대응하는 방향의 범위와 각도를 가질 수 있다. 제2 비전 센서(112)는 조작 신체 부위에 관한 시각적 정보를 수집할 수 있다. 예를 들어 제2 비전 센서(112)는 외출 시 만보(sauntering walk)로 이동하는 사용자의 손의 위치를 캡처할 수 있다. 제1 비전 센서(111) 및 제2 비전 센서(112)의 시야각 및 그 센싱 범위에 대한 구체적인 설명은 도3에서 후술한다.

제1 프로세서(113)는 제1 비전 센서(111) 및 제2 비전 센서(112)를 통해 연속된 프레임들에서 복수의 이미지 데이터를 캡처할 수 있다. 달리 말해, 제1 비전 센서(111)는 연속적인 복수의 제1 이미지 데이터를 캡처할 수 있고, 제2 비전 센서(112)는 연속적인 복수의 제2 이미지 데이터를 캡처할 수 있다. 제1 프로세서(113)는 제1 이미지 데이터의 프레임 및 제2 이미지 데이터의 프레임을 동기화할 수 있다. 즉, 제1 프로세서(113)는 각 프레임 별로 동시에 캡처된 제1 이미지 데이터 및 제2 이미지 데이터를 식별할 수 있다. 예를 들면, 제1 프로세서(113)는 첫번째 프레임에 캡처된 사용자의 전방에 있는 객체 및/또는 배경의 제1 이미지 데이터와 첫번째 프레임에 캡처된 사용자의 손 위치를 나타내는 제2 이미지 데이터를 동기화할 수 있다.

제1 프로세서(113)는 제1 이미지 데이터 및 제2 이미지 데이터를 분석한 결과에 기초하여 진동 피드백을 결정할 수 있다. 제1 프로세서(113)는 제1 이미지 데이터를 분석함으로써, 제1 시야각(131)에 대응하는 장면에 나타나는 객체 및/또는 배경에 관한 시각적 정보를 추출할 수 있다. 제1 프로세서(113)는 추출된 시각적 정보를 소리 출력부로 전달하여 소리 출력부가 사용자에게 소리로 시각적 정보를 안내할 수 있다.

전술한 바와 같이 제1 프로세서(113)는 제2 시야각(132)에 대응하는 제2 이미지 데이터에 기초하여 하나 이상의 햅틱 유닛의 위치를 검출할 수 있다. 제1 프로세서(113)는 진동 피드백이 요청되는 것에 응답하여 가상 평면을 형성할 수 있다. 진동 피드백은 사용자의 머리방향에 대응하는 장면인 제1 이미지 데이터에 기초하여 요청될 수 있다. 가상 평면은 진동 피드백이 요청된 시점(time point)의 하나 이상의 햅틱 유닛의 검출된 위치에 기초하여 결정될 수 있다. 예를 들어, 하나 이상의 햅틱 유닛을 착용할 수 있는 조작 신체 부위가 손인 경우, 제1 프로세서(113)는 가상 평면을 진동 피드백이 요청된 시점의 손의 바닥면에 대응하는 평면으로 결정할 수 있다. 즉, 제1 프로세서(113)는 사용자의 음성 명령 또는 제스처 중 적어도 하나에 기초하여, 진동 피드백이 요청된 것으로 결정하고 가상 평면을 생성할 수 있다.

제1 프로세서(113)는 진동 피드백을 하나 이상의 햅틱 유닛을 통해 제공할 수 있다. 진동 피드백은 가상 평면에서 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 검출된 위치 및 제1 이미지 데이터에 기초하여 결정될 수 있다. 제1 프로세서(113)는 결정된 가상 평면의 좌표들에 제1 이미지 데이터의 픽셀 값들을 매핑할 수 있다. 픽셀 값은 제1 이미지 데이터에 포함된 픽셀들이 가지는 세기 값일 수 있다. 제1 비전 센서가 레이더 센서, 라이다 센서, 또는 초음파 센서를 포함하는 경우, 제1 이미지 데이터의 픽셀 값은 해당 픽셀에 대응하는 물리적 위치까지의 거리를 나타내는 값(예: ToF(time of flight) 값)일 수 있다. 제1 비전 센서가 적외선 센서를 포함하는 경우, 제1 이미지 데이터의 픽셀 값은 해당 픽셀에 대응하는 물리적 위치로부터 반사된 적외선 세기를 나타내는 값일 수 있다.

제1 비전 센서가 카메라 센서를 포함하는 경우, 제1 이미지 데이터는 픽셀 별로 색상 값을 포함할 수 있다. 예를 들어, 제1 이미지 데이터의 각 픽셀은 색공간에 따르는 색상 채널 별 색상 값을 포함하는 색상 벡터를 가질 수 있다. 대표적인 RGB 색공간에서, 제1 이미지 데이터의 각 픽셀은 적색 값, 녹색 값, 및 청색 값을 포함하는 색상 값들(예: RGB 값)을 포함할 수 있다.

햅틱 피드백 장치는 각 픽셀의 색상 값들을 그레이 스케일(gray scale)을 따르는 값(예: 명도 값)으로 변환할 수 있다. 예를 들어, 햅틱 피드백 장치는 제1 이미지 데이터를 컬러 이미지로부터 그레이 스케일 이미지로 변환(예: 다운그레이드 변환)할 수 있다. 그레이 스케일 이미지의 각 픽셀 값은 예시적으로 명도(brightness) 값일 수 있다. 명도(brightness) 값은 0 이상 255 이하의 값으로 표현될 수 있어, 0이면 가장 어두운 색이고 255면 가장 밝은 색임을 나타낼 수 있다. 명도 값은 가상 평면에서 해당하는 픽셀의 위치에 매핑될 수 있다. 후술하겠으나, 햅틱 피드백 장치는 가상 평면에서 사용자에 의해 지시되는 위치 별로 해당 위치에 매핑된 명도 값에 대응하는 진동 세기의 햅틱 피드백을 제공할 수 있다.

다만, 각 픽셀의 색상 값들이 분석으로부터 배제되는 것으로 한정하는 것은 아니다. 예를 들어, 햅틱 피드백 장치는 각 픽셀의 색상 값들을 제1 프로세서(113)에게 전달할 수 있다. 제1 프로세서(113)는 전달된 각 픽셀의 색상 값들에 기초하여 제1 이미지 데이터로부터 시각적 정보를 보다 용이하게 추출할 수 있다.

또한, 햅틱 피드백 장치는 각 픽셀의 색상 값들을 이용하여 관심 객체의 색상을 나타내는 진동 피드백을 발생시킬 수 있다. 예를 들어, 햅틱 피드백 장치는 복수의 색상들 별로 서로 구별되는 진동 패턴을 저장할 수 있다. 복수의 색상들의 각각은 예시적으로 RGB 색공간의 색상 값 범위(예: 적색 값의 범위, 녹색 값의 범위, 및 청색 값의 범위)에 의해 정의될 수 있다. 햅틱 피드백 장치는, 픽셀의 색상 값이 복수의 색상들 중 한 색상의 색상 값 범위에 속하는 경우, 해당 픽셀이 해당 색상인 것으로 결정할 수 있다. 복수의 색상들의 각각의 색상 값 범위를 정의하는 정보를 색상 분류 정보라고 나타낼 수 있다. 진동 패턴들의 각각은 다른 진동 패턴과 구별되는 고유의 패턴을 가질 수 있고, 진동 패턴들의 개수와 전술한 바와 같이 분류된 색상들의 개수는 동일할 수 있다. 달리 말해, 각 색상마다 고유의 진동 패턴이 할당될 수 있다. 햅틱 피드백 장치는 미리 저장된 색상 분류 정보를 이용하여 관심객체의 픽셀이 속하는 색상 분류를 결정할 수 있다. 햅틱 피드백 장치는 결정된 색상 분류에 할당된 진동 패턴을 발생시킬 수 있다. 예를 들면, 컬러 분류 정보는 적색, 주황색, 노란색, 녹색, 청색, 남색, 및 보라색 별 색상 값 범위를 포함할 수 있다. 햅틱 피드백 장치는, 관심객체의 픽셀이 적색으로 결정되는 경우, 적색에 대응하는 고유한 진동패턴을 진동 피드백으로 발생시킬 수 있다.

제1 프로세서(113)는 하나 이상의 햅틱 유닛 중 가상 평면과 접촉한 햅틱 유닛에게 진동 피드백을 제공할 수 있다. 진동 피드백은 가상 평면에 매핑된 픽셀 값에 대응될 수 있다. 즉, 제1 프로세서(113)는 상술한 바와 같이 가상 평면에서 손의 이동에 따라 진동 피드백을 제공할 수 있다. 햅틱 유닛에 대응되어 진동 피드백을 제공하는 구체적인 방식은 도4 및 도5에서 후술한다.

제1 프로세서(113)는 제1 시야각에 대응하는 장면에 나타나는 하나 이상의 객체 중 관심 객체를 선택할 수 있다. 관심 객체는 소리 수집부를 통해 수집된 사용자의 음성에 기초하여 선택될 수 있다. 제1 프로세서(113)는 제1 이미지 데이터 중 선택된 관심 객체에 대응하는 포커싱 영역에 대한 진동 피드백을 가상 평면 상의 하나 이상의 햅틱 유닛(122)을 통해 제공할 수 있다. 제1 프로세서(113)는 제1 이미지 데이터에서 포커싱 영역의 픽셀 값을 가상 평면의 좌표에 매핑하고 나머지 영역의 픽셀 값은 배제할 수 있다. 즉, 제1 프로세서(113)는 포커싱 영역에 대해서만 진동 피드백을 제공하므로 진동 피드백을 발생시키기 위한 연산에 대한 부하가 감소될 수 있다.

햅틱 피드백 장치(100)는 사용자에게 안내하는 소리를 출력하는 소리 출력부 및 사용자의 음성을 수집하는 소리 수집부를 더 포함할 수 있다. 소리 출력부 및 소리 수집부는 제1 웨어러블 장치(110) 및/또는 제2 웨어러블 장치(120)에 같이 또는 따로 구성될 수 있다.

참고로, 상술한 제1 프로세서(113)는 제1 웨어러블 장치(110)에 한 프로세서로 도시되었으나, 이로 한정하는 것은 아니다. 제1 프로세서(113)는 복수의 프로세서들을 포함할 수 있고, 각 프로세서가 수행되는 작업을 분산하여 처리할 수도 있다.

제1 통신부(114)는 통신채널이 유선 또는 무선으로 연결될 수 있다. 예를 들면, 제1 통신부(114)는 제2 웨어러블 장치(120)와 무선으로 블루투스 방식 또는 와이파이 방식의 통신 채널을 형성할 수 있다. 예를 들면, 제1 통신부(114)는 제2 웨어러블 장치(120)와 유선으로 텔레커뮤니케이션 네트워크(예: LAN (Local Area Network)) 방식의 통신 채널을 형성할 수 있다. 제1 통신부(114)는 전자 장치(200)와 유선 또는 무선으로 연결될 수 있다. 전자 장치(200)는 제1 통신부(114)를 통해 제1 웨어러블 장치(110)와 연결되어 상술한 제1 프로세서(113)의 기능을 수행할 수 있다. 예를 들면, 전자 장치(200)는 제1 웨어러블 장치(110)로부터 이미지 데이터를 수신 받아 진동 데이터를 생성하는 연산을 수행할 수 있다.

제2 웨어러블 장치(120)는 제2 프로세서(121) 햅틱 유닛(122) 및 제2 통신부(123)를 포함할 수 있다.

제2 프로세서(121)는 상술한 제1 프로세서(113)의 기능을 수행하거나 햅틱 유닛(122)을 제어하는 기능만을 수행할 수 있다. 예를 들면, 제1 프로세서(113)는 제1 이미지 데이터를 분석하여 픽셀 값을 생성할 수 있다. 제2 프로세서(121)는 생성된 픽셀 값을 가상 평면에 매핑하여 제2 이미지 데이터를 분석함에 따라 최종 진동 데이터를 생성할 수 있다. 다른 예를 들면, 제1 프로세서(113)는 제1 비전센서(111) 및 제2 비전센서(112)를 통해 획득한 이미지 데이터를 분석할 수 있다. 제2 프로세서(121)는 제1 프로세서(113)가 이미지 데이터 분석을 통해 생성한 진동 데이터를 기초로 햅틱 유닛(122)을 제어할 수 있다.

본 명세서에서는 제1 웨어러블 장치(110) 및 제2 웨어러블 장치(120) 각각에 프로세서가 구성되는 것으로 설명하지만, 이로 한정하는 것은 아니다. 전술한 제1 프로세서(113) 및 제2 프로세서(121)의 동작들이 통합된 프로세서에서 수행될 수도 있고, 통합된 프로세서는 제1 웨어러블 장치(110), 제2 웨어러블 장치(120) 또는 외부의 다른 전자 장치에 포함될 수 있다.

하나 이상의 햅틱 유닛(122)은 사용자의 조작 신체 부위에 착용이 가능할 수 있다. 하나 이상의 햅틱 유닛(122)은 사용자의 조작 신체 부위를 통해 진동 피드백을 제공할 수 있다. 하나 이상의 햅틱 유닛은 양 손의 하나 이상의 손가락에 착용될 수 있다. 예를 들어, 햅틱 피드백 장치가 10개의 햅틱 유닛을 포함하는 경우, 10개의 손가락 끝(tip)에 각각 착용될 수 있다. 따라서, 사용자는 손 끝에 착용된 햅틱 유닛(122)을 자유롭게 움직일 수 있다. 햅틱 유닛의 상세한 구성은 도4 및 도5에서 후술한다.

제2 통신부(123)는 상술한 제1 통신부(114)와 같이 통신채널이 유선 또는 무선으로 연결될 수 있다. 제2 통신부(123) 또한 전자 장치(200)와 연결되어 전자 장치(200)에서 수행된 기능의 결과를 수신 받을 수 있다. 예를 들면, 전자 장치(200)는 제1 프로세서의 기능을 수행하여 생성한 진동 데이터를 제2 통신부(123)로 바로 전송할 수 있다.

도 3a는 일 실시예에 따른 햅틱 피드백 장치의 측면도, 도 3b는 햅틱 피드백 장치의 정면도를 도시한다.

제1 웨어러블 장치(110)의 하우징(115)에 제1 비전 센서(111), 제2 비전 센서(112) 제1 프로세서(113) 및 통신부(114)가 위치될 수 있다. 하우징(115)은 사용자의 머리에 착용 가능하게 구성될 수 있다.

제1 비전 센서(111)는 제1 시야각(131)을 가지고 제2 비전 센서(112)는 제2 시야각(132)을 가질 수 있다. 제1 시야각(131)의 중심방향은 제2 시야각(132)의 중심방향 과의 각도 차이가 임계 각도를 초과하도록 형성될 수 있다. 제1 비전 센서(111)의 제1 센싱 범위(141)는 제2 비전 센서(112)의 제2 센싱 범위(142)와 비중첩하거나, 임계 범위 미만으로 중첩될 수 있다. 달리 말해, 제1 센싱 범위(141) 및 제2 센싱 범위(142)의 중첩 범위가 최소화될 수 있다. 즉, 제1 비전 센서(111)가 제1 이미지 데이터를 캡처할 때 캡처 범위의 제1 시야각(131)이 방해받지 않을 수 있다. 또한, 제2 비전 센서(112)가 제2 이미지 데이터를 캡처할 때도 캡처범위의 제2 시야각(132)이 방해받지 않을 수 있다. 예를 들어, 제1 비전 센서(111)는 사용자의 머리방향에 대응하는 정면을 캡처할 수 있다. 제1 비전 센서(111)는 안경 브릿지에 배치될 수 있으나, 이로 한정하는 것은 아니다. 도 3a 및 도 3b에 도시된 예시에서, 제1 비전 센서(111)의 제1 시야각(131)의 중심방향은 직선(A)로 도시될 수 있다. 제2 비전 센서(112)의 제2 시야각(132)의 중심방향은 직선(B)로 도시될 수 있다. 제1 시야각(131)의 중심방향 및 제2 시야각(132)의 중심방향이 교차(예: 직교)하게, 제1 비전 센서(111) 및 제2 비전 센서(112)가 배치될 수 있다. 즉, 제2 비전 센서(112)는 지면과 정면 방향 사이에 위치된 사용자의 손을 포함하는 제2 이미지 데이터를 캡처할 수 있다. 제2 비전 센서(112)는 사용자의 손 뿐만 아니라 손 바닥면에 형성되는 가상 평면(140)을 포함하여 캡처할 수 있다. 가상 평면은 제2 이미지 데이터를 통해 검출된 하나 이상의 햅틱 유닛의 위치에 기초하여 결정될 수 있다. 예를 들면, 검지 및 엄지에 착용된 햅틱 유닛을 중심으로 가상 평면이 형성될 수 있으나, 이에 한정되지 않고, 다른 손가락의 하나 이상을 기준으로 하여 가상 평면이 형성될 수 있다.

다만, 본 명세서에서 비전 센서의 위치 및 시야각이 정적인(static) 예시를 주로 설명하나, 이로 한정하는 것은 아니다. 설계에 따라 예시적으로, 제2 비전 센서(112)는 제2 시야각(132) 내에 사용자의 손(120)이 포함될 수 있도록 손의 움직임에 따라 제2 비전 센서(112)가 회전 및/또는 이동을 수행할 수 있다. 따라서, 제2 비전 센서(112)는 외출 시 움직이는 사용자의 손을 계속해서 캡처할 수 있다. 제1 비전 센서(111)는 제2 비전 센서(112)의 회전 및/또는 이동에 따라 상호 시야각의 중심방향 간의 각도가 임계 각도를 초과하도록 회전 및/또는 이동할 수 있다.

참고로, 도 3a에서는 하나의 제2 비전 센서(112)가 도시되었으나, 이로 한정하는 것은 아니다. 복수의 제2 비전 센서들이 다양한 종류의 센서를 포함하고, 템플 또는 림의 어느 부분이든 위치할 수 있다.

제1 웨어러블 장치(110)는 안경형뿐만 아니라 제1 시야각(131) 및 제2 시야각(132) 간의 임계 각도 확보가 가능한 헤드셋, 헬멧 및 고글의 형태일 수 있다.

제1 비전 센서(111) 및 제2 비전 센서(112)는, 카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함할 수 있다. 예시적으로 카메라 센서는 스테레오 카메라 센서로 구현되어, 깊이를 측정 가능하게 구성될 수도 있다.

도 4는 일 실시예에 따른 햅틱 피드백 장치 중 제2 웨어러블 장치의 사시도를 도시한다.

제2 웨어러블 장치(400)(예: 제2 웨어러블 장치(120))는 사용자의 조작 신체 부위(예: 손가락)에 장착될 수 있다. 제2 웨어러블 장치(400)는 하나 이상의 장착 유닛(410)일 수 있다. 하나 이상의 장착 유닛(410)은 각각의 하우징에 제어부(411)(예: 제2 프로세서(121)), 진동부(412)(예: 햅틱 유닛(122)) 및 신호 송수신부(413)(예: 제2 통신부(123))가 형성될 수 있다. 제어부(411), 진동부(412) 및 신호 송수신부(413)는 전력 공급 및 상호 제어를 위해 상호 연결될 수 있다. 예를 들면, 제어부(411), 진동부(412) 및 신호 송수신부(413)는 별도의 연결부재를 통해 전기적으로 연결될 수 있다. 참고로, 도 4에서는 하나 이상의 장착 유닛(410)이 골무형으로 도시되었으나, 이로 한정하는 것은 아니다. 추가적으로, 제2 웨어러블 장치(400)는 FPCB(flexible printed circuit board)를 이용하여 제어부(411)를 형성할 수 있다. 이를 통해 하나 이상의 장착 유닛(410)은 FPCB와 연결된 골무형 또는 장갑형일 수 있으며, 사용자의 임의의 신체 위치에 부착가능한 인체부착형의 형태일 수도 있다.

제어부(411)는 상술한 제2 프로세서(121)의 기능을 수행할 수 있다. 예시적으로, 제어부(411)는 직접 제2 이미지 데이터를 기초하여 진동 피드백 생성하거나 단순히 진동 피드백 제어 신호를 수신받아 진동부(412)를 제어할 수 있다.

진동부(412)는 상술한 햅틱 유닛(122)의 기능을 수행할 수 있다. 진동부(412)는 진동 모터로 구성되어 다양한 진동 패턴을 만들 수 있다. 예를 들어, 진동부(412)는 진동 세기 및 진동 시간이 손가락 별로 다양하게 설정될 수 있다. 진동부(412)는 다양한 진동 패턴을 통해 사용자에게 가상의 촉감을 전달할 수 있다.

신호 송수신부(413)는 상술한 제2 통신부(123)의 기능을 수행할 수 있다. 즉, 신호 송수신부(413)는 제1 웨어러블 장치(110) 및/또는 전자 장치(200)와 통신채널을 형성하여 제어신호를 송수신할 수 있다. 추가로, 신호 송수신부(413)는 제1 웨어러블 장치(110) 및/또는 전자 장치(200)로부터 구동을 위한 전력 또한 수신할 수 있다.

제2 웨어러블 장치(400)에는 가상 평면(420)이 형성될 수 있다. 가상 평면(430)은 하나 이상의 장착 유닛(410)이 장착된 손가락 끝에 형성되는 평면으로 결정될 수 있다. 하나 이상의 장착 유닛(410)은 가상 평면(420) 상을 이동할 수 있다. 하나 이상의 장착 유닛(410)은 이동하면서 가상 평면(430) 상에 매핑된 픽셀 값에 따라 변화되는 진동 피드백을 전달할 수 있다.

하나 이상의 장착 유닛(410)은 양 손에 장착될 수 있으므로, 하나 이상의 장착 유닛(410)에 기초하여 형성되는 가상 평면(420) 또한 두 개로 형성될 수 있다. 예시적으로, 각 가상 평면(420)에 매핑되는 픽셀 값은 동일한 제1 이미지 데이터의 포커싱 영역을 분할하여 매핑시킬 수 있다. 즉, 왼손에는 포커싱 영역의 좌측 부분에 대한 진동 피드백이 전달될 수 있고, 오른손에는 포커싱 영역의 우측 부분에 대한 진동 피드백이 전달될 수 있다. 결론적으로, 만약 사용자가 음성을 통해 인식을 원하는 사물을 지정하면 제1 프로세서(113) 및/또는 제2 프로세서(121)는 지정된 사물의 중심 좌표를 기준으로 사물의 부분을 좌측과 우측으로 나눌 수 있다. 제1 프로세서(113) 및/또는 제2 프로세서(121)는 나누어진 사물의 좌측과 우측 각각을 오른손 좌표와 왼손 좌표에 대응시켜 해당 사물의 좌측 우측이 분할되어 매핑될 수 있다.

다른 예시적으로, 각 가상 평면(420)에 매핑되는 픽셀 값은 제1 이미지 데이터 중 제1 포커싱 영역과 제2 포커싱 영역에 대하여 매핑될 수 있다. 즉, 가상 평면(420)에 매핑되는 픽셀 값은 포커싱 영역을 복수개 선택하여 각각의 가상 평면(420)에 매핑할 수 있다. 제1 포커싱 영역은 오른손에 매핑되고, 제2 포커싱 영역은 왼손에 매핑되어 이에 대응되는 진동 피드백이 전달될 수 있다.

도 5는 일 실시예에 따른 햅틱 피드백 장치 중 제2 웨어러블 장치의 진동 피드백 예시도를 도시한다.

제어부(411)는 하나 이상의 장착 유닛(410) 중 가상 평면(420)과 접촉한 진동부(412)에게 진동 피드백을 제공할 수 있다. 진동 피드백은 가상 평면에 매핑된 제1 이미지 데이터(510)에 대응하는 픽셀 값에 기초하여 생성될 수 있다. 즉, 제1 위치(521)에 위치한 제1 손가락의 진동부(412)는 제1 이미지 데이터에서 제1 위치(521)에 대응하는 제1 픽셀 값에 기초한 진동을 제공할 수 있다. 이와 동일하게 제2 손가락, 제3 손가락, 제4 손가락, 제5 손가락의 진동부(412)는 각각 제2 위치(522), 제3 위치(523), 제4 위치(524), 제5 위치(525)에 위치할 것이다. 이에 따라 제2 손가락, 제3 손가락, 제4 손가락, 제5 손가락의 진동부(412)는 제1 이미지 데이터에서 각각의 제2 위치(522), 제3 위치(523), 제4 위치(524), 제5 위치(525)에 대응하는 제2 픽셀 값, 제3 픽셀 값, 제4 픽셀 값, 제5 픽셀 값에 기초한 진동을 제공할 수 있다. 예를 들어, 도5에 도시된 바와 같이, 명암으로 표시된 제1 이미지 데이터의 포커싱 영역이 사람의 안면의 눈부분에 해당하는 경우, 제1 손가락의 제1 위치(521)는 눈 앞머리 부분에 해당하는 제1 픽셀 값(예: 중간 값의 명암)을 가질 수 있다. 제1 픽셀 값에 따라 제1 손가락에는 강도가 중간인 진동 피드백이 제공될 수 있다. 제2 손가락의 제2 위치(522)는 아이홀 부분에 해당하는 제2 픽셀 값(예: 낮은 값의 명암)을 가질 수 있다. 제2 픽셀 값에 따라 제2 손가락에는 강도가 강한 진동 피드백이 제공될 수 있다. 제3 손가락, 제4 손가락, 제5 손가락의 제3 위치(523), 제4 위치(524), 제5 위치(525)는 이마 및 눈과 눈썹 사이의 피부에 해당하는 제3 픽셀, 제4 픽셀, 제5 픽셀 값(예: 높은 값의 명암)을 가질 수 있다. 제3 픽셀, 제4 픽셀, 제5 픽셀 값에 따라 제3 손가락, 제4 손가락, 제5 손가락에는 강도가 약한 진동 피드백이 제공될 수 있다. 여기서 진동 피드백의 강도가 단순히 약한, 중간, 강한 정도로만 표현되었지만 이로 한정하는 것은 아니다. 예를 들면, 0이상 255 이하의 값으로 표현된 각 픽셀 값은 각 값에 단계적인 진동 피드백의 세기 차이를 가져 이미지를 표현하는 섬세한 햅틱 피드백이 가능할 수 있다. 즉, 손가락 위치한 위치에 해당하는 픽셀 값이 1인 경우에는 1을 표현하는 진동 피드백 세기를 가질 수 있도록 하고, 픽셀 값이 2인 경우에는 1과 근소한 차이가 있는 2를 표현하는 진동 피드백 세기를 가질 수 있도록 한다.

도 6은 일 실시예에 따른 햅틱 피드백 방법의 흐름도를 도시한다.

단계(610)에서, 프로세서는 제1 비전 센서를 통해 사용자의 머리 방향에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처할 수 있다. 예를 들어, 프로세서는 머리 방향이 유지된 시간(예: 사용자가 이동 없이 유지한 시간)이 임계 시간을 초과한 것으로 감지하는 경우, 제1 비전 센서를 통해 제1 이미지 데이터를 획득할 수 있다. 예를 들어, 프로세서는 소리 수집부를 통해 수집된 사용자의 음성으로부터 시야 정보의 요청을 식별할 수 있다. 프로세서는 시야 정보의 요청을 식별한 것에 기초하여, 제1 비전 센서를 통해 제1 이미지 데이터의 캡처를 개시(initiate)할 수 있다.

단계(620)에서, 프로세서는 진동 피드백 요청 시 요청된 시점에 제2 비전 센서로 제2 이미지 데이터를 캡처할 수 있다. 요청된 시점의 제1 이미지 데이터의 정보는 사용자의 머리방향에 대응하는 장면일 수 있다.

단계(630)에서, 프로세서는 제2 이미지 데이터를 통해 검출된 하나 이상의 햅틱 유닛의 위치에 기초하여 가상 평면을 결정할 수 있다.

단계(640)에서, 프로세서는 햅틱 유닛이 검출된 위치 및 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 하나 이상의 햅틱 유닛을 통해 제공할 수 있다. 햅틱 유닛이 검출된 위치는 가상 평면에서 하나 이상의 햅틱 유닛의 위치를 검출할 수 있다.

도 7은 일 실시예에 따른 제1 이미지 데이터의 포커싱 영역을 선택하기 위한 동작을 나타내는 흐름도를 도시한다.

단계(710)에서, 프로세서가 제1 이미지 데이터를 분석하여 나타나는 객체 또는 배경 중 적어도 하나에 관한 시각적 정보를 추출할 수 있다. 예를 들어, 제1 이미지 데이터를 분석하여 사람의 얼굴을 추출할 수 있다.

단계(720)에서, 프로세서가 추출된 시각적 정보를 소리 출력부를 통해 안내하는 소리를 출력할 수 있다. 예를 들어, 프로세서는 스피커를 통해 인식된 객체(예: 사람의 얼굴)에 대한 안내 정보(예: 안내 음성)를 출력할 수 있다.

단계(730)에서, 프로세서는 사용자의 음성을 소리 수집부를 통해 수집할 수 있다. 사용자는 햅틱 피드백 장치에 의해 출력된 소리(예: 안내 정보)에 반응하여 발화할 수 있다. 프로세서는 안내 정보에 대해 사용자가 반응한 발화 음성을 수집할 수 있다. 예를 들어, 프로세서는 안내 정보를 출력하는 동안 또는 안내 정보의 출력 이후의 시간 구간 중 적어도 한 구간에서 사용자의 발화 음성을 수집할 수 있다. 예를 들어, 마이크는 전술한 구간 동안 사용자가 사람의 얼굴 중 눈 부분을 지시하는 발화 음성을 수집할 수 있다.

단계(740)에서, 프로세서는 수집된 사용자의 발화 음성에 기초하여 제1 이미지 데이터에 나타나는 하나 이상의 객체 중 관심 객체에 대응하는 포커싱 영역을 선택할 수 있다. 프로세서는 수집된 발화 음성을 분석함으로써, 안내 정보를 통해 사용자에게 제공된 객체 중 해당 발화 음성이 지시하는 관심 객체를 식별할 수 있다. 프로세서는 제1 이미지 데이터로부터 식별된 관심 객체에 대응하는 포커싱 영역을 추출할 수 있다. 프로세서는 추출된 포커싱 영역에 기초한 데이터(예: 포커싱 데이터)를 생성할 수 있다.

예를 들어, 프로세서는 제1 이미지 데이터에 가중치를 적용함으로써 포커싱 영역에 포함된 픽셀 값들을 다른 영역의 픽셀 값들 강조할 수 있다. 프로세서는 포커싱 영역에 포함된 픽셀 값들에 제1 가중치(예: 1을 초과하는 가중치)를 적용할 수 있다. 프로세서는 다른 영역에 포함된 픽셀 값들에 제2 가중치(예: 1 미만의 가중치)를 적용할 수 있다.

다른 예를 들어, 프로세서는 제1 이미지 데이터로부터 포커싱 영역을 분할하고, 분할된 포커싱 영역에 대응하는 픽셀 값을 포함하는 포커싱 이미지를 생성할 수 있다. 프로세서는 포커싱 영역에 대응하는 픽셀 값을 보존하고 나머지 픽셀 값을 제거함으로써 포커싱 이미지를 생성할 수 있다. 또 다른 예를 들어, 프로세서는 포커싱 이미지를 제1 이미지 데이터와 같은 크기로 피팅(fitting)함으로써 확대할 수도 있다. 참고로, 픽셀 값은 전술한 바와 같이, 상술한 RGB 값이 그레이 스케일의 값으로 변환되어 결정된 값으로서, 예시적으로, 명도(brightness) 값일 수 있다.

단계(750)에서, 제1 이미지 데이터의 포커싱 영역의 스케일(scale)을 다운(down)시키는 처리를 수행할 수 있다.

단계(760)에서, 프로세서를 통해 제1 이미지 데이터의 포커싱 영역에 대해 강조된 픽셀 값을 가상 평면의 좌표에 매핑할 수 있다. 전술한 바와 같이, 포커싱 영역을 제외한 나머지 영역의 픽셀 값은 감소되거나 배제될 수 있다. 가상 평면과 접촉한 햅틱 유닛은 가상 평면에 매핑된 강조된 픽셀 값에 대응하는 진동 피드백을 제공할 수 있다. 예를 들어, 햅틱 피드백 장치는 햅틱 유닛을 장착한 사용자에게 햅틱 유닛을 가상평면에서 이동시킬 시 제1 이미지 데이터의 포커싱 영역 내 픽셀 별 진동 피드백을 제공할 수 있다. 따라서, 사용자는 햅틱 유닛을 장착한 신체 부위(예: 손)를 자유롭게 이동하면서 전방 시야에 대한 2차원 장면을 고해상도(예: 제1 이미지 데이터의 해상도)로 빠르게 인식할 수 있다.

햅틱 피드백 장치는 음성으로 개략적인 시각적 정보를 안내하고 사용자가 원하는 영역에 포커싱하여 해당 영역에 대해서 햅틱 피드백을 집중적으로 제공할 수 있다. 따라서, 햅틱 피드백 장치는 사용자의 주변 시각적 정보의 인식속도를 향상시킬 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

햅틱 피드백 장치에 있어서,
사용자의 머리에 착용 가능하게 구성되는 하우징;
상기 하우징에 위치되고, 시야에 관한 시각적 정보를 수집하기 위해 상기 사용자의 머리방향에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처하는 제1 비전 센서;
상기 하우징에 위치되고, 상기 사용자의 조작 신체 부위에 관한 시각적 정보를 수집하기 위해 상기 머리방향보다 낮은 방향에 대응하는 제2 시야각의 제2 이미지 데이터를 캡처하는 제2 비전 센서;
상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 분석한 결과에 기초하여 진동 피드백을 결정하는 프로세서; 및
상기 사용자의 상기 조작 신체 부위에 착용 가능하게 구성되고, 상기 진동 피드백을 제공하는 하나 이상의 햅틱 유닛
을 포함하고,
상기 프로세서는,
상기 제2 이미지 데이터에 기초하여 상기 하나 이상의 햅틱 유닛의 위치를 검출하고,
상기 사용자의 머리방향에 대응하는 장면에 대한 진동 피드백이 요청되는 것에 응답하여 상기 진동 피드백이 요청된 시점(time point)의 상기 하나 이상의 햅틱 유닛의 검출된 위치에 기초하여 가상 평면을 결정하며,
상기 가상 평면에서 상기 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 상기 검출된 위치 및 상기 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 상기 하나 이상의 햅틱 유닛을 통해 제공하는,
햅틱 피드백 장치.
제1항에 있어서,
상기 프로세서는,
상기 결정된 가상 평면의 좌표들에 상기 제1 이미지 데이터의 픽셀 값들을 매핑하고,
상기 하나 이상의 햅틱 유닛 중 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 픽셀 값에 대응하는 진동 피드백을 제공하는,
햅틱 피드백 장치.
제1항에 있어서,
상기 조작 신체 부위는 손을 포함하고,
상기 프로세서는,
상기 진동 피드백이 요청된 시점의 상기 손의 바닥면에 대응하는 평면을 상기 가상 평면으로 결정하고,
상기 가상 평면에서 손의 이동에 따라 상기 진동 피드백을 제공하는,
햅틱 피드백 장치.
제1항에 있어서,
상기 프로세서는,
상기 사용자의 음성 명령 또는 제스쳐 중 적어도 하나에 기초하여, 상기 진동 피드백이 요청된 것으로 결정하고 상기 가상 평면을 생성하는,
햅틱 피드백 장치.
제1항에 있어서,
상기 제1 시야각의 중심방향 및 제2 시야각의 중심방향 간의 각도 차이가 임계 각도를 초과하도록 형성되는
햅틱 피드백 장치.
제1항에 있어서,
상기 프로세서는,
상기 제1 이미지 데이터를 분석함으로써, 상기 제1 시야각에 대응하는 장면에 나타나는 객체 또는 배경 중 적어도 하나에 관한 시각적 정보를 추출하고,
상기 햅틱 피드백 장치는,
상기 추출된 시각적 정보를 안내하는 소리를 출력하는 소리 출력부
를 더 포함하는 햅틱 피드백 장치.
제1항에 있어서,
사용자의 음성을 수집하는 소리 수집부
를 더 포함하고,
상기 프로세서는,
상기 수집된 음성에 기초하여 상기 제1 시야각에 대응하는 장면에 나타나는 하나 이상의 객체 중 관심 객체를 선택하고,
상기 제1 이미지 데이터 중 상기 선택된 관심 객체에 대응하는 포커싱 영역에 대한 진동 피드백을 상기 가상 평면 상의 상기 하나 이상의 햅틱 유닛을 통해 제공하는,
햅틱 피드백 장치.
제7항에 있어서,
상기 프로세서는,
상기 제1 이미지 데이터에서 상기 포커싱 영역에 대해 강조된 픽셀 값을 가상 평면의 좌표에 매핑하고, 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 강조된 픽셀 값에 대응하는 진동 피드백을 제공하는
햅틱 피드백 장치.
제7항에 있어서,
상기 프로세서는,
상기 제1 이미지 데이터에서 상기 포커싱 영역의 픽셀 값을 가상 평면의 좌표에 매핑하고 나머지 영역의 픽셀 값을 배제하는,
햅틱 피드백 장치.
제1항에 있어서,
상기 비전 센서는,
카메라 센서, 레이더 센서, 라이다 센서, 초음파 센서, 또는 적외선 센서 중 적어도 하나를 포함하는,
햅틱 피드백 장치.
프로세서에 의해 수행되는 햅틱 피드백 방법에 있어서,
제1 비전 센서를 통해 사용자의 머리 방향에 대응하는 제1 시야각의 제1 이미지 데이터를 캡처하는 단계;
상기 사용자의 머리방향에 대응하는 장면에 대한 진동 피드백 요청 시 요청된 시점에 제2 비전 센서로 제2 이미지 데이터를 캡처하는 단계;
상기 제2 이미지 데이터를 통해 검출된 하나 이상의 햅틱 유닛의 위치에 기초하여 가상 평면이 결정되는 단계; 및
상기 가상 평면에서 상기 하나 이상의 햅틱 유닛의 위치를 검출하는 동안 상기 검출된 위치 및 상기 제1 이미지 데이터에 기초하여 결정된 진동 피드백을 상기 하나 이상의 햅틱 유닛을 통해 제공하는 단계
를 포함하는
햅틱 피드백 방법.
제11항에 있어서,
상기 제1 이미지 데이터를 캡처하는 단계는,
상기 제1 이미지 데이터를 분석하여 나타나는 객체 또는 배경 중 적어도 하나에 관한 시각적 정보를 추출하는 단계;
상기 추출된 시각적 정보를 소리 출력부를 통해 안내하는 소리를 출력하는 단계;
상기 안내하는 소리를 기초로 발화하는 사용자의 음성을 소리 수집부를 통해 수집하는 단계; 및
상기 수집된 사용자의 음성에 기초하여 상기 제1 이미지 데이터에 나타나는 하나 이상의 객체 중 관심 객체에 대응하는 포커싱 영역을 선택하는 단계
를 더 포함하는
햅틱 피드백 방법.
제12항에 있어서,
상기 제1 이미지 데이터는 상기 포커싱 영역에 대해 강조된 픽셀 값을 상기 가상 평면의 좌표에 매핑하고, 나머지 영역의 픽셀 값은 배제하며, 상기 가상 평면과 접촉한 햅틱 유닛에게 상기 가상 평면에 매핑된 강조된 픽셀 값에 대응하는 진동 피드백을 제공하는
햅틱 피드백 방법.
제11항 내지 제13항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.