KR20100010981A - 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법 - Google Patents

Abstract

본 발명은 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법에 관한 것이다. 본 발명의 하나의 모습에 따라, 좌우 카메라를 포함하며, 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득하는 영상카메라부; 영상카메라부로부터 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 영상처리부; 영상처리부에서 추출된 특정 객체까지의 거리정보 및 특정 객체의 영상정보에 상응하는 격자 셀들의 영역을 판독하는 영상판독부; 영상판독부에서 판독된 영역의 격자 셀들의 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터를 제어하는 엑츄에이터 제어부; 그리고 격자구조로 배치된 다수의 구동핀을 구비하고 엑츄에이터 제어부에 의해 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 격자 셀들에 대응하는 구동핀들을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 엑츄에이터;를 포함하여 이루어지는 영상정보의 촉각감지 가능한 신호 변환 장치가 제안된다.

촉각신호 변환 장치, 영상정보, 거리정보, 깊이정보, 영상판독, 구동핀

Description

영상정보의 촉각감지 가능한 신호 변환 장치 및 방법{Apparatus and Method for Converting Image Information into Haptic Sensible Signal}

본 발명은 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법에 관한 것이다.

더욱 상세하게는 영상카메라로부터 획득된 영상정보에서 영상의 깊이정보를 판독하여 판독된 깊이정보에 상응하는 전류값을 생성하여 구동핀들을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법에 관한 것이다.

본 발명은 영상정보를 맹인 등 시각 장애인들이 촉각으로 감지가능한 신호로 변환시키는 것에 관한 것이다.

일반적으로 시각 장애를 갖는 사람의 경우에 익숙해진 지형지물에 대해서는 이미 인지가 된 상태이므로 행동의 제약을 많이 받지 않으나, 새로운 주변환경에 접할 경우에는 행동의 제약을 많이 받게 된다. 그에 따라 시각 장애인들은 새로운 환경에 접하게 되는 것을 어려워하고 사회생활을 하는데 상당한 제약을 받고 있다.

이러한 시각 장애인들의 행동의 제약을 해소하기 위해 다양한 기구가 제안된 바 있다. 또한, 이들을 위한 보조기구들이 사회 기초 시설에 설치되고 있다. 그 대표적인 것이 시각장애가가 가지고 다니는 안내스틱이며, 이 안내스틱을 길잡이 역할을 하기 위해 도로나 지하철 등에 설치하는 안내블록이 있다. 그러나, 안내블록을 찾기까지의 행동의 제약과, 안내블록이 설치된 특정 장소영역에만 안내블록에 따른 제한된 제약해제에 그치는 한계점이 있었다.

이러한 문제를 극복하고자 시각장애자 등과 같은 사용자에게 시각 정보를 다른 감각기관으로 인식할 수 있게 변환하기 위한 인터페이스 기술을 제안하게 되었다.

그 하나의 예로 한국공개특허공부 제10-2006-0057917호에 개시된 '착용형 시각신호의 촉각신호 변환장치'가 있다. 공개특허 제2006-57917호의 착용형 시각신호의 촉각신호 변환장치는 안경 등에 장착되는 시각신호 처리모듈과, 신체에 부착되는 촉각신호 처리모듈을 구비하여 주변환경의 영상신호에서 Y성분을 추출하여 매트릭스 형태로 배열된 스틱의 높이 및 진동세기를 조절함과 아울러 네트워크를 이용하여 스틱의 제어 및 음성안내서비스를 제공받음으로써, 시각장애자에게 유용하게 사용될 수 있도록 한 것이다.

다른 하나의 예로 한국등록특허공보 제10-0324824호에 개시된 '맹인용 영상정보 인식 시스템 및 그 제어방법'이 있다. 맹인용 영상정보 인식 시스템은 다양한 영상매체 및 통신수단을 통해 수집한 화상이나 문자정보(이하 "영상정보"라 한다.)를 프레임 그래버(Frame Grabber)로 아날로그 신호를 디지털값으로 변환한 후 DSP(Digital Signal Processor)로 처리하여 영상의 윤곽(Edge)선을 추출하고 추출된 윤곽선 영상으로부터 영상의 화소(Dot)별 전류발생 강도를 해석하여 열의 강약에 의한 발열 영상의 한 프레임이 결정되면 해상도 및 온도를 조절하고 열판(발열스크린)에 전류를 흘려서 시각적으로 표현되던 각종 영상정보를 열의 편차에 의한 영상으로 변환하여 맹인이 열의 변화 및 분포를 감촉으로 인식(감열)하여 화상이나 문자정보를 실시간으로 취득할 수 있도록 한 것이다.

전술한 시각장애자 등과 같은 사용자에게 시각 정보를 다른 감각기관으로 인식할 수 있게 변환하기 위한 기술로써 제안된, 공개특허공보 제2006-57917호의 착용형 시각신호의 촉각신호 변환장치는 영상신호에서 Y성분을 추출하여 스틱의 진동세기를 조절하도록 한 것으로써, 영상신호의 휘도를 가지고 그 차이를 촉각감지 가능한 신호로 변환시키는 것으로 전방의 객체에 대한 정확한 정보, 예컨대 거리, 물체의 크기, 물체의 종류, 형상 등의 실질적으로 시각장애인의 보행 등에 필요한 정보를 제공하는데 충분한 정보를 제공해 주지 못하는 문제를 가지고 있다.

또한, 등록특허공보 제10-0324824호의 맹인용 영상정보 인식 시스템은 영상의 화소(Dot)별 전류발생 강도를 해석하여 열판(발열스크린)에 전류를 흘려서 맹인이 열의 변화 및 분포를 감촉으로 인식하도록 한 것으로써, 이 또한 전술한 공개특허공보와 마찬가지로, 전방의 객체에 대한 정확한 정보를 제공해주지 못하는 문제를 가지고 있고, 열에 의한 감지는 그 차이를 인식하는데 있어서 시각장애인들로 상당한 훈련을 요하거나 열의 차이에 따른 영상인식이 쉽지 않은 문제를 가지고 있다.

본 발명에서는 종래의 이러한 문제들을 극복하고 시각 장애인 등에게 보행시 등에 있어서 전방의 객체에 대한 정확한 정보, 예컨대 거리, 물체의 크기, 물체의 종류, 형상 등의 실질적으로 시각장애인의 보행 등에 필요한 충분한 정보를 제공하도록 하는 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법을 구현하고자 한다.

본 발명은 상기 과제를 해결하기 위한 것으로, 본 발명의 하나의 모습에 따라, 좌우 카메라를 포함하며, 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득하는 영상카메라부; 영상카메라부로부터 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 영상처리부; 영상처리부에서 추출된 특정 객체까지의 거리정보 및 특정 객체의 영상정보에 상응하는 격자 셀들의 영역을 판독하는 영상판독부; 영상판독부에서 판독된 영역의 격자 셀들의 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터를 제어하는 엑츄에이터 제어부; 그리고 격자구조로 배치된 다수의 구동핀을 구비하고 엑츄에이터 제어부에 의해 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 격자 셀들에 대응하는 구동핀들을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 엑츄에이터;를 포함하여 이루어지는 영상정보의 촉각감지 가능한 신호 변환 장치가 제안된다.

바람직하게는 본 발명의 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치에 있어서, 영상판독부에서는 특정 객체의 영상정보로부 터 격자 셀들에 매칭되는 지점들에서의 영상의 깊이정보를 더 판독하고, 엑츄에이터 제어부에서는 영상판독부에서 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들을 더 생성하여 엑츄에이터를 제어한다.

바람직하게는 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치들에 있어서, 엑츄에이터는 거리정보제공용 구동핀을 구비하여 엑츄에이터 제어부로부터의 제어에 따른 특정 객체까지의 거리정보에 따른 전류값에 따라 거리정보제공용 구동핀을 작동시킨다.

또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치들에 있어서, 영상판독부는 특정 객체의 영상정보로부터 특정 객체의 크기정보를 더 판독하고, 엑츄에이터 제어부는 영상판독부에서 판독된 영상 깊이 및 크기정보에 따른 전류값들 그리고 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터를 제어하고, 엑츄에이터는 엑츄에이버 제어부의 제어에 따라 영상깊이 및 크기정보에 따른 전류값들에 따라 구동핀을 작동시킨다.

게다가, 본 발명의 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치들에 있어서, 영상처리부는 영상카메라부에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 것을 특징으로 한다.

더욱이, 본 발명의 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치들에 있어서, 엑츄에이터는 전자석을 이용하여 전류세기에 따라 구동핀들의 스트로크 변위가 제어되도록 한다.

나아가, 본 발명의 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 장치들에 있어서, 좌우 카메라는 착용자의 안경에 설치되어 유선 또는 무선으로 영상처리부로 획득한 영상을 전송하고, 엑츄에이터는 착용자의 손바닥에 착용되어 구동핀들을 작동시켜 착용자의 손바닥을 가압한다.

또한, 상기의 과제를 해결하기 위하여, 본 발명의 다른 하나의 모습에 따라, 좌우 영상카메라로부터 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득하는 영상획득단계; 영상획득단계에서 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 영상처리단계; 영상처리단계에서 추출된 특정 객체의 영상정보로부터 격자 셀들에 매칭되는 지점들에서의 영상의 깊이정보 및 특정 객체까지의 거리정보를 판독하는 영상판독단계; 영상판독단계에서 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성하는 전류생성단계; 그리고 전류생성단계에서 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 격자 셀들에 대응하는 격자구조로 배치된 다수의 구동핀을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 구동핀 작동단계;를 포함하여 이루어지는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 방법이 제안된다.

바람직하게는 본 발명의 다른 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 방법에 있어서, 구동핀 작동단계에서는 특정 객체까지의 거리정보에 따른 전류값에 따라 거리정보제공용 구동핀을 작동시킨다.

또한, 본 발명의 다른 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 방법들에 있어서, 영상판독단계에서는 특정 객체의 영상정보로부터 특정 객체의 크기정보를 더 판독하고, 전류생성단계에서는 영상판독단계에서 판독된 영상 깊이 및 크기정보에 따른 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성하고, 구동핀 작동단계에서는 영상깊이 및 크기정보에 따른 전류값들에 따라 구동핀을 작동시킨다.

게다가, 본 발명의 다른 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 방법들에 있어서, 영상처리단계에서는 영상획득단계에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 것을 특징으로 한다.

더욱이, 본 발명의 다른 또 하나의 모습에 따라, 전술한 영상정보의 촉각감지 가능한 신호 변환 방법들에 있어서, 구동핀 작동단계에서는 전자석을 이용하여 전류세기에 따라 구동핀들의 스트로크 변위가 제어되도록 한다.

본 발명에 따른 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법을 구현함으로써, 종래 기술들의 문제들을 극복하고 시각 장애인 등에게 보행시 등에 있어서 전방의 객체에 대한 정확한 정보, 예컨대 거리, 물체의 크기, 물체의 종류, 형상 등의 실질적으로 시각장애인의 보행 등에 필요한 충분한 정보를 제공할 수 있게 되었다.

이하, 전술한 과제를 달성하기 위한 본 발명의 실시예들이 첨부된 도면을 참조하여 설명된다. 본 실시예들을 설명함에 있어서, 중복되는 부가적인 설명은 아래에서 생략될 수 있다.

우선, 본 발명의 하나인 영상정보의 촉각감지 가능한 신호 변환 장치의 구체적인 실시예를 살펴본다.

도 1은 본 발명의 하나의 모습에 따른 영상정보의 촉각감지 가능한 신호 변환 장치의 하나의 실시예를 나타내는 구성 블럭도이고, 도 3a 내지 3c는 본 발명에 따른 하나의 실시예에서의 획득된 영상, 배경제거된 영상 및 격자 셀들에 매칭되는 지점들을 나타내는 도면이다.

도 1을 참조하면, 영상정보의 촉각감지 가능한 신호 변환 장치(1)의 하나의 실시예는 영상카메라부(100), 영상처리부(200), 영상판독부(300), 엑츄에이터 제어부(400) 및 엑츄에이터(500)를 포함하여 이루어진다. 또한, 도 1에 도시된 바와 같이 영상정보의 촉각감지 가능한 신호 변환 장치의 각 구성들을 종합적으로 제어하는 중앙 제어부(600)를 포함하고 있다. 중앙 제어부(600)는 영상카메라부(100)의 카메라를 동작시켜 영상을 획득하게 하고, 영상처리부(200) 및 영상판독부(300)에 서의 영상처리 및 영상판독을 제어하고, 엑츄에이터 제어부(400)를 동작시켜 엑츄에이터(500)를 작동하게 제어하는 종합적인 제어기능을 수행한다.

영상카메라부(100)는 좌우 카메라를 포함하여 이루어지며, 좌우 카메라로부터 도 3a에서 도시된 바와 같은 전방의 객체들에 대한 좌우 스테레오 영상정보를 획득하게 된다. 좌우 스테레오 카메라를 이용함으로써, 객체에 대한 거리 및 객체에서의 지점별 깊이정보를 포함하는 3차원 영상정보를 획득할 수 있게 된다. 영상카메라부(100)에서 획득된 영상정보는 유선 또는 무선으로 영상처리부(200)로 전송된다. 영상카메라부(100)의 좌우 카메라는 안경이나 모자, 착용자의 어깨 등 다양한 부위에 설치될 수 있다. 바람직하게는 시각 장애인용 안경에, 더 바람직하게는 양측 안경테의 전방에 설치될 수 있다.

영상카메라부(100)에서 획득한 영상신호를 자체에서 디지털영상신호로 변환시킬 수도 있고, 또는 영상카메라부(100)에서 획득한 영상신호가 영상처리부(200)로 전송되어 영상처리부(200)에서 디지털 영상신호로 처리될 수도 있다.

영상처리부(200)와 영상판독부(300)는 영상카메라부(100)로부터 획득된 영상을 처리하고 판독하는 컴퓨터 시스템(도시되지 않음)이다. 컴퓨터 시스템은 바람직하게는 일반 PC가 아니라 착용 또는 휴대 소지가 가능한 영상처리 전용 컴퓨터로 구성된다. 컴퓨터 시스템은 착용자의 주머니 등에 소지되거나 벨트형식으로 허리나 신체의 다른 부위에 착용될 수도 있다. 이러한 컴퓨터 시스템과 영상카메라부(100)를 합쳐 영상처리시스템(도시되지 않음)으로 이해될 수도 있다.

영상처리부(200)는 도 3a에서 도시된 바와 같은, 영상카메라부(100)로부터 획득된 영상정보를 처리한다. 획득된 영상의 처리는 디지털신호로의 변환을 포함할 수도 있다.

영상처리부(200)에서의 획득된 영상의 처리는 좌우 스테레오 카메라로부터 획득한 영상을 종합하여 객체까지의 거리를 파악하고, 도 3b에 도시된 바와 같은, 특정 거리내에서 배경을 제외한 특정 객체의 영상정보를 추출하도록 한다. 특정 객체는 이동하는 객체를 포함할 수 있다. 보다 바람직하게는, 본 발명의 장치의 처리 효율 등을 고려할 때 고정된 객체만을 의미하도록 할 수 있다. 통상 움직이는 객체들은 예컨대 사람인 경우 시각장애인을 피해서 움직이므로 시각장애인의 보행에 따라 이를 피해서 움직이지 않고 고정되어 장애물이 되는 고정된 객체만을 본 발명에서 처리하고자 하는 특정 객체로 함으로써 본 장치의 사용시 적절한 효과를 기대할 수 있다. 이 경우 고정된 객체는 바람이나 기타 영향으로 작게 움직이는 경우를 포함한다. 특정 객체를 제외한 배경의 제거는 특정 객체의 윤곽 정보를 이용하여 배경을 제거할 수 있다. 특정 거리는 예컨대 대략 3-5미터까지 이내로 범위를 설정할 수 있다. 또는 이와 달리 3미터 이내 또는 10미터 이내로 범위 설정도 가능하다. 바람직하게는 보행특성 및 전방지역에서의 혼잡도를 고려하여 착용자가 조정할 수 있다. 혼잡지역에서는 3미터 이내 범위의 객체에 대한 영상정보를 추출하는 것이 바람직할 것이다. 혼잡도가 덜한 지역에서는 10미터 범위 내로 설정이 가능할 것이다. 이러한 특정 거리에 대한 조정은 사용자의 입력에 따른 소정의 프로그램에 따 라 이루어질 것이다. 영상카메라부(100)를 통하여 획득된 좌우의 스테레오 영상자료의 모든 데이터를 처리하는 것은 시스템 자원의 낭비를 초래하며 불필요한 작업시간이 소요된다. 이때 좌우의 두 영상을 오버랩한 센터로부터의 변위, 즉 좌측과 우측의 위상차이가 큰 것을 남겨놓고 차이가 미세한, 즉 멀리 떨어진 물체의 데이터를 삭제함으로써 배경을 제거할 수도 있다. 영상처리기술분야에서 통상의 지식을 가진 자라면 이러한 특정 객체의 윤곽 정보를 이용하여 특정 객체를 제외한 배경의 제거는 자명한 기술이므로, 더 구체적인 설명은 생략한다.

바람직하게는, 영상처리부(200)는 영상카메라부(100)에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해서만 영상정보 처리하도록 할 수도 있다. 즉, 획득된 영상정보 영역에서 특정 시야각 내의 영상정보만 추출하고 그 시야각 내의 개체들에 대한 거리를 연산하고 특정 거리내에서 배경을 제외한 특정 객체에 대한 영상정보를 추출하도록 할 수 있다. 도 3b를 참조하면, 영상은 도 3a에서 획득된 영상 중 도 3b 만큼의 영역만큼 먼저 선택되고, 특정 객체를 제외한 배경이 삭제될 수 있다.

영상판독부(300)는 영상처리부(200)에서 추출된 특정 객체까지의 거리정보 및 특정 객체의 영상정보에 상응하는 격자 셀들 또는 격자 교차점들의 영역을 판독한다. 객체까지의 거리정보는 바람직하게는 특정 객체의 중심부까지의 거리일 수 있고, 바람직하게는 특정 객체의 격자셀들 또는 격자 교차점들까지의 거리 중 최단거리일 수 있다. 특정객체까지의 거리정보는 영상처리부(200)에서 연산될 수도 있 고, 영상판독부(300)에서 추출된 영상정보로부터 판독될 수도 있다. 특정 객체까지의 거리정보 및 상응하는 격자셀들의 영역만을 판독하는 경우에는 간단하게 물체의 평면적인 외형과 거리정보를 엑츄에이터(500)를 통해 사용자에게 전달할 수 있게 된다.

바람직한 다른 실시예에서는, 영상판독부(300)는 특정 객체의 영상정보로부터 격자 셀들 또는 격자 교차점들에 매칭되는 지점들에서의 영상의 깊이정보를 더 판독한다. 영상의 깊이정보는 영상의 입체감을 나타낼 수 있도록 하는 객체 내에서의 돌출과 함몰 등을 나타낼 수 있고, 각 격자셀들 또는 교차점에서의 거리와 주변 격자셀들 또는 교차점들에서의 거리의 차이 등으로 연산될 수 있다. 도 3b를 참조하면, 영상판독부(300)에서 판독을 위해 액츄에이터(500)의 구동핀(510)의 개수에 해당하는 격자(grid) 셀들로 나누고, 도 3c에 도시된 바와 같이 격자 셀에 매칭되는 또는 격자선의 교차점에 매칭되는 지점에서의 영상의 깊이정보를 판독하게 된다.

또한, 바람직하게는, 영상판독부(300)는 특정 객체의 영상정보로부터 특정 객체의 크기정보를 더 판독하고, 특정객체의 크기정보와 특정 객체의 각 지점에서의 영상 깊이정보를 동일스케일로 또는 크기 대(對) 깊이의 비를 1 이하가 되도록 보정할 수 있다. 객체의 크기정보는 높이와 가로폭일 수 있다. 통상 물체의 크기는 물체 내에서의 각 지점에서의 깊이보다 훨씬 큰 값을 가지므로, 크기 대(對) 깊이의 비를 1~20:1, 바람직하게는 1~10:1, 또한 바람직하게는 1~5:1 또는 2~5:1 로 스케일변환시킬 수 있다. 물체의 크기가 클수록 비율이 작아지도록 하고 물체의 크기 가 작을수록 비율이 1에 가깝게 할 수 있다. 이러한 비율은 객체에 따라 많은 차이가 있으므로, 변환가능하도록 하여 착용자가 진행하는 지역에 따라 값을 달리할 수 있다.

엑츄에이터 제어부(400)는 영상판독부(300)에서 판독된 영역의 격자 셀들의 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터(500)를 제어한다. 여기에서 특정 객체에 상응하는 영역의 격자 셀들에 특정 객체까지의 거리정보에 따른 전류값들을 생성하고 배경에 대해서는 전류값을 생성하지 않도록 할 수 있다. 상응하는 영역 전체 격자 셀들에 동일하게 물체의 거리만큼의 전류값을 생성하도록 할 수 있다. 엑츄에이터 제어부(400)는 영상판독부(300)와 영상처리부(200)를 포함하는 컴퓨터 시스템에 포함될 수 있고 또는 컴퓨터 시스템과 별도로 유선 또는 무선으로 연결되는 엑츄에이터(500)에 결합될 수도 있다. 엑츄에이터 제어부(400)는 소정의 프로그램이 내장된 CPU로 이해될 수 있다. 엑츄에이터 제어부(400)에서의 제어신호에 따라 거리에 따른 전류값을 생성하여 특정 객체에 상응하는 영역의 격자 셀들에 매칭되는 엑츄에이터(500)의 구동핀(510)들이 스트로크 작동되도록 제어한다.

또한 바람직한 다른 실시예에서는, 영상판독부(300)에서 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들을 더 생성하여 엑츄에이터(500)를 제어한다. 여기에서 엑츄에이터 제어부(400)에서의 제어신호에 따라 영상깊이 및 거리에 따른 전류값을 생성하여 격자 셀들에 매칭되는 엑츄에이터(500)의 구동핀(510)들이 스트로 크 작동되도록 제어한다. 도 3c를 참조하면, 거리가 가까이 있는 물체의 전류값은 크게, 그리고 물체 영역 내에서 깊이에 따라 깊이가 깊을수록 격자 지점의 전류값을 크게 하고 깊이가 작을수록 전류값을 작게 하거나 또는 이와는 반대로 깊이가 낮은 지점에서의 전류값은 크게 깊이가 깊은 지점에서의 전류값은 작게 생성하도록 할 수 있다. 깊이에 따른 전류값의 생성은 엑츄에이터(500)의 구동핀(510)을 돌출되는 형태로 작동하도록 할 것인지 또는 함몰되는 형태로 작동하도록 할 것인지에 따라 다르게 할 수 있다. 이 경우에 특정 객체까지의 거리정보는 별도로 표현되도록 할 수 있다. 예컨대, 나중에 제시되는 예에 따라 별도의 하나 이상의 거리정보제공용 구동핀(510)을 통해서 표현될 수 있다.

최종적으로 3차원 영상처리를 통하여 나오는 결과치는 도 3c에 나타난 것과 같이 격자 교차점에 있어서의 전류값이 나오게 되며, 이 전류값에 따라 액추에이터를 작동시키게 된다.

또한 바람직하게는, 엑츄에이터 제어부(400)는 영상판독부(300)에서 판독된 영상 깊이 및 크기정보에 따른 전류값들 그리고 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터(500)를 제어한다. 즉, 크기 대(對) 깊이 정보에 대해 스케일 변환되는 값에 따른 전류값들을 생성하여 엑츄에이터(500)를 제어할 수 있다.

그리고 엑츄에이터(500)는 격자구조로 배치된 다수의 구동핀(510)을 구비하고 있다. 격자의 매쉬(mash)가 세밀할수록 표현할 수 있는 해상도가 높아지며, 이 해상도의 한계는 액추에이터의 크기와 신체 피부의 촉각해상도와 밀접한 관계가 있다. 다수의 구동핀(510)은, 예컨대 압력자극핀들이다. 엑츄에이터 제어부(400)에 의해 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 격자 셀들에 대응하는 구동핀(510)들을 작동시킨다. 착용자의 특정 신체부위에 의해 구동핀(510)들의 작동이 감지되어 영상정보가 최종 적으로 촉각감지되게 된다.

바람직하게는, 엑츄에이터(500)는 착용자의 손바닥에 착용되어 구동핀(510)들을 작동시켜 착용자의 손바닥을 가압하거나 구동핀(510)들의 작동에 의해 형성된 돌출 또는 함몰된 형상을 착용자의 손바닥 등으로 감지하게 된다.

또한 바람직하게는, 엑츄에이터(500)는 거리정보제공용 구동핀(510)을 구비할 수 있다. 거리정보제공용 구동핀(510)들은 엑츄에이터 제어부(400)로부터의 특정 객체까지의 거리정보에 따른 전류값에 따라 작동이 제어된다. 거리정보제공용 구동핀(510)들은 바람직하게는 격자구조로 배치된 배치구조에서 테두리 측에 배치되어 거리에 따른 전류값에 따라 구동핀(510)들의 수를 다양하게 작동시키거나 하나의 핀에 대한 스크로크를 다양한 범위로 작동하도록 한다. 또는 영상처리부(200)에서 추출된 특정객체가 복수일 경우 각각의 상하 좌우 등의 위치에 따라 그 테두리측에 배치된 거리정보제공용 구동핀(510)들이 각각 그 특정객체까지의 거리정보에 따른 전류값에 따라 작동되도록 제어될 수 있다.

게다가, 바람직하게는, 엑츄에이터(500)는 엑츄에이터 제어부(400)의 제어에 따라 영상깊이 및 크기정보에 따른 스케일변환되어 생성된 전류값들에 따라 구동핀(510)을 작동시킨다.

바람직하게는, 엑츄에이터(500)를 더 구체적으로 살펴보면, 도 2는 본 발명에 따른 영상정보의 촉각감지 가능한 신호 변환 장치의 하나의 실시예에 사용되는 엑츄에이터를 나타내는 개념적인 도면이다. 따라서 엑츄에이터의 작동을 위해서 도 2에 도시되지 않았으나 당해 분야에서 통상의 지식을 가진 자에게 자명한 세부 구성들이 당연히 더 포함될 수 있고, 도 2의 개략적인 구성이 변경될 수 있다.

도 2에 도시된 바를 참조하면, 엑츄에이터(500)는 전자석(530)을 이용하여 전류세기에 따라 구동핀(510)들의 스트로크 변위가 제어된다. 도 2에 도시된 바와 같이 전자석(530)은 솔레노이드 전자석으로 구성될 수 있고, 구동핀(510)은 예컨대 압력자극핀들이다. 예컨대, 도 2에 도시된 바와 같이 구동핀(510)의 후단에 영구자석(520)을 결합하여 전자석(530)과의 자기력에 의해 스트로크되도록 할 수 있다. 이 경우 구동핀(510)에 스프링(512)을 추가하여 스트로크시 탄성력을 가지도록 할 수 있고, 나아가 전자석(530)의 경우에도 후방의 덮개(540)와의 사이에 스프링(532)를 추가할 수 있다. 도 2와 달리, 전자석(530)의 스프링(532)을 두지 않고 전자석(530)을 고정되도록 할 수도 있다. 전자석(530)은 엑츄에이터 제어부(400)로부터 전류신호를 받는 도전선(550)으로 연결되어 있다. 엑츄에이터 제어부(400)로부터 전류신호를 받아 전자석(530)에 자기장을 형성시키면 그에 따라 대응하는 구동핀(510)들의 후방에 설치되는 자석(520)과의 자기력이 형성되어 구동핀(510), 예컨대 압력자극핀들이 스트로크된다. 또는 도 2와 달리, 구동핀(510) 자체가 영구자석으로 형성되도록 할 수도 있다. 스크로크의 범위는 제어부(400)로부터 들어오는 전류값에 따라 변한다.

다음으로, 본 발명의 다른 하나인 영상정보의 촉각감지 가능한 신호 변환 장치의 구체적인 작동과 영상정보의 촉각감지 가능한 신호 변환 방법의 구체적인 실시예를 살펴본다.

도 4는 본 발명의 다른 하나의 모습에 따른 영상정보의 촉각감지 가능한 신호 변환 방법의 하나의 실시예를 나타내는 개략적인 순서도이다.

도 4에 도시된 바에 따르면, 영상정보의 촉각감지 가능한 신호 변환 방법의 하나의 실시예는 영상획득단계, 영상처리단계, 영상판독단계, 전류생성단계 및 구동핀 작동단계를 포함하여 이루어진다.

먼저, 영상획득단계에서는 좌우 영상카메라로부터 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득한다. 좌우 영상카메라 및 영상획득에 대한 상세한 설명은 전술한 영상정보의 촉각감지 가능한 신호 변환장치의 영상카메라부(100)에 대한 설명들을 참조한다.

영상처리단계에서는 영상획득단계에서 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출한다. 바람직하게는, 영상처리단계에서는 영상획득단계에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출한다.

나아가, 영상처리단계에서의 획득된 영상정보의 처리 및 특정객체에 대한 영상정보의 추출에 대한 상세한 설명은 전술한 영상정보의 촉각감지 가능한 신호 변환장치의 영상처리부(200)에서의 설명부분을 참조한다.

영상판독단계에서는 영상처리단계에서 추출된 특정 객체의 영상정보로부터 격자 셀들에 매칭되는 지점들에서의 영상의 깊이정보 및 특정 객체까지의 거리정보를 판독한다. 바람직하게는, 영상판독단계에서는 특정 객체의 영상정보로부터 특정 객체의 크기정보를 더 판독하고, 특정객체의 크기정보와 특정 객체의 각 지점에서의 영상 깊이정보를 동일스케일로 또는 크기 대(對) 깊이의 비를 1 이하가 되도록 보정할 수 있다.

영상판독단계에서의 영상 깊이정보 및 거리정보 판독에 더욱 구체적인 설명에 대해서는 전술한 영상정보의 촉각감지 가능한 신호 변환장치의 영상판독부(300)에서의 설명들을 참조한다.

전류생성단계에서는 영상판독단계에서 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성한다. 바람직하게는, 전류생성단계에서는 영상판독단계에서 판독된 영상 깊이 및 크기정보에 따른 전류값들 및 특정 객체까지의 거리정보에 따른 전류값을 생성한다.

더 구체적인 설명들은 앞서 설명한 영상정보의 촉각감지 가능한 신호 변환장치의 엑츄에이터 제어부(400)에서의 전류값 생성에 대한 설명을 참조한다.

그리고 구동핀 작동단계에서는 전류생성단계에서 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 격자 셀들에 대응하는 격자구조로 배치된 다수의 구동핀(510)을 작동시킨다. 그에 따라 착용자의 특정 신체부위에 의해 구동핀(510)의 작동이 감지된다. 바람직하게는, 구동핀 작동단계에서는 영상깊이 및 크기정보에 따른 전류값들에 따라 구동핀(510)을 작동시킨다. 또한 바람직하게는, 구동핀 작동단계에서는 특정 객체까지의 거리정보에 따른 전류값에 따라 거리정보제공용 구동핀(510)을 작동시킨다. 게다가 바람직하게는, 구동핀 작동단계에서는 전자석을 이용하여 전류세기에 따라 구동핀(510)들의 스트로크 변위가 제어되도록 한다.

구동핀 작동단계의 더욱 구체적인 부분은 전술한 영상정보의 촉각감지 가능한 신호 변환장치의 엑츄에이터(500)에 대한 설명을 참조한다.

이상에서, 본 발명은 첨부된 도면을 참조하여 바람직한 실시예들을 중심으로 구체적으로 설명되었다. 첨부된 도면 및 전술한 실시예들은 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이므로, 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음은 자명하다. 그러므로, 전술한 실시예들은 제한적인 것이 아닌 예시적인 것으로 여겨져야 하며, 본 발명의 범위는 전술한 실시예들이 아닌 첨부된 특허청구범위에 기재된 발명에 따라 해석되어야 하고, 그 범위는 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등물을 포함한다.

도 1은 본 발명의 하나의 모습에 따른 영상정보의 촉각감지 가능한 신호 변환 장치의 하나의 실시예를 나타내는 구성 블럭도이다.

도 2는 본 발명에 따른 영상정보의 촉각감지 가능한 신호 변환 장치의 하나의 실시예에 사용되는 엑츄에이터를 나타내는 도면이다.

도 3a 내지 3c는 본 발명에 따른 하나의 실시예에서의 획득된 영상, 배경제거된 영상 및 격자 셀들에 매칭되는 지점들을 나타내는 도면이다.

도 4는 본 발명의 다른 하나의 모습에 따른 영상정보의 촉각감지 가능한 신호 변환 방법의 하나의 실시예를 나타내는 개략적인 순서도이다.

< 도면의 주요부분에 대한 참조부호의 설명 >

1 : 영상정보의 촉각감지 가능한 신호 변환 장치

100 : 영상카메라부 200 : 영상처리부

300 : 영상판독부 400 : 엑츄에이터 제어부

500 : 엑츄에이터 510 : 구동핀

600 : 중앙제어부

Claims (12)

1. 좌우 카메라를 포함하며, 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득하는 영상카메라부;

   상기 영상카메라부로부터 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 영상처리부;

   상기 영상처리부에서 추출된 특정 객체까지의 거리정보 및 특정 객체의 영상정보에 상응하는 격자 셀들의 영역을 판독하는 영상판독부;

   상기 영상판독부에서 판독된 영역의 격자 셀들의 전류값들 및 상기 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터를 제어하는 엑츄에이터 제어부; 및

   격자구조로 배치된 다수의 구동핀을 구비하고, 상기 엑츄에이터 제어부에 의해 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 상기 격자 셀들에 대응하는 구동핀들을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 엑츄에이터;를 포함하여 이루어지는 영상정보의 촉각감지 가능한 신호 변환 장치.
2. 제 1 항에 있어서,

   상기 영상판독부에서는 상기 특정 객체의 영상정보로부터 격자 셀들에 매칭되는 지점들에서의 영상의 깊이정보를 더 판독하고,

   상기 엑츄에이터 제어부에서는 상기 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들을 더 생성하여 엑츄에이터를 제어하는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
3. 제 2 항에 있어서,

   상기 엑츄에이터는 거리정보제공용 구동핀을 구비하여 상기 엑츄에이터 제어부로부터의 제어에 따른 상기 특정 객체까지의 거리정보에 따른 전류값에 따라 상기 거리정보제공용 구동핀을 작동시키는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
4. 제 2 항에 있어서,

   상기 영상판독부는 상기 특정 객체의 영상정보로부터 상기 특정 객체의 크기정보를 더 판독하고,

   상기 엑츄에이터 제어부는 상기 영상판독부에서 판독된 상기 영상 깊이 및 크기정보에 따른 전류값들 및 상기 특정 객체까지의 거리정보에 따른 전류값을 생성하여 엑츄에이터를 제어하고,

   상기 엑츄에이터는 상기 엑츄에이버 제어부의 제어에 따라 상기 영상깊이 및 크기정보에 따른 전류값들에 따라 상기 구동핀을 작동시키는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 영상처리부는 상기 영상카메라부에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해 상기 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 엑츄에이터는 전자석을 이용하여 전류세기에 따라 구동핀들의 스트로크 변위가 제어되도록 하는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
7. 제 6 항에 있어서,

   상기 좌우 카메라는 착용자의 안경에 설치되어 유선 또는 무선으로 상기 영상처리부로 획득한 영상을 전송하고,

   상기 엑츄에이터는 착용자의 손바닥에 착용되어 상기 구동핀들을 작동시켜 상기 착용자의 손바닥을 가압하는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 장치.
8. 좌우 영상카메라로부터 전면의 객체들에 대한 좌우 스테레오 영상정보를 획득하는 영상획득단계;

   상기 영상획득단계에서 획득된 영상정보를 처리하여 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 영상처리단계;

   상기 영상처리단계에서 추출된 특정 객체의 영상정보로부터 격자 셀들에 매칭되는 지점들에서의 영상의 깊이정보 및 상기 특정 객체까지의 거리정보를 판독하는 영상판독단계;

   상기 영상판독단계에서 판독된 격자 셀들에서의 영상 깊이에 따른 전류값들 및 상기 특정 객체까지의 거리정보에 따른 전류값을 생성하는 전류생성단계; 및

   상기 전류생성단계에서 생성된 전류값들에 따라 스트로크 변위의 차이를 갖도록 상기 격자 셀들에 대응하는 격자구조로 배치된 다수의 구동핀을 작동시켜 착용자의 특정 신체부위에 의해 감지될 수 있도록 하는 구동핀 작동단계;를 포함하여 이루어지는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 방법.
9. 제 8 항에 있어서,

   상기 구동핀 작동단계에서는 상기 특정 객체까지의 거리정보에 따른 전류값에 따라 거리정보제공용 구동핀을 작동시키는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 방법.
10. 제 8 항에 있어서,

    상기 영상판독단계에서는 상기 특정 객체의 영상정보로부터 상기 특정 객체의 크기정보를 더 판독하고,

    상기 전류생성단계에서는 상기 영상판독단계에서 판독된 상기 영상 깊이 및 크기정보에 따른 전류값들 및 상기 특정 객체까지의 거리정보에 따른 전류값을 생성하고,

    상기 구동핀 작동단계에서는 상기 영상깊이 및 크기정보에 따른 전류값들에 따라 상기 구동핀을 작동시키는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 방법.
11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,

    상기 영상처리단계에서는 상기 영상획득단계에서 획득된 영상정보 중 특정 시야 영역범위 내의 영상정보에 대해 상기 특정 거리내에서 배경영상을 제외한 특정 객체에 대한 영상정보를 추출하는 것을 특징으로 하는 영상정보의 촉각감지 가 능한 신호 변환 방법.
12. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,

    상기 구동핀 작동단계에서는 전자석을 이용하여 전류세기에 따라 구동핀들의 스트로크 변위가 제어되도록 하는 것을 특징으로 하는 영상정보의 촉각감지 가능한 신호 변환 방법.

Images