KR20230047889A - 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법 - Google Patents

Abstract

본 발명은 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법에 관한 것이다. 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는, 사용자 입력 정보에 기초하여 외부에서 수신한 영상정보에서 사용자가 요청하는 유형에 해당하는 정보를 추출하는 목표정보 추출 모듈과, 상기 사용자 입력 정보에 기초하여 상기 추출된 정보가 전달되는 적어도 하나의 감각경로를 결정하는 감각경로 결정 모듈과, 상기 추출된 정보를 변환하여 상기 적어도 하나의 감각경로 각각에 대응하는 대체신호를 생성하는 대체신호 생성 모듈과, 상기 대체신호를 상기 사용자의 감각신호 전달 장치를 통해 출력하는 제어 및 출력 모듈을 을 포함한다.

Description

시각정보의 감각 치환 및 다중경로 전달 장치 및 방법{APPARATUS AND METHOD FOR SENSORY SUBSTITUTION AND MULTI-PATH TRANSMISSION OF VISUAL INFORMATION}

본 발명은 뇌가소성에 기반하여 특정 감각에 관한 정보를 다른 감각 기관이 감지할 수 있는 정보로 치환하여 전달함으로써 뇌가 변환된 신호로부터 상기 특정 감각에 관한 정보를 인지할 수 있게 하는 감각 치환 및 전달 장치 및 방법에 관한 것이다. 본 발명은 단순히 감각 정보를 대체하는 기술은 물론이고, 사용자로 하여금 증강된 감각을 가질 수 있도록, 시각정보를 다양한 감각신호로 전달하는 기술 및 방법을 포함한다.

일반적으로 감각 치환(sensory substitution)은 사고나 노화로 기능이 손상되거나 저하된 신체의 감각 정보를 다른 감각신호로 변환해서 전달하면 일정기간의 학습과정을 거친 사용자가 원래의 감각 정보를 대체된 신호를 통해 지각할 수 있도록 하는 방법을 의미한다. 이러한 감각 치환 기술은, 사람의 뇌가 새로운 환경에 적응하기 위하여 구조적으로 또는 기능적으로 변화하고 재조직되는 특성, 즉 뇌 가소성(brain plasticity)에 기반하는 것으로 알려져 있다.

사람이 생활 중에 외부로부터 인지하는 정보의 80%가량이 시각을 통해 이루어진다고 알려져 있다. 따라서 시각은 인체의 감각기관 중에서 가장 중요한 정보수집 기관이며, 시각을 상실한 경우 보행의 불편, 상황 파악의 어려움 등의 문제가 발생한다. 이러한 문제에 대응하기 위하여 시각정보를 다른 감각신호로 변환하여 전달하려는 다양한 연구가 진행되어 왔다.

시각정보를 다른 감각신호로 변환하는 기존 방법에는 시각정보를 청각 신호로 변환하는 청각치환 기술과 시각정보를 촉각 신호로 변환하는 촉각치환 기술 등이 있다. 기존의 청각치환이나 촉각치환 기술은 주로 입력 영상을 전처리 과정을 통해 흑백이나 그레이 영상으로 변환한 후 사전에 정의된 규칙에 따라 시각적 신호 이외의 다른 감각신호로 변환하여 전달하는 기술이다.

청각치환 기술에서 가장 대표적인 기술인 vOICe는 입력 영상을 그레이 스케일의 64x64 해상도의 2차원 이미지로 변환한 후 시간 축을 기준으로 이미지 프레임을 64개의 열 단위로 구분하여 각 열에서 픽셀의 위치와 밝기 정보를 소리의 주파수, 진폭 등으로 매핑하여 소리 정보를 생성한 후 전달하는 기술이다. 또한, 청각치환 기술 중 EyeMusic은 이미지나 영상을 그레이 스케일로 변환하여 처리함으로써 영상에서 중요한 요소인 색상 정보의 손실이 발생하는 문제를 해결하기 위하여, 입력 영상에서 동일 색상 영역을 군집화해서, 색상마다 다른 악기 소리에 매핑하여 소리 신호로 전달하는 기술이다.

일반적으로 사람이 인지하는 시각정보에는 윤곽선을 포함한 형태, 객체의 위치, 거리, 색상, 질감, 경로나 방향, 빛의 유무와 분위기 또는 감성까지 다양한 정보가 있다. 그러나 기존의 청각치환 또는 촉각치환 기술들은 시각정보 중에서 형태나 색상 등에 국한된 정보를 다른 감각 정보로 치환하여 제공하므로 다양한 시각정보를 전달할 수 없다. 구체적으로, 시각정보를 다른 감각신호로 대체하여 전달하는 기존의 감각치환 기술은 영상이나 이미지를 사전에 정해진 방법으로 변환하여 단일 감각기관으로 전달함으로써, 다양한 시각정보를 사용자에게 효과적으로 전달할 수 없다는 문제점이 있다.

또한, 기존의 감각치환 기술은 신호를 단순하게 전달하는 방식을 따르므로, 사용자가 필요로 하는 시각정보를 선택적으로 전달하지 못한다는 문제점이 있다.

한편, 최근 코로나로 도래된 비대면 사회 및 메타버스로 대변되는 가상/증강 환경에서 시각정보의 효율적인 전달과 사용자의 감각을 증강 내지 향상하기 위한 기술의 필요성이 증가하고 있다. 그런데, 전술한 감각대체 기술은 단순하게 손실된 기능의 제공을 위한 우회적인 경로만을 제공할 수 있다는 한계가 있다.

또한, 대부분의 감각 정보의 경우 감각 기관의 특성에 따라 감각 수용체가 감지할 수 있는 정보의 양이 제한적일 수 있는데, 기존의 감각치환 기술은 단일한 대체 감각 정보를 활용하기 때문에(단일한 경로로 전달하기 때문에), 영상이나 이미지의 시각정보를 충실히 전달하는 데 한계가 있다.

본 발명은 상기와 같은 문제점 및 한계를 극복하기 위하여, 영상이나 이미지에 포함된 다양한 시각정보 중에서 사용자가 전달받기를 원하는 복수의 시각정보를 그 정보의 특성에 적합한 다른 감각신호로 변환하고, 이를 복수 개의 감각기관으로 전달함으로써 사용자에게 효율적으로 시각정보를 전달할 수 있는, 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법을 제공하는 것을 그 목적으로 한다.

특히, 기존 청각대체 또는 촉각대체 기술들이 시각장애인들의 보행이나 생활에 도움을 주는 것이 주요 목적이었다면, 본 발명은 기존 시각장애인 뿐만 아니라 은밀한 정보의 전달이 필요한 군사작전 및 지하나 심야의 극한 작업환경에서 시각정보를 효율적으로 전달하거나, 메타버스로 대변되는 가상현실이나 증강현실에서 사용자의 체험을 극대화하기 위하여 시각정보를 증강하여 전달할 수 있는 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는, 사용자 입력 정보에 기초하여 외부에서 수신한 영상정보에서 사용자가 요청하는 유형에 해당하는 정보를 추출하는 목표정보 추출 모듈; 상기 사용자 입력 정보에 기초하여 상기 추출된 정보가 전달되는 적어도 하나의 감각경로를 결정하는 감각경로 결정 모듈; 상기 추출된 정보를 변환하여 상기 적어도 하나의 감각경로 각각에 대응하는 대체신호를 생성하는 대체신호 생성 모듈; 및 상기 대체신호를 상기 사용자의 감각신호 전달 장치를 통해 출력하는 제어 및 출력 모듈을 포함한다. 상기 유형은 상기 사용자 입력 정보에 포함된다.

본 발명의 일 실시예에서, 상기 적어도 하나의 감각경로는 복수 개의 감각경로이고, 상기 대체신호 생성 모듈은, 상기 추출된 정보를 변환하여 상기 복수의 감각경로 각각에 대응하는 대체신호를 생성할 수 있다.

본 발명의 일 실시예에서, 상기 복수 개의 감각경로는, 시각, 청각, 촉각 및 열감 중 적어도 2개 이상의 감각에 해당하는 감각경로를 포함할 수 있다.

본 발명의 일 실시예에서, 상기 목표정보 추출 모듈은, 상기 영상정보를 분석하여 형태정보, 공간정보, 전역정보 및 복합정보 중 적어도 어느 하나를 포함하는 전체 시각정보를 생성할 수 있고, 상기 사용자 입력 정보에 기초하여 상기 전체 시각정보 중에서 상기 유형에 해당하는 정보를 추출할 수 있다.

본 발명의 일 실시예에서, 상기 제어 및 출력 모듈은, 상기 영상정보의 프레임을 기준으로 상기 복수 개의 감각경로 각각에 대응하는 대체신호들을 동기화하고, 상기 동기화된 대체신호를 상기 감각신호 전달 장치를 통해 출력할 수 있다.

본 발명의 일 실시예에서, 상기 제어 및 출력 모듈은, 상기 영상정보를 기초로 상기 사용자의 행동을 인식하고, 상기 사용자의 행동에 기초하여 상기 대체신호의 특성을 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력할 수 있다.

본 발명의 일 실시예에서, 상기 제어 및 출력 모듈은, 상기 영상정보의 입력 장치의 위치와 상기 감각신호 전달 장치의 위치에 기초하여 상기 대체신호의 특성을 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력할 수 있다.

본 발명의 일 실시예에서, 상기 사용자 입력 정보는, 전달 강도에 관한 정보를 포함할 수 있다. 이 경우 상기 제어 및 출력 모듈은, 상기 전달 강도에 따라 상기 대체신호의 강도를 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력한다.

본 발명의 일 실시예에서, 상기 제어 및 출력 모듈은, 상기 대체신호 생성 모듈에서 상기 추출된 정보를 상기 대체신호로 변환하는 데 소요되는 시간을 산출할 수 있다. 이 경우, 상기 대체신호 생성 모듈은, 상기 시간에 기초하여 상기 추출된 정보를 상기 대체신호로 변환하는 과정을 단순화할 것인지 여부를 판단한다.

그리고, 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 방법은, 사용자 입력 정보에 기초하여 외부에서 수신한 영상정보에서 사용자가 요청하는 유형에 해당하는 정보를 추출하는 단계; 상기 사용자 입력 정보에 기초하여 상기 추출된 정보가 전달되는 적어도 하나의 감각경로를 결정하는 단계; 상기 추출된 정보를 변환하여 상기 적어도 하나의 감각경로 각각에 대응하는 대체신호를 생성하는 단계; 및 상기 대체신호를 상기 사용자의 감각신호 전달 장치를 통해 출력하는 단계;를 포함한다.

본 발명의 일 실시예에서, 상기 적어도 하나의 감각경로는, 복수 개의 감각경로일 수 있다. 이 경우, 상기 대체신호를 생성하는 단계에서, 상기 추출된 정보를 상기 복수의 감각경로 각각에 대응하는 대체신호를 생성할 수 있다.

본 발명의 일 실시예에서, 상기 복수 개의 감각경로는, 시각, 청각, 촉각 및 열감 중 적어도 2개 이상의 감각에 해당하는 감각경로를 포함할 수 있다.

본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 방법은, 상기 대체신호를 생성하는 단계 이후, 상기 대체신호를 상기 영상정보의 프레임을 기준으로 동기화하는 대체신호 동기화 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 방법은, 상기 대체신호를 생성하는 단계 이후, 상기 영상정보의 입력 장치의 위치와 상기 감각신호 전달 장치의 위치에 기초하여 상기 대체신호의 특성을 보정하는 대체신호 보정 단계를 더 포함할 수 있다. 이 경우, 상기 출력하는 단계에서, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통하여 출력한다.

본 발명의 일 실시예에서, 상기 사용자가 요청하는 유형에 해당하는 정보를 추출하는 단계에서, 상기 영상정보를 분석하여 형태정보, 공간정보, 전역정보 및 복합정보 중 적어도 어느 하나를 포함하는 전체 시각정보를 생성하고, 상기 사용자 입력 정보에 기초하여 상기 전체 시각정보 중에서 상기 유형에 해당하는 정보를 추출할 수 있다.

본 발명의 일 실시예에서, 상기 출력하는 단계에서, 상기 영상정보의 프레임을 기준으로 상기 복수 개의 감각경로 각각에 대응하는 대체신호들을 동기화하고, 상기 동기화된 대체신호를 상기 감각신호 전달 장치를 통해 출력할 수 있다.

본 발명의 일 실시예에서, 상기 사용자 입력 정보는, 전달 강도에 관한 정보를 포함할 수 있다. 이 경우, 상기 대체신호를 생성하는 단계에서, 상기 전달 강도를 반영하여 상기 대체신호의 강도를 보정할 수 있다.

본 발명의 일 실시예에서, 상기 대체신호를 생성하는 단계에서, 상기 추출된 정보를 상기 대체신호로 변환하는 데 소요되는 시간을 산출하고, 상기 시간에 기초하여 상기 추출된 정보를 상기 대체신호로 변환하는 과정을 단순화할 것인지 여부를 판단하고, 그 판단 결과에 기초하여 상기 추출된 정보를 변환하여 상기 대체신호를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 영상으로부터 생성된 형태정보, 공간정보 및 복합정보와 같이 다양한 시각정보 중에서 사용자가 전달받기를 원하는 적어도 일부의 시각정보를 추출하여 사용자 맞춤형 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 추출된 시각정보를 시각정보 각각의 특성에 적합한 다른 감각신호로 변환하여 사용자에게 개선된 몰입감을 제공할 수 있다. 본 발명의 일 실시예에 따르면, 추출된 시각정보로부터 변환된 감각신호를 사용자의 행동에 따라 보정하여 사용자에게 개선된 몰입감을 제공할 수 있다.

본 발명의 일 실시예에 따르면, 영상정보로부터 복수의 변환된 감각신호들을 동기화하여 전달함으로써, 사용자가 대체 감각을 통해 필요한 시각정보를 더욱 정확하게 인지하도록 유도할 수 있다.

그리고, 본 발명을 통해 다양한 시각정보를 정확하게 전달할 수 있으므로, 본 발명은 기존 감각치환 기술의 적용 범위였던 시각장애인의 보행/생활에 대한 지원은 물론이고, 은밀한 정보의 전달이 필요한 군사작전 및 지하나 심야의 극한 작업환경에도 적용할 수 있다는 효과가 있다.

또한, 본 발명에 따르면, 실감형 가상환경, 증강현실 또는 비대면 사회에서 시각정보를 개인 맞춤형으로 보다 효율적이고 실감나게 전달하여 사용자가 시각정보를 체험할 수 있는 다양한 서비스에 적용할 수 있다는 효과도 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치의 세부 구성을 나타낸 블록도.
도 3은 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 개념을 예시적으로 나타낸 도면.
도 4는 본 발명의 다른 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치의 구성을 나타낸 블록도.
도 5(도 5a 및 도 5b)는 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 방법을 설명하기 위한 흐름도.

사람이 눈으로 인지하는 시각정보(視覺情報, visual information)는 영상에 존재하는 객체의 모양과 색상, 빛의 유무와 질감을 포함하는 형태정보, 위치, 거리 및 방향과 같은 기하학적 측면의 공간정보 및 영상 내 존재하는 객체와 배경을 포함하는 영상 전체 영역에서 추출하는 색상, 모양 등의 전역정보와 형태정보, 공간정보 및 전역정보 등 복수의 정보를 활용하여 얻어지는, 경로, 감정 및 분위기 등을 포함하는 복합정보 등으로 구분된다. 그러나 시각정보를 다른 감각에 관한 정보로 변환하는 기존의 감각치환 장치들은 주로 이차원의 컬러 영상정보를 변환하여 전달하였기 때문에 거리감을 사용자에게 전달하기 어렵거나, 입력 영상 전체를 사전에 정해진 방법으로 변환하여 단일 감각기관으로 전달함으로써 사용자가 다양한 시각정보를 효율적으로 전달받기 어려운 단점이 있다. 또한 기존의 감각치환 기술은 주로 시각장애인을 위한 정보의 전달을 목적으로 개발되었기 때문에 다양한 분야에 적용하는 데 어려움이 있다.

영상이나 이미지에 포함되어 있는 다양한 시각정보에 대한 감각치환 기술은 시각장애인 뿐만 아니라 적진 침투나 정찰과 같은 군사분야나 지하나 사고로 인한 정전 등으로 조명이 부재한 상황 및 심야 작업, 일반 산업현장에서 시각정보로 분석한 위험 상황을 작업자에게 안전하게 전달하는 등의 극한환경에서 사용자가 주위 환경을 효율적으로 인지하는데 활용할 수 있다. 또한, 전달되는 시각정보에 따라 변환된 정보를 동기화하여 다양한 경로로 전달함으로써 가상현실이나 증강현실에서 사용자가 시각정보를 보다 실감 있게 느낄 수 있도록 활용할 수 있다.

본 발명에 따르면, 사용자가 전달받기를 원하는 복수의 시각정보를 입력받고, 수집된 영상에 포함된 형태정보, 공간정보, 전역정보 및 복합정보 등의 다양한 시각정보 중에서 사용자가 요구하는 정보를 추출한 후, 추출된 정보를 그 특성에 적합한 다른 감각신호로 변환하여 복수의 감각기관으로 전달함으로써 사용자에게 효율적으로 정보를 전달할 수 있다.

본 발명에 따른, 다양한 시각정보를 다중경로로 전달하기 위한 장치와 방법에 대하여, 시각정보를 청각 신호와 촉각 신호 및 열감 신호로 변환하는 실시 예를 통해 설명한다. 그러나 본 발명의 장치와 방법은 실시예에 따른 변환 방식에 국한하지 않고 다른 감각 정보에도 적용될 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 '요청정보'는 사용자가 관심을 가지는 객체의 종류에 대한 정보 또는 영상정보로부터 사용자가 전달받기를 원하는 시각정보의 유형을 나타내는 정보를 의미한다.

본 명세서에서 '요청감각 정보'는 사용자가 상기 요청정보를 전달받을 감각에 대하여 요청하는 정보로서, 요청정보 전달의 매개가 되는 감각에 대하여 사용자의 의사가 표현된 정보를 의미한다.

본 명세서에서 '전달 강도 정보'는 감각의 전달 강도를 표현하는 정보를 의미한다.

본 명세서에서 '시각정보(視覺情報, visual information)'는 영상정보를 기초로 생성된 정보를 통칭하는 의미로 사용되며, 형태정보, 공간정보, 전역정보 및 복합정보를 포함할 수 있다. 본 명세서에서 언급되는 시각정보는 색상이나 외곽선과 같이 시각을 통해 인식할 수 있는 정보는 물론이고, 사용자와 객체 간의 거리와 같이 영상정보의 분석을 통해 얻을 수 있는 정보도 포함한다.

본 명세서에서 '목표정보'는 사용자의 요청정보에 부합하는 시각정보를 의미한다.

본 명세서에서 '감각신호'는 본 발명에 따른 감각 치환 및 다중경로 전달 장치가 사용자의 감각기관에 전달하는 신호를 의미한다.

본 명세서에서 '대체신호'는 목표정보를 대체하는 감각신호이다. 대체신호는, 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치가, 목표정보를 다른 형태로 변환하여 사용자의 감각기관에 전달하기 위하여 생성한다. 예를 들어, 목표정보가 '공의 색상'이라는 시각정보라면, 그 대체신호는 '공의 색상'에 따라 결정되는, 소정의 온도를 가지는 열감 신호일 수 있다.

본 명세서에서 '감각기관(sense organ)'은 외부의 자극을 느끼고 받아들이는 인체 기관으로서, 촉각, 온각, 냉각, 통각, 고유감각 등 감각을 받아들이는 다양한 수용체로 구성된 기관을 의미한다.

본 명세서에서 '감각경로(sensory pathway)'는 사용자의 감각 기관에서 사용자의 뇌의 감각 영역까지 신경 자극이 따라가는 경로를 의미한다. 본 명세서에서, '감각경로를 결정한다'는 것은 목표정보나 대체신호를 전달받을 사용자의 감각 기관을 결정한다는 의미가 된다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명의 실시예를 설명하기에 앞서, 본 발명의 핵심이 되는 동작을 설명한다. 본 발명의 핵심이 되는 동작은 S1 내지 S4의 네 단계로 구성된다.

S1 단계는 사용자 입력 정보 및 영상정보에 기초하여 목표정보를 생성하는 단계이다. 구체적으로, 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는, 사용자 입력 정보에 기초하여, 외부에서 수신한 영상정보로부터 사용자의 요청에 부합하는 시각정보(이하, 목표정보)를 생성한다. 목표정보는 하나일 수도 있으나, 복수 개의 정보일 수도 있다. 즉, 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는 사용자 입력 정보 및 영상정보에 기초하여 적어도 하나의 목표정보를 생성한다. 더욱 구체적으로, 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는 사용자 입력 정보에서 요청정보를 추출하고, 요청정보에 기초하여 사용자가 원하는 시각정보의 유형을 결정한다. 상기 장치는 결정된 유형에 부합하는 시각정보를 영상정보로부터 추출하여 목표정보를 생성한다.

S2 단계는 사용자 입력 정보에 기초하여 목표정보가 전달되는 적어도 하나의 감각경로를 결정하는 단계이다. 구체적으로, 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 장치는 사용자 입력 정보로부터 요청감각 정보를 파싱/추출하여 목표정보가 전달되는 감각경로를 결정한다. 상기 장치는 목표정보가 전달되는 하나 이상의 감각경로를 결정한다.

S3 단계는 목표정보를 S2 단계에서 결정된 감각경로에 대응하는 대체신호로 변환하는 단계이다.

S4 단계는 대체신호를 사용자의 감각신호 전달 장치를 통해 출력하는 단계이다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

도 1은 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치(100)의 구성을 나타낸 블록도이다.

본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치(100)는 입력 모듈(110), 감각경로 결정 모듈(120), 영상정보 분할 모듈(130), 목표정보 추출 모듈(140), 대체신호 생성 모듈(150) 및 제어 및 출력 모듈(160)을 포함한다. 도 1에 도시된 시각정보의 감각 치환 및 다중경로 전달 장치(100)는 일 실시예에 따른 것이고, 상기 장치(100)의 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 통합, 부가, 변경 또는 삭제될 수 있다.

입력 모듈(110)은 사용자 입력 정보와 영상정보를 외부에서 수신한다. 상기 사용자 입력 정보는 '요청정보'를 포함할 수 있다. '요청정보'에는 사용자가 관심을 가지는 객체의 종류에 대한 정보 또는 영상정보로부터 사용자가 전달받기를 원하는 시각정보의 유형을 나타내는 정보가 포함될 수 있다. 객체의 종류에 관한 요청정보의 예를 들면, 인물, 자동차, 동물 등이 있을 수 있고, 시각정보의 유형에 관한 요청정보의 예를 들면, 모양, 위치, 거리, 이동 방향, 색상 등이 있을 수 있다. 객체의 종류와 시각정보의 유형을 혼합한 요청정보의 예를 들면, 동물의 이동 방향, 자동차의 위치, 인물과의 거리 등이 있을 수 있다.

사용자 입력 정보는 요청정보를 전달받을 감각에 대한 정보(이하 '요청감각 정보')와 감각의 전달 강도를 표현하는 정보(이하 '전달 강도 정보') 중 적어도 어느 하나의 정보를 더 포함할 수 있다. 요청감각 정보의 예를 들면, 시각, 청각, 압력, 진동, 열감 등이 있을 수 있다. 전달 강도 정보의 예를 들면, 상(high), 중(medium), 하(low) 등이 있을 수 있다.

사용자 입력 정보는 요청정보, 요청감각 정보 및 전달 강도 정보 중 적어도 어느 하나 또는 이들의 조합을 포함할 수 있다. 요청감각 정보 및 요청정보는 감각경로 결정 모듈(120)이 사용자의 요청에 부합하는 시각정보(목표정보)를 사용자에게 전달할 감각경로를 결정하는 데 사용될 수 있다. 달리 말하면, 요청감각 정보 및 요청정보는 감각경로 결정 모듈(120)이 요청정보에 대응되는 목표정보를 사용자에게 어떤 감각신호로 전달할 것인지 결정하는 데 사용될 수 있다. 사용자 입력 정보에 포함되는 요청감각 정보와 전달 강도 정보는 사용자에 대한 개인화(personalization)를 위한 정보이다. 사용자에 따라 인식하기 용이한 감각신호가 상이할 수 있으며, 감각신호별 감도도 달라질 수 있기 때문이다.

입력 모듈(110)은 사용자 입력 정보를 다양한 방식으로 입력받을 수 있다. 예를 들어, 입력 모듈(110)은 버튼이나 텍스트 입력을 통해 사용자 입력 정보를 수신할 수 있다. 입력 모듈(110)은 사용자 입력 정보에서 요청정보, 요청감각 정보 및 전달 강도 정보를 각각 분리하여 추출할 수 있다. 예를 들어, 입력 모듈(110)은 사용자 입력 정보를 파싱하여 요청정보, 요청감각 정보 또는 전달 강도 정보를 얻을 수 있다.

입력 모듈(110)이 수신하는 영상정보에는 정지 이미지 및 연속 이미지(동영상) 중 적어도 어느 하나가 포함될 수 있다. 또한, 상기 영상정보는 RGB 카메라, 깊이 카메라(3D depth camera) 또는 열화상카메라 등을 통해 얻어진 영상(즉, 컬러 영상, 깊이 영상 또는 열화상 영상)일 수 있다. 입력 모듈(110)은 영상정보 분할 모듈(130)에 상기 영상정보를 전송한다. 그리고 입력 모듈(110)은 감각경로 결정 모듈(120), 목표정보 추출 모듈(140) 및 대체신호 생성 모듈(150)에 사용자 입력 정보를 전송한다. 입력 모듈(110)은 사용자 입력 정보에서 추출한 요청정보, 요청감각 정보 및 전달 강도 정보를 감각경로 결정 모듈(120), 목표정보 추출 모듈(140) 및 대체신호 생성 모듈(150)에 전송할 수 있다. 예를 들어, 입력 모듈(110)은 감각경로 결정 모듈(120)에 요청감각 정보와 요청정보를 전송하고, 목표정보 추출 모듈(140)에 요청정보를 전송하고, 대체신호 생성 모듈(150)에 전달 강도 정보를 전송할 수 있다.

감각경로 결정 모듈(120)은 사용자 입력 정보를 기초로 목표정보를 전달할 감각경로를 결정한다. 감각경로 결정 모듈(120)은 요청정보별로 감각경로를 결정할 수 있다. 예를 들어, 감각경로 결정 모듈(120)은 '휴대폰의 위치와 거리'라는 요청정보에 대하여, 기 설정된 테이블에 따라, 사용자가 착용한 고글을 통하여 시각정보를 전달하는 감각경로와 사용자가 착용한 이어폰을 통하여 청각신호를 전달하는 감각경로로 구성된 복수의 감각경로를 결정할 수 있다.

감각경로 결정 모듈(120)은 사용자 입력 정보에 포함된 요청감각 정보에 따라 감각경로를 결정할 수 있지만, 사용자 입력 정보에 포함된 요청정보에 따라 감각경로를 결정할 수도 있다. 또한, 감각경로 결정 모듈(120)은 목표정보에 따라 감각경로를 결정할 수도 있다.

감각경로 결정 모듈(120)은 목표정보별로 감각경로를 결정할 수 있는데, 감각경로 결정 모듈(120)은 목표정보와 감각경로를 매칭하기 위하여 요청정보 또는 목표정보를 이용할 수 있다. 감각경로 결정 모듈(120)가 감각경로를 결정하는 방법에 대해서는 도 2를 참조하여 후술한다. 감각경로 결정 모듈(120)은 목표정보별로 결정된 감각경로에 대한 정보를 대체신호 생성 모듈(150)에 전송할 수 있다.

영상정보 분할 모듈(130)은 영상정보를 분할 또는 분석하여 형태정보, 공간정보 및 전역정보 등의 다양한 유형의 시각정보를 생성하며, 생성한 시각정보를 목표정보 추출 모듈(140)에 전송한다. 영상정보 분할 모듈(130)은 영상정보의 각 프레임에 대응하는 시각정보를 생성할 수 있으며, 영상정보의 복수의 프레임에 대응하는 시각정보를 생성할 수도 있다. 예를 들어, 영상정보 분할 모듈(130)은 영상정보의 각 프레임 별로 동물의 위치정보를 생성할 수 있고, 100개의 프레임에 대응하는 동물의 이동 경로 정보를 생성할 수 있다. 영상정보 분할 모듈(130)에서 생성하는 시각정보는 형태정보, 공간정보 및 전역정보 중 적어도 어느 하나 또는 이들의 조합을 포함할 수 있다.

목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)가 생성한 시각정보를 기초로 복합정보를 생성할 수 있다. 또한, 목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)가 생성한 시각정보와 복합정보 중에서 사용자의 요청정보에 부합하는 목표정보를 추출할 수 있다.

이하, 본 명세서에서 '시각정보'는 영상정보를 기초로 생성된 형태정보, 공간정보, 전역정보 및 복합정보를 통칭하는 의미로 사용된다.

목표정보 추출 모듈(140)은 시각정보(형태정보, 공간정보, 전역정보 및 복합정보) 중에서 요청정보에 부합하는 시각정보, 즉 목표정보를 추출한다. 즉, 목표정보 추출 모듈(140)은 요청정보를 기초로 시각정보에서 목표정보를 추출한다.

목표정보는 단일한 정보일 수도 있으나 복수의 정보일 수도 있다.

목표정보 추출 모듈(140)은 목표정보를 대체신호 생성 모듈(150)에 전송한다. 또한 목표정보 추출 모듈(140)은 목표정보를 제어 및 출력 모듈(160)에 전송할 수 있다.

대체신호 생성 모듈(150)은 감각경로를 기초로 목표정보를 변환하여 대체신호를 생성한다. 대체신호 생성 모듈(150)은 목표정보 추출 모듈(140)이 추출한 시각정보를 그 시각정보와 대응하는 감각신호, 즉 대체신호로 변환한다. 대체신호 생성 모듈(150)은 목표정보에 해당하는 시각정보를 대체신호로 변환함에 있어서 감각경로 결정 모듈(120)이 결정한 감각경로를 이용한다. 대체신호는 목표정보를 대체하는 감각신호로서, 목표정보를 다른 형태로 변환하여 사용자의 감각기관에 전달하기 위하여 대체신호 생성 모듈(150)이 생성하는 신호로서, 시각 신호, 청각 신호, 촉각 신호 및 열감 신호 중 적어도 어느 하나의 감각신호 또는 이들의 조합일 수 있다. 예를 들어, 목표정보가 공의 색상이라는 시각정보라면, 그 대체신호는 소정의 온도를 가지는 열감 신호일 수 있다. 대체신호 생성 모듈(150)이 시각정보를 그와 대응하는 대체신호로 변환하는 방법은 수치적인 변환이나 매핑의 방식을 따를 수 있으나, 이에 제한되지 않는다. 대체신호 생성 모듈(150)은 목표정보별로 결정된 감각경로에 따라 목표정보를 변환하여 대체신호로 생성한다.

대체신호 생성 모듈(150)은 사용자 입력 정보 중 전달 강도 정보를 대체신호 생성 과정에 반영할 수 있다. 즉, 대체신호 생성 모듈(150)은 전달 강도 정보와 감각경로를 기초로 목표정보를 변환하여 대체신호를 생성할 수 있다. 예를 들어, 대체신호 생성 모듈(150)이 목표정보를 변환하여 청각신호를 생성할 때, 전달 강도 정보가 '상(high)'이라면 주파수나 진폭이 높은 음파를 생성할 수 있다.

대체신호 생성 모듈(150)은 생성한 대체신호를 제어 및 출력 모듈(160)에 전송한다.

제어 및 출력 모듈(160)은 시각정보의 변환 과정과 대체 신호를 사용자에게 전달하는 과정을 제어한다. 제어 및 출력 모듈(160)은 복수의 하드웨어의 형태로 구현될 수 있다. 예를 들어, 제어 및 출력 모듈(160)은 제어 장치와 출력 장치로 구현될 수 있다. 또한, 제어 및 출력 모듈(160)은 개별 감각신호를 복수의 경로로 동시에 전달하기 위해 필요한 제어신호를 생성한다. 그리고 제어 및 출력 모듈(160)은 대체신호를 단일 또는 복수의 전달 경로로 출력한다.

제어 및 출력 모듈(160)은 대체신호의 출력 순서 설정과 전달 시점의 동기화와 관련된 전반적인 동작을 제어한다. 또한 제어 및 출력 모듈(160)은 대체신호를 사용자에게 전달한다. 예를 들어, 제어 및 출력 모듈(160)은 청각신호, 열감신호 및 진동신호를 사용자가 착용하고 있는 이어폰, 히터 및 진동장치에 전달하여 상기 장치들에서 소리, 열 및 진동 등의 출력이 일어나도록 하여 대체신호를 사용자에게 전달한다. 대체신호는 단일한 신호일 수도 있지만 예시한 바와 같이 복수 개의 신호일 수도 있다.

제어 및 출력 모듈(160)은 대체신호와 함께 목표정보 추출 모듈(140)에서 전달받은 목표정보를 그대로 사용자에게 전달할 수 있다. 예를 들어, 목표정보 추출 모듈(140)은 야간에 적외선 카메라로 촬영된 영상에서 생성된 시각정보에서 목표정보 추출 모듈(140)이 추출한 목표정보(동물의 외곽선, 사용자와 동물과의 거리)를 대체신호 생성 모듈(150)와 제어 및 출력 모듈(160)에 전송한다. 대체신호 생성 모듈(150)는 목표정보를 변환하여 청각 대체신호를 생성하여 제어 및 출력 모듈(160)에 전송한다. 제어 및 출력 모듈(160)은 목표정보를 사용자가 착용한 고글에 표시하면서 동시에 청각 대체신호(음파)를 사용자가 착용한 이어폰을 통해 출력할 수 있다.

도 2는 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치(100)의 세부 구성을 나타낸 블록도이다.

입력 모듈(110)은 사용자 입력 정보 및 영상정보를 수신한다. 입력 모듈(110)은 사용자 입력부(111), 사용자 입력 정보 처리부(112) 및 영상 입력부(113)를 포함하여 구성된다.

사용자 입력부(111)는 사용자 입력 정보를 외부에서 수신한다. 사용자 입력 정보는 요청정보, 요청감각 정보 및 전달 강도 정보 중 적어도 어느 하나 또는 이들의 조합을 포함할 수 있다. 구체적으로, 사용자 입력 정보에는 사용자가 관심을 가지는 객체의 종류에 대한 정보 또는 영상정보로부터 사용자가 전달받기를 원하는 시각정보의 유형을 나타내는 정보(요청정보), 요청정보를 전달받을 감각에 대한 정보(요청감각 정보)과 감각의 전달 강도를 표현하는 정보(전달 강도 정보) 등이 포함될 수 있다. 예를 들어, 요청정보는 영상정보에 포함되는 특정한 종류의 객체의 위치 정보일 수 있다. 본 발명이 가상 현실에 적용될 경우의 사용자 입력 정보의 구체적인 예를 들면, 요청정보는 메타버스 상에서 다른 사용자의 위치 및 거리 정보가 될 수 있고, 요청감각 정보는 진동 및 온도(열감)가 될 수 있다. 전달 강도 정보는 상(high)/중(medium)/하(low) 중에서 상(high)으로 설정될 수 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100)는 시각 이외에 다른 감각을 동원하여 사용자의 체험을 극대화할 수 있다. 예컨대, 메타버스 상에서 상대방 사용자가 접근해 오는 경우, 진동과 열감 신호가 증대됨으로 인해 사용자의 감각이 증폭될 수 있다.

사용자 입력부(111)는 요청정보를 입력받기 위해 음성이나 화면을 통한 터치를 활용할 수 있다. 예를 들어, 사용자는 음성이나 화면 터치를 통해 영상에 나타난 배경, 사람, 동물 또는 상품 중 원하는 정보를 지정한다. 구체적인 예를 들면, 사용자가 화면에서 영상의 배경 부분을 터치했을 경우, 사용자 입력부(111)는 사용자 입력 정보 중 요청정보인 '배경'이 입력된 것으로 인식할 수 있다. 사용자가 화면에서 영상에 포함된 인물 부분을 터치했을 경우, 사용자 입력부(111)는 사용자 입력 정보 중 요청정보인 '인물'이 입력된 것으로 인식할 수 있다. 요청정보는 단일한 정보일수도 있고, 복수의 정보일 수도 있다. 한편, 사용자 입력부(111)는 은밀한 환경이 필요한 군작전이나 소음이 심한 환경과 같이 특수한 작업환경 등에서는 소정의 버튼이나 레버 등을 통하여 미리 설정된 값이 적용되는 방식으로 사용자 입력 정보를 수신할 수 있다. 예를 들어, 사용자 입력부(111)는 특정 버튼('사람' 버튼, '위치' 버튼, '거리' 버튼, '촉각' 버튼)이 눌러진 경우, 영상에 나타난 사람의 위치 정보와 거리 정보를 사용자의 요청정보로 간주하고, '촉각'을 사용자가 입력한 요청감각 정보로 간주할 수 있다. 또한, 사용자 입력부(111)는 텍스트 형태로 사용자 입력 정보를 입력받을 수도 있다. 예를 들어, 사용자 입력부(111)는 '동물과의 거리를 촉각으로 전달해 줘'와 같은 텍스트의 형태로 요청정보와 요청감각 정보를 포함한 사용자 입력 정보를 수신할 수 있다.

사용자 입력 정보 처리부(112)는 사용자 입력 정보에서 요청정보, 요청감각 정보 및 전달 강도 정보를 각각 분리하여 추출한다. 예를 들어, 사용자 입력 정보 처리부(112)는 텍스트 형태로 되어 있는 사용자 입력 정보를 파싱하여 요청정보, 요청감각 정보 또는 전달 강도 정보를 얻을 수 있다. 사용자 입력 정보 처리부(112)는 사용자 입력 정보에서 추출한 요청정보, 요청감각 정보 및 전달 강도 정보를 감각경로 결정 모듈(120), 목표정보 추출 모듈(140) 및 대체신호 생성 모듈(150)에 전송할 수 있다. 예를 들어, 사용자 입력 정보 처리부(112)는 감각경로 결정 모듈(120)에 요청감각 정보와 요청정보를 전송하고, 목표정보 추출 모듈(140)에 요청정보를 전송하고, 대체신호 생성 모듈(150)에 전달 강도 정보를 전송할 수 있다.

영상 입력부(113)는 본 발명에서 사용자에게 전달될 대상이 되는 영상정보를 수집한다. 상기 영상정보에는 정지 이미지 및 연속 이미지(동영상) 중 적어도 어느 하나가 포함될 수 있다. 영상 입력부(113)는 영상정보를 수집하기 위하여 RGB 카메라, 깊이 카메라(3D depth camera), ToF(Time-of-Flight) 이미지센서 또는 적외선카메라 등을 포함할 수 있다. 일반적으로 영상정보에는 다양한 시각정보가 포함되어 있는데, 본 명세서에서는 구체적인 설명을 위해 형태, 테두리, 위치, 거리, 색상, 질감, 경로, 방향, 빛의 유무, 감정 및 전체적인 분위기 등을 시각정보의 예시로 들어 설명한다.

감각경로 결정 모듈(120)은 사용자 입력 정보를 기초로 목표정보를 전달할 감각경로를 결정한다. 감각경로 결정 모듈(120)은 요청정보별로 감각경로를 결정할 수 있다. 감각경로 결정 모듈(120)은 사용자 입력 정보에 포함된 요청감각 정보에 따라 감각경로를 결정할 수 있지만, 사용자 입력 정보에 포함된 요청정보에 따라 감각경로를 결정할 수도 있다. 또한, 감각경로 결정 모듈(120)은 목표정보에 따라 감각경로를 결정할 수도 있다. 감각경로 결정 모듈(120)은 목표정보별로 감각경로를 결정할 수 있는데, 감각경로 결정 모듈(120)은 목표정보와 감각경로를 매칭하기 위하여 요청정보 또는 목표정보를 이용할 수 있다. 감각경로 결정 모듈(120)은 사용자 입력 정보를 기반으로, 목표정보가 사용자에게 전달되는 감각 경로를 결정한다. 구체적으로, 감각경로 결정 모듈(120)은 사용자 입력 정보를 기반으로, 목표정보에 해당하는 시각정보를 단일 신호로 전달할 것인지 또는 복수의 신호로 전달할 것인지를 결정한다. 감각경로 결정 모듈(120)은 복수의 목표정보 각각을 그에 대응하는 감각신호로 변환하여 사용자에게 전달하는 감각 경로를 결정할 수도 있으며, 동일한 목표정보를 복수의 감각신호로 변환하여 사용자에게 전달하는 감각 경로를 결정할 수도 있다. 예를 들어, 감각경로 결정 모듈(120)은 영상정보에 나타난 특정 물체의 위치정보가 목표정보인 경우, 소리를 통해 좌우 또는 상하 위치가 전달되도록 감각 경로를 결정할 수도 있고, 촉각, 진동 및 열감 신호를 통해 위치정보가 전달되도록 하는 감각 경로를 결정할 수도 있다. 감각경로 결정 모듈(120)은 사용자 입력 정보에 기초하여 감각경로를 결정하는데, 사용자 입력 정보에 포함된 요청감각 정보에 기초하여 감각경로를 결정할 수 있다. 또한, 감각경로 결정 모듈(120)은 사용자 입력 정보에 포함된 요청정보에 기초하여 감각경로를 결정할 수 있다. 예를 들어, 감각경로 결정 모듈(120)은 요청감각 정보가 '열감'일 경우, 설정 또는 사용자의 선택에 따라 그에 해당하는 감각경로(예: 온도를 왼손을 통해 전달하는 열감 감각경로)를 결정할 수 있다. 다른 예로, 감각경로 결정 모듈(120)은 요청정보가 '차량의 거리'일 경우, '거리'에 대하여 기 설정된 감각경로(예: 소리를 왼쪽 귀를 통해 전달하는 청각 감각경로 및 진동을 왼손을 통해 전달하는 촉각 감각경로)를 결정할 수 있다. 감각경로를 어떤 정보에 기초하여 결정할 것인지는 사용자의 선택이나 설정에 의한다.

감각경로 결정 모듈(120)은 목표정보별로 결정된 감각경로에 대한 정보를 대체신호 생성 모듈(150)에 전송할 수 있다.

영상정보 분할 모듈(130)은 영상정보를 분할하거나 분석하여 형태정보, 공간정보 및 전역정보 등의 다양한 유형의 시각정보를 생성하며, 생성한 시각정보를 목표정보 추출 모듈(140)에 전송한다. 영상정보 분할 모듈(130)은 영상정보의 각 프레임에 대응하는 시각정보를 생성할 수 있으며, 영상정보의 복수의 프레임에 대응하는 시각정보를 생성할 수도 있다. 예를 들어, 영상정보 분할 모듈(130)은 영상정보의 각 프레임 별로 동물의 위치정보를 생성할 수 있고, 100개의 프레임에 대응하는 동물의 이동 경로 정보를 생성할 수 있다. 영상정보 분할 모듈(130)은 영상정보를 단계적으로 분할하여 이미지나 동영상의 프레임에 포함된 다양한 시각정보를 추출할 수 있다. 영상정보 분할 모듈(130)에 의해 생성된 시각정보는, 프레임을 구성하는 픽셀의 좌표와 같은 원시정보 및 프레임의 채널과 같이 영상처리로 획득한 정보를 포함한다. 또한 상기 시각정보에는 딥러닝 기반 객체 검출, 영역 분할, 관계 정보 분석 등의 알고리즘을 활용한 추론 기법을 이용하여 획득한 유의미한 분석결과도 포함될 수 있다. 따라서 영상정보 분할 모듈(130)은 이미지나 동영상 프레임에서 간단한 작업으로 추출이 가능한 형태정보를 우선적으로 분할하고, 그 후에 상대적으로 사용자 입력이나 추가적인 분석 작업을 더 요구하는 공간정보를 분할하며, 마지막으로 전역정보 또는 복합정보를 생성하는 순서로 분할 및 분석 작업을 수행할 수 있다. 영상정보 분할 모듈(130)은 형태정보 생성부(131), 공간정보 생성부(132) 및 전역정보 생성부(133)를 포함하여 구성될 수 있는데, 형태정보 생성부(131)는 영상정보를 분할하여 형태정보를 생성하고, 공간정보 생성부(132)는 영상정보를 분할하여 공간정보를 생성하며, 전역정보 생성부(133)는 영상정보를 분석하여 전역정보 또는 복합정보를 생성한다. 형태정보, 공간정보, 전역정보 및 복합정보의 예시는 표 1과 같다.

시각정보	예시
형태정보	모양, 외곽선(테두리), 색상, 빛의 유무, 질감
공간정보	위치, 거리, 방향, 경로
전역정보	영상 전체 영역에서 추출된 색상이나 모양
복합정보	(위치 정보를 기초로 생성된)경로, 감정, 분위기

목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)가 생성한 시각정보를 기초로 복합정보를 생성할 수 있다. 또한, 목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)가 생성한 시각정보와 복합정보 중에서 사용자의 요청정보에 부합하는 목표정보를 추출할 수 있다. 예를 들어, 요청정보가 '동물의 외곽선'일 경우, 목표정보 추출 모듈(140)은 시각정보 중에서 개나 고양이의 외곽선이 나타난 시각정보를 목표정보로서 추출할 수 있을 것이다.

목표정보 추출 모듈(140)은 상술한 바와 같이 영상정보 분할 모듈(130)이 영상정보를 기초로 생성한 시각정보(예: 형태정보, 공간정보 및 전역정보)를 수신하는데, 이 경우 요청정보를 참조로 사용하여 필요한 시각정보를 선택적으로 수신할 수 있다.

목표정보 추출 모듈(140)은 목표정보를 대체신호 생성 모듈(150)에 전송한다. 목표정보 추출 모듈(140)은 형태정보, 공간정보, 전역정보 및 복합정보 등의 시각정보 중에서 요청정보에 부합하는 시각정보, 즉 목표정보를 추출한다. 즉, 목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)에서 생성한 시각정보(형태정보, 공간정보 및 전역정보) 및 목표정보 추출 모듈(140)이 생성한 시각정보(복합정보) 중에서 요청정보와 부합하는 목표정보를 추출한다. 목표정보 추출 모듈(140)은 복합정보 생성부(141) 및 목표정보 추출부(142)를 포함하여 구성된다.

복합정보 생성부(141)는 영상정보 분할 모듈(130)에서 생성한 시각정보를 기초로 복합정보를 생성한다. 예를 들어, 복합정보 생성부(141)는 객체의 모양, 테두리(외곽선) 등의 형태 정보와 영상 전체 영역에 추출된 색상 등의 전역 정보를 기초로 분위기 정보를 얻을 수 있다. 복합정보 생성부(141)는 복수의 형태정보 또는 복수의 공간정보를 기초로 복합정보를 생성할 수 있으며, 전체적인 영상정보(전역 정보)에 기초하여 감정이나 분위기 정보 등의 복합정보를 생성할 수 있는데, 이러한 복합정보 생성 과정에서 인공지능 기법을 활용할 수 있다.

목표정보 추출부(142)는 시각정보(형태정보, 공간정보, 전역정보 및 복합정보)에서 요청정보와 부합하는 목표정보를 추출한다.

대체신호 생성 모듈(150)은 감각경로를 기초로 목표정보를 변환하여 대체신호를 생성한다. 대체신호 생성 모듈(150)은 목표정보 추출 모듈(140)이 추출한 목표정보를 그 목표정보를 대체하는 감각신호, 즉 대체신호로 변환한다. 대체신호 생성 모듈(150)은 목표정보 추출 모듈(140)이 추출한 목표정보를 그 목표정보와 대응하는 대체신호로 변환한다. 대체신호 생성 모듈(150)은 목표정보별 감각 경로(예: 차량과 사용자 간의 거리를 왼쪽 귀를 통한 청각 감각경로로 전달함)를 기초로 그 목표정보에 부합하는 대체신호(음파)가 무엇인지 설정 테이블 등의 참조 데이터를 근거로 판단하고, 목표정보를 변환하여 대체신호를 생성한다. 즉, 대체신호 생성 모듈(150)은 목표정보별로 결정된 감각경로에 따라 목표정보를 변환하여 그와 대응하는 대체신호를 생성한다.

한편, 대체신호 생성 모듈(150)은 제어 및 출력 모듈(160)에서 산출한 시간 정보(정보변환시간(T_c), 전달시간(T_t), 지연시간(T_d), 인지시간(T_p))를 대체신호 생성 과정에 반영할 수 있다. 예를 들어, 대체신호 생성 모듈(150)은, 제어 및 출력 모듈(160)의 시간 분석 결과에 따라 전달에 필요한 시간이 부족한 것으로 판단되는 경우, 감각신호 변환 과정이나 그 변환 결과를 단순화하여 정보변환시간(T_c)이나 전달시간(T_t)을 단축할 수 있다. 만약 대체신호 생성 모듈(150)에서 정보변환시간(T_c)이나 전달시간(T_t)을 단축할 수 없는 경우, 제어 및 출력 모듈(160)의 전달신호 동기화부(162)는 전달에 필요한 시간만큼 전달 시간을 확보하기 위해 동기화 시간(시점)을 연장한다.

본 실시예에서 대체신호 생성 모듈(150)은 목표정보를 청각 신호(소리)로 변환하는 제1 정보변환부(151), 목표정보를 촉각 신호(진동)로 변환하는 제2 정보변환부(152) 및 목표정보를 열감 신호(온도)로 변환하는 제3 정보변환부(153)을 포함하여 구성될 수 있다. 다만, 변환할 수 있는 감각이 추가되거나(예:후각), 감각의 세분화(예: 촉각 신호를 진동, 촉감, 압력으로 세분화)에 따라 대체신호 생성 모듈(150)의 구성 요소는 추가될 수 있다.

제1 정보변환부(151)는 목표정보를 청각 신호(음파)로 변환한다. 제1 정보변환부(151)는 주로 모양, 위치, 빛의 유무, 색상 및 방향 등과 같은 형태정보나 공간정보를 음파로 변환한다. 구체적인 예를 들면, 제1 정보변환부(151)는 이미지의 수직 위치의 픽셀이나 픽셀 군마다 주파수를 사전에 정의하여 객체의 수직 위치의 차이가 주파수로 구분되도록 음파를 생성할 수 있다. 즉 제1 정보변환부(151)는 이미지의 수직 위치를 음파의 주파수로 매핑할 수 있다. 또한 제1 정보변환부(151)는 이미지의 수평 위치를 소리의 재생 시간 정보나 스테레오 신호로 매핑할 수 있으며, 객체의 형태나 테두리에 해당하는 픽셀의 밝기 값을 진폭으로 매핑하여 음파를 생성할 수 있다. 또한, 제1 정보변환부(151)는 공간정보를 소리로 표현하는 경우에는 주파수와 진폭을 복합적으로 조합하여 객체의 거리가 가까울수록 재생 빈도와 크기(volume)가 증가된 음파를 생성할 수 있고, 객체의 거리가 멀수록 재생빈도와 크기가 감소된 음파를 생성할 수 있다. 시각정보가 색상 정보(예컨대 객체의 색상, 영상 전체 영역에서 추출된 색상, 전역정보에 기초한 감정이나 분위기 등)인 경우, 색상의 분포에 대하여 딥러닝 기술을 이용한 분석이 가능하므로, 제1 정보변환부(151)는 분석된 정보가 밝은 느낌이나 분위기의 경우 경쾌한 음조의 음파로 표현하고, 어둡거나 우울한 분위기나 감정의 경우 느리거나 낮은 음계의 음파로 표현하는 방식으로 시각정보를 변환할 수 있다.

제2 정보변환부(152)는 목표정보를 촉각 신호로 변환한다. 제2 정보변환부(152)는 주로 거리, 질감, 위치, 경로나 방향 등의 목표정보를 촉각 신호로 변환한다. 시각정보의 감각 치환 및 다중경로 전달 장치(100)에서 촉각신호가 최종적으로 전달되는 장치는 손목에 부착하거나 신체에 착용하는 진동장치 등이 될 수 있다. 손목에 부착하는 진동장치의 상하좌우 위치에 진동발생 소자가 위치하는 경우, 제2 정보변환부(152)는 특정 경로나 방향에 해당하는 소자만 진동을 발생하도록 복수의 채널에 대한 촉각 신호를 생성할 수 있다. 제어 및 출력 모듈(160)은 이와 같이 생성된 촉각 신호를 기초로 진동장치에 제어 신호를 전송하여 경로나 방향에 부합하는 소자가 진동을 발생하도록 함으로써 사용자에게 객체의 방향이나 경로를 전달할 수 있다.

한편, 제2 정보변환부(152)는 목표정보가 거리 정보인 경우, 거리에 따라 진동의 주기나 세기를 변화시키는 방식으로 거리 정보를 촉각 신호로 변환할 수 있다.

제3 정보변환부(153)는 목표정보를 열감 신호로 변환한다. 제3 정보변환부(153)는 주로 색상, 감정이나 분위기에 관한 목표정보를 열감 신호로 변환할 수 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100)에서 열감 신호가 최종적으로 전달되는 장치는 열전달 장치(히터)가 될 수 있다. 구체적인 예로, 제3 정보변환부(153)는 열전달 장치에서 전달할 수 있는 온도 범위를 기준으로 파란색이나 어두운 분위기의 목표정보는 낮은 온도를 가지는 열감 신호로 변환하고, 빨간색이나 뜨거운 분위기의 목표정보는 설정된 온도 범위 중에서 높은 온도를 가지는 열감 신호로 변환할 수 있다.

대체신호 생성 모듈(150)의 각 정보변환부(151,152,153)는 전달 강도 정보와 감각경로를 기초로 목표정보를 변환하여 대체신호를 생성할 수 있다. 예를 들어, 제1 정보변환부(151)가 목표정보를 변환하여 청각신호를 생성할 때, 제1 정보변환부(151)는 사용자 입력 정보에 포함된 전달 강도 정보가 '상(high)'인 것을 반영하여 주파수나 진폭을 증가시킨 음파를 생성할 수 있다.

대체신호 생성 모듈(150)은 사용자에게 목표정보를 효율적으로 전달하기 위하여, 복수의 목표정보를 개별적으로 각각 다른 대체신호로 변환할 수도 있고, 동일한 시각정보를 복수의 대체신호로 변환할 수도 있다. 이 경우 대체신호 생성 모듈(150)은 복수의 정보변환부(151,152,153)의 변환 결과를 조합하여 최종 변환 결과를 도출할 수 있다. 예를 들어, 단일한 위치정보를 변환하는 경우라도 대체신호 생성 모듈(150)은 상기 위치정보를 제1 정보변환부(151)를 통해 좌우를 나타내는 음파로 변환하고, 제2 정보변환부(152)를 통해 상기 위치정보를 왼손의 손목에 착용된 진동 장치의 좌측 방향의 소자에 전달할 진동 신호로 변환할 수 있다. 이 경우 제어 및 출력 모듈(160)은 상기 위치정보에 관한 음파와 진동 신호를 동시에 출력하여, 사용자로 하여금 위치 정보를 보다 효율적으로 인지할 수 있도록 한다.

대체신호 생성 모듈(150)은 생성된 대체신호를 제어 및 출력 모듈(160)에 전송한다.

제어 및 출력 모듈(160)은 대체신호의 출력 순서 설정과 전달 시점의 동기화와 관련된 전반적인 동작을 제어한다. 제어 및 출력 모듈(160)은 대체신호 생성 모듈(150)이 생성한 대체신호를 사용자에게 전달한다. 제어 및 출력 모듈(160)은 목표정보의 다중경로 전송을 위한 전반적인 동작에 필요한 전달신호의 흐름을 제어하고 관리한다. 또한 제어 및 출력 모듈(160)은 대체신호를 다중경로로 출력할 수 있다.

한편, 제어 및 출력 모듈(160)은 물리적으로 별개의 장치로 구분될 수 있다. 예를 들어, 제어 및 출력 모듈(160)은 제어 장치와 출력 장치를 포함하여 구현할 수 있다.

제어 및 출력 모듈(160)은 전달경로 설정부(164), 다중경로 출력부(165)를 포함한다. 제어 및 출력 모듈(160)은 대체신호의 동기화를 위하여 시간 분석부(161)와 전달신호 동기화부(162)를 더 포함할 수 있고, 대체신호를 보정하는 대체신호 보정부(163)를 더 포함할 수 있다. 제어 및 출력 모듈(160)의 대체신호 동기화 및 보정 작업은 목표정보를 사용자에게 효과적으로 전달하기 위하여 필요하다.

제어 및 출력 모듈(160)은 감각경로 결정 모듈(120)에서 결정된 목표정보별 감각 경로를 기초로 복수의 대체신호들을 목표정보별로 동기화하여 사용자에게 전달한다. 또한, 제어 및 출력 모듈(160)은 영상정보 및 사용자 행동(사용자 반응)에 따라 대체신호의 특성(예: 강도) 또는 종류를 보정한다. 제어 및 출력 모듈(160)은 영상정보에 대한 분석을 통해 사용자 행동(사용자 반응)을 인식할 수 있다.

우선, 대체신호 동기화 작업을 담당하는 시간 분석부(161) 및 전달신호 동기화부(162)의 기능에 대하여 설명한다. 시간 분석부(161)는 전달신호 동기화부(162)가 동기화 시점을 판단하는 데 필요한 시간 정보를 전달신호 동기화부(162)에게 제공한다. 시간 분석부(161)는 목표정보별 감각 경로에 기초하여 ① 감각별 정보변환시간(T_c), ② 감각별 전달시간(T_t), ③ 전달장치의 지연시간(T_d) 및 ④ 감각기관별 인지시간(T_p)을 산출하고, 산출한 시간 정보(T_c,T_t,T_d,T_p)를 전달신호 동기화부(162)에 전달한다. 표 2는 시간 분석부(161)가 산출하는 각 시간에 대한 설명이다.

구분	기호	설명
정보변환시간 (Time for conversion)	T c	목표정보를 감각별 대체신호로 변환하는데 걸리는 시간
전달시간 (Time for transmission)	T t	감각별로 전달 또는 재생하는데 필요한 시간
지연시간 (Time for delay)	T d	감각기관별로 전달하는 장치의 지연시간
인지시간 (Time for perception)	T p	대상 감각수용체에서 전달 신호를 인지하는 시간

시간 분석부(161)는 대체신호 생성 모듈(150)의 각 변환부(151,152,153)가 목표정보를 대체 신호로 변환할 때 소요되는 시간(대체 신호 생성에 소요되는 시간)을 기초로 감각별 정보변환 시간(T_c)을 산출할 수 있다. 그리고, 감각별 전달시간(T_t)은 목표 감각 기관별로 정보를 전달하는데 필요한 시간을 의미한다. 감각별 전달시간(T_t)은 감각별로 다를 수 있다. 예를 들어, 청각은 0.5초, 촉각은 0.8초, 열감은 1초 등 감각별로 다른 길이의 시간이 필요할 수 있다. 그리고, 전달장치의 지연시간(T_d)은 전달 장치의 전송시간이라고 볼 수 있는데, 장비의 특성에 따라 달라진다. 따라서 시간 분석부(161)는 장치 제조사에서 공개하는 정보를 반영하여 지연시간(T_d)을 산출할 수 있다. 그리고, 시간 분석부(161)는 일반적으로 알려진 값(선행 연구 결과)에 기반하여 감각기관별 인지시간(Tp)을 산출할 수 있다. 다만, 사용자마다 인지시간의 차이가 있을 수 있고, 특정한 감각을 느끼지 못하는 사람이 있으므로, 대체신호 보정부(163)는 사용자 행동이나 사용자 반응에 따라 대체신호를 보정한다.

전달신호 동기화부(162)는 목표정보 추출 모듈(140)이 추출한 각 시각정보의 프레임과 시간 분석부(161)가 산출한 시간 정보를 기초로, 사용자에게 전달하고자 하는 복수의 대체신호에 대한 동기화 시점을 판단하고, 동기화 작업을 수행한다. 전달신호 동기화부(162)가 복수의 대체신호를 동기화하기 위해서는 목표 감각별로 목표정보를 대체신호로 변환하는데 걸리는 시간(T_c: Time for conversion)과 감각별로 전달 또는 재생하는데 필요한 시간(T_t: Time for transmission), 감각기관별로 전달하는 장치의 지연시간(T_d: Time for delay) 및 대상 감각수용체에서 전달 신호를 인지하는 시간(T_p: Time for perception)을 고려해야 한다. 동기화를 위해 이러한 시간적 고려가 필요한 이유는 영상이나 이미지의 다양한 시각정보들을 복수의 대체신호들로 전송하는 경우, 감각 기관마다 전달할 수 있는 신호의 강도와 정보량에 한계가 있고 동일한 신호라도 사용자에 따라 인식에 차이가 있기 때문이다. 예를 들면, 음파 형태의 대체신호는 그 특성상 재생 시간이 필요하다. 한편, 진동신호 형태의 대체신호는 음파의 재생시간보다 짧을 수도 있고 길 수도 있다. 따라서 동일한 이미지 프레임에서 도출된 각기 다른 목표정보를 변환한 대체신호를 복수의 감각 경로를 통하여 전송하는 경우, 제어 및 출력 모듈(160)은 동일한 프레임에 관한 대체신호를 동기화하여 동일한 시점에 사용자에게 전달하여야 한다.

다른 예로서, 동일한 시각정보를 사용자에게 복수의 감각 경로로 전달하는 경우에도 감각 기관마다 전달할 수 있는 정보량이 다르므로 전달하는 정보들을 동기화해야 한다. 변환된 대체신호를 단일 또는 복수의 경로로 전달하기 위한 동기화 시점(Ts: Sync. Time)은, 요청정보 또는 목표정보에 따라 달라질 수 있다. 전달신호 동기화부(162)는 목표정보 추출 모듈(140)에서 추출된 목표정보에 대한 정보변환시간(T_c), 전달시간(재생시간)과 지연시간의 합(T_t+T_d) 및 감각기관별 인지시간(T_p)을 고려하여 수학식 1과 같이 가장 소요시간이 긴 시간을 동기화 시점으로 결정할 수 있다.

다음으로, 대체신호의 보정을 수행하는 대체신호 보정부(163)에 대하여 하기와 같이 설명한다. 영상정보를 입력하는 카메라의 부착위치와 변환된 대체신호가 전달되는 장치의 위치가 상이함에도 불구하고 대체신호를 보정 없이 사용자에게 전달하는 경우, 사용자는 물체의 위치나 거리를 정확하게 인지하기 어렵다. 따라서 대체신호 보정부(163)는 이러한 불일치를 해결하여 대체신호를 보정하는 기능을 수행한다. 예를 들어, 일반적으로 영상정보를 입력하는 카메라는 안경이나 목걸이 또는 가슴에 고정장치를 이용하여 부착하는 반면, 위치 정보나 깊이 정보는 소리나 손에 부착한 진동 장치로 전달된다. 이 경우, 머리나 가슴에서 바라보는 위치/거리와, 대체신호를 전달받는 귀 또는 손의 위치가 상대적으로 다르므로 위치 정보나 거리 정보가 소리나 촉각 장치로 일치하여 전달되지 않는다. 따라서 영상정보가 입력되는 위치와 대체신호가 전달되는 위치의 차이를 보정하여 사용자가 효율적으로 인지할 수 있도록 하는 기능이 필수적인데, 대체신호 보정부(163)에서 이러한 기능을 수행한다.

또한 대체신호 보정부(163)는 영상정보, 사용자 행동 또는 사용자 반응에 따라 대체신호의 특성(예: 강도) 또는 종류를 보정한다. 대체신호 보정부(163)는 영상정보를 분석하여 사용자 행동(또는 사용자 반응)을 인식할 수 있다. 대체신호 보정부(163)는 영상정보 및 사용자 행동을 기초로 사용자의 감도를 판단할 수 있으며, 사용자의 감도를 기초로 대체신호의 특성이나 종류를 보정한다. 구체적으로 설명하면, 시각정보를 청각이나 촉각, 열감 등으로 변환해서 전달할 때 사용자에 따라 특정 감각을 느끼는 감도가 다를 수 있다. 따라서 대체신호 보정부(163)는 대체신호에 대한 사용자의 감도가 낮은 수준이라고 판단하는 경우, 대체신호의 강도를 높이거나, 해당 목표정보에 대한 감각 경로를 다른 감각 경로로 전환한다(예: 청각을 열감으로 전환). 대체신호의 강도를 높이는 예로서, 청각 신호의 크기를 증가시키는 것이 있을 수 있다.

제어 및 출력 모듈(160)은 전달신호 동기화부(162)의 동기화 결과를 참조하여 단일 또는 복수의 경로를 설정하고, 설정된 전달 경로를 통해 대체신호를 사용자에 부착된 장치에 출력한다. 전달경로 설정부(164)는 대체신호 생성 모듈(150)에서 변환이 완료된 대체신호를 입력받고, 목표정보별 감각 경로를 기초로 각 경로별 정보변환시간(T_c), 감각별 전달시간(T_t), 감각별 전달장치의 지연시간(T_d) 및 감각별 인지시간(T_p)을 고려하여 대체신호의 전달 경로를 설정한다. 제어 및 출력 모듈(160)은 시간 분석부(161)에서 산출한 4가지 시간(① 감각별 정보변환 시간(T_c), ② 감각별 전달시간(T_t), ③ 전달장치의 지연시간(T_d) 및 ④ 감각기관별 인지시간(T_p))에 기초하여 전달신호 동기화부(162)가 도출한 동기화 시점에 따라 개별 대체신호를 사용자에게 전달하며, 개별 감각에 대한 사용자의 행동이나 사용자 반응을 고려하여 대체신호의 전달 경로와 세기(강도)를 보정할 수 있다. 시각정보는 오감정보 중 정보량이 가장 많으므로 다른 감각으로 변환할 경우 정보의 축약이 발생하게 된다. 따라서 동일하지 않은 시각정보의 변환을 통해 동일한 대체신호가 생성될 수 있어서 문제되는데, 사용자 행동에 기초한 개인화 보정을 통하여 상기 문제를 해결할 수 있다. 다중경로 출력부(165)는 소정의 시간적 범위에 포함되는 개별 대체신호를, 전달신호 동기화부(162)에서 생성된 동기화 신호를 참조하여, 전달경로 설정부(164)가 설정한 전달경로를 통해 동시에 전달한다.

도 3은 본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 개념을 예시적으로 나타낸 도면이다. 도 3은 본 발명의 다양한 적용 예시 중에서 군사작전을 수행하는 경우 목표정보를 대체신호로 변환하여 다중경로를 통해 사용자에게 전달하는 상황을 도시한 것이다.

입력 모듈(110)은 사용자 입력 정보와 영상정보(정지 이미지 또는 동영상)를 수신하는데, 이 경우 사용자 입력 정보에 포함된 요청정보는 정찰이나 군사 작전을 수행하는 사용자의 목적에 부합하는 정보로서, 인물의 위치, 인물의 거리, 차량의 위치, 차량의 거리 등이 될 수 있다. 입력 모듈(110)은 사용자 입력 정보를 파싱하여 요청정보, 요청감각 정보 및 전달강도 정보를 추출한다. 예를 들어, 요청정보는 '차량의 거리'이고, 요청감각 정보는 '열감'이고, 전달강도 정보는 '상(high)'일 수 있다.

감각경로 결정 모듈(120)은 사용자 입력 정보에 기초하여 감각경로를 결정한다. 감각경로 결정 모듈(120)은 요청감각 정보에 기초하여 감각경로를 결정할 수 있으며, 요청정보에 기초하여 감각경로를 결정할 수도 있다. 예를 들어, 감각경로 결정 모듈(120)은 요청감각 정보가 '열감'일 경우, 그에 해당하는 감각경로(예: 온도를 왼손을 통해 전달하는 열감 감각경로)를 결정할 수 있다. 다른 예로, 감각경로 결정 모듈(120)은 요청정보가 '차량의 거리'일 경우, '거리'에 대하여 기 설정된 감각경로(예: 소리를 왼쪽 귀를 통해 전달하는 청각 감각경로 및 진동을 왼손을 통해 전달하는 촉각 감각경로)를 결정할 수 있다. 감각경로를 어떤 정보에 기초하여 결정할 것인지는 설정에 의한다.

영상정보 분할 모듈(130)은 영상정보를 분할하여 다양한 시각정보를 생성한다. 예를 들어, 영상정보 분할 모듈(130)은 영상정보를 분할하여, 객체의 모양, 객체의 테두리, 배경의 외곽선, 객체의 색상, 배경 색상, 빛의 유무, 객체의 질감 등의 형태정보, 객체의 위치, 사용자와 객체 간의 거리, 객체와 다른 객체 간의 거리, 객체의 이동 방향 등의 공간정보, 영상 전체의 지배적인 색상이나 모양 등의 전역정보를 생성한다.

목표정보 추출 모듈(140)은 영상정보 분할 모듈(130)이 생성한 시각정보를 기초로 요청정보에 부합하는 시각정보인 목표정보를 추출한다. 예를 들어, 목표정보 추출 모듈(140)은 요청정보인 '차량의 위치'와 '차량의 거리'에 부합하는 목표정보인 차량의 위치 정보 및 사용자와 차량 간의 거리 정보를 추출한다.

대체신호 생성 모듈(150)은 사용자 입력 정보에 포함된 전달 강도 정보를 참고하여 목표정보를 변환하여 대체신호를 생성한다. 예를 들어, 대체신호 생성 모듈(150)은 차량의 거리 정보를 변환하여 전달 강도 '상(high)' 수준의 청각 신호와 진동 신호를 생성한다.

제어 및 출력 모듈(160)은 대체신호를 다중 경로로 전달하여 사용자가 필요한 정보를 효율적으로 지각할 수 있게 한다. 예를 들어, 제어 및 출력 모듈(160)은 사용자가 착용한 스와 진동 장치를 통해 청각 신호와 진동 신호를 동시에 출력하여 사용자가 차량의 거리 정보를 인지할 수 있도록 한다.

본 발명에 따른 감각 치환 및 다중경로 전송 기법은, 기존의 감각 치환 기술과 달리, 복잡한 시각정보의 동기화된 전달이 가능하여 사용자의 지각을 향상할 수 있다. 하나의 예로, 도 3에 도시된 바와 같이, 총을 든 병사의 왼쪽 가까이에 있는 빨간색 공에 대한 정보는 기존 감각치환 기술이나 장치에서 전달할 수 없었던 복잡한 정보이다. 본 발명에 따른 감각 치환 및 다중경로 전송 기법에 따를 경우, 형태정보(공의 둥근 모양)는 소리로 변환하고, 위치정보(병사의 왼쪽)는 손목에 부착한 진동 장치의 왼쪽 진동 소자에 정보를 전달함과 동시에 거리 정보(병사와 병사 앞에 있는 객체와의 거리)는 진동장치의 진동 주기나 진동 세기로 전달하며, 색상정보(빨간색)는 높은 단계(high)로 설정된 열감 신호(온도 정보)를 열전달 장치를 통해 동시에 전달할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치(100')의 구성을 나타낸 블록도이다.

본 발명의 다른 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 장치(100')는 입력 모듈(110), 감각경로 결정 모듈(120), 목표정보 추출 모듈(140'), 대체신호 생성 모듈(150)과 제어 및 출력 모듈(160)을 포함한다.

도 4의 실시예는 도 1의 실시예와 장치 구성에 있어서 차이가 있다. 도 4의 실시예는 도 1의 실시예의 영상정보 분할 모듈(130)과 목표정보 추출 모듈(140)의 기능을 통합하여 하나의 목표정보추출 모듈(140')로 구현하였다. 도 4의 실시예는 도 1의 실시예에 대비하여 작업 부하가 크지 않아 영상정보의 분할 작업과 목표정보 추출 작업의 병렬적 처리가 필요하지 않은 경우에 적용할 수 있다.

목표정보추출 모듈(140')은 입력 모듈(110)에서 전송받은 영상정보를 분할하여 형태정보, 공간정보 및 전역정보 등의 다양한 시각정보를 생성하며, 상기 시각정보를 기초로 복합정보를 생성하며, 생성된 형태정보, 공간정보, 전역정보 및 복합정보 중에서 감각경로 결정 모듈(120)에서 전송받은 요청정보에 부합하는 목표정보를 추출하고, 추출된 목표정보를 대체신호 생성 모듈(150)에 전송한다. 또한 목표정보추출 모듈(140')은 목표정보를 제어 및 출력 모듈(160)에 전송할 수 있다. 목표정보추출 모듈(140')은 상술한 기능을 수행하기 위하여 형태정보 생성부(131), 공간정보 생성부(132), 전역정보 생성부(133), 복합정보 생성부(141) 및 목표정보 추출부(142)를 포함하여 구성되며, 목표정보추출 모듈(140')의 각 구성 요소의 기능은 도 2를 참조하여 전술한 내용과 동일하다.

한편, 시각정보의 감각 치환 및 다중경로 전달 장치(100')에 포함된 입력 모듈(110), 감각경로 결정 모듈(120), 대체신호 생성 모듈(150)과 제어 및 출력 모듈(160)의 기능은 도 1 내지 도 3에서 전술한 내용과 동일하므로 그 설명을 생략한다.

도 5(도 5a 및 도 5b)는 본 발명의 일 실시예에 따른 시각정보의 감각 치환 및 다중경로 전달 방법을 설명하기 위한 흐름도이다.

본 발명에 따른 시각정보의 감각 치환 및 다중경로 전달 방법은 S210 단계 내지 S280 단계를 포함한다.

S210 단계는 요청정보 추출 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 사용자 입력 정보를 수신하는데, 사용자 입력 정보에는 요청정보(사용자가 전달받기를 원하는 시각정보의 유형을 나타내는 정보), 요청감각 정보(요청정보 전달의 매개가 되는 감각에 대한 정보), 전달 강도 정보 등이 포함될 수 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 사용자 입력 정보에서 요청정보를 추출할 수 있다.

S220 단계는 영상정보 분할 단계(시각정보 생성 단계)이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 외부에서 영상정보를 수집한다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 영상정보 수집을 위해 RGB 카메라, 깊이 카메라(3D depth camera), ToF(Time-of-Flight) 이미지센서 또는 적외선카메라 등을 이용할 수 있다. 영상정보에는 정지 이미지 및 연속 이미지(동영상) 중 적어도 어느 하나가 포함될 수 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 영상정보를 분할하여 형태정보, 공간정보, 전역정보 등의 시각정보를 생성하며, 생성된 시각정보를 기초로 복합정보를 생성한다. 전술한 바와 같이, 본 발명은 형태정보, 공간정보, 전역정보 및 복합정보 등 영상정보를 기초로 생성된 정보를 '시각정보'로 통칭한다.

S230 단계는 목표정보를 추출하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 요청정보 분석을 거쳐 S220 단계에서 생성된 각 시각정보의 필요 여부를 판단하고, 요청정보에 부합하는 시각정보, 즉 목표정보를 추출한다. 요청정보에 따라 필요한 정보가 복합적으로 나타날 수 있으므로, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 요청정보에 따라 필요한 형태정보를 먼저 추출하고, 그 다음으로 요청정보에 해당하는 공간정보를 추출하며, 요청정보와 전역정보/복합정보의 연관성을 분석하여 필요한 경우 전역정보 또는 복합정보를 추출한다. 그리고, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 추출한 시각정보(형태정보, 공간정보, 전역정보 및 복합정보)를 목표정보로 정한다.

S230 단계는 도 5b를 참조하여 하기에 상세하게 설명한다. S230 단계는 S231 단계 내지 S237 단계를 포함한다.

S231 단계는 요청정보 분석 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 요청정보를 분석하여 필요한 정보를 구체화한다. 예를 들어, 본 발명이 가상 현실의 서바이벌 게임에 적용된 경우, 사용자 입력(화면이나 버튼 터치)에 기초하여 요청정보가 '사람'으로 결정된 경우, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 요청정보와 연관성이 있는 시각정보로서 모양, 외곽선(테두리), 위치, 거리, 경로 등을 도출할 수 있다. 이러한 결과에 기초하여, 표 1을 기준으로 하는 경우, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 이후의 단계(S232 단계, S234 단계, S236 단계)에서 형태 정보(모양, 외곽선), 공간 정보(위치, 거리), 복합 정보(경로)가 필요하다고 판단할 수 있다.

S232 단계는 형태정보의 필요 여부를 판단하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 요청정보 분석 결과 형태정보가 필요하면 S233 단계로, 그렇지 않은 경우 S234 단계를 수행한다.

S233 단계는 형태정보 추출 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 S220 단계에서 생성된 시각정보 중에서 요청정보에 부합하는 형태정보를 추출한 후, S234 단계로 진행한다.

S234 단계는 공간정보의 필요 여부를 판단하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보 분석 결과 공간정보가 필요하면 S235 단계로, 그렇지 않은 경우 S236 단계를 수행한다.

S235 단계는 공간정보 추출 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 S220 단계에서 생성된 시각정보 중에서 요청정보에 부합하는 공간정보를 추출한 후, S236 단계로 진행한다.

S236 단계는 전역정보/복합정보의 필요 여부를 판단하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보 분석 결과 전역정보나 복합정보가 필요하면 S237 단계로, 그렇지 않은 경우 S240 단계로 진행한다.

S237 단계는 전역정보/복합정보 추출 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 S220 단계에서 생성된 시각정보 중에서 요청정보에 부합하는 전역정보 또는 복합정보를 추출한 후, S240 단계로 진행한다.

다시 도 5a로 돌아와, 하기와 같이 S240 단계 이하의 단계에 대하여 설명한다.

S240 단계는 감각경로를 결정하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 사용자 입력 정보에 포함된 요청감각 정보에 따라 감각경로를 결정할 수 있지만, 사용자 입력 정보에 포함된 요청정보에 따라 감각경로를 결정할 수도 있다. 또한, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보에 따라 감각경로를 결정할 수도 있다.

시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보별로 감각경로를 결정할 수 있는데, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보와 감각경로를 매칭하기 위하여 요청정보 또는 목표정보를 이용할 수 있다.

S250 단계는 목표정보를 변환하여 대체신호를 생성하는 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 S230 단계에서 추출한 목표정보를 그와 대응하는 대체신호로 변환한다. 상기 대체신호는 목표정보를 사용자의 감각기관에 전달하기 위한 신호로서, 시각 신호, 청각 신호, 촉각 신호 또는 열감 신호일 수 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 단일한 목표정보를 여러 대체신호로 변환할 수도 있고, 복수의 목표정보를 목표정보 각각에 대응하는 개별적인 대체신호로 변환할 수도 있다. 예를 들어, 하나의 목표정보가 음파, 촉각 신호 및 열감 신호 등 복수의 대체신호로 변환될 수 있고, 3개의 목표정보가 각각 음파, 촉각 신호, 열감 신호로 변환될 수 있다.

S260 단계는 대체신호 동기화 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 목표정보와 목표정보별 감각 경로를 기초로 S250 단계에서 생성된 복수의 대체신호들을 동기화한다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')은 목표정보별 감각 경로에 기초하여 목표정보별로 ① 감각별 정보변환시간(T_c), ② 감각별 전달시간(T_t), ③ 전달장치의 지연시간(T_d) 및 ④ 감각기관별 인지시간(T_p)을 산출하고, 산출된 ① 내지 ④ 시간 정보를 기초로 복수의 대체신호에 대한 동기화를 수행한다. 동기화 시점 판단에 있어서 전술한 수학식 1이 사용될 수 있다.

S270 단계는 대체신호 보정 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 영상정보 및 사용자 행동에 따라 대체신호의 특성(예:강도) 또는 종류를 보정한다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 상기 영상정보에 대한 분석을 통해 상기 사용자 행동을 인식할 수 있다. 또한, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 영상정보 입력장치의 위치와 대체신호 전달 장치의 위치에 기초하여 대체신호를 보정할 수 있다. 예를 들어, 영상정보가 입력되는 카메라가 목걸이에 있고, 목표정보는 객체의 위치 정보와 거리 정보이며, 상기 위치 정보가 손에 부착된 진동 장치를 통해 사용자에게 전달되는 경우, 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 카메라의 위치와 진동 장치의 위치 간의 위치의 차이에 기초하여 진동 장치로 전달되는 촉각 신호(진동 신호)를 보정한다. 이 경우 카메라의 위치와 진동 장치의 위치는 3차원 좌표로 표현될 수 있고, 두 위치 간의 차이는 3차원 벡터로 표현될 수 있다.

S280 단계는 대체신호 출력 단계이다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')는 대체신호의 동기화 시점을 참조하여 각 대체신호에 대하여 단일 또는 복수의 경로를 설정하고, 설정된 전달 경로를 통해 대체신호를 사용자에 부착된 장치에 출력한다. 시각정보의 감각 치환 및 다중경로 전달 장치(100, 100')은 단일 정보를 복수의 전달 경로로 사용자에게 전달할 수도 있고, 복수의 정보를 서로 구분된 다른 경로로 사용자에게 전달할 수도 있다. 시각정보의 감각 치환 및 다중경로 전달 장치(100)는 동기신호에 따라 순차적으로 대체신호를 출력한다.

한편 도 5(도 5a 및 도 5b)를 참조한 설명에서, 각 단계는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4의 내용은 도 5의 내용에 적용될 수 있다. 또한, 도 5의 내용은 도 1 내지 도 4의 내용에 적용될 수 있다.

전술한 시각정보의 감각 치환 및 다중경로 전달 방법은 도면에 제시된 흐름도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.

참고로, 본 발명의 실시예에서 사용되는 '~부' 또는 '~모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소일 수 있고, 어떤 역할들을 수행하지만, 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈 각각의 동작은 하나의 하드웨어를 통해 수행될 수 있고, 각기 다른 하드웨어를 통해 수행될 수도 있다. 복수의 모듈의 동작이 하나의 하드웨어를 통해 수행될 수 있고, 하나의 모듈의 동작이 복수의 하드웨어를 통해 수행될 수도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100, 100': 시각정보의 감각 치환 및 다중경로 전달 장치
110: 입력 모듈
111: 사용자 입력부
112: 사용자 입력 정보 처리부
113: 영상 입력부
120: 감각경로 결정 모듈
130: 영상정보 분할 모듈
131: 형태정보 생성부
132: 공간정보 생성부
133: 전역정보 생성부
140, 140': 목표정보 추출 모듈
141: 복합정보 생성부
142: 시각정보 추출부
150: 대체신호 생성 모듈
151: 제1 정보변환부
152: 제2 정보변환부
153: 제3 정보변환부
160: 제어 및 출력 모듈
161: 시간 분석부
162: 전달신호 동기화부
163: 대체신호 보정부
164: 전달경로 설정부
165: 다중경로 출력부

Claims (18)

1. 사용자 입력 정보에 기초하여 외부에서 수신한 영상정보에서 사용자가 요청하는 유형에 해당하는 정보를 추출하는 목표정보 추출 모듈;
   상기 사용자 입력 정보에 기초하여 상기 추출된 정보가 전달되는 적어도 하나의 감각경로를 결정하는 감각경로 결정 모듈;
   상기 추출된 정보를 변환하여 상기 적어도 하나의 감각경로 각각에 대응하는 대체신호를 생성하는 대체신호 생성 모듈; 및
   상기 대체신호를 상기 사용자의 감각신호 전달 장치를 통해 출력하는 제어 및 출력 모듈;
   을 포함하고,
   상기 유형은 상기 사용자 입력 정보에 포함되는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
2. 제1항에 있어서, 상기 적어도 하나의 감각경로는,
   복수 개의 감각경로이고,
   상기 대체신호 생성 모듈은,
   상기 추출된 정보를 변환하여 상기 복수의 감각경로 각각에 대응하는 대체신호를 생성하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
3. 제2항에 있어서, 상기 복수 개의 감각경로는,
   시각, 청각, 촉각 및 열감 중 적어도 2개 이상의 감각에 해당하는 감각경로를 포함하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
4. 제1항에 있어서, 상기 목표정보 추출 모듈은,
   상기 영상정보를 분석하여 형태정보, 공간정보, 전역정보 및 복합정보 중 적어도 어느 하나를 포함하는 전체 시각정보를 생성하고,
   상기 사용자 입력 정보에 기초하여 상기 전체 시각정보 중에서 상기 유형에 해당하는 정보를 추출하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
5. 제2항에 있어서, 상기 제어 및 출력 모듈은,
   상기 영상정보의 프레임을 기준으로 상기 복수 개의 감각경로 각각에 대응하는 대체신호들을 동기화하고, 상기 동기화된 대체신호를 상기 감각신호 전달 장치를 통해 출력하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
6. 제1항에 있어서, 상기 제어 및 출력 모듈은,
   상기 영상정보를 기초로 상기 사용자의 행동을 인식하고, 상기 사용자의 행동에 기초하여 상기 대체신호의 특성을 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
7. 제1항에 있어서, 상기 제어 및 출력 모듈은,
   상기 영상정보의 입력 장치의 위치와 상기 감각신호 전달 장치의 위치에 기초하여 상기 대체신호의 특성을 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
8. 제1항에 있어서, 상기 사용자 입력 정보는,
   전달 강도에 관한 정보를 포함하고,
   상기 제어 및 출력 모듈은,
   상기 전달 강도에 따라 상기 대체신호의 강도를 보정하며, 상기 보정된 대체신호를 상기 감각신호 전달 장치를 통해 출력하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
9. 제1항에 있어서, 상기 제어 및 출력 모듈은,
   상기 대체신호 생성 모듈에서 상기 추출된 정보를 상기 대체신호로 변환하는 데 소요되는 시간을 산출하고,
   상기 대체신호 생성 모듈은,
   상기 시간에 기초하여 상기 추출된 정보를 상기 대체신호로 변환하는 과정을 단순화할 것인지 여부를 판단하는 것
   인 시각정보의 감각 치환 및 다중경로 전달 장치.
10. 사용자 입력 정보에 기초하여 외부에서 수신한 영상정보에서 사용자가 요청하는 유형에 해당하는 정보를 추출하는 단계;
    상기 사용자 입력 정보에 기초하여 상기 추출된 정보가 전달되는 적어도 하나의 감각경로를 결정하는 단계;
    상기 추출된 정보를 변환하여 상기 적어도 하나의 감각경로 각각에 대응하는 대체신호를 생성하는 단계; 및
    상기 대체신호를 상기 사용자의 감각신호 전달 장치를 통해 출력하는 단계;
    를 포함하는 시각정보의 감각 치환 및 다중경로 전달 방법.
11. 제10항에 있어서, 상기 적어도 하나의 감각경로는,
    복수 개의 감각경로이고,
    상기 대체신호를 생성하는 단계는,
    상기 추출된 정보를 상기 복수의 감각경로 각각에 대응하는 대체신호를 생성하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
12. 제11항에 있어서, 상기 복수 개의 감각경로는,
    시각, 청각, 촉각 및 열감 중 적어도 2개 이상의 감각에 해당하는 감각경로를 포함하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
13. 제10항에 있어서, 상기 대체신호를 생성하는 단계 이후,
    상기 대체신호를 상기 영상정보의 프레임을 기준으로 동기화하는 대체신호 동기화 단계;를 더 포함하는 시각정보의 감각 치환 및 다중경로 전달 방법.
14. 제10항에 있어서, 상기 대체신호를 생성하는 단계 이후,
    상기 영상정보의 입력 장치의 위치와 상기 감각신호 전달 장치의 위치에 기초하여 상기 대체신호의 특성을 보정하는 대체신호 보정 단계;를 더 포함하고,
    상기 출력하는 단계는,
    상기 보정된 대체신호를 상기 감각신호 전달 장치를 통하여 출력하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
15. 제10항에 있어서, 상기 사용자가 요청하는 유형에 해당하는 정보를 추출하는 단계는,
    상기 영상정보를 분석하여 형태정보, 공간정보, 전역정보 및 복합정보 중 적어도 어느 하나를 포함하는 전체 시각정보를 생성하고,
    상기 사용자 입력 정보에 기초하여 상기 전체 시각정보 중에서 상기 유형에 해당하는 정보를 추출하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
16. 제11항에 있어서, 상기 출력하는 단계는,
    상기 영상정보의 프레임을 기준으로 상기 복수 개의 감각경로 각각에 대응하는 대체신호들을 동기화하고, 상기 동기화된 대체신호를 상기 감각신호 전달 장치를 통해 출력하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
17. 제10항에 있어서, 상기 사용자 입력 정보는,
    전달 강도에 관한 정보를 포함하고,
    상기 대체신호를 생성하는 단계는,
    상기 전달 강도를 반영하여 상기 대체신호의 강도를 보정하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
18. 제10항에 있어서, 상기 대체신호를 생성하는 단계는,
    상기 추출된 정보를 상기 대체신호로 변환하는 데 소요되는 시간을 산출하고,
    상기 시간에 기초하여 상기 추출된 정보를 상기 대체신호로 변환하는 과정을 단순화할 것인지 여부를 판단하고, 그 판단 결과에 기초하여 상기 추출된 정보를 변환하여 상기 대체신호를 생성하는 것
    인 시각정보의 감각 치환 및 다중경로 전달 방법.
    

Images