KR20180026420A - 데이터 변환 장치, 및 방법 - Google Patents

데이터 변환 장치, 및 방법 Download PDF

Info

Publication number
KR20180026420A
KR20180026420A KR1020180022232A KR20180022232A KR20180026420A KR 20180026420 A KR20180026420 A KR 20180026420A KR 1020180022232 A KR1020180022232 A KR 1020180022232A KR 20180022232 A KR20180022232 A KR 20180022232A KR 20180026420 A KR20180026420 A KR 20180026420A
Authority
KR
South Korea
Prior art keywords
data
user
action
output
unit
Prior art date
Application number
KR1020180022232A
Other languages
English (en)
Inventor
김주윤
김지호
박현철
Original Assignee
주식회사 닷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 닷 filed Critical 주식회사 닷
Priority to KR1020180022232A priority Critical patent/KR20180026420A/ko
Publication of KR20180026420A publication Critical patent/KR20180026420A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예는 하나 이상의 사용자의 입력에 따라 생성되는 영상 신호 및 하나 이상의 센서를 통해 감지된 하나 이상의 센싱 값을 분석하여, 상기 영상 신호에 포함된 액션을 추출하고, 상기 액션을 각 사용자에게 전달하는 출력 데이터를 데이터 변환 장치 및 방법을 개시한다.

Description

데이터 변환 장치, 및 방법{APPARATUS AND METHOD FOR TRANSFORMING DATA}
본 발명은 데이터 변환 장치 및 방법에 관한 것으로, 사용자에 대한 액션을 사용자에게 전달될 수 있는 출력 데이터로 변환하고, 하나 이상의 돌기로 이루어진 출력 장치를 통해, 상기 출력 데이터와 대응되는 자극 또는 타격을 전달하도록 제어하는 데이터 변환 장치 및 방법에 관한 것이다.
전자 통신 기술이 발전함에 따라, 사용자는 휴대 단말로 다양한 기능을 이용할 수 있게 되었다. 휴대 단말은 다양한 어플리케이션을 사용자가 원하는 대로 설치 및 삭제할 수 있고, 무선 인터넷을 이용하여 인터넷 망에 직접 접속할 수 있어서 활용도가 높다. 휴대 단말은 가속도 센서, 근접 센서, 온도 센서 등의 센서를 구비하고, 사용자의 주변 환경을 감지하는 기능을 수행할 수 있고, 감지된 환경과 관련된 정보를 사용자에게 제공할 수도 있다.
국내 공개특허공보 제2005-0056307호
본 발명은 사용자와 관련된 액션이 수신되면, 상기 액션과 대응되는 출력 데이터를 생성하고, 하나 이상의 돌기로 이루어진 출력 장치를 통해, 상기 출력 데이터와 대응되는 자극 또는 타격을 전달하도록 제어하는 데이터 변환 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 하나 이상의 사용자의 입력에 따라 생성되는 영상 신호를 분석하여, 상기 영상 신호에 포함된 액션을 추출하고, 상기 액션을 각 사용자에게 전달하는 출력 데이터를 생성하는 데이터 변환 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 하나 이상의 센서를 통해 감지된 하나 이상의 센싱 값을 분석하여, 감지된 액션을 추출하고, 상기 액션을 사용자에게 전달하는 출력 데이터를 생성하는 데이터 변환 장치 및 방법을 제공할 수 있다.
본 발명의 실시예들에 따른 데이터 변환 장치는 제1 장치 및 제2 장치와 전기적으로 연결되어 구동되고, 제1 장치로부터 사용자와 관련된 데이터를 수신하는 데이터 수신부; 상기 제1 장치로부터 수신한 데이터에 포함된 하나 이상의 소스 신호를 추출하는 추출부; 상기 하나 이상의 소스 신호를 분석하여, 상기 하나 이상의 소스 신호에 포함된 제1 액션을 검출하는 액션 검출부; 상기 제1 액션과 대응되는 출력 데이터를 생성하는 출력 데이터 생성부; 및 상기 출력 데이터를, 상기 제2 장치에 포함되고 일정한 간격으로 배치되어 상기 사용자에게 데이터를 전달하는 하나 이상의 정보 출력부를 구동시키는 출력 제어 신호로 변환하는 변환부;를 포함할 수 있다.
본 실시예에 따르면, 상기 하나 이상의 소스 신호가 영상 신호를 포함하는 경우, 상기 액션 검출부는 상기 영상 신호로부터 사용자와 대응되는 대상체를 추출하고, 상기 대상체의 상태값을 변화시키는 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 제1 액션의 종류 및 변화량을 고려하여, 출력 데이터를 생성할 수 있다.
본 실시예에 따르면, 상기 하나 이상의 소스 신호가 영상 신호를 포함하는 경우, 상기 액션 검출부는 상기 영상 신호로부터 사용자와 대응되는 제1 대상체 및 상기 제1 대상체와 다른 제2 대상체를 추출하고, 상기 제2 대상체에 의한 상기 제1 대상체의 상태를 변화시키는 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 제1 액션의 위치 및 강도를 고려하여, 출력 데이터를 생성할 수 있다.
본 실시예에 따르면, 상기 하나 이상의 소스 신호가 영상 신호를 포함하는 경우, 상기 액션 검출부는 상기 영상 신호로부터 사용자와 대응되는 대상체의 주변 환경의 변화와 대응되는 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 제1 액션과 대응되는 출력 데이터를 생성할 수 있다.
상기 출력 데이터 생성부는 상기 제1 액션에 의해 변화되는 상태값의 종류와 대응되는 지점에 상기 제1 액션에 의해 변화되는 상태값의 변화량과 대응되는 크기의 자극을 생성하는 출력 데이터를 생성할 수 있다.
상기 출력 데이터 생성부는 상기 제1 액션이 발생한 위치와 대응되는 지점에 상기 제1 액션의 강도와 대응되는 크기의 자극을 생성하는 출력 데이터를 생성할 수 있다.
상기 액션 검출부는 상기 하나 이상의 소스 신호로부터 접근하는 대상체의 움직임과 대응되는 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 대상체의 움직임과 대응되는 지점에 대한 자극을 생성하는 출력 데이터를 생성하는, 데이터 변환 장치.
상기 액션 검출부는 상기 하나 이상의 소스 신호로부터 미리 설정된 임계 속도 이상으로 이동하는 대상체의 움직임과 대응되는 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 대상체의 위치와 대응되는 지점에 상기 대상체의 이동 속도와 대응되는 크기의 자극을 생성하는 출력 데이터를 생성할 수 있다.
상기 액션 검출부는 상기 하나 이상의 소스 신호와 소정의 시간 이전에 획득된 하나 이상의 소스 신호를 각각 비교함으로써, 제1 액션을 검출하고, 상기 출력 데이터 생성부는 상기 제1 액션과 대응되는 출력 데이터를 생성할 수 있다.
상기 출력 데이터 생성부는 상기 제1 액션과 대응되어 저장된 후속 액션과 대응되는 출력 데이터를 더 생성할 수 있다.
상기 제1 장치는 상기 사용자와 대응되는 대상체를 포함하고, 상기 사용자로부터 입력에 따라 시청각 데이터를 발생시키는 장치일 수 있다.
상기 제1 장치는 온도 센서, 압력 센서, 광센서, 초음파 센서, 근접 센서, 가속도 센서, 이미지 센서 중 적어도 하나를 포함하고, 상기 하나 이상의 센서로부터 센싱값을 획득하는 장치일 수 있다.
상기 제2 장치는 상기 사용자의 피부와 인접하고, 상기 사용자의 신경, 혈관 중 적어도 하나와 대응되는 위치에 배치되는 복수의 정보 출력부를 포함하고, 상기 출력 제어 신호에 따라 상기 복수의 정보 출력부를 구동시켜 사용자에게 자극을 전달할 수 있다.
본 발명의 실시예들에 따른 데이터 변환 방법은 데이터 변환 장치가 제1 장치로부터 사용자와 관련된 데이터를 수신하는 단계; 상기 데이터 변환 장치가 상기 제1 장치로부터 수신한 데이터에 포함된 하나 이상의 소스 신호를 추출하는 단계; 상기 데이터 변환 장치가 상기 하나 이상의 소스 신호를 분석하여, 상기 하나 이상의 소스 신호에 포함된 제1 액션을 검출하는 단계; 상기 데이터 변환 장치가 상기 제1 액션과 대응되는 출력 데이터를 생성하는 단계; 및 상기 데이터 변환 장치가 상기 출력 데이터를, 상기 제2 장치에 포함되고 일정한 간격으로 배치되어 상기 사용자에게 데이터를 전달하는 하나 이상의 정보 출력부를 구동시키는 출력 제어 신호로 변환하는 단계;를 포함할 수 있다.
상기 제2 장치는 하나 이상의 돌기로 이루어지고, 상기 출력 제어 신호에 따라 상기 하나 이상의 돌기 중 전부 또는 일부가 상기 사용자의 피부를 타격하도록 구동되는 정보 출력부;를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 데이터 변환 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.
본 발명의 실시예들에 따르면, 사용자와 관련된 액션이 수신되면, 상기 액션과 대응되는 출력 데이터를 생성하고, 하나 이상의 돌기로 이루어진 출력 장치를 통해, 상기 출력 데이터와 대응되는 자극 또는 타격을 전달하도록 제어할 수 있다.
또한, 본 발명의 실시예들에 따르면, 하나 이상의 사용자의 입력에 따라 생성되는 영상 신호를 분석하여, 상기 영상 신호에 포함된 액션을 추출하고, 상기 액션을 각 사용자에게 전달하는 출력 데이터를 생성할 수 있다.
또한, 본 발명의 실시예들에 따르면, 하나 이상의 센서를 통해 감지된 하나 이상의 센싱 값을 분석하여, 감지된 액션을 추출하고, 상기 액션을 사용자에게 전달하는 출력 데이터를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 데이터 출력 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예들에 따른 데이터 변환 장치의 구조를 나타내는 블록도이다.
도 3 내지 도 6은 본 발명의 실시예들에 따른 데이터 변환 방법의 흐름도 들이다.
도 7은 정보 출력 장치의 일 예를 나타내는 도면이다.
도 8 내지 도 9는 데이터 획득 장치에 의해 획득된 영상 신호의 일 예들이다.
도 10은 정보 출력 장치의 또 다른 예를 나타내는 도면이다.
도 11은 정보 출력 장치의 다양한 실시예를 설명하기 위한 도면들이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, "회로"는, 예를 들어, 프로그램가능한 회로에 의해 실행되는 인스트럭션을 저장하는 하드와이어드 회로, 프로그램가능한 회로, 상태 머신 회로, 및/또는 펌웨어를 단독으로 또는 임의의 조합으로 포함할 수 있다. 애플리케이션은 호스트 프로세서 또는 다른 프로그램가능한 회로와 같은 프로그램가능한 회로 상에서 실행될 수 있는 코드 또는 인스트럭션으로서 구현될 수 있다. 본원의 임의의 실시예에서 사용되는 바와 같은, 모듈은,회로로서 구현될 수 있다. 회로는 집적 회로 칩과 같은 집적 회로로서 구현될 수 있다.
이하의 실시예에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 데이터 출력 시스템(10)을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 데이터 출력 시스템(10)은 데이터 변환 장치(100), 데이터 획득 장치(200), 정보 출력 장치(300)를 포함할 수 있다.
데이터 변환 장치(100)는 데이터 획득 장치(200)로부터 수신 또는 획득한 데이터로부터 미리 설정된 소정의 조건, 규칙 등을 만족하는 액션을 추출하고, 상기 액션과 대응되는 출력 데이터를 생성하는 기능을 수행한다. 여기서, 소정의 조건 또는 규칙은 사용자 및/또는 사용자와 대응되는 대상체와 연관되어 설정될 수 있다. 예를 들어, 액션을 추출하는 조건 또는 규칙은 사용자 또는 사용자와 대응되는 대상체에게 전달되거나 관련될 수 있는 상태, 위치, 환경 변화와 관련될 수 있으며, 사용자에게 전달될 수 없거나 사용자와 대응되는 대상체에게 전달될 수 없거나 관련될 수 없는 상태, 위치, 환경 변화와는 관련될 수 없다. 데이터 변환 장치(100)는 사용자가 인지하지 못하지만 사용자와 관련된 액션을 추출하고, 상기 액션을 사용자가 인지할 수 있는 자극, 또는 신호로 변환할 수 있다. 또한, 데이터 변환 장치(100)는 게임, 시뮬레이션 장치 등을 통해 생성된 가상 현실에서 사용자와 대응되는 대상체와 관련된 액션을 추출하고, 상기 액션을 사용자가 인지할 수 있는 자극 또는 신호로 변환할 수 있다. 또한, 데이터 변환 장치(100)는 사용자에게 자극, 또는 신호를 전달할 수 있는 정보 출력 장치(300)와 전기적으로 연결되고, 상기 정보 출력 장치(300)의 구동 원리에 따라 자극 또는 신호가 전달될 수 있도록 출력 제어 신호를 생성할 수 있다.
데이터 획득 장치(200)는 하나 이상의 사용자와 대응되는 대상체를 포함하는 영상을 제공하는 전자 장치를 포함할 수 있다. 데이터 획득 장치(200)는 하나 이상의 사용자에 의해 입력된 이벤트, 및/또는 입력에 따라 상기 하나 이상의 사용자와 대응되는 대상체의 행동, 상태, 위치, 레벨, 및/또는 보유 포인트 등이 변경되도록 제어 될 수 있다. 좀더 구체적으로는 데이터 획득 장치(200)는 사용자와 대응되는 제1 대상체 및 상기 사용자가 아닌 하나 이상의 제2 대상체를 포함하는 영상 신호를 생성하고, 상기 사용자에 의해 생성된 이벤트에 따라 상기 제1 대상체 또는 상기 하나 이상의 제2 대상체의 행동, 상태, 환경 등을 변화시키며, 이에 따른 영상 신호를 생성하는 기능을 수행할 수 있다. 사용자로부터 입력되는 입력은 키보드, 센서, 웨어러블 장치, 마이크 등의 전자 장치를 통해 입력될 수 있으며, 미리 설정된 규칙에 의해 데이터 변환 장치(100)가 해석할 수 있는 전자 장치로 변환될 수 있다.
또한, 데이터 획득 장치(200)는 주변의 환경 변화(온도, 습도, 가스, 소리 등)를 감지하는 하나 이상의 센서를 포함하고, 상기 하나 이상의 센서를 통해 획득된 센싱값을 획득하는 기능을 수행할 수 있다. 여기서, 하나 이상의 센서는 사용자의 신체(접촉 및/또는 비 접촉), 사용자의 주변에 위치할 수 있으며, 주변의 환경 변화를 감지하게 된다. 데이터 획득 장치(200)는 온도 센서, 압력 센서, 광센서, 초음파 센서, 근접 센서, 가속도 센서, 이미지 센서 중 적어도 하나를 포함하고, 상기 하나 이상의 센서로부터 센싱값을 획득하는 기능을 수행할 수 있다.
정보 출력 장치(300)는 하나 이상의 정보 출력부를 포함하고, 상기 정보 출력부를 구동시키는 구동부를 더 포함할 수 있다. 상기 하나 이상의 정보 출력부는 사용자에게 데이터를 전달하기 위한 구성으로서, 사용자와 직접 접촉되거나 비접촉의 방식으로 사용자에게 데이터를 전달할 수 있다. 상기 하나 이상의 정보 출력부는 하나 이상의 돌기를 통해, 사용자에게 데이터를 전달할 수 있다. 각각의 돌기는 미리 정해진 위치에 위치하도록 사용자의 신체 부위에 부착 가능한 장치와 결합될 수 있다. 즉, 각각의 돌기는 도 7과 같이 사용자가 입을 수 있는 장치에 부착될 수 있다. 도 7에서는 하나 이상의 돌기와 결합된 장치는 인체의 상반신과 같은 형태로 도시되어 있으나, 이에 한정되지 않고, 장갑과 같은 형태, 양말과 같은 형태, 하의와 같은 형태로 구현될 수 있다. 각각의 돌기는 상하 방향으로 직선운동함으로써, 사용자에게 1차원인 점과 같은 형태의 자극을 주거나, 좌우 방향으로 직선운동함으로써, 사용자에게 2차원인 선과 같은 형태의 자극을 줄 수 있다. 또한, 복수의 돌기들은 동시에 사용자를 타격하거나 순차적으로 타격함으로써, 현실 세계에서의 액션 및 가상 세계에서의 액션과 대응되는 자극을 생성할 수 있다. 출력 제어 신호는 돌기의 운동을 제어하기 위한 하나 이상의 돌기가 움직이는 방향, 움직이는 시점, 지속 시간 등을 포함할 수 있다.
이때, 상기 하나 이상의 정보 출력부는 사용자의 신경, 세포 또는 혈관과 대응되는 위치에 배치되어 사용자의 신경, 세포 또는 혈관을 통해 데이터를 전달할 수 있으며, 상기 하나 이상의 정보 출력부는 사용자가 신경을 통해 느낄 수 있는 자극, 및/또는 신호를 생성할 수 있다. 또한 상기 하나 이상의 정보 출력부는 사용자의 뇌에 연결되어 사용자의 뇌를 통해 이해될 수 있는 데이터를 전달할 수 있다.
여기서, 데이터 변환 장치(100)는 데이터 획득 장치(200) 및/또는 정보 출력 장치(300)를 포함하거나, 데이터 획득 장치(200), 정보 출력 장치(300)와 직접 또는 네트워크 망을 통해 연결될 수도 있다.
여기서, 데이터 변환 장치(100), 데이터 획득 장치(200), 및/또는 정보 출력 장치(300)는 유무선 통신 환경에서 웹 서비스를 이용할 수 있는 통신 단말기를 의미할 수도 있다. 여기서, 데이터 변환 장치(100), 데이터 획득 장치(200), 및/또는 정보 출력 장치(300)는 사용자의 퍼스널 컴퓨터일 수도 있고, 또는 사용자의 휴대용 단말일 수도 있다. 이를 더욱 상세히 설명하면, 데이터 변환 장치(100), 데이터 획득 장치(200), 및/또는 정보 출력 장치(300)는 컴퓨터(예를 들면, 데스크톱, 랩톱, 태블릿 등), 미디어 컴퓨팅 플랫폼(예를 들면, 케이블, 위성 셋톱박스, 디지털 비디오 레코더), 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시예들에 따른 데이터 변환 장치(100)의 구조를 나타내는 블록도이다.
도 2를 참조하면, 데이터 변환 장치(100)는 데이터 수신부(110), 추출부(120), 액션 검출부(130), 출력 데이터 생성부(140), 변환부(150)를 포함할 수 있다.
데이터 수신부(110)는 데이터 획득 장치(200)로부터 사용자와 관련된 데이터를 수신할 수 있다. 여기서, 사용자와 관련된 데이터는 상기 사용자와 대응되는 대상체와 관련된 데이터 이거나, 상기 사용자의 주변과 관련된 데이터(위치, 행동, 상태 변화 등) 일 수 있다. 예를 들어, 데이터 수신부(100)는 하나 이상의 사용자가 참여하는 게임 장치, 시뮬레이터 장치 등의 데이터 획득 장치(200)로부터 사용자와 대응되는 대상체를 포함하는 영상 신호를 수신할 수 있다. 이때, 게임 장치, 시뮬레이터 장치는 하나 이상의 사용자로부터 소정의 입력을 획득함으로써, 상기 소정의 입력에 따른 영상 신호를 생성할 수 있다. 좀더 구체적으로는 데이터 수신부(100)는 게임 장치, 시뮬레이터 장치에 참여한 제1 사용자 및 제2 사용자 사이의 소정의 행위가 입력되면, 상기 행위에 따라 제1 사용자와 대응되는 제1 대상체 및 제2 사용자와 대응되는 대상체의 상태가 변경된 영상 신호를 수신하게 된다. 또한, 데이터 수신부(100)는 사용자의 입력에 의해 사용자의 레벨, 보유 포인트 등이 증가하거나 감소하는 변화가 감지되면, 데이터 획득 장치(200)로부터 상기 변화와 대응되는 데이터를 수신할 수 있다.
또한, 데이터 수신부(100)는 사용자 단말에 구비된 하나 이상의 센서를 통해 감지된 센싱 값을 수신할 수 있다. 사용자 단말에 구비된 근접 센서를 통해 소정의 사물의 접근이 감지되면, 데이터 수신부(100)는 상기 사물의 접근에 대한 데이터를 수신할 수 있다. 또한, 사용자 단말에 구비된 가스 센서를 통해 소정의 기체의 농도가 현저히 증가하는 변화가 감지되면, 데이터 수신부(100)는 상기 기체의 농도가 현저히 증가하는 변화와 대응되는 데이터를 수신할 수 있다. 또한, 사용자 단말에 구비된 소리 입력 센서를 통해, 미리 설정된 임계 크기 이상의 크기 또는 속도를 가지는 소리, 움직임, 객체가 감지되면, 데이터 수신부(100)는 상기 소리, 움직임, 객체와 대응되는 데이터를 수신할 수 있다.
추출부(120)는 상기 제1 장치로부터 수신한 데이터에 포함된 하나 이상의 소스 신호를 추출할 수 있다. 여기서, 소스 신호는 데이터 획득 장치(200)에 의해 생성된 데이터에 포함된 다른 형식의 신호를 말한다. 데이터 획득 장치(200)에 의해 생성된 데이터에 따라 소스 신호는 영상 신호, 온도 센싱 값, 습도 센싱 값, 가속도 값, 위치 값, 가스 농도 값 등에 해당하는 신호 일 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호를 분석하여, 상기 하나 이상의 소스 신호에 포함된 제1 액션을 검출할 수 있다. 액션 검출부(130)는 상기 하나 이상의 소스 신호를 각 소스 신호의 타입 별로 분류하고, 소스 신호의 타입을 고려하여 상기 소스 신호를 분석하는 방법을 선택할 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 영상 신호로부터 사용자와 대응되는 대상체를 추출하고, 상기 대상체와 관련된 상태값이 변하는 제1 액션을 검출할 수 있다. 이때, 액션 검출부(130)는 사용자와 대응되는 대상체를 포함하는 영상 신호에서 사용자의 상태, 예를 들어, 레벨, 보유 포인트 등의 정보를 표시하는 영역을 추출하고, 상기 정보를 표시하는 영역에 포함된 텍스트를 추출하고, 상기 텍스트를 해석함으로써, 대상체와 관련된 상태값이 변하는 제1 액션을 검출할 수 있다. 여기서, 대상체와 관련된 상태값은 사용자와 대응되는 대상체의 레벨, 대상체가 보유한 포인트 등을 포함할 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 영상 신호로부터 사용자와 대응되는 제1 대상체 및 상기 제1 대상체가 아닌 제2 대상체를 추출하고, 상기 제1 대상체 및 상기 제2 대상체 사이에서 발생한 제1 액션을 검출할 수 있다. 예를 들어, 액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 영상 신호로부터 제2 대상체에 의해 제1 대상체가 파괴되거나, 훼손되거나, 부상 당하거나, 죽음 등의 변화를 포함하는 경우인지를 판단하고, 판단 결과를 이용하여 상기 제1 대상체에 대한 제1 액션을 검출할 수 있다. 이를 통해, 액션 검출부(130)는 가상 현실에서 발생하였지만 사용자와 대응되는 대상체와 관련된 액션을 추출할 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 영상 신호로부터 사용자와 대응되는 대상체의 주변 환경의 변화와 대응되는 제1 액션을 검출할 수 있다. 액션 검출부(130)는 영상 신호를 전체적으로 분석하여, 영상 신호에서의 날씨 변화, 온도 변화, 주변 환경의 변화 등과 같은 액션을 검출할 수 있다. 예를 들어, 액션 검출부(130)는 영상 신호로부터 눈 또는 비가 내리거나, 바람이 불거나, 한파, 폭설, 폭우, 태풍, 풍랑 주의보 등의 날씨의 변화를 액션으로 검출할 수도 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호로부터 사용자로 접근하는 대상체를 감지하고, 상기 대상체의 움직임과 대응되는 제1 액션을 검출할 수 있다. 액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 영상 신호를 이미지 분석 알고리즘을 통해 분석함으로써, 상기 영상 신호에 포함된 대상체를 추출하고, 접근하는 대상체의 움직임을 제1 액션으로 검출할 수 있다. 액션 검출부(130)는 근접 센서로부터 획득된 센싱 값을 수신함으로써, 접근하는 대상체와 대응되는 제1 액션을 검출할 수 있다. 예를 들어, 액션 검출부(130)는 다가오는 자동차, 사람, 사물 등과 같은 움직임을 제1 액션으로 검출할 수 있다. 이를 통해, 액션 검출부(130)는 사용자가 미처 인지하지 못하였지만 사용자에게 위험이 될 수 있는 이벤트를 액션으로 검출할 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호로부터 미리 설정된 임계 속도 이상의 속도로 이동하는 대상체를 검출하고, 임계 속도 이상의 속도로 이동하는 대상체의 움직임을 제1 액션으로 검출할 수 있다.
액션 검출부(130)는 상기 하나 이상의 소스 신호에 포함된 타입 별 센싱 값을 추출하고, 타입 별 센싱값이 이전에 획득된 하나 이상의 소스 신호에 포함된 타입 별 센싱 값으로부터 현저하게, 즉 미리 설정된 임계 크기 이상으로 변화된 경우, 상기 센싱 값의 변화를 제1 액션으로 검출할 수 있다. 예를 들어, 액션 검출부(130)는 온도, 습도, 가스 등과 대응되는 센싱 값이 크게 변화하는 제1 액션을 검출할 수 있다. 온도, 습도, 가스 등과 대응되는 센싱 값이 현저하게 변하는 것은 주변의 환경이 크게 변하는 것을 의미할 수 있으며, 이는 사용자에게는 소정의 위험(화재, 화산 폭발, 폭우, 천재지변 등)이 될 수 있다.
출력 데이터 생성부(140)는 검출된 제1 액션과 대응되는 출력 데이터를 생성할 수 있다. 여기서, 출력 데이터는 하나 이상의 정보 출력부를 통해 출력되는 것으로, 액션의 종류 및 크기에 따라 다르게 출력되도록 생성될 수 있다.
출력 데이터 생성부(140)는 상기 사용자와 대응되는 대상체와 관련된 상태값이 변하는 제1 액션과 대응하여, 상기 상태값의 종류 및 변화량을 고려하여, 출력 데이터를 생성할 수 있다. 즉, 출력 데이터 생성부(140)는 상기 상태값의 종류와 대응되는 지점에 상기 상태값의 변화량 만큼의 자극, 신호가 출력될 수 있도록 출력 데이터를 생성할 수 있다. 이때, 출력 데이터는 상기 상태값의 종류와 대응되는 지점에 위치한 정보 출력부가, 상기 상태값의 변화량 과 비례하는 지속 시간 동안 또는 세기로 움직이도록 생성될 수 있다.
출력 데이터 생성부(140)는 사용자와 대응되는 제1 대상체에 대한 상기 제1 대상체 이외의 제2 대상체에 의한 액션과 대응하여, 상기 액션에 의해 훼손된 위치 및 훼손 정도를 고려하여 출력 데이터를 생성할 수 있다. 예를 들어, 제2 대상체에 의해 제1 대상체의 가슴에 총상이 발생하는 액션과 대응하여, 출력 데이터 생성부(140)는 상기 총상의 발생 위치와 대응되는 지점에 상기 총상을 통해 유발될 수 있는 고통의 크기 만큼의 자극, 신호가 출력될 수 있도록 출력 데이터를 생성할 수 있다. 이때, 출력 데이터는 상기 총상의 발생 위치와 대응되는 지점에 위치한 정보 출력부가, 상기 총상을 통해 유발될 수 있는 고통의 크기와 비례하는 지속 시간 동안 또는 세기로 움직이도록 생성될 수 있다. 또한, 출력 데이터 생성부(140)는 사용자와 대응되는 제1 대상체에 대한 상기 제2 대상체에 의한 어깨 동무, 간지럼 등과 같은 액션과 대응하여, 상기 액션의 발생 위치 및 상기 액션에 의해 발생할 수 있는 촉각 만큼의 자극, 신호가 출력될 수 있도록 출력 데이터를 생성할 수 있다.
출력 데이터 생성부(140)는 사용자와 대응되는 대상체에 대한 변화는 아니지만 주변 환경, 날씨 변화, 온도 변화 등과 같은 액션과 대응하여, 액션의 종류 및 변화량을 고려하여 출력 데이터를 생성할 수 있다.
출력 데이터 생성부(140)는 접근하는 대상체의 움직임과 대응하는 액션과 대응하여, 상기 대상체가 접근하는 방향 및 접근하는 속도를 고려하여 출력 데이터를 생성할 수 있다. 출력 데이터 생성부(140)는 대상체의 접근 방향과 대응되는 지점에 상기 대상체의 접근 속도와 대응되는 크기 만큼의 자극, 신호를 출력하는 출력 데이터를 생성할 수 있다. 예를 들어, 사용자의 등으로 접근하는 대상체와 대응하여, 출력 데이터 생성부(140)는 사용자의 등과 대응되는 지점에 자극, 신호를 출력하도록 하는 출력 데이터를 생성할 수 있다. 이때, 출력 데이터는 대상체의 접근 방향과 대응되는 지점에 위치한 정보 출력부가, 상기 대상체의 접근 속도와 비례하는 지속 시간 동안 또는 세기로 움직이도록 생성될 수 있다.
출력 데이터 생성부(140)는 미리 설정된 임계 속도 이상으로 이동하는 대상체의 움직임과 대응되는 액션과 대응하여, 상기 대상체의 이동 방향 및 이동 속도를 고려하여 출력 데이터를 생성할 수 있다. 출력 데이터 생성부(140)는 제1 지점에서 제2 지점으로 임계 속도인 시속 50Km 이상으로 이동하는 대상체와 대응하여, 상기 제1 지점과 대응되는 지점에서 상기 제2 지점으로 이동하는 방향으로 자극, 신호를 출력하도록 하는 출력 데이터를 생성할 수 있다.
출력 데이터 생성부(140)는 감지된 센싱 값의 종류 및 변화량을 고려하여, 종류와 대응되는 지점에 변화량과 대응되는 크기 만큼의 자극, 신호를 출력하도록 하는 출력 데이터를 생성할 수 있다. 이때, 출력 데이터는 상기 종류와 대응되는 지점에 위치한 정보 출력부가, 변화량과 비례하는 지속 시간동안 또는 세기로 움직이도록 생성될 수 있다.
변환부(150)는 출력 데이터가 정보 출력 장치(300)가 해석할 수 있는 출력 제어 신호로 변환할 수 있다. 정보 출력 장치(300)가 진동을 통해 정보를 출력하는 경우, 변환부(150)는 출력 데이터와 대응되는 진동이 생성될 수 있도록 출력 제어 신호를 생성할 수 있다. 정보 출력 장치(300)가 신경 또는 세포를 통해 정보를 출력하는 경우, 변환부(150)는 출력 데이터와 대응되는 자극, 감각 등이 생성될 수 있도록 출력 제어 신호를 생성할 수 있다. 변환부(150)는 사용자의 뇌 신경, 뇌 세포로 바로 전달할 수 있는 출력 제어 신호를 생성할 수도 있으며, 다른 감각을 감지할 수 있는 신경 또는 세포로 바로 전달할 수 있는 출력 제어 신호를 생성할 수도 있다. 변환부(150)에 의해 생성되는 출력 제어 신호의 형식, 형태, 포맷은 전달되는 방식, 방법, 알고리즘에 따라 달라지게 된다.
또한, 본 발명의 실시예에 따른 데이터 변환 장치(100)는 통신 인터페이스(160)를 더 포함할 수 있다. 통신 인터페이스(160)는 데이터 획득 장치(100) 및/또는 정보 출력 장치(300)와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
본 발명의 실시예들에 따른 데이터 변환 장치(100)는 게임 장치, 시뮬레이션 장치를 이용하여 가상 현실을 통해 발생한 액션을 사용자에게 전달할 수 있다. 또한, 데이터 변환 장치(100)는 사용자가 감지하지 못하는 청각, 시각, 후각 등과 같은 감각 정보와 대응되는 액션을 사용자에게 전달할 수 있다. 또한, 본 발명의 실시예들에 따른 데이터 변환 장치(100)는 사용자가 미처 알지 못하는 위험 등을 감지하여 사용자에게 전달할 수도 있다.
도 3 내지 도 6은 본 발명의 실시예들에 따른 데이터 변환 방법의 흐름도이다.
도 3을 참조하면, 본 발명의 실시예들에 따른 데이터 변환 방법은 데이터 수신 단계(S110), 액션 검출 단계(S120), 출력 데이터 생성 단계(S130), 출력 제어 신호 생성 단계(S140)를 포함할 수 있다.
S110에서는 데이터 변환 장치(100)는 데이터 획득 장치(200)로부터 사용자와 대응되는 대상체를 포함하고, 사용자의 입력에 따라 변경되는 영상 신호를 포함하는 데이터를 수신한다. 데이터 획득 장치(200)는 사용자에 의해 입력된 설정 정보에 따라 사용자와 대응되는 대상체를 생성하고, 사용자에 의해 입력된 이벤트(행동, 지시 등)에 따라 상기 대상체의 상태, 행동 등을 제어하고, 상기 대상체를 포함하는 영상 신호를 생성할 수 있다. 데이터 변환 장치(100)는 데이터 획득 장치(200)에 의해 생성된 영상 신호를 수신하게 된다.
S120에서는 데이터 변환 장치(100)는 수신한 상기 데이터에 포함된 영상 신호를 분석하여 상기 대상체의 상태값(레벨, 보유 포인트 등)이 변경되는 제1 액션을 검출한다. 데이터 변환 장치(100)는 영상 신호에 포함된, 사용자와 대응되는 대상체와 관련된 정보를 추출하고, 대상체와 관련된 정보(레벨, 보유 포인트 등)가 현저하게 변경되는 제1 액션을 검출할 수 있다. 이때, 데이터 변환 장치(100)는 영상 신호를 분석하는 알고리즘을 이용하거나 사용자와 관련된 데이터를 이용하여 제1 액션을 검출할 수 있다.
S130에서는 데이터 변환 장치(100)는 상기 제1 액션의 종류, 변화량을 고려하여 출력 데이터를 생성한다. 출력 데이터는 제1 액션의 종류 및 변화량을 모두 표현할 수 있는 형태를 가질 수 있다. S140에서는 데이터 변환 장치(100)는 정보 출력 장치(300)가 사용자의 신경, 세포, 혈관 등과 대응되는 위치에 배치된 복수의 정보 출력부를 이용하여 출력 데이터가 전달될 수 있도록 출력 제어 신호를 생성할 수 있다. 데이터 변환 장치(100)는 상기 제1 액션의 종류와 대응되는 지점에 위치한 정보 출력부가 상기 제1 액션의 변화량과 대응되는 정도의 자극, 신호를 발생시킬 수 있도록 출력 제어 신호를 생성할 수 있다.
이를 통해, 데이터 변환 장치(100)는 수신된 영상 신호에 포함된 사용자와 대응되는 대상체와 관련된 정보를 사용자에게 전달할 수 있으며, 특히 사용자와 대응되는 대상체와 관련된 정보를 사용자의 신경, 세포 등과 같은 촉각을 통해 전달할 수 있다.
도 4를 참조하여, 본 발명의 실시예들에 따른 데이터 변환 장치를 이용하여, 게임, 시뮬레이션 장치를 이용하는 사용자가 상기 게임, 시뮬레이션 장치에 의해 발생된 가상의 액션을 느낄 수 있도록 출력 데이터를 생성하는 실시예를 설명하겠다.
S210에서는 데이터 변환 장치(100)는 하나 이상의 사용자와 대응되는 하나 이상의 대상체를 포함하고, 상기 하나 이상의 사용자의 입력에 따라 유기적으로 변경되는 대상체를 포함하는 영상 신호를 포함하는 데이터를 수신할 수 있다.
S220에서는 데이터 변환 장치(100)는 상기 영상 신호를 분석하여 상기 대상체의 상태가 변경되는 제2 액션을 검출할 수 있다. 데이터 변환 장치(100)는 상기 영상 신호에 포함된 제1 대상체 및 상기 제1 대상체 이외의 다른 제2 대상체 사이의 행동, 행위 등을 제2 액션으로 검출할 수 있다. 특히, 데이터 변환 장치(100)는 사용자와 대응되는 제1 대상체가 훼손, 부상, 죽음 등과 같은 변화를 추출하고, 상기 추출한 변화를 제2 액션으로 검출할 수 있다.
S230에서는 데이터 변환 장치(100)는 상기 제2 액션의 발생 위치, 훼손 정도를 고려하여 출력 데이터를 생성할 수 있다. 데이터 변환 장치(100)는 상기 제2 액션의 실제 고통의 정도를 고려하여 출력 데이터를 생성할 수 있다. 예를 들어, 제2 대상체에 의해 제1 대상체의 배 부분에 칼에 의한 절상의 액션을 추출한 경우, 데이터 변환 장치(100)는 상기 절상의 발생 위치, 훼손 정도를 고려하여 상기 절상과 유사한 자극을 느낄 수 있는 출력 데이터를 생성할 수 있다. 또는 데이터 변환 장치(100)는 영상 신호에 포함된 대상체에 대한 훼손의 발생(위치, 발생 유무 등)을 알 수 있도록 하는 출력 데이터를 생성할 수 있다. 좀더 구체적으로는 데이터 변환 장치(100)는 상기 제2 액션의 발생 위치와 대응되는 지점에 상기 제2 액션의 훼손 정도 만큼의 자극, 신호를 전달하는 출력 데이터를 생성할 수 있다.
S240에서는 데이터 변환 장치(100)는 상기 출력 데이터와 대응되는 출력 제어 신호를 생성할 수 있다. 데이터 변환 장치(100)는 상기 정보 출력 장치(300)를 구동할 수 있는 출력 제어 신호를 생성하며, 정보 출력 장치(300)에 포함된 하나 이상의 정보 출력부를 각각 구동할 수 있는 하나 이상의 출력 제어 신호를 각각 생성할 수도 있다.
본 발명의 실시예들에 따른 데이터 변환 장치는 사용자의 주변 또는 소정의 장소를 감시하기 위해 배치된 하나 이상의 센싱부를 통해 획득된 액션을 사용자에게 전달하는 실시예를 도 5 내지 도 6를 이용하여 설명하겠다.
도 5에 도시된 바와 같이, S310에서는 데이터 변환 장치(100)는 사용자의 주변 또는 소정의 장소에 위치한 하나 이상의 센서로부터 하나 이상의 소스 신호를 포함하는 데이터를 수신할 수 있다. 여기서, 소스 신호는 온도, 습도, 가스, 근접, 가속도 센서 등으로부터 획득된 센싱 값을 포함할 수 있다.
S320에서는 데이터 변환 장치(100)는 상기 데이터에 포함된 하나 이상의 소스 신호로부터 접근하는 대상체의 움직임을 제3 액션으로 검출할 수 있다. 데이터 변환 장치(100)는 근접 센서에 의해 획득된 소스 신호로부터 접근하는 대상체의 움직임을 추출하고, 상기 대상체의 움직임을 제3 액션으로 검출할 수 있다. 또한, 데이터 변환 장치(100)는 이미지 센서에 의해 획득된 소스 신호로부터 접근하는 대상체의 움직임을 추출하고, 상기 대상체의 움직임을 제3 액션으로 검출할 수 있다.
S330에서는 데이터 변환 장치(100)는 상기 제3 액션과 대응되는 출력 데이터를 생성할 수 있다. 데이터 변환 장치(100)는 상기 대상체의 위치 및 이동 속도를 고려하여 출력 데이터를 생성할 수 있다. 데이터 변환 장치(100)는 상기 대상체의 위치와 대응되는 지점에 상기 대상체의 이동 속도와 대응되는 크기의 자극, 신호를 전달하는 출력 데이터를 생성할 수 있다. 이때, 출력 데이터는 상기 대상체의 위치와 대응되는 지점에 위치한 정보 출력부가, 상기 대상체의 이동 속도와 비례하는 지속 시간동안 또는 세기로 움직이도록 생성될 수 있다. S340에서는 데이터 변환 장치(100)는 상기 출력 데이터와 대응되는 출력 제어 신호를 생성할 수 있다.
도 6에 도시된 바와 같이 S410에서는 데이터 변환 장치(100)는 사용자의 주변 또는 소정의 장소에 위치한 하나 이상의 센서로부터 하나 이상의 소스 신호를 포함하는 데이터를 수신할 수 있다. S420에서는 데이터 변환 장치(100)는 상기 데이터에 포함된 하나 이상의 소스 신호로부터 소정의 임계 속도 이상의 속도로 이동하는 대상체를 제4 액션으로 추출할 수 있다. S430에서는 데이터 변환 장치(100)는 상기 대상체의 위치 및 이동 속도를 고려하여 출력 데이터를 생성할 수 있다. S440에서는 데이터 변환 장치(100)는 상기 대상체의 움직임을 전달하는 출력 데이터와 대응되는 출력 제어 신호를 생성할 수 있다.
도 7은 정보 출력 장치(300)의 일 예를 나타내는 도면이다.
본 발명의 실시예들에 따른 정보 출력 장치(300)는 복수의 정보 출력부(301, 302, …)를 포함하고, 사용자가 입을 수 있는 형태를 가질 수 있다.
정보 출력 장치(300)는, 표현 면이 사용자에게 대향되게 위치하도록 구비될 수 있다. 따라서, 표현 면에 현출되는 상기 정보 출력부(301, 302, …)의 선택적 출입에 의한 돌출 신호는 사용자에게 직접적이고 국부적인 타격으로 인식될 수 있고, 사용자는 정보 출력부(301, 302, …)에 의해 타격을 받은 위치에서의 직접적인 진동을 받을 수 있다. 이러한 직접적이고 국부적인 타격에 의해 형성된 돌출 신호는 휴대용 전자 기기의 일반적인 진동 신호와는 달리 타겟 주위에 잔진동이 발생되도록 하지 않기 때문에 사용자에게 정확한 신호를 전달할 수 있다. 따라서, 상기와 같은 돌출 신호에 의해 점자와 같이 촉각을 통해 취득되는 신호를 구현할 수 있다. 이외에도 군사 신호, 그립 신호, 부호 신호, 방향 신호 등 다양한 신호를 정확하게 구현할 수 있다. 여기서, 표현 면은 사용자와 대향되게 위치하는데 즉 도 7의 정보 출력 장치(300)에서는 외부가 아닌 내부에 존재할 수 있다.
정보 출력 장치(300)에 포함된 복수의 정보 출력부(301, 302, …)는 일정한 간격으로 배치될 수 있으며, 사용자의 피부, 신체에 포함된 신경, 혈관, 세포 등과 대응되는 지점, 위치에 배치될 수도 있다. 복수의 정보 출력부(301, 302, …)는 진동, 상하 운동, 좌우 운동 등을 통해 소정의 자극을 사용자에게 전달할 수도 있고, 사용자의 신경, 세포를 통해 정보를 제공할 수 있는 화학 물질, 파동 등을 통해 사용자에게 정보를 전달할 수 있다. 복수의 정보 출력부(301, 302)는 자극하는 지점을 통해 데이터를 사용자에게 전달하거나, 자극하는 정도(움직이는 방향, 움직이는 시점, 지속 시간 등)를 통해 데이터를 사용자에게 전달할 수 있다. 출력 제어 신호는 각 정보 출력부(301, 302, …)를 구동하기 위해 생성되기도 하며, 복수의 정보 출력부들(301, 302)을 모두 구동하기 위해 생성되기도 한다.
도 8 내지 도 9는 데이터 획득 장치(200)에 의해 생성된 영상 신호의 일 예이다.
도 8에 도시된 바와 같이, 영상 신호(D1)에 포함된 제1 사용자와 대응되는 제1 대상체(object 1) 및 제2 사용자와 대응되는 제2 대상체(object 2) 사이의 제1 액션(A1)과 대응하여, 데이터 변환 장치(100)는 상기 제1 액션(A1)의 발생 위치 및 훼손 정도를 고려한 출력 데이터를 생성할 수 있다. 제1 액션(A1)의 시작 위치(X1), 종료 위치(X2)를 연결하는 궤적과 대응하여 상기 제1 액션(A1)과 대응되는 출력 데이터가 생성된다. 즉, 제1 액션(A1)과 대응되는 출력 데이터는 사용자의 신체 부위 중 시작 위치(X1), 종료 위치(X2)와 대응되는 지점 사이에 상기 제1 액션(A1)을 통해 발생될 수 있는 고통과 비례하는 정도의 자극, 신호가 전달될 수 있다. 또한, 이때, 출력 데이터는 상기 제1 액션(A1)의 훼손 정도 만큼의 자극, 신호 등이 전달될 수 있도록 생성된다.
도 9에 도시된 바와 같이 데이터 변환 장치(100)는 영상 신호(D2)에 포함된 제3 사용자와 대응되는 제3 대상체(object 3)에 의한 제2 액션(A2)를 추출하고, 상기 제2 액션과 대응되는 출력 데이터를 생성할 수 있다. 제2 액션(A2)과 대응되는 출력 데이터는 상기 제2 액션(A2)의 발생 위치 및 상기 제2 액션에 의해 발생되는 자극, 고통의 정도를 고려하여 생성될 수 있다.
본 발명의 실시예들에 따른 데이터 변환 장치(100)는 사용자와 대응되는 대상체가 게임, 시뮬레이션 장치에 의해 생성된 가상 현실에서 경험하는 자극을 상기 사용자에게 직접 전달될 수 있도록 한다. 이를 통해, 본 발명의 실시예들에 따른 데이터 변환 장치(100)는 가상 현실에서의 경험을 시청각 데이터 이외의 출력 데이터로 사용자에게 전달할 수 있다.
도 10은 정보 출력 장치(300)의 외관을 개략적으로 설명하기 위하여 도시한 도면이다.
정보 출력 장치(300)는 표현 면에 사용자에 대향되게 위치하도록 구비되는 돌기들(30n)를 포함할 수 있다. 따라서, 표현 면에 현출되는 상기 돌기들(30n)의 선택적 출입에 의한 돌출 신호는 사용자에게 직접적이고 국부적인 타격으로 인식될 수 있고, 사용자는 돌기들(30n)에 의해 타격을 받은 위치에서의 직접적인 진동을 받을 수 있다. 이러한 직접적이고 국부적인 타격에 의해 형성된 돌출 신호는 휴대용 전자 기기의 일반적인 진동 신호와는 달리 타겟 주위에 잔진동이 발생되도록 하지 않기 때문에 사용자에게 정확한 신호를 전달할 수 있다. 따라서, 상기와 같은 돌출 신호에 의해 점자와 같이 촉각을 통해 취득되는 신호를 구현할 수 있고, 그 외에도 군사 신호, 그림 신호, 부호 신호, 방향 신호 등 다양한 신호를 정확하게 구현할 수 있다. 즉, 도 10에 도시된 정보 출력 장치(300)의 표현 면은 사용자의 피부와 접촉할 수 있도록 위치한다.
도 10a를 참조하면, 돌기들(30n)를 포함하는 독립적인 정보 출력 장치(300)의 외관을 도시하고 있으며, 시계줄을 포함하는 스마트 시계 형식으로 구현되어 있다. 스마트 시계로 구현된 정보 출력 장치(300) 내부에는 출력 제어부가 더 구비되어 있다. 이러한 정보 출력 장치(300)는 돌기(301)의 직선운동에 의해 출력 데이터를 표시하는 브레일 디스플레이 기기 일 수 있다. 도 10a에 도시된 쇼핑 정보 출력 장치(300)는 사용자가 손으로 직접 돌기(30n)를 접촉하여 객체 정보와 대응되는 출력 데이터를 인식할 수 있다. 추가적으로, 정보 출력 장치(300)는 진동모터를 포함할 수 있다.
도 10b를 참조하면, 스마트 폰과 연동되는 스마트 시계로써의 사용자 단말기(T1)와 돌기들(30n)을 포함하는 정보 출력 장치(300)가 결합된 외관을 도시하고 있다. 도 10b의 경우 스마트 시계의 상부는 유기 발광 디스플레이 유닛, 무기 발광 디스플레이 유닛 또는 액정 디스플레이 유닛 중 하나로 구현되어 있고, 스마트 시계의 하부는 정보 출력 장치(300)의 돌기(30n)가 구현될 수 있음을 도시하고 있다. 도 10b에 도시된 정보 출력 장치(300)와 결합된 스마트 시계로써의 사용자 단말기(T1)의 경우 사용자가 스마트 시계를 착용한 신체의 일부분이 돌기(30n)의 직선운동을 감지하여 검출된 액션과 대응되는 출력 데이터를 인식할 수 있다. 추가적으로, 정보 출력 장치(300)는 진동모터를 포함할 수 있다.
도 10c를 참조하면, 스마트 폰과 연동되는 스마트 시계로써의 사용자 단말기(T1)와 돌기들(151)을 포함하는 정보 출력 장치(300)가 결합된 외관을 도시하고 있다. 도 10c의 경우 스마트 시계의 상부에 디스플레이 유닛과 정보 출력 장치(300)의 돌기(30n)가 구현될 수 있음을 도시하고 있다. 도 4c에 도시된 정보 출력 장치(300)와 결합된 스마트 시계로써의 사용자 단말기(T1)의 경우 사용자가 손으로 직접 돌기(301)를 접촉하여 검출된 액션과 대응되는 출력 데이터를 인식할 수 있다. 추가적으로, 정보 출력 장치(300)는 진동모터를 포함할 수 있다.
도 10d를 참조하면, 스마트 폰으로써의 사용자 단말기(T1)와 돌기들(30n)을 포함하는 정보 출력 장치(300)가 결합된 외관을 도시하고 있다. 추가적으로, 정보 출력 장치(300)는 진동모터를 포함할 수 있다.
도 11은 정보 출력 장치(300)의 상세 구성을 개략적으로 설명하기 위하여 도시한 도면이다.
도 11a를 참조하면, 정보 출력 장치(300)는 다른 장치로부터 신호, 데이터 등을 수신하는 입력부(310) 및 입력된 신호에 기초하여, 진동부 또는 돌기를 통해 데이터를 출력하는 출력부(320)를 포함할 수 있다.
도 11b를 참조하면, 출력부(320)는 복수개의 돌기(321), 복수개의 구동부(322) 및 돌기 제어부(323)을 포함할 수 있다. 여기서 복수개의 돌기(321)는 예를 들어, 가로 8열 세로 3행의 총 24개를 포함할 수 있고, 복수개의 구동부(322)는 24개의 돌기(321) 각각에 연결된 총 24개를 포함할 수 있다. 복수개의 돌기(321) 각각은 복수개의 구동부(322) 각각과 전기적으로 연결되어 있고, 복수개의 구동부(322) 각각은 돌기 제어부(323)로부터 구동 제어신호를 수신 받아 선택된 하나 이상의 돌기(321)를 직선 운동시킬 수 있다. 여기선 선택된 돌기는 선택되지 않은 돌기 보다 더 상승되는 위치로 직선 이동될 수 있다. 돌기 제어부(323)는 입력부(310)로부터 수신한 신호, 데이터 등에 대응하는 구동 제어신호 즉, 사전에 약속된 돌기 선택신호, 돌기 돌출 시간, 돌기 돌출 주기 중 하나 이상을 생성하여 구동부(322)로 출력하고 구동 제어 신호를 수신한 하나 이상의 구동부(322)는 해당 돌기(321)를 직선운동 시킬 수 있다. 이로부터 정보 출력 장치(300)를 구비한 사용자는 돌기(321)의 직선운동으로 객체가 설명하고자 하는 제1 인식정보를 인식할 수 있게 된다.
도 11c를 참조하면, 출력부(320)에 포함되는 복수개의 돌기(321) 각각이 하나의 구동부(322)와 전기적으로 연결되어 있고, 구동부(322)는 돌기 제어부(323)로부터 구동 제어신호를 수신 받아 선택된 하나 이상의 돌기(321)를 직선 운동시킬 수 있다.
도 11d를 참조하면, 출력부(320)에 포함되는 복수개의 돌기(321) 중 일부의 돌기(321) 각각이 복수개의 구동부(322) 중 어느 한 구동부(322)에 전기적으로 연결되어 있고, 각 구동부(322)는 돌기 제어부(323)로부터 구동 제어신호를 수신 받아 선택된 하나 이상의 돌기(321)를 직선 운동시킬 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 나아가, 매체는 네트워크 상에서 전송 가능한 형태로 구현되는 무형의 매체를 포함할 수 있으며, 예를 들어 소프트웨어 또는 애플리케이션 형태로 구현되어 네트워크를 통해 전송 및 유통이 가능한 형태의 매체일 수도 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100: 데이터 변환 장치
200: 데이터 획득 장치
300: 정보 출력 장치

Claims (1)

  1. 제1 장치 및 제2 장치와 전기적으로 연결되어 구동되는 데이터 변환 장치에 있어서,
    제1 장치로부터 사용자와 관련된 데이터를 수신하는 데이터 수신부;
    상기 제1 장치로부터 수신한 데이터에 포함된 하나 이상의 소스 신호를 추출하는 추출부;
    상기 하나 이상의 소스 신호를 분석하여, 상기 하나 이상의 소스 신호에 포함된 제1 액션을 검출하는 액션 검출부;
    상기 제1 액션과 대응되는 출력 데이터를 생성하는 출력 데이터 생성부; 및
    상기 출력 데이터를, 상기 제2 장치에 포함되고 일정한 간격으로 배치되어 상기 사용자에게 데이터를 전달하는 하나 이상의 정보 출력부를 구동시키는 출력 제어 신호로 변환하는 변환부;를 포함하는 데이터 변환 장치.
KR1020180022232A 2018-02-23 2018-02-23 데이터 변환 장치, 및 방법 KR20180026420A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180022232A KR20180026420A (ko) 2018-02-23 2018-02-23 데이터 변환 장치, 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022232A KR20180026420A (ko) 2018-02-23 2018-02-23 데이터 변환 장치, 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160054638A Division KR101835842B1 (ko) 2016-05-03 2016-05-03 데이터 출력 시스템

Publications (1)

Publication Number Publication Date
KR20180026420A true KR20180026420A (ko) 2018-03-12

Family

ID=61729177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180022232A KR20180026420A (ko) 2018-02-23 2018-02-23 데이터 변환 장치, 및 방법

Country Status (1)

Country Link
KR (1) KR20180026420A (ko)

Similar Documents

Publication Publication Date Title
Hu et al. An overview of assistive devices for blind and visually impaired people
Hoang et al. Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile Kinect
EP2496196B1 (en) Representing visual images by alternative senses
EP3088996A1 (en) Systems and methods for tactile guidance
Ghiani et al. Vibrotactile feedback to aid blind users of mobile guides
KR102585311B1 (ko) 360도 영상과 hmd를 활용하고, 메타버스 공간 내에서 진행되는 비대면 실시간 교육 방법
US11755111B2 (en) Spatially aware computing hub and environment
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
US11169599B2 (en) Information processing apparatus, information processing method, and program
CN110688910A (zh) 一种可穿戴人体基本姿态识别的实现方法
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
McColl et al. Classifying a person’s degree of accessibility from natural body language during social human–robot interactions
CN111515970A (zh) 一种互动方法、拟态机器人和相关装置
KR101835842B1 (ko) 데이터 출력 시스템
Ong et al. Assistive obstacle detection and navigation devices for vision-impaired users
Zheng et al. CG-Recognizer: A biosignal-based continuous gesture recognition system
KR20180026420A (ko) 데이터 변환 장치, 및 방법
US10515566B2 (en) Electronic system and method for martial arts movement-based language character symbolization and education
KR20150133903A (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
CN113392686A (zh) 视频分析方法、装置及存储介质
KR101750506B1 (ko) 햅틱 인터페이스의 제어 방법 및 장치
Fakhri et al. Haptics for sensory substitution
US11149243B2 (en) Electronic device, wearable device, and method of providing content-based somatic senses using ultrasound
Candra et al. The Application of Virtual Reality Using Kinect Sensor in Biomedical and Healthcare Environment: A Review
Ranganathan et al. Hand Talk-An Assistive Technology for Deaf and Dumb

Legal Events

Date Code Title Description
A107 Divisional application of patent