KR101402878B1

KR101402878B1 - 사건관련전위를 이용한 문자입력장치 및 그 제어방법

Info

Publication number: KR101402878B1
Application number: KR1020130056497A
Authority: KR
Inventors: 손진훈; 엄진섭
Original assignee: 충남대학교산학협력단
Priority date: 2013-05-20
Filing date: 2013-05-20
Publication date: 2014-06-03
Also published as: US20150082244A1; WO2014189180A1

Abstract

본 발명은 사건관련전위를 이용한 문자입력장치 및 그 제어방법에 대한 것으로서, 보다 상세하게는 6×6 문자행렬을 사용하면서 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 이용하는 문자입력장치를 제공하기 위한 것이다. 본 발명의 일예와 관련된 사건관련전위를 이용한 문자입력방법은, 6 X 6 행렬에 포함된 36개의 문자 중 사용자가 입력할 제 1 문자를 결정하는 단계, 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 단계, 상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이는 경우, 상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 단계, 상기 사용자의 카운팅 동작에 의해 사건 관련 전위(event-related potential, ERP)가 발생하는 단계와 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하는 단계를 포함할 수 있다.

Description

사건관련전위를 이용한 문자입력장치 및 그 제어방법{CHARACTER INPUT DEVICE USING EVENT-RELATED POTENTIALS AND METHOD FOR CONTROLLING THEREOF}

본 발명은 사건관련전위(event-related potential: ERP)를 이용한 문자입력장치 및 그 제어방법에 대한 것으로서, 보다 상세하게는 6×6 문자행렬을 사용하면서 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 이용하는 문자입력장치를 제공하기 위한 것이다.

Farwell과 Donchin(1988)은 뇌파의 한 형태인 ERP(event-related potential)를 이용하여 컴퓨터에 문자를 입력하는 방법을 고안하였는데, 행-열 패러다임(row-column paradigm: RCP)을 이용하여 문자자극을 제시한다.

RCP은, 도 1과 같은 6×6의 문자행렬에서, 6개의 행과 6개의 열을 한 번에 하나씩 무선적인 순서로 짧은 시간 동안 반짝이게 제시한다.

6개의 행과 6개의 열을 모두 한 번씩 반짝이는 것을 한 시행으로 하였을 때, 하나의 문자를 입력하기 위해서는 최대 20 시행을 거친다.

사용자는 입력하고 싶은 문자가 반짝이는 횟수를 마음속으로 센다. 사용자가 주의를 집중한 자극에서는 ERP의 한 성분인 P300의 진폭이 크게 산출된다.

이때, 각각의 문자가 반짝였을 때의 P300을 관찰하여, 사용자가 입력하기 위해 주의를 집중한 문자가 어떤 것이었는지를 파악할 수 있다.

ERP는 잡음 대비 신호의 비율이 낮기 때문에, 신뢰로운 ERP를 얻기 위해서는 자극을 여러 번 제시한 후에 뇌파들을 평균하여 산출한다.

선행연구들은 하나의 문자를 입력하는데 사용한 시행 횟수와 입력의 정확도가 정적인 관계를 가진다는 것을 보여주고 있다(Donchin, Spencer, & Wijesinghe, 2000; Lenhardt, Kaper, & Ritter, 2008).

만약, 하나의 문자입력에 사용된 시행수가 적으면 P300의 진폭이 덜 신뢰롭게 산출되며, 사용자가 입력하고자 한 문자와 P300의 진폭을 이용하여 파악한 문자가 서로 다를 가능성이 증가한다.

이때, 시행수가 많아질수록, 입력의 정확도는 높아진다. 그러나 시행수가 많아질수록 한 문자를 입력하는데 필요한 시간이 길어진다는 단점이 생긴다.

RCP의 정확도에 관한 연구들이 다수 있다. Sellers와 Krusienski, McFarland, Vaughan, Wolpaw 등(2006)은 자극 행렬의 크기(3×3, 6×6)와 자극간 제시간격(175ms, 360ms)을 변화시키면서 정확도를 산출하였다.

이러한 정확도 실험에서는 한 문자당 20시행을 거쳤다.

온라인 상에서 정확도를 산출한 결과, 6×6의 행렬크기와 자극간 제시간격이 175ms일 때의 정확도가 약 80%였다. Nijboer 등 (2008)은 8명의 근위축성측색경화증 환자들을 대상으로 실험하였다. 6×6 자극행렬을 사용하고, 20 시행을 거친 결과, 오프라인과 온라인에서 각각 82%와 62%의 정확도를 보였다.

Guger 등(2009)은 81명의 정상 성인을 대상으로 실험하였다.

즉, 각 문자당 15 시행을 거친 후에, 오프라인으로 정확도를 산출한 결과, 91%의 정확도를 보였다.

Townsend 등(2010)은 18명을 대상으로 3 내지 5 시행을 거친 후에 온라인 상에서 정확도를 산출하였다.

이들은 8x9 자극행렬을 사용하였는데, 77.34%의 정확도가 산출되었다. 전체적으로 보았을 때, 행-열 패러다임에서 한 문자당 15시행 이상을 거쳤을 때, 80~90% 수준의 정확도가 있는 것으로 평가된다.

RCP에서 오류를 유발하는 요인은 여러 가지 있을 수 있지만, 주된 요인이 한 가지 있다(Fazel-Rezai, 2007; Fazel-Rezai et al., 2012; Townsend et al., 2010).

입력오류들 중 많은 경우는 목표문자의 주변에 있는 문자들, 특히 목표문자와 같은 행이나 열에 있는 문자들로 잘못 입력된다. 이러한 원인에 의한 문제를 근접-혼란 오류(adjacency-distraction errors)라고 한다. 근접-혼란 오류는 목표문자와 인접해있는 행이나 열이 반짝일 때, 사용자의 주의를 끌어들여 P300 반응을 유발하기 때문에 나타난다(Townsend et al., 2010).

Fazel-Rezai(2007)의 연구에서는 오류의 80%가 근접-혼란 오류에 해당하였으며, Townsend 등(2010)의 연구에서는 오류의 약85%가 이 유형에 해당하였다.

RCP에서 오류의 가능성을 증가시키는 다른 원인도 존재한다.

RCP에서는 6개의 행과 6개의 열이 무선적인 순서로 한 번에 하나씩 짧은 시간동안 반짝이는 것이 10회 이상 반복된다.

결과적으로, 목표자극을 포함하고 있는 행 또는 열이 연속해서(또는 짧은 시간간격을 두고) 반짝이는 경우가 반드시 존재하게 된다.

이런 경우에 두 번째로 반짝이는 문자에 주의를 집중하기가 매우 어려워지며, 집중할 수 있다 하더라도 첫번째 반짝임에 의해 유발된 P300과 두 번째 반짝임에 의해 유발된 P300이 중첩되어 오히려 P300의 진폭이 감소하는 결과를 만들어 낸다(Townsend et al., 2010).

이런 원인에 의한 문제를 이중-반짝임 문제(double-flash problems)라고 한다.

Townsend 등(2010)은 이 두 가지 문제를 제거하기 위하여 체커보드 패러다임(checkerboard paradigm: CBP)을 고안하였다.

도 2를 참조하면, CBP는 8×9 문자행렬을 이용한다.

8×9 문자행렬에 대해, 동일한 무늬에 포함된 36개 문자들로 가상의 6×6 행렬 두 개(이하 각각을 행렬1과 행렬2로 칭함)를 구성한다.

여기서 6×6 행렬을 구성할 때에는 36개의 문자들을 랜덤(random)으로 배치한다.

또한, 행렬1의 6개 행을 하나씩 반짝이게 제시하고, 행렬2의 6개 행을 하나씩 제시한다. 다시 행렬1의 6개 열을, 그리고 행렬2의 6개 열을 반짝이게 제시한다.

사용자의 관점에서는 8×9 행렬에서 랜덤(random)으로 선택된 6개의 문자가 동시에 반짝이는 것이 반복되는 것처럼 보인다.

따라서 CBP에서는 8×9 문자행렬의 행과 열이 함께 반짝이지 않으므로, 근접-혼란 오류가 감소할 것이며, 구조적으로 이중-반짝임이 나타날 수 없다.

Townsend 등(2010)에 의하면, 유사한 조건에서 RCP는 정확도가 77.4%인 반면에 CBP는 정확도 91.5%로 나타났다.

그러나 CBP는 한가지 단점을 가진다.

즉, 필요 이상으로 큰 문자행렬을 사용해야만 한다는 점이다.

필요 이상으로 큰 문자행렬은 한 번의 시행에 필요한 문자 반짝임의 횟수를 증가시키며, 결과적으로 문자입력 시간이 증가한다. 6×6 문자행렬을 사용하는 RCP는 한 번의 시행에 필요한 반짝임의 횟수가 12번이지만, CBP에서는 24번이 필요하다는 문제점을 유발한다.

따라서 전술한 RCP와 CBP의 문제점을 해결할 수 있는 방안이 요구되고 있는 실정이다.

대한민국 특허청 출원번호(10-2011-0063629호) / 공개번호(0130002590)

본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 6×6 문자행렬을 사용하면서 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 이용하는 문자입력장치를 제공하기 위한 것이다.

그러나, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 사건관련전위를 이용한 문자입력방법은, 6 X 6 행렬에 포함된 36개의 문자 중 사용자가 입력할 제 1 문자를 결정하는 단계, 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 단계, 상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이는 경우, 상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 단계, 상기 사용자의 카운팅 동작에 의해 사건 관련 전위(event-related potential, ERP)가 발생하는 단계와 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하는 단계를 포함할 수 있다.

또한, 상기 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 과정이 제 1 실행이고, 상기 제 1 실행은 총 36번 반짝일 수 있다.

또한, 상기 제 1 실행이 완료된 경우, 상기 6 X 6 행렬에 포함된 36개의 문자 중 제 1 문자가 6번 반짝일 때, 상기 제 1 문자 좌우 문자는 각각 4번, 상기 제 1 문자 상하 문자는 각각 3번, 상기 제 1 문자 대각선에 가장 가깝게 존재하는 문자는 각각 2번 상기 제 1 문자와 함께 반짝일 수 있다.

또한, 상기 복수의 서브행렬 중 어느 하나인 제 1 서브행렬이 반짝인 경우, 상기 제 1 서브행렬에 포함된 6개의 문자 중 어떤 문자가 다시 반짝이기 전에 상기 제 1 서브행렬과 중첩되는 문자가 없는 다른 서브행렬들이 두 번 이상 반짝일 수 있다.

또한, 상기 6 X 6 행렬에서 6개의 행과 6개의 열을 한번에 하나씩 반짝이는 제 1 단계, 상기 제 1 단계를 통해 발생한 ERP에 대하여 단계적 선형판별분석을 수행하는 제 2 단계와 상기 단계적 선형판별분석을 통해, 목표자극과 비목표자극을 구별하는 제 1 판별함수를 산출하는 제 3 단계를 더 포함하고, 상기 제 1 판별함수를 이용하여 상기 제 1 문자를 추출할 수 있다.

또한, 상기 제 1 단계를 통해 발생한 ERP을 평균하여, 상기 36개의 문자 각각에 대한 ERP를 산출하는 단계, 상기 36개의 문자 각각에 대한 ERP과 제 1 판별함수를 이용하여, 상기 36개의 문자 각각이 목표문자일 확률을 산출하는 단계와 상기 산출한 확률을 이용하여 제 2 판별함수를 도출하는 단계를 포함하되, 상기 제 2 판별함수를 이용하여 상기 제 1 문자를 추출할 수 있다.

한편, 상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 사건관련전위를 이용한 문자입력방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있고, 상기 디지털 처리 장치에 의해 판독될 수 있는 기록매체에 있어서, 상기 사건관련전위를 이용한 문자입력방법은, 6 X 6 행렬에 포함된 36개의 문자 중 사용자가 입력할 제 1 문자를 결정하는 단계, 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 단계, 상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이는 경우, 상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 단계, 상기 사용자의 카운팅 동작에 의해 사건 관련 전위(event-related potential, ERP)가 발생하는 단계와 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하는 단계를 포함할 수 있다.

한편, 상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 사건관련전위를 이용한 문자입력장치는, 사용자와 연결되어, 상기 사용자로부터 특정 정보를 획득하기 위한 인터페이스부, 36개의 문자를 포함하는 6 X 6 행렬을 표시하는 디스플레이부와 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝거리도록 제어하는 제어부를 포함하되, 상기 36개의 문자 중 사용자가 결정한 제 1 문자가 결정되고, 상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이며, 상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 경우, 상기 사용자의 카운팅 동작에 의해 상기 사용자의 뇌에서 발생한 사건 관련 전위(event-related potential, ERP)를 상기 인터페이스부를 통해 획득하고, 상기 제어부는 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하고, 상기 추출된 제 1 문자가 상기 디스플레이부를 통해 표시되도록 제어할 수 있다.

또한, 상기 제어부는, 상기 복수의 서브행렬 중 어느 하나인 제 1 서브행렬이 반짝인 경우, 상기 제 1 서브행렬에 포함된 6개의 문자 중 어떤 문자가 다시 반짝이기 전에 상기 제 1 서브행렬과 중첩되는 문자가 없는 다른 서브행렬들이 두 번 이상 반짝이도록 제어할 수 있다.

또한, 상기 제어부는, 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 제 1 단계를 수행하고, 상기 제 1 단계를 통해 발생한 ERP에 대하여 단계적 선형판별분석을 수행하며, 상기 단계적 선형판별분석을 통해 목표자극과 비목표자극을 구별하는 제 1 판별함수를 산출하고, 상기 제 1 판별함수를 이용하여 상기 제 1 문자를 추출할 수 있다.

또한, 상기 제어부는, 상기 제 1 단계를 통해 발생한 ERP을 평균하여, 상기 36개의 문자 각각에 대한 ERP를 산출하고, 상기 36개의 문자 각각에 대한 ERP과 제 1 판별함수를 이용하여, 상기 36개의 문자 각각이 목표문자일 확률을 산출하며, 상기 산출한 확률을 이용하여 제 2 판별함수를 도출하고, 상기 제 2 판별함수를 이용하여 상기 제 1 문자를 추출할 수 있다.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 사건관련전위를 이용한 문자입력장치 및 그 제어방법을 사용자에게 제공할 수 있다.

구체적으로 6 X 6 문자행렬을 사용하면서 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 이용하는 문자입력장치를 사용자에게 제공할 수 있다.

단, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명과 관련하여 6×6의 문자행렬에서, 6개의 행과 6개의 열을 한 번에 하나씩 무선적인 순서로 짧은 시간 동안 반짝이게 제시하는 RCP의 일례를 도시한 것이다.
도 2는 본 발명과 관련하여 8×9 문자행렬을 이용하는 CBP의 구체적인 일례를 도시한 것이다.
도 3의 (A)는 서로 인접해 있는 6개의 문자들을 동시에 반짝이게 하는 SBP의 구체적인 일례이고, (B)는 목표자극을 중심으로 목표자극에서 멀리 떨어진 문자일수록 P300 진폭이 감소하는 분포도의 일례를 도시한 것이다.
도 4는 본 발명에 따른 문자입력장치의 구체적인 동작을 설명하기 위한 순서도이다.
도 5는 본 발명과 관련하여, RCP와 SBP에 대한 정확도, 분당비트율, 분당문자 입력수의 구체적인 일례를 도시한 것이다.
도 6은 본 발명과 관련하여, RCP에서 산출한 ERP와 SBP에서 산출한 ERP의 구체적인 일례를 도시한 것이다.
도 7은 본 발명과 관련하여, 각각의 패러다임에서 산출한 목표자극의 ERP를 서로 비교한 것이다.
도 8은 RCP와 SBP에서 오류의 유형을 분석한 것으로, 오류들이 목표 자극으로부터 얼마나 떨어져서 발생하는지를 나타낸 것이다.
도 9는 본 발명에 따른 문자입력장치의 구성을 나타낸 블록 구성도(block diagram)이다.

이하에서는 본 발명에 따른 자극제시방법을 이용한 문자입력장치에 대한 구체적인 설명에 앞서 본 발명에 적용될 수 있는 하위블록 패러다임(sub-block paradigm: SBP)에 대해 구체적으로 설명한다.

사건 관련 전위(event-related potential)는 특정 자극에 대하여 발생하는 대뇌의 전기적 반응을 두피 부위에서 기록한 뇌파 기록을 말한다. 동일한 자극을 반복 제시하고 각 자극에 의해 유발된 전위들을 평균하여 측정치를 얻기 때문에 평균 유발 전위(average evoked potentials)라고도 불린다. 뇌 활동의 변화를 1/1,000초 단위로 보여 줄 만큼 시간적 해상도가 아주 높다.

전술한 것과 같이, 행-열 패러다임(row-column paradigm: RCP)은 목표문자의 주변에 있는 문자들, 특히 목표문자와 같은 행이나 열에 있는 문자들로 잘못 입력되는 근접-혼란 오류(adjacency-distraction errors) 와 목표문자가 포함된 행 또는 열이 연이어 반짝일 때 두 번째로 반짝이는 문자에 주의를 집중하기가 매우 어려워지며, 집중할 수 있다 하더라도 첫번째 반짝임에 의해 유발된 P300과 두 번째 반짝임에 의해 유발된 P300이 중첩되어 오히려 P300의 진폭이 감소하는 결과를 만들어 내는 이중-반짝임 문제(double-flash problems)가 존재하였다.

또한, 체커보드 패러다임(checkerboard paradigm: CBP)은 필요 이상으로 큰 문자행렬을 사용해야만 하고, 필요 이상으로 큰 문자행렬은 한 번의 시행에 필요한 문자 반짝임의 횟수를 증가시키며, 결과적으로 문자입력 시간이 증가한다는 문제점이 존재하였다.

따라서 본 발명에서는 6×6 문자행렬을 사용하면서, 근접-혼란 오류와 이중-반짝임 문제를 해결할 수 있는 새로운 자극제시 패러다임인 하위블록 패러다임(sub-block paradigm: SBP)을 제안하고자 한다.

도 3의 (A)는 서로 인접해 있는 6개의 문자들을 동시에 반짝이게 하는 SBP의 구체적인 일례이고, (B)는 목표자극을 중심으로 목표자극에서 멀리 떨어진 문자일수록 P300 진폭이 감소하는 분포도의 일례를 도시한 것이다.

도 3의 (A)를 참조하면, 같이 서로 인접해 있는 6개의 문자들(즉, 2×3 하위블록)을 동시에 반짝이게 한다.

6×6 문자행렬에 포함된 모든 2×3 하위블록을 모두 반짝이게 하기 위해서는 36번의 반짝임이 필요하며, 이 때 각 문자는 모두 6번 반짝이게 된다.

즉, 36번의 반짝임이 1 시행이 된다.

SBP는 목표문자와 인접해 있는 문자들이 목표문자와 함께 반짝이게 되는 횟수가 체계적으로 달라진다.

한번의 시행에서 목표자극이 6번 반짝일 때, 목표자극의 좌우에 있는 2개의 문자는 4번, 상하에 있는 2개의 문자는 3번, 대각선에 있는 문자와 좌우에 한 칸 건너에 있는 문자는 각각 2번, 대각선 옆에 있는 문자들은 한번 목표자극과 함께 반짝이게 된다.

이러한 방법의 효과는 도 3의 (B)와 같이 목표자극을 중심으로 목표자극에서 멀리 떨어진 문자일수록 P300의 진폭이 감소하도록 만든다.

근접-혼란 효과의 크기는 목표자극과 떨어진 정도에 따라서 결정되므로, SBP에서는 근접-혼란 효과도 도 3의 (B)와 유사한 분포를 보일 것이다.

P300 문자입력기 사용자가 입력하고자 한 문자를 판단할 때, 분포도를 사용할 수 있다.

도 4는 본 발명에 따른 문자입력장치의 구체적인 동작을 설명하기 위한 순서도이다.

도 4를 참조하면, 먼저, 사용자가 6 X 6 문자행렬 중 입력하고 싶은 문자가 반짝이는 횟수를 생각하는 단계가 진행된다(S410).

이후, 6X6 문자 행렬 내에 있는 36개의 2X3 문자 행렬들을 랜덤(random)으로 하나씩 반짝이게 하는 단계가 진행된다(S420).

S420 단계 이후, 사용자가 입력하고 싶은 문자가 반짝이는 회수를 카운팅하는 단계가 진행된다(S430).

또한, 각 문자가 반짝였을 때의 사건관련전위를 산출하는 단계가 진행된다(S440).

이후, 사건 관련전위를 이용하여 사용자가 입력하고자 하는 문자를 판별하여 선택하는 단계가 진행된다(S450).

RCP에서는 각 문자가 제시되었을 때의 뇌파만을 이용하여 목표문자를 판단하는 반면, SBP는 목표문자와 주변의 문자들에 대한 뇌파를 모두 이용하므로, 정확도가 더 높아진다.

앞서 언급하였듯이, RCP에서 6개의 행과 6개의 열을 하나씩 반짝일 때 이중-반짝임 문제가 반드시 발생한다.

그러나 SBP에서는 36개 하위블록을 하나씩 반짝일 때 이중-반짝임 문제를 효과적으로 통제할 수 있다.

하나의 하위블록이 반짝인 후에, 그 블록에 속한 문자가 적어도 두 번의 반짝임이 지난 후에 반짝이도록 순서를 정하는 것이 가능하다.

이하에서는 도 5 내지 도 8을 참조하여, 근접-혼란 효과를 목표문자 확인에 이용하고 이중-반짝임 문제가 발생하지 않도록 설계된 SBP가 RCP보다 더 높은 정확도를 보이는지 실험을 통하여 평가하였다.

실험에 참가한 사람과 관련하여, 15명이 실험에 참여하였다. 남자는 8명이었으며, 평균연령은 25.8세였다(range 22-45).

이중 5명은 P300문자입력기 실험을 참여한 경험이 있었으며, 10명은 P300 문자입력기 실험에 처음 참여하였다.

실험참가자들은 뇌손상 병력이나 시력에 문제가 없는 성인이었다.

실험장치와 관련하여, 실험참가자로부터 60cm 앞에 놓인 19inch LCD 모니터에 6×6 문자행렬자극을 제시하였다. 각 문자의 폭은 1.1cm, 높이는 1.3cm였으며, 문자와 문자간 간격은 좌우로 5cm, 위아래로 3cm였다. 뇌파를 측정하기 위하여 Fz, Cz, Pz, Oz, P3, P4, PO7, PO8에 전극을 부착하였으며(Krusienski, Sellers, McFarland, Vaughan, & Wolpaw, 2008), 이마에 접지전극을, 양쪽 귓불에 기준 전극을 부착하였다.

뇌파는 Grass Model 12 Neurodata Acquisition System(Grass Instruments, Quincy, MA, USA)을 사용하여 0.3~30Hz 대역여과시킨 후 20000배 증폭시켰으며, MP150(BioPac Systems Inc., Santa Barbara, CA, USA)을 사용하여 200Hz의 표본율로 컴퓨터에 저장하였다.

자극의 제시와 뇌파의 저장 프로그램은 Visual C＋＋ v6를 이용하여 제작하였다.

실험절차와 관련하여, 실험은 총 두 번에 걸쳐서 진행하였다. 한 번은 RCP로, 또 한번은 SBP로 실시하였다. 각 실험은 두 단계로 구성되어 있다. 첫 단계는 훈련단계로 목표문자를 확인하는데 사용하는 판별함수를 추정하기 위한 것이다.

두 번째 단계는 검사단계로, 훈련 단계에서 산출한 분류함수를 사용하여 실험참가자가 입력하려고 한 문자를 판단하였다.

이를 통하여 실험참가자가 입력하려고 한 문자와 판별분석을 통하여 판별한 문자가 일치하는지를 파악하였다.

훈련단계와 검사단계 모두에서, 실험참가자가 입력해야 할 문자를 화면의 상단에 제시하였다. 실험참가자가 해야 하는 일은 입력해야 하는 문자가 반짝이는 횟수를 마음 속으로 세는 것이었다. 훈련단계에서는 36개의 문자들 중 공간적으로 고르게 분포하도록 선택한 18개의 문자를 목표문자로 사용하였다.

검사단계에서는 단어와 숫자열을 사용하였다.

P300 문자입력기 실험은 상당한 주의집중이 필요하므로, P300 문자입력기 사용 경험에 따라서 실험길이를 달리하였다.

RCP와 SBP를 경험한 적이 있는 5명의 실험참가자는 검사단계에서 총 50개의 문자(10개의 단어와 1개의 숫자열)를 입력하였으며, 실험 경험이 없는 10명의 실험 참가자는 검사단계에서 총 25개의 문자(5개의 단어와 1개의 숫자열)를 입력하였다.

RCP에서는 6개의 행과 6개의 열을 무선적인 순서로 한 번에 하나씩 100ms 동안 강한 강도(회색 정상 굵기의 문자에서 흰색 굵은 문자로)로 제시하고 25ms 동안은 보통의 강도로 제시하였다. 결과적으로 125ms마다 행과 열 중 하나가 계속해서 반짝이는 것처럼 보인다.

하나의 문자를 입력하는 동안에 6개의 행과 6개의 열이 모두 한 번씩 반짝이는 것을 1시행으로 하여 총 9시행을 반복하였다.

SBP에서는 36개의 2×3 하위블록 중 하나를 100ms 동안 강한 강도로 제시하였으며, 매 125ms 마다 다른 2×3 하위블록을 강한 강도로 제시하였다. 36개의 하위블록이 한 번씩 반짝이는 것을 1시행으로 하여 총 3시행을 반복하였다.

36개의 하위블록들이 반짝이는 순서는 미리 정해져 있는데, 한 블록이 반짝인 후 그 블록에 속한 어떤 문자가 다시 반짝이기 전에 적어도 두 개의 다른 블록이 반짝이도록 만들어진 순서이다.

이러한 순서를 10개 만들었으며, 각 시행이 시작될 때, 10개의 순서들 중에 한개를 랜덤(random)으로 선택하여 사용하였다.

SBP에서 1시행은 RCP에서 3시행과 동일한 시간이 소요되며, 각 문자가 반짝이는 횟수도 동일하다.

즉, 두 패러다임 모두 하나의 문자를 입력하는데 13.5초가 필요하며, 각 문자는 18회 반짝이게 된다. 하나의 문자를 입력하는 것을 1회기로 하였을 때, 훈련단계에서는 18회기가 필요하였으며, 검사단계에서는 실험참가자에 따라 25회기 또는 50회기가 필요하였다. RCP와 SBP의 실험순서는 실험 참가자별로 균형화하였다.

각 패러다임을 익히기 위한 연습시행은 3분 이내였다. 모든 실험이 끝난 후에, 실험참가자에게 각 패러다임을 사용하기가 얼마나 편하였는지를 7점 척도 상에 평가하도록 하였다.

여기서 1점은 '매우 어려웠다', 4점은 '보통', 7 점은 '매우 쉬웠다'를 의미한다.

실험에 적용된 분류와 관련하여, 훈련단계에서 기록한 뇌파에 대하여 단계적 선형판별분석(SWLDA)를 실시하여 판별함수를 산출한 후, 이 판별함수를 이용하여 검사단계에서 목표문자를 파악하였다.

RCP에서 단계적 선형판별분석은 다음의 단계를 거쳐서 수행되었다. 한 문자를 입력하는 회기동안 1개의 행 또는 열이 반짝이는 것이 108번 진행되며, 이 시간동안 8곳의 두피에서 뇌파가 기록된다.

한 개의 행 또는 열이 제시되기 시작한 후 750ms 동안의 뇌파를 잘라내어 하나의 분석단위를 만든다. 한 회기에 8개의 전극마다 108개의 뇌파분석단위가 만들어진다.

한 전극에서 기록된 1개의 분석단위는 150개(.750sec×200Hz)의 값들로 구성되어 있다. 이 분석단위들은 목표자극이 포함된 열 또는 행인 경우와 목표자극이 포함되지 않은 경우로 나뉘어진다.

결과적으로 한 회기당 108×1200의 뇌파행렬이 만들어진다.

훈련단계에서 총18개 문자를 입력하므로 1944×1200 행렬이 만들어지며, 이 행렬에 대해서 단계적 판별분석을 수행하여 목표자극과 비목표자극을 구별하는 판별함수를 산출하였다.

RCP의 검사단계에서는 각 회기별로 목표자극이 무엇이었는지를 판단한다.

먼저, 36개의 문자 각각에 대하여 각 문자가 반짝였을 때의 18개 뇌파분석단위들을 평균하여 36개 문자 각각에 대한 ERP를 산출하였다. 이 ERP들은 36×1200의 행렬을 구성한다.

36개의 행에 대하여 훈련단계에서 도출한 판별함수를 적용하여 각 행(즉, 각 문자가)이 목표문자일 확률을 산출한다.

36개의 문자 중 목표문자일 확률이 가장 높은 문자가 최종적으로 선택된다. 이 과정을 각 회기마다 반복하여 목표문자를 파악하였다.

SBP에서는 RCP에서 사용한 절차에 한 가지 절차를 추가하였다.

훈련단계에서, 일단 RCP와 동일한 방법을 사용하여 판별함수를 도출하고(이하 1차 판별함수라 부름), RCP의 검사단계와 동일한 방법을 사용하여 훈련단계의 뇌파에 대한 ERP를 산출하였다. 다음으로, 훈련단계에서 도출한 판별함수를 훈련단계에서 얻은 ERP에 적용하여, 36개의 각 문자가 목표문자일 확률을 계산하였다.

당연하게도, 그림 3의 (B)와 같이, 목표문자에 대한 확률이 가장 높으며, 주변으로 멀어질수록 확률값은 낮아진다.

이제 각 문자가 목표단어일 경우의 예상 확률값을 기준으로 관찰된 확률값을 재정리한다. 36개의 확률값을 36×36의 행렬로 만든다.

이 행들 중 하나는 진짜 목표자극에 대한 확률분포를 나타내며, 나머지는 비 목표자극에 대한 확률분포를 나타낸다.

18회기에 대해 동일한 작업을 수행하여 648×36 행렬을 구성한다.

이 행렬에 대해 단계적 선형판별분석을 실시하여 목표자극과 비목표자극을 구분하는 판별함수를 도출한다(이하 2차 판별함수라고 부를 수 있다.).

SBP의 검사단계에서는, RCP와 동일한 방법으로 1차 판별함수를 이용하여 36개 각 문자가 목표문자일 확률을 계산한다.

36개의 확률을 훈련단계에서와 같이 각 문자가 목표문자일 경우에 예상되는 확률분포에 따라 재배열하여 36×36 행렬을 만든다.

이후, 각 행(즉, 각 문자)에 대하여 2차 판별함수를 적용하여 각 문자가 목표문자일 확률을 산출하고, 확률이 가장 높은 문자를 목표문자로 선택한다.

전송율과 관련하여, 문자 입력기의 성능은 1분당 입력가능한 문자의 수로 평가할 수 있다(Furdea et al., 2009).

분당 입력문자 수(written symbol rate: WSR)는 시행당 전송되는 비트(B)와 문자전송율(symbol rate: SR)를 통해서 계산할수 있다(McFarland & Wolpaw, 2003). B는 다음의 수학식 1로 계산된다(Pierce, 1980).

위 공식에서 N은 전체 문자의 개수이며, P는 목표자극이 정확하게 분류될 확률이다. SR은 B를 이용하여 다음의 수학식 2에 따라 계산된다.

최종적으로 WSR은 아래의 수학식 3으로 계산된다.

여기서 T는 한 시행에 걸리는 시간을 분단위로 표시한 값이다.

SR이 0.5보다 작다는 것은 문자를 정확하게 입력하는 빈도보다 오류빈도가 더 많다는 것을 의미한다.

실제 상황에서는 오류를 수정해야하며, 오류를 수정하기 위해서는 한 번의 문자 입력(지우기)을 추가로 해야 한다.

SR이 0.5보다 작은 경우에는 오류가 없는 문장을 만들 수 없으므로, WSR은 0의 값을 가지게 된다.

전술한 실험의 결과는 하기와 같다.

먼저, 정확도와 전송율에 대해 설명한다.

도 5에 RCP와 SBP에 대한 정확도, 분당비트율, 분당문자입력수가 제시되어 있다.

도 5를 참조하면, SBP의 정확도는 83.73%로 RCP의 정확도 66.40보다 통계적으로 유의하게 더 높았으며(t(14)=2.87, p<.05), 정확도의 함수인 분당비트율도 SBP는 16.95로 RCP의 12.08보다 더 높았고(t(14)=3.01, p<.01), 분당입력문자수도 SBP는 2.23으로 RCP의 1.24보다 더 많았다(t(14)=2.71, p<.05).

실험 참가자별로 정확도를 살펴보았을 때, 15명 중 11명은 RCP보다 SBP에서 정확도가 더 높았으며, 3명은 SBP보다 RCP에서 정확도가 더 높았고(4, 6, 12번), 1명은 두 패러다임에서 정확도가 동일하였다(5번).

SBP의 정확도가 더 높았던 11명은 SBP를 먼저 실험한 참가자도 있고, RCP를 먼저 실험한 참가자도 있었다.

그러나 RCP의 정확도가 더 높았던 3명은 모두 SBP를 먼저 실험하고, RCP를 나중에 실험한 참가자들이었으므로, 이들 3명은 연습효과로 인하여 RCP의 정확도가 더 높았을 가능성이 있다.

이를 검증하기 위하여, 실험순서와 실험방법, 실험셋을 독립변인으로하고 정확도를 종속변인으로 하는 라틴방형설계에 의한 변량분석을 실시하였다(Park, 2003). 분석결과 실험 순서의 효과가 유의수준에 근접하였다(F(1,26)=3.02, p=.094). 첫 번째로 실시한 실험의 추정된 정확도 평균은 68.93%였으며, 두 번째로 실시한 실험의 추정된 정확도 평균은 81.43%로, 두 번째로 실시한 실험의 정확도가 더 높은 경향이 있었다.

다음으로, 사건관련전위에 대해 설명한다.

RCP에서 산출한 ERP와 SBP에서 산출한 ERP가 도 6에 제시되어 있다.

목표자극에 대한 P300은 Pz 영역에서 가장 두드러지므로(Polich, 2007), Pz영역의 ERP만 제시하였다.

두 패러다임 모두에서 목표자극에 대한 정적 정점 (positive peak) 진폭이 비목표자극에 대한 정적 정점 진폭보다 통계적으로 유의하게 더 크게 산출되었다(RCP, t(14)=5.58, p<.001; SBP, t(14)=7.33, p<.001). 정적 정점은 자극제시후 약 230ms에 나타났다.

그림 7과 같이 두 패러다임에서 산출한 목표자극의 ERP를 비교하였다. 목표자극에 대한 정적 정점의 진폭은 두 패러다임에서 서로 다른 것으로 나타났는데, SBP의 정적 정점 진폭이 RCP의 정적 정점 진폭보다 통계적으로 유의하게 더 큰 것으로 나타났다(t(14)=2.55, p<.05).

또한, 오류분석과 관련된 내용을 설명한다.

RCP와 SBP에서 오류의 유형을 분석하였다. 그림 8에 오류들이 목표자극으로부터 얼마나 떨어져서 발생하였는지가 제시되어 있다.

RCP의 경우 총 96개의 오류가 발생하였는데, 그 중 78(81.25%)개가 목표자극이 포함된 행 또는 열에서 발생하였다.

SBP의 경우는 총52개의 오류가 발생하였는데, 그 중 30(57.69%)개가 목표자극과 50%이상 함께 반짝이는 문자에서 발생하였다.

RCP의 근접-혼란 오류가 더 높은 경향이 있었다((1)=9.49, p<.01).

한편, 사용상의 용이성은 다음과 같다.

RCP와 SBP를 사용하기가 어느 정도 쉬웠는지를 질문하였다. 모든 실험참가자가 RCP보다는 SBP가 쉬웠다고 응답하였다.

RCP의 사용용이성 평균은 2.60(SD=1.06)으로 '어려웠다'에 해당하는 값을 보였으며, SBP의 사용용이성 평균은 5.20(SD=0.86)으로 '조금 쉬웠다'에 해당하는 값을 보였다. 두 평균은 통계적으로 유의한 차이가 있었다(t(14)=10.22, p<.001).

이하에서는, 전술한 SBP를 적용한 문자입력장치에 대해 구체적으로 설명한다.

도 9는 본 발명에 따른 문자입력장치의 구성을 나타낸 블록 구성도(block diagram)이다.

문자입력장치(1100)는 무선 통신부(1110), A/V(Audio/Video) 입력부(1120), 사용자 입력부(1130), 센싱부(1140), 출력부(1150), 메모리(1160), 인터페이스부(1170), 제어부(1180) 및 배터리(1190) 등을 포함할 수 있다. 도 9에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 문자입력장치가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(1110)는 문자입력장치(1100)와 무선 통신 시스템 사이 또는 문자입력장치(1100)와 문자입력장치(1100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(1110)는 이동통신 모듈(1112), 무선 인터넷 모듈(1113), 근거리 통신 모듈(1114) 및 위치정보 모듈(1115) 등을 포함할 수 있다.

이동통신 모듈(1112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(1113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 문자입력장치(1100)에 내장되거나 외장될 수 있다.

상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(1114)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치 정보 모듈(1115)은 문자입력장치(1100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(1115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(1115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.

도 9를 참조하면, A/V(Audio/Video) 입력부(1120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1121)와 마이크(1122) 등이 포함될 수 있다. 카메라(1121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(1151)에 표시될 수 있다.

카메라(1121)에서 처리된 화상 프레임은 메모리(1160)에 저장되거나 무선 통신부(1110)를 통하여 외부로 전송될 수 있다.

이때, 카메라(1121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

일 예로, 상기 카메라(1121)는 문자입력장치(1100)의 디스플레이부(1151)가 구비된 반대면에 3D 영상 촬영을 위한 제1 및 제2 카메라(1121a, 1121b)가 구비될 수 있고, 상기 문자입력장치(1100)의 디스플레이부(1151)가 구비된 면의 일부 영역에 사용자의 셀프 촬영을 위한 제3 카메라(1121c)가 구비될 수 있다.

이때, 제1 카메라(1121a)는 3D 영상의 소스 영상인 좌안 영상 촬영을 위한 것이고, 제2 카메라(1121b)는 우안 영상 촬영을 위한 것이 될 수 있다.

마이크(1122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(1122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(1130)는 사용자가 문자입력장치의 동작 제어를 위한 입력 데이터를 발생시킨다.

사용자 입력부(1130)는 본 발명에 따라 표시되는 컨텐트들 중 두 개 이상의 컨텐트를 지정하는 신호를 사용자로부터 수신할 수 있다. 그리고, 두 개 이상의 컨텐트를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.

사용자 입력부(1130)는 상기 하나 또는 둘 이상의 컨텐트들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 문자입력장치(1100)가 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.

상기와 같은, 사용자 입력부(1130)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 문자입력장치(1100)의 개폐 상태, 문자입력장치(1100)의 위치, 사용자 접촉 유무, 문자입력장치의 방위, 문자입력장치의 가속/감속 등과 같이 문자입력장치(1100)의 현 상태를 감지하여 문자입력장치(1100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 문자입력장치(1100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 배터리(1190)의 전원 공급 여부, 인터페이스부(1170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(1140)는 근접 센서(1141)를 포함할 수 있다. 상기 근접 센서(141)에 대해서는 나중에 터치스크린과 관련되어 후술된다.

출력부(1150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(1151), 음향 출력 모듈(1152), 알람부(1153), 햅틱 모듈(154) 및 프로젝터 모듈(1155) 등이 포함될 수 있다.

디스플레이부(1151)는 문자입력장치(1100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 문자입력장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 문자입력장치(1100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

또한, 본 발명에 따른 디스플레이부(1151)는 2D 및 3D 표시 모드를 지원한다.

즉, 본 발명에 따른 디스플레이부(1151)는 이하의 도 9에 도시된 바와 같이, 일반적인 디스플레이 장치(1151a)에 스위치 액정(1151b)을 조합하는 구성을 가질 수 있다. 그리고, 스위치 액정(1151b)을 이용하여 광학 시차 장벽(50)을 작동시켜 광의 진행 방향을 제어하여 좌우의 눈에 각기 다른 광이 도달하도록 분리할 수 있다. 때문에 우안용 영상과 좌안용 영상이 조합된 영상이 디스플레이 장치(1151a)에 표시되는 경우 사용자의 입장에서는 각각의 눈에 대응한 화상이 보여 마치 입체로 표시된 것처럼 느끼게 된다.

즉, 디스플레이부(1151)는 제어부(1180)의 제어에 따라, 2D 표시 모드인 상태에서는 상기 스위치 액정(1151b) 및 광학 시차 장벽(50)을 구동시키지 않고, 상기 디스플레이 장치(1151a)만을 구동시켜 일반적인 2D 표시 동작을 수행한다.

또한, 디스플레이부(1151)는 제어부(1180)의 제어에 따라, 3D 표시 모드인 상태에서는 상기 스위치 액정(1151b)과, 광학 시차 장벽(50) 및 디스플레이 장치(1151a)를 구동시켜 상기 디스플레이 장치(1151a)만을 구동시켜 3D 표시 동작을 수행한다.

한편, 상기와 같은 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(1151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 문자입력장치 바디의 디스플레이부(1151)가 차지하는 영역을 통해 문자입력장치 바디의 후방에 위치한 사물을 볼 수 있다.

문자입력장치(1100)의 구현 형태에 따라 디스플레이부(1151)이 2개 이상 존재할 수 있다. 예를 들어, 문자입력장치(1100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(1151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(1151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(1151)의 특정 부위에 가해진 압력 또는 디스플레이부(1151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(1180)로 전송한다. 이로써, 제어부(1180)는 디스플레이부(1151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서(1141)는 상기 터치스크린에 의해 감싸지는 문자입력장치의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(1152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(1110)로부터 수신되거나 메모리(1160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(1152)은 문자입력장치(1100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(1152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(1153)는 문자입력장치(1100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 문자입력장치에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(1153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(1151)나 음성 출력 모듈(1152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(1151) 및 음성출력모듈(152)은 알람부(1153)의 일종으로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(1154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(1154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(1154)은 문자입력장치(1100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

프로젝터 모듈(1155)은, 문자입력장치(1100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(1180)의 제어 신호에 따라 디스플레이부(1151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.

구체적으로, 프로젝터 모듈(1155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(1155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.

프로젝터 모듈(1155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(1151)의 소형화에 유리할 수 있다.

바람직하게, 프로젝터 모듈(1155)은, 문자입력장치(1100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(1155)은, 필요에 따라 문자입력장치(1100)의 어느 위치에라도 구비될 수 있음은 당연하다.

메모리(1160)는 제어부(1180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 전자도서, 동영상, 송수신 메시지 히스토리 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(1160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(1160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

또한, 메모리(1160)는 본 발명에 따라, 3D 또는 2D 웹페이지를 표시하는 웹브라우저가 저장된다.

상기와 같은 메모리(1160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 문자입력장치(1100)는 인터넷(internet)상에서 상기 메모리(1160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(1170)는 문자입력장치(1100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(1170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 문자입력장치(1100) 내부의 각 구성 요소에 전달하거나, 문자입력장치(1100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 문자입력장치(1100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 문자입력장치(1100)와 연결될 수 있다.

상기 인터페이스부는 문자입력장치(1100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 문자입력장치(1100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 문자입력장치로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 문자입력장치가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller)(1180)는 통상적으로 문자입력장치의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(1180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(1181)을 구비할 수도 있다. 멀티미디어 모듈(1181)은 제어부(1180) 내에 구현될 수도 있고, 제어부(1180)와 별도로 구현될 수도 있다.

제어부(1180)의 제어에 따라 SBP를 적용한 문자입력 기능이 구현될 수 있다.

상기 제어부(1180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

한편, 제어부(1180)는 상기 디스플레이부(1151)가 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)로 구비될 경우, 본 발명에 따라, 카메라(121)를 통해 입력된 프리뷰 영상이 상기 유기 발광 다이오드(organic light-emitting diode, OLED) 또는 TOLED(Transparant OLED)의 화면 상에 풀업 표시된 상태에서, 사용자에 조작에 따라 상기 프리뷰 영상의 크기가 조절되면, 상기 화면 상에서 상기 크기가 조절된 프리뷰 영상이 표시된 제1 영역을 제외한 나머지 제2 영역 내의 화소들의 구동을 오프시킴으로써, 전원 공급부(1190)에서 상기 디스플레이부(151)로 공급되는 전원의 소모량을 줄일 수 있다.

전원 공급부(1190)는 제어부(1180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(1180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(1160)에 저장되고, 제어부(1180)에 의해 실행될 수 있다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims

인터페이스부; 디스플레이부; 및 제어부;를 포함하는 사건관련전위를 이용한 장치를 통해 문자를 입력하는 방법에 있어서,
상기 인터페이스부가 사용자와 연결되어, 상기 사용자로부터 특정 정보를 획득하는 단계;
상기 디스플레이부가 36개의 문자를 포함하는 6 X 6 행렬을 표시하는 단계;
상기 제어부가 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝거리도록 제어하는 단계;
상기 36개의 문자 중 사용자가 결정한 제 1 문자가 결정되는 단계;
상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이는 단계;
상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 단계;
상기 사용자의 카운팅 동작에 의해 상기 사용자의 뇌에서 발생한 사건 관련 전위(event-related potential, ERP)를 상기 인터페이스부를 통해 획득하는 단계;
상기 제어부가 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하는 단계; 및
상기 제어부가 상기 추출된 제 1 문자가 상기 디스플레이부를 통해 표시되도록 제어하는 단계;를 포함하되,
상기 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 과정이 제 1 실행이고,
상기 제 1 실행은 총 36번 반짝이는 것이며,
상기 제 1 실행이 완료된 경우,
상기 6 X 6 행렬에 포함된 36개의 문자 중 제 1 문자가 6번 반짝일 때, 상기 제 1 문자 좌우 문자는 각각 4번, 상기 제 1 문자 상하 문자는 각각 3번, 상기 제 1 문자 대각선에 가장 가깝게 존재하는 문자는 각각 2번 상기 제 1 문자와 함께 반짝이는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력방법.
삭제
삭제
제 1항에 있어서,
상기 복수의 서브행렬 중 어느 하나인 제 1 서브행렬이 반짝인 경우, 상기 제 1 서브행렬에 포함된 6개의 문자 중 어떤 문자가 다시 반짝이기 전에 상기 제 1 서브행렬과 중첩되는 문자가 없는 다른 서브행렬들이 두 번 이상 반짝이는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력방법.
제 1항에 있어서,
상기 6 X 6 행렬에서 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 제 1 단계;
상기 제 1 단계를 통해 발생한 ERP에 대하여 단계적 선형판별분석을 수행하는 제 2 단계; 및
상기 단계적 선형판별분석을 통해, 목표자극과 비목표자극을 구별하는 제 1 판별함수를 산출하는 제 3 단계;를 더 포함하고,
상기 제 1 판별함수를 이용하여 상기 제 1 문자를 추출하는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력방법.
제 5항에 있어서,
상기 제 1 단계를 통해 발생한 ERP을 평균하여, 상기 36개의 문자 각각에 대한 ERP를 산출하는 단계;
상기 36개의 문자 각각에 대한 ERP과 제 1 판별함수를 이용하여, 상기 36개의 문자 각각이 목표문자일 확률을 산출하는 단계; 및
상기 산출한 확률을 이용하여 제 2 판별함수를 도출하는 단계;를 포함하되,
상기 제 2 판별함수를 이용하여 상기 제 1 문자를 추출하는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력방법.
삭제
사용자와 연결되어, 상기 사용자로부터 특정 정보를 획득하기 위한 인터페이스부;
36개의 문자를 포함하는 6 X 6 행렬을 표시하는 디스플레이부; 및
상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝거리도록 제어하는 제어부;를 포함하되,
상기 36개의 문자 중 사용자가 결정한 제 1 문자가 결정되고, 상기 복수의 서브행렬 중 상기 제 1 문자가 포함되어 있는 제 1 서브행렬이 반짝이며, 상기 사용자가 반짝이는 횟수를 카운팅(counting)하는 경우,
상기 사용자의 카운팅 동작에 의해 상기 사용자의 뇌에서 발생한 사건 관련 전위(event-related potential, ERP)를 상기 인터페이스부를 통해 획득하고,
상기 제어부는 상기 발생한 ERP를 이용하여 상기 제 1 문자를 추출하고, 상기 추출된 제 1 문자가 상기 디스플레이부를 통해 표시되도록 제어하며,
상기 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 과정이 제 1 실행이고,
상기 제 1 실행은 총 36번 반짝이는 것이며,
상기 제 1 실행이 완료된 경우,
상기 6 X 6 행렬에 포함된 36개의 문자 중 제 1 문자가 6번 반짝일 때, 상기 제 1 문자 좌우 문자는 각각 4번, 상기 제 1 문자 상하 문자는 각각 3번, 상기 제 1 문자 대각선에 가장 가깝게 존재하는 문자는 각각 2번 상기 제 1 문자와 함께 반짝이는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력장치.
삭제
삭제
제 8항에 있어서,
상기 제어부는, 상기 복수의 서브행렬 중 어느 하나인 제 1 서브행렬이 반짝인 경우, 상기 제 1 서브행렬에 포함된 6개의 문자 중 어떤 문자가 다시 반짝이기 전에 상기 제 1 서브행렬과 중첩되는 문자가 없는 다른 서브행렬들이 두 번 이상 반짝이도록 제어하는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력장치.
제 8항에 있어서,
상기 제어부는, 상기 6 X 6 행렬 중 서로 다른 6개의 문자를 포함하는 2 X 3 행렬로 구성된 복수의 서브행렬이 랜덤(random)으로 한번씩 반짝이는 제 1 단계를 수행하고, 상기 제 1 단계를 통해 발생한 ERP에 대하여 단계적 선형판별분석을 수행하며, 상기 단계적 선형판별분석을 통해 목표자극과 비목표자극을 구별하는 제 1 판별함수를 산출하고, 상기 제 1 판별함수를 이용하여 상기 제 1 문자를 추출하는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력장치.
제 12항에 있어서,
상기 제어부는, 상기 제 1 단계를 통해 발생한 ERP을 평균하여, 상기 36개의 문자 각각에 대한 ERP를 산출하고, 상기 36개의 문자 각각에 대한 ERP과 제 1 판별함수를 이용하여, 상기 36개의 문자 각각이 목표문자일 확률을 산출하며, 상기 산출한 확률을 이용하여 제 2 판별함수를 도출하고, 상기 제 2 판별함수를 이용하여 상기 제 1 문자를 추출하는 것을 특징으로 하는, 사건관련전위를 이용한 문자입력장치.