KR100670821B1

KR100670821B1 - 사용자 인터페이스 설계 및 평가 시스템 및 손 상호 작용기반의 사용자 인터페이스 설계 및 평가 시스템

Info

Publication number: KR100670821B1
Application number: KR1020050096230A
Authority: KR
Inventors: 양웅연; 김용완; 손욱호; 김현빈
Original assignee: 한국전자통신연구원
Priority date: 2004-12-21
Filing date: 2005-10-12
Publication date: 2007-01-19
Also published as: KR20060071302A

Abstract

본 발명은 사용자 인터페이스 설계 및 평가 시스템 및 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템을 개시한다.

본 발명에 의하면, 사용자 인터페이스 설계 및 평가 시스템은 사용자 인터페이스 설계부, 인간 모델 상호작용 설계부, 사용자 인터페이스 시제품 시뮬레이션부, 인간 모델 시뮬레이션부 및 사용자 인터페이스 평가부를 포함하여, 사용자 인터페이스 개발에 있어서, 사용자의 사용성(Usability)을 고려한 인터페이스를 개발하기 위하여, 신체 모델과 사용자 인터페이스 모델의 동작 시뮬레이션을 기반으로 인터페이스 설계에 대한 최적화 작업을 수행하는 사용성 평가 피드백 시스템을 제시한다.

이를 통해 최적의 인터페이스 설계를 유도하여 새로운 인터페이스에 대한 사용자의 초기 진입 장벽을 낮추어 쉽게 사용할 수 있도록 하고, 사용자의 작업 성능을 향상시킬 수 있도록 한다. 또한 새로운 제품 개발 단계에서, 빠른 시제품 제작(fast prototyping)과 평가(evaluation) 작업을 지원함으로써 짧은 생명주기(life-cycle)를 가지는 제품의 효율적인 생산 업무에 능동적으로 대처할 수 있다.

Description

사용자 인터페이스 설계 및 평가 시스템 및 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템{User interface design and evaluation system and hand interaction based user interface design and evaluation system}

도 1은 본 발명에 따른 사용자 인터페이스 설계 및 평가 시스템의 구성을 블록으로 도시한 것이다.

도 2는 본 발명에 따른 도 1의 사용자 인터페이스 설계 및 평가 시스템의 구성을 상세한 블록으로 도시한 것이다.

도 3은 본 발명에 따른 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템의 구성을 블록으로 도시한 것이다.

도 4는 본 발명에 따른 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템에서 사용자 인터페이스 시뮬레이션의 일 예의 상세한 흐름을 도시한 것이다.

도 5는 본 발명에 따라 모바일 단말기의 사용자 인터페이스를 설계하고 평가하는 흐름의 일 예를 도시한 것이다.

본 발명은 사용자 인터페이스에 관한 것으로서, 사용자 인터페이스 설계 및 평가를 할 수 있는 시스템에 관한 것이다.

본 발명이 속하는 사용자 인터페이스 개발은 인간-기계-상호작용(MMI)과 인간컴퓨터-상호작용(HCI)의 연구 개발 분야에 속한다.

사용자 인터페이스 설계에 있어, 과거에는 작업의 결과물을 중심으로 하여, 기계의 작업 기능 향상 중심으로 설계가 이루어졌으나, 최근의 기술 동향은 기계적 기능 이외의 요소(예; 작업자)를 함께 고려하여 전반적인 시스템의 작업 효율을 향상시키는 방향으로 진행되고 있다.

그리고, 사용자 인터페이스의 형태가 사용자의 물리적인 상호작용을 통해서 이루어지는 고정적 형태의 시스템에서, 멀티모달 인터페이스를 이용한 다양한 입출력 장치와 가상 인터페이스를 이용한 가상 환경 기반 상호작용 시스템의 형태로, 사용자의 특정 요구에 부합 될 수 있는 유연성을 가지는 방향으로 발전하고 있다.

공학적 측면에서 사용자 인터페이스의 설계 및 평가 방법을 정형화 된 프로세스로 정립하는 기술 분야는, 과거 전문가의 지식을 기반으로 일방적으로 설계 및 평가되는 단계에서, 피실험자 집단을 활용하여 객관적인 사용성 평가 자료를 얻는 시스템을 도입하고 있다.

현재는 앞의 과정에 대한 객관적 신뢰도를 향상시키는 실험 방법론과 통계적 분석 방법론 등이 연구되고 있으며, 앞으로는 인공지능 기반 전문가 시스템 등의 자동화 시스템을 기반으로 사용성 평가 시스템의 효율을 증대시키는 방향으로 기술 개발이 전망되고 있다.

종래의 키보드 디자인 평가 관련된 내용을 보면, 인간공학 요소를 고려한 연구 결과를 적용한 키보드 디자인 출원이 경향이지만, 차후에 이를 실질적으로 검증 평가하는 모델은 부족하다.

사용자 인터페이스의 설계 및 시뮬레이션 기술은 2차원 도면 중심의 설계와 시제품 제작을 이용한 평가의 과정을 되풀이하는 시스템에서, 컴퓨터를 이용한 CAD/CAM/CAE(Computer Added Design/ Computer Added Manufacturing/ Computer Added Engineering) 시스템을 도입하여 물리적인 제작 단계를 최적화시키는 상태에 있으며, 멀티모달(multi-modal) 인터페이스 기술을 접목하여 보다 효율적인 생산 시스템을 구축하는 방향으로 기술이 연구되고 있다.

인간 모델을 이용한 상호작용 설계 및 시뮬레이션 기술에서, 외형적인 모델링 기술은 영화에 가상의 배우를 등장시키는 수준으로 발전하였으나, 온라인으로 실시간에 배우의 모습을 대체하는 가상 인간 표현 기술은 게임 컨텐츠에 활용하는 수준으로 사실성에는 한계를 가지고 있다. 그리고, 독립적인 개체로 동작시키기 위한 인공지능 기술이나 가상 신체의 내부 활동을 사실과 같이 시뮬레이션 하는 기술의 구현은 부분적인 수준에 머무르고 있다.

이하에서 설명될 본 발명이 적용될 예시 적용 분야인 모바일 정보 단말기(핸드폰)관련 기술의 경우, 다양한 시장의 요구와 제품 생명 사이클의 단축화로, 제품의 설계 단계에서부터 실사용자들의 사용성을 고려한 피드백으로 설계를 변경하는 보조 시스템이 개발되고 있다. 그러나, 제한된 피실험자 집단으로부터 얻은 피드백 모델을 사용하는 경우에는 일정한 평가 결과에 대한 신뢰도 한계를 가지게 되고, 제품 기능 중심의 설계를 목적으로 개발된 기술이기 때문에 사용자와의 신체적 상호작용 조건이 가지는 다양성을 정형화/자동화시켜서 제품 개발에 적용시키기에는 한계를 가지고 있다.

새로운 인터페이스 장치에 대한 연구 내용은 그 장치의 동작 원리에 대한 것이 전부이며, 최근에는 산업 공학의 피실험자 테스트 방법론을 체계적으로 적용하여 평가(evaluation) 과정의 완성도를 높이는 내용도 중요시 되고 있다. 즉, "정말 그 UI(User Interface) 시스템이 유용하다는 것을 어떻게 증명하겠는가?"라는 질문에 대한 해답을 구하는 것과 같이, 최근 HCI 관련 연구계의 동향은 새로운 장치 개발에 대한 기반 기술 소개와 함께 체계적/객관적 검증이 이루어진 연구 결과만을 인정하고 있다.

그러나, 현재 사람을 동원한 평가 실험 방법론은 경제적/시간적 부담이 매우 크기 때문에, 이를 최소화 시키는 실험 방법론이 연구되고 있으며, 앞의 장애 요인은 새로운 기기에 대한 발 빠른 UI 연구 개발에 걸림돌이 되고 있다.

사용자 인터페이스를 평가하는 기술에 대한 사전 특허 출원 사례를 정리하면 다음과 같다.

일본공개특허(공개번호: 1996-101737) 유저 인터페이스 평가 장치의 경우는, 가전/사무 기기를 대상으로 사용성 평가 실험을 수행할 때, 실험에서 수집되는 정보를 자동화 시스템을 이용하여 관리하고 그래프 등으로 분석하는 방법을 지원하지만, 피실험자 테스트의 프로세스의 효율성을 높이는 수준에 그치고 있다.

일본공개특허(공개번호: 1996-241191) GUI 자동 평가 장치와 일본공개특허( 공개번호: 2002-123409) GUI 평가 시스템과 그 GUI 평가 방법 및 GUI 평가 프로그램을 기록한 기록 매체의 경우는, 그래픽 기반 사용자 인터페이스인 GUI가 설계된 제품의 기능을 충분히 수행할 수 있도록 설계 가이드(guide)에 따라서 설계되었는지를 평가하고, 설계된 기능을 단계적으로 평가하는 장치이므로, 사용자의 참여를 고려한 사용성 평가에 활용하기에는 한계를 가지고 있다.

새로운 사용자 인터페이스 개발에 대한 사전 특허 출원 사례를 정리하면 다음과 같다.

일본공개특허(공개번호: 2002-220718) 가상 키보드 및 가상 키보드의 터치 위치 결정 방법의 경우는, 터치패널에 가상 키보드를 매핑하여 현실과 같은 키보드 입력 작업을 수행을 지원하는 입력장치의 구현 기술을 다루었으므로, 평면 형태 이외의 다양한 형태(예; layout)및 사용 조건을 고려한 입력 장치 설계에 적용하기에는 한계가 있다.

일본공개특허(공개번호: 1994-332686) 유저 인터페이스 거동 기술 방법, 및 그것을 사용한 유저 인터페이스 장치, 소프트웨어 평가 방법 및 소프트웨어 작성 방법의 경우는, 사용자 인터페이스를 상태 천이 도식(state transition diagram)으로 설계하고, 이를 이용하여 소프트웨어를 평가하고 작성하는 방법을 기술하고 있다. 이것은 사용자 인터페이스와 적용 소프트웨어의 기능 구현에 중심을 두고 있는 설계 및 평가 방법이다.

일본공개특허(공개번호: 1995-056670) 개인 적응형 정보 처리 인터페이스의 경우는, 사용자의 신체적 및 인지적 특성을 고려하는 방법으로, 사용자가 인터페이 스 장치를 사용하는 페이스를 학습하여 그 것에 적응하는 사용자 인터페이스 구현 방법이다.

본 발명의 내용과 같이 신체 동작 시뮬레이션 기술을 사용하는 사전 특허 출원 사례를 정리하면 다음과 같다.

일본공개특허(공개번호: 1995-140889) 인체 시뮬레이션 시험 장치의 경우, 외부의 작용이 인체에 끼치는 영향을 인체 모델(dummy)의 내부에 설치한 다양한 센서를 통하여 수집하여, 주어진 환경에 대한 인체의 수동적인 상호작용 관계를 시뮬레이션 하는 기술이다. 그리고, 자동차, 공장 계기판 등 거대 인터페이스를 중심으로 하는 설계 평가 부분에서는 인체 모델을 활용하고 있지만, 소형 가전과 정보 단말 기기 등 세밀한 작업에 대한 적용은 부족한 상태이다.

미국공개특허(공개번호: 20020042703) Method and system for analyzing behavior of whole human body by simulation using whole human body model의 경우에도 사용자의 역학적 신체 변화를 시뮬레이션 하기 위한 시스템 관련 기술을 다루고 있으나, 자동차 사고 등의 외력(external force)이 가해지는 경우와 같이 수동적 동작 변화 상황을 대상으로 하고 있으며, 적용 분야를 산업/대형 기계 제품 평가를 적용 대상으로 하고 있다.

작업 성능 향상 및 사용자 편의성 향상 등의 다양한 목적을 가지고 사용자 인터페이스를 개발하는 연구 내용을 정리하면 다음과 같다.

키보드 입력 장치 분야에서는 3벌식 자판 설계과 같이(예; 한국등록특허(등록번호: 0390361) 한글 키보드 시스템, 한국공개특허 (공개번호: 2002-0038185) 3 벌식 자판 배열을 갖는 휴대형 이동 단말기) 자판의 배열 방법의 변경에 따른 입력 성능 향상 방법이 제안되고 있으나, 객관적인 신뢰성이 부족한 소규모 피실험자 실험 결과를 제시하는 사례가 많으며, 다양한 자판 배열에 따른 상호 우수성 평가 등에 대한 객관적인 데이터가 부족한 상태이다.

신체 시뮬레이션 중 본 발명에서 중점적으로 다루는 손 시뮬레이션기술에 관련된 연구계의 사례를 보면, 전통적인 로봇 공학 분야에서는 인간의 행동을 모방한 로봇을 개발하려는 목적으로, 역학적(kinematics) 관점에서 인체 시뮬레이션 기술을 연구하고 있으며, 햅틱 인터페이스를 연구하는 가상현실 분야에서는 임의의 가상 물체와 접촉하는 인체(손) 모델에 가해지는 정확한 힘(force)을 계산하는 시뮬레이션 연구를 진행하고 있다.

사용자 인터페이스 평가 방법론의 하나인 GOMS(GOALS, OPERATORS, METHODS, and SELECTION RULES) 모델의 경우, 인터페이스를 사용하는 과정을 단계적으로 기술하고, 각각의 단계에서 필요한 자원(human resource)을 시간 등의 측정 단위로 설정하여, 임의의 입력 값에 대한 주어진 인터페이스 장치의 성능을 시뮬레이션/평가한다. 그러나, 이 모델은 사용자 부분의 다양성을 일반화 시키는 한계를 가지고 있으므로, 주어진 인터페이스 장치의 다양성과 사용자의 개인적 특징(신체 정보) 등의 다양성이 조합되어 나타나는 다양한 관계를 시뮬레이션 하는 경우에는 한계를 가진다.

따라서 종래에는 어느 경우라도 다양한 환경에서 사용자 인터페이스를 제공하고 이를 평가하는 마땅한 방법이 제시되지 못하고 있다.

본 발명이 이루고자 하는 기술적인 과제는, 상기의 문제점들을 해결하기 위해, 사용자 인터페이스 설계 및 평가 시스템 및 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 의한, 사용자 인터페이스 설계 및 평가 시스템은, 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템에 있어서, 사용자 인터페이스 개체 및 사용자 인터페이스를 설계하고, 각 단위 개체에 동작 속성을 부여는 사용자 인터페이스 설계부; 상기 사용자 인터페이스 내부 개체가 외부와 교환해야 하는 상호작용 정보를 관리하며, 사용성 평가와 관련된 정보를 관리하여 상기 설계된 사용자 인터페이스에 대한 시뮬레이션을 수행하는 사용자 인터페이스 시제품 시뮬레이션부; 사용자 인터페이스 사용성 평가할 인체에 대한 인체 모델을 설계하고, 상기 설계된 인체 모델의 동작 특성 모델을 저작(authoring)하는 인간 모델 설계부; 상기 인체 모델이 상기 사용자 인터페이스 개체와 상호작용을 할 때의 정보를 관리하여 시뮬레이션을 수행하는 인간 모델 시뮬레이션부; 및 상기 생성된 사용자 인터페이스 모델과 인체 모델을 이용한 사용성 평가 실험의 내용이 되는 콘텐츠 기반의 입력 데이터를 관리하며, 상기 사용자 인터페이스 시제품이 시뮬레이션된 결과와 인간 모델이 시뮬레이션된 결과를 이용하여 인간 모델을 따른 사용자 인터페이스 시제품에 대한 사용성 평가 실험을 하여 상기 설계된 사용자 인터페이스 모델에 대한 사용성을 평가하는 사용자 인터페이스 사용성 평가부; 를 포함하는 것을 특징으로 한다.

상기 사용자 인터페이스 설계부는 인터페이스 개체 설계를 지원하며, 이용 가능한 입출력 인터페이스 도구를 이용하여 2차원이나 3차원의 사용자 인터페이스를 설계하며, 각각의 단위 개체에 동작 속성을 부여하는 것을 특징으로 하며, 상기 사용자 인터페이스 설계부는 설계된 사용자 인터페이스의 동작을 소정의 방법에 따라 시뮬레이션하고 설계된 모델을 검증하는 것을 특징으로 한다.

이때 상기 사용자 인터페이스 시제품 시뮬레이션부는, 사용자 인터페이스 설계의 물리적 데이터인 형상 정보를 수정하며, 인체를 포함한 외부 개체가 사용자 인터페이스 구성 개체와 상호작용을 할 때에 사용자 인터페이스 내부 개체가 외부와 교환해야 하는 상호작용 정보를 관리하며, 사용성 평가와 관련된 인터페이스의 초기값을 설정하고, 소정의 피드백 데이터를 수신하여 인터페이스 구성의 변경에 대한 기준 정보를 제시하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하며, 상기 사용자 인터페이스 설계부에서 정의된 모델 데이터와 사용자 인터페이스 형상 정보 부분, 사용자 인터페이스 상호작용 정보 부분 및 사용자 인터페이스의 사용성 평가 정보를 연계하여 시뮬레이션을 수행하는 것을 특징으로 한다.

또한 상기 인간 모델 설계부는, 인체를 그래픽을 사용해서 구성하여 표시하여 기본적인 인간의 신체 모델의 설계를 지원하며, 사용자 인터페이스 사용성 평가 실험을 위한 인체 모델을 설계하고, 인체 해부학 및 움직임 분석학에 따라 상기 설계된 인체 모델의 동작 특성 모델을 저작(authoring)하며, 정상적인 인체의 동작 데이터를 이용하거나, 특정 제약 조건이 부가된 상태의 동작 데이터를 이용하거나 또는 임의의 동작데이터를 생성하여 상기 설계된 인체 모델의 동작을 시뮬레이션하고 설계된 모델을 검증하는 것을 특징으로 한다.

그리고 상기 인간 모델 시뮬레이션부는, 필요할 경우 설계가 완성된 상기 인체 모델의 형상 정보를 변경하며, 사용자 인터페이스 개체와 상호작용을 할 때 인체 모델이 받게 되는 정보와 상대 개체에 영향을 주는 요소를 저작하며, 사용성 평가와 관련된 인체 모델의 초기값을 설정하고, 소정의 피드백 데이터를 수신하여 인체 시뮬레이션 모델의 내부 파라미터를 갱신하며, 인간 모델 설계부에서 정의된 모델 데이터와 인간 모델 형상 정보, 인간 모델 상호작용 정보 및 인간 모델 사용성 평가 정보 부분의 정보를 연계하여 시뮬레이션을 수행하는 것을 특징으로 한다.

상기 사용자 인터페이스 사용성 평가부는, 상기 생성된 사용자 인터페이스 모델과 인간 모델을 이용한 사용성 평가 실험의 내용이 되는 콘텐츠 기반의 입력 데이터를 관리하며, 상기 입력 데이터로부터 선정된 데이터를 사용성 평가 실험 단계에 적합한 단위로 분리하여 상기 사용자 인터페이스 시제품 시뮬레이션부에 제공하며, 소정의 입력 데이터와 상기 사용자 인터페이스 시제품 시뮬레이션부의 시뮬레이션 결과 및 상기 인간 모델 시뮬레이션부의 시뮬레이션 결과를 이용하여 사용성 평가 실험을 처리하여 사용성을 평가하며, 상기 각 시뮬레이션부에서 설계된 상호작용 정보를 교환하는 관계를 설정하는 것을 특징으로 하며, 이때에 상기 사용자 인터페이스 사용성 평가부는, 평가 결과에 대한 결과 값을 처리하여 얻어진 상기 인체 모델에 대한 최적의 사용자 인터페이스 설계 결과를 사용자에게 출력하며, 최적화된 사용자 인터페이스 설계 결과와 함께 상기 신체 모델로 사용자 인터페이스 를 사용하는 모습을 동영상을 포함하는 출력으로 생성하는 것을 특징으로 한다.

상기 사용자 인터페이스 시제품 시뮬레이션부는 상기 사용자 인터페이스 사용성 평가부와 소정의 피드백 데이터 정보를 교환하는 것을 특징으로 한다.

또한 상기 인간 모델 시뮬레이션부는 상기 사용자 인터페이스 사용성 평가부와 소정의 피드백 데이터를 교환하는 것을 특징으로 한다.

상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템은, 사용성 평가 실험의 측정 기준이 되는 신체 해부학적 파라미터, 인간 공학적 분석에 관련된 파라미터, 내부적 제약 조건 및 외부적 제약조건을 설계하여 설계된 모델의 형상에 동작 특성을 부여하는 손 모델 준비 수단; 사용자 인터페이스의 사용성을 평가하기 위한 데이터베이스를 관리하며, 그 데이터베이스로부터 사용성 평가 시뮬레이션에 사용될 입력 데이터를 제공하는 평가 실험용 입력 데이터 준비 수단; 사용자의 직접 상호작용을 수행하는 인터페이스 외형을 설계하며, 손을 이용하여 사용자 인터페이스 단위개체와 상호작용을 할 때, 두 개체 사이에 교환되어야 하는 상호작용 정보를 정의하며, 인터페이스의 동작 속성 값을 변경하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하는 모델 준비 수단; 및 상기 수단들로부터의 결과 데이터를 이용하여 손 모델 및 사용자 인터페이스 시뮬레이션 결과를 포함한 사용성 평가를 하여 최적의 사용자 인터페이스 설계 결과를 얻어내는 사용성 평가 시뮬레이션 수단;을 포함하는 것을 특징으로 한다.

이 시스템은 상기 사용성 평가 시뮬레이션 수단의 사용성 평가 결과를 소정 의 기준값과 비교하는 수단;을 더 포함하여, 상기 사용성 평가 결과가 비교 수단의 평가 결과가 기준값보다 크지 않으면 이를 상기 모델 준비 수단으로 전달하여 사용자 인터페이스 외형을 다시 설계하게 하는 것을 특징으로 한다.

상기 평가 실험용 입력 데이터 준비 수단은, 소정의 인터페이스 활용 시나리오를 중심으로 사용자 인터페이스의 사용성을 평가하는 목적에 적합한 데이터베이스를 관리하며, 그 데이터베이스로부터 평가 시뮬레이션에 적합한 입력 데이터를 선정하거나 난수 발생을 포함하는 방법을 통해 입력 정보들을 생성하며, 사용성 평가 시뮬레이션에 사용될 인체 모델과 사용자 인터페이스 모델의 상호작용 최소 단위에 대응하도록 입력 데이터를 분해/결합하여 제공하는 것을 특징으로 하며, 상기 모델 준비 수단은, 사용자의 직접 상호작용을 수행하는 인터페이스 외형을 설계하며, 설계된 모델은 객체 기반 설계 방법에 따라 상호작용 단위 개체에 대한 속성을 공간 및 시간 속성을 포함한 다차원 영역에서 변경할 수 있도록 하며, 입력 및 출력을 중심으로 상호작용 개체의 동작 속성을 정의하며, 일정한 실험 기준에 부합하는 형상 정보를 설정하며, 손을 이용하여 사용자 인터페이스 단위개체와 상호작용을 할 때에 개체들 사이에 교환되어야 하는 상호작용 정보를 정의하며, 사용자 인터페이스 사용성 평가와 관련된 인터페이스의 초기값을 설정하고, 인터페이스 동작 속성 값을 변경하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하는 것을 특징으로 한다.

이하의 본 발명에 대한 설명에서 사용되는 용어를 미리 정리한다.

CAD: Computer Added Design, 컴퓨터를 이용한 설계

GUI: Graphic User Interface, 그래픽 사용자 인터페이스(2차원 상호작용 중심)

HCI: Human Computer Interaction, 인간 컴퓨터 상호작용

HM: Human Model, 인체(Human Body Model) 모델, 인간 모델

IEA: Information Electronic Appliance, 정보 가전 기기

MIT: Mobile Information Terminal, PDA 핸드폰과 같은 모바일 정보 단말기, 이동형 정보 기기

MMI: Man Machine Interaction, 인간 기계 상호작용

UI: User Interface, 사용자 인터페이스

VUI: Virtual User Interface, 가상 사용자 인터페이스

HMD: Head/Helmet Mounted Display, 머리에 착용하는 디스플레이 장치

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 하나의 실시 예를 상세히 설명한다.

사용자 인터페이스의 설계 및 평가를 지원하는 이 시스템은, 일반적인 2차원 환경 기반의 CAD 시스템 관련 기술이나 3차원 가상환경 기반의 CAD 시스템 관련 기술을 이용하여 사용자 인터페이스를 설계하는 사용자 인터페이스 설계부(100)와 주요 시뮬레이션 개체를 생성하여 인간 모델을 설계하는 인간모델 설계부(120)를 포함한다. 그리고, 사용성 평가 방법론의 적용이 가능하도록 사용자 인터페이스 설계 부(100)에서 설계된 사용자 인터페이스와 인간 모델의 세부 파라미터를 조정하고, 사용성 평가 시뮬레이션에 앞서서 독립적인 테스트가 가능하도록 구성된 사용자 인터페이스 시제품 시뮬레이션부(110)와 인간모델 시뮬레이션부(130)를 포함한다. 마지막으로, 앞의 두 시뮬레이션부(110, 130)의 기능을 활용하여 주어진 입력 데이터를 기준으로 최적의 사용자 인터페이스 설계값을 도출할 수 있도록 사용성 평가 시뮬레이션을 수행하는 사용자 인터페이스 사용성 평가부(140)를 포함한다.

사용자 인터페이스 설계부(100), 사용자 인터페이스 시제품 시뮬레이션부(110), 인간모델 설계부(120) 및 인간모델 시뮬레이션부(130)는 사용자 인터페이스 사용성 평가부(140)의 동작을 위한 준비 과정에 해당하는 것으로, 현재 CAD/CAM/CAE관련 기술 및 가상 인체 모델링 및 애니메이션 기술과 산업 공학 분야의 사용성 평가 기술을 이용하여 용이하게 구현할 수 있다.

도 2는 도 1의 본 발명에 따른 사용자 인터페이스 설계 및 평가 시스템의 구성의 상세한 일 예를 블록으로 도시한 것이다.

사용자 인터페이스(UI; User Interface) 설계부(100)는 UI가 가지는 목적/기능(function)에 중심을 두고 UI를 설계한다.

UI 설계 지원 시스템(101)은 일반 3차원 CAD 프로그램과 같이 기본적인 인터페이스 개체 설계를 지원하는 부분이며, 2D/3D Layout 설계 수단(102)은 현재의 다양한 입출력 인터페이스 장치, 예를 들면 2차원 데스크탑 환경의 마우스 인터페이스 장치, 3차원 가상 몰입 환경의 HMD와 3차원 마우스 장치와 같은 장치들을 이용하여 2D/3D 형태의 UI를 설계하는 부분이다.

동작 속성 설계 수단(103)은 각각의 단위 개체에 동작 속성을 부여하는 부분으로 UI의 구성 단위들의 동작 속성, 예를 들면 구성 부품의 이동 방향, 회전 축 등, CAD 툴에서 사용되는 action property와 같은 속성들을 설정하고, 입력부/처리부/출력부로 구성된 하위 단위로 표현하여, 상태 전이 다이어그램(state diagram)으로 UI의 동작 구조인 흐름도를 설계하는 부분이며, UI 동작 시뮬레이션 수단(104)은 설계된 사용자 인터페이스 시제품(protptype)의 동작을 CAD/CAE툴과 같은 환경에서 시뮬레이션하고 설계된 모델을 검증하는 부분이다.

사용자 인터페이스 시제품(UI prototype) 시뮬레이션부(110)는 UI 장비의 구성 개체 사이의 상호작용, 예를 들면 기계적 운동으로, 부품 1에 의해 부품 2가 힘을 받아 이동하는 것과 같은 상호작용을 포함하여, 사용자를 대표로 하는 외부 개체와의 상호작용 관계, 예를 들면 손가락으로 키보드의 버튼이 눌리는 상황을 저작(authoring)하고 시뮬레이션을 지원한다.

UI 형상 정보 수단(114)은 사용자 인터페이스 설계의 형상 정보인 물리적 데이터, 예를 들면 CAD시스템에서 부품의 물리량을 표현하는 요소, 외형 크기, 무게, 재질에 따른 강성 값 변화 등의 물리적 데이터를 수정하는 부분이며, UI 상호작용 정보 수단(113)은 인체를 포함한 외부 개체가 UI 구성 개체와 상호작용을 할 때, 사용자 인터페이스 내부 개체가 외부와 교환해야 하는 상호작용 정보, 예를 들면 충격/피로도 발생 정도, CAE 툴의 경우와 같이, 동적 시뮬레이션을 수행할 때 적용되는 파라미터로 부품의 내구성/피로도 값 및 부품이 접촉하는 다른 개체에게 작용시키는 힘의 값 등과 같은 상호작용 정보를 로드, 저장 및 변경하여 관리 (management)하는 부분이다.

UI 사용성 평가 정보 수단(112)은 사용성 평가와 관련된 인터페이스의 초기값, 예를 들면 인터페이스 버튼과 같은 개체의 위치, 특정 디자인 유형 선택 및 그에 대한 소비자 선호도를 반영한 점수 등의 초기값을 설정하고, 사용자 인터페이스 사용성 평가부(140)의 피드백 데이터를 받아서, 인터페이스 구성의 변경에 대한 기준 정보, 예를 들면 버튼 눌림 강도를 약하게 수정, 버튼 눌림의 내구성 변경, 버튼 위치 변경 등의 정보들을 제시하고, 디자인 평가 관점에서 버튼의 위치 변화에 따른 점수 배분률 변경 등과 같은 인터페이스의 내부 구성 요소의 평가 요소를 갱신하는 부분이다.

이때에 상기의 인터페이스 버튼과 같은 개체의 위치, 특정 디자인 유형 선택 및 그에 대한 소비자 선호도를 반영한 점수 등과 같은 초기값을 사용하는 사용성 테스트를 위해서 현재 제품인 사용자 인터페이스의 파라미터를 설정하고 변경하게 된다.

그리고 사용자 인터페이스 사용성 평가부(140)의 피드백 데이터는 UI 사용성 평가 정보 수단(112)이 설정한 값에 대한 평가 정보이다.

그리고 UI 동작 제어 수단(115)은 사용자 인터페이스 설계부(100)에서 정의된 모델 데이터와 UI 형상 정보 수단(114), UI 상호작용 정보 수단(113) 그리고 UI 사용성 평가 정보 수단(112)의 정보를 연계하여 시뮬레이션을 수행하는 부분이다. 즉, 사용자 인터페이스 설계부(100)에서 정의된 모델 데이터는 파라미터 기반의 모델링 기법으로 제작된 것이므로, UI 형상 정보 수단(114), UI 상호작용 정보 수단 (113) 및 UI 사용성 평가 정보 수단(112)을 통해 모델을 구성하는 여러 요소(property)를 변경된 값을 이용하여 시제품 시뮬레이션을 수행(예; 컴퓨터 상에서 시행되는 3차원 모델의 조작)한다.

UI 시뮬레이션 통신 수단(111)은 사용자 인터페이스 시제품 시뮬레이션부(110)와 사용자 인터페이스 사용성 평가부(140) 사이의 정보 교환을 처리하는 기능을 제공하다.

인간 모델(Human Model) 설계부(120)는 UI에 대한 신체적 상호작용에 있어서 주로 사용 되는 신체 부분을 중심으로 설계/변경을 수행한다. 예를 들면 본 발명의 실시의 일 예인 모바일 정보 단말기 사용자 인터페이스 개발의 경우, 기기의 사용 행위인 상호작용에서 주가 되는 부분이 손(hand)이기 때문에 손 부분을 중심으로 인체 모델의 설계 및 이미 작성되어 데이터베이스의 형태로 저장되어 있는 3차원 모델인 템플릿의 변형이 이루어지며, 사용 피로도 측정을 목적으로 팔 또는 어깨 모델을 포함하거나, 작업 성능 측정 시뮬레이션을 위하여 시선(view vector) 요소를 추가하기 위한 머리 모델을 본 발명에 따른 작업에 포함한다.

인체 모델의 구성은 3차원 가시화를 외형적인 요소로 피부에 해당하는 3차원 다각형망(polygon mesh)과 조작 애니메이션 생성 등의 동작 제어를 위한 뼈대(bone) 구조, 그리고 사용성 평가 시뮬레이션을 위해 해부학적으로 보다 자세한 뼈대 사이의 근육 및 힘줄 구조를 포함할 수 있다.

HM 설계 지원 시스템(121)은 3차원 그래픽 기술을 활용하여 기본적인 인간의 신체 모델의 설계를 지원하는 부분이다. 예를 들면 데이터베이스/템플릿 시스템을 기반으로 다양한 특징을 가진 신체 모델 설계를 지원한다. HM 설계 지원 시스템(121)의 기능은 현재 상용 툴인 Maya, 3D studio MAX, Poser 등이 제공하는 소프트웨어 개발용 라이브러리(SDK; software development kit)를 사용하거나, 3차원 컴퓨터 그래픽스 방법을 사용하여 구현할 수 있다.

HM 설계 수단(122)은 가상 인간(Virtual Human)을 설계하는 일반 상용 툴과 같이 HM 설계 지원 시스템의 정보를 활용하여 사용자 인터페이스 사용성 평가 실험에 적합한 인체 모델을 설계하는 부분이다. 예를 들어 양손을 사용하는 핸드폰 조작 시나리오를 대상으로 사용성 평가를 실시하는 경우, 상용의 모델링 수단을 이용하여 손 부분만을 생성한다. 예를 들면 대표적 상용 프로그램인 3D StudioMAX 혹은 Maya 등의 프로그램을 이용하여 인체의 손 모델을 모델링할 수 있다. 이와 같은 범용의 프로그램을 그대로 사용하거나, 그 프로그램들에서 제공되는 SDK(Software Development Kit)의 프로그래밍 라이브러리를 이용하여 상용 프로그램에서 제공하는 기본적인 기능 이외에 본 발명에 따른 새로운 기능을 추가할 수 있다는 것은 자명한 것이다.

본 발명에 따라 HM이 생체 활동을 포함한 신체적 운동을 통한 사용자 인터페이스와의 상호작용을 대상으로 시뮬레이션을 수행한다. 따라서 HM 동작 속성 설계 수단(123)은 인체 해부학 지식을 기초로, 앞에서 설계된 인체 모델의 동작 특성 모델을 저작(authoring)하는 부분이다. 여기에서의 동작 속성의 의미는 움직임 해부학(movement anatomy)의 이론을 적용하는 것으로, 예를 들어, 뼈와 근육 및 힘줄 그리고 피부로 구성된 핸드 모델이 단순한 다관절 연결 구조로 모든 손 모양의 정 의가 가능한 것은 아니므로, 특정 관절의 움직임이 연결된 다른 관절에 영향을 미치는 속성을 가지는 것을 의미한다.

HM 동작 시뮬레이션 수단(124)은 정상적인 인체의 동작 데이터인 3차원 컴퓨터 애니메이션의 제작 수단과 같이 모션 캡쳐 장치를 통해서 획득된 데이터, 또는 실시간 동작 추적 장치를 통해서 획득된 모션 데이터를 이용하거나, 행동 범위의 제약과 같은 특정 제약 조건이 부가된 상태의 동작 데이터를 이용, 또는 임의의 동작데이터를 생성하여 설계된 인체 모델의 동작을 시뮬레이션하고 설계된 모델을 검증하는 부분이다.

인간 모델(Human Model) 시뮬레이션부(130)는 다음과 같이 구성되고 동작한다.

HM 형상 정보 수단(134)는 실험의 필요성에 따라, 설계가 완성된 인체 모델의 형상 정보인HM의 외형을 결정하는 물리적 수치를 변경하는 부분이며, HM 상호작용 정보 수단(133)은 사용자 인터페이스 개체와 상호작용을 할 때 인체 모델이 받게되는 정보, 예를 들면 손을 포함하는 인체가 받는 피로도와 같이 상대 개체에 영향을 주는 요소와 상대 개체로부터 HM의 대상 개체가 받는 피로도의 수치를 갱신하는 것과 같은 정보들을 저작하고 사용자 인터페이스 사용성 평가부(140)와 연동되어 실행될 경우에는 실시간 갱신 작업을 담당한다.

HM 사용성 평가 정보 수단(132)은 사용성 평가와 관련된 인체 모델의 초기값, 예를 들면 특정 디자인에 대한 선호 경향, 특정 동작에 대한 선호도/피로도와 같은 초기값을 설정하고, 사용자 인터페이스 사용성 평가부(140)의 피드백 데이터 를 받아서, 인체 시뮬레이션 모델의 내부 파라미터를 갱신하는 부분이다. 예를 들면 사용자 인터페이스 사용으로 인한 신체 외부로부터의 힘의 작용 및 이에 대한 누적 값과 같은 파라미터를 갱신한다.

사용자 인터페이스 사용성 평가부(140)의 피드백 데이터는 상기에서 이미 설명한 바 있다.

HM 동작 제어 수단(135)은 3차원 컴퓨터 그래픽 애니메이션이나 온라인 게임용 캐릭터 제어 엔진 소프트웨어 또는 LS-DYNA와 같은 상용의 생체 역학 시뮬레이션 프로그램과 같이, 인간모델 설계부(120)에서 정의된 모델 데이터와 HM 형상 정보 수단(134), HM 상호작용 정보 수단(133) 그리고 HM 사용성 평가 정보 수단(132)에서 출력되는 정보를 연계하여 시뮬레이션을 수행하는 부분이다.

HM 시뮬레이션 통신 수단(131)은 인간 모델 시뮬레이션부(130)와 사용자 인터페이스 사용성 평가부(140) 사이의 정보 교환을 처리한다.

이상의 설명과 같이, 사용자 인터페이스 설계부(100), 사용자 인터페이스 시제품 시뮬레이션부(110), 인간모델 설계부(120) 및 인간모델 시뮬레이션부(130)는 컴퓨터 공학, 인간 공학, 산업 공학 등과 같은 해당되는 분야의 기술 및 기존 상용 프로그램에서 제공되는 개발용 라이브러리 등을 통해서 소프트웨어의 형태로 구현될 수 있다는 것은 당업자의 입장에서는 자명한 것이다.

사용자 인터페이스(User Interface) 사용성(Usability) 평가부(140)는 다음과 같이 구성되어 동작한다.

입력 DB(141)는 사용자 인터페이스 모델과 사용자 모델(인간 모델; Human Model)을 이용한 사용성 평가 실험의 내용이 되는 콘텐츠 기반의 입력 데이터를 관리하는 부분이며, 입력 데이터 처리 수단(142)은 입력 DB(141)로부터 선정된 데이터를 사용성 평가 실험 단계에 적합한 단위로 분리하여 사용성 평가 시뮬레이션의 입력단에 제공하는 부분이다.

UI 사용성 평가 시뮬레이션 처리 수단(143)은 입력 데이터와 사용자 인터페이스 시제품 시뮬레이션부(110)와 인간 모델 시뮬레이션부(130)를 이용하여 사용성 평가 실험을 처리하는 부분으로, 각 시뮬레이션부(110, 130)에서 설계된 상호작용 정보를 교환하는 관계를 설정한다. 예를 들면, UI의 특정 버튼과 사용자 손 모델의 특정 손가락 사이의 관계를 설정함으로써, 특정 버튼의 동작을 위한 외부 힘의 최소 크기량 정보를 UI 사용성 평가 시뮬레이션 처리 수단(143)에 포함된 손가락 처리 수단(도면에는 별도로 도시되지 않음)에 전달하고, 버튼의 동작으로 인한 충격량 발생의 전달 정도를 전달한다. 동시에 상기의 손가락 처리 수단은 접촉하는 상대 UI 개체에게 작용하는 힘의 크기를 전달하고, 상대로부터 수용되는 HM의 충격 흡수량을 전달받을 수 있게 된다.

출력 데이터 처리 수단(144)은 평가 결과에 대한 결과 값을 처리하는 부분이며, 최적화된 UI 설계 및 평가 결과 출력 수단(145)은 앞의 UI 사용성 평가 시뮬레이션 처리 수단(143)을 통해 주어진 인체 모델과 입력 데이터에 대한 최적의 사용자 인터페이스 설계 결과를 출력한다.

'UI 사용성 평가'라는 것은 UI 디자이너가 설계한 특정 제품과, 사용성 평가에 사용될 신체 모델(예를 들면 핸드 모델)과, 평가에 사용될 컨텐츠인 입력 내용 의 결정으로, 하나의 평가 실험인 최적의 값을 얻기 위한 단위 실험(type A라고 한다)이 이루어질 수 있다. 상기에 설명된 것과 같은 신체 모델 시뮬레이션, UI 시뮬레이션, 입력 데이터 처리 수단의 상호 연동 수행으로, type A의 평가 점수가 결정되면, 시뮬레이션 수행자가 임계값(threshold)을 미리 지정하고, 그 값을 기준으로 다른 type B의 실험을 추가로 진행 할 것인지, 아니면 현재의 디자인 설정 상태 type A의 결과를 수용하여 제품 제작에 반영할 것인지 등을 결정할 수 있다. 이와 같은 과정을 통해 인체 모델과 입력 데이터에 대한 최적의 사용자 인터페이스 설계 결과를 결정할 수 있다.

최적화 결과물 애니메이션 생성 수단(146)은 최적화된 UI 설계 결과와 함께 주어진 신체 모델로 UI를 사용하는 모습을 애니메이션으로 생성한다. 최적화된 UI 설계 및 평가 결과 출력 수단(145)으로부터 얻은 정보를 이용하여 결정된 파라미터를 적용하여 사용자 인터페이스 시제품 시뮬레이션부(110) 및 인간모델 시뮬레이션부(130)로 실시간 3차원 영상을 생성하거나 비디오의 형태로 녹화 기록하여 출력한다.

상기와 같은 데이터 송수신을 위해 사용자 인터페이스 사용성 평가부(140)는 평가 시뮬레이션 통신 수단(147)을 통해 사용자 인터페이스 시제품 시뮬레이션부(110) 및 인간모델 시뮬레이션부(130)와 연결된다.

상기와 같은 본 발명에 따른 동작을 지원하기 위한 상기의 각각의 구성 요소의 모델 내부 및 외부 요소와의 상호작용에 대한 영향 관계를 설정하는 부분에서, 본 발명이 다루는 제품은 예를 들면 자동차 내부 운전석의 디자인, 정보 단말기의 인터페이스부 디자인 등과 같은 현물(real object)이거나, 혹은 예를 들어 HMD 기반 가상현실 시스템에서 가상 공간에 시연되는 3차원 메뉴와 같은 가상 개체(virtual object)일 수 있다. 그러므로, 설계부(100, 120) 및 시뮬레이션부(110, 130)는 현물과 가상개체 각각의 경우를 구별하여 데이터를 기록하고, 각각의 경우에 따른 데이터 교환을 지원한다.

도 2에서 사용자 인터페이스 설계부(100)와 사용자 인터페이스 시제품 시뮬레이션부(110)가 각각 인간 모델 설계부(120)와 인간 모델 시뮬레이션부(130)과 동일한 구조를 가지고 있는 이유는, 손(hand)이라는 사람의 상호작용 인터페이스도, 오랜 시간에 걸친 진화 과정을 통하여, 사람의 사고작용과 행동 양식에 맞추어 기본 설계가 끝난 인터페이스이기 때문이다. 이를 더 확장하여 특정 신체 부분에 대한 동작의 제한을 받는 장애인의 경우와 같이 사용자 측면의 다양한 변화 조건을 수용하기 위해서 상기의 구조와 유사한 구조를 가질 수 있다.

도 3은 본 발명에 따른 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템의 구성의 다른 예를 블록으로 도시한 것이다. 도 3의 구성은 도 2의 구성을 구체적으로 구현하는 시스템의 일 예이다.

예를 들면 핸드폰 사용 인터페이스와 같은 손 상호 작용 기반의 사용자 인터페이스를 설계 및 평가하는 이 시스템은, 손 모델 준비 수단(300), 평가 실험용 입력 데이터 준비 수단(310), 모델 준비 수단(320), 사용성 평가 시뮬레이션 수단(330), 비교 수단(340) 및 최적화 모델 출력부(350)를 포함한다.

손 모델 준비 수단(300)은 사용성 평가 실험의 측정 기준이 되는 신체 해부 학적 파라미터를 설계하고(이는 HM설계 수단(122)에 대응된다), 인간 공학적 분석에 관련된 파라미터를 설계하고(이는 HM 사용성 평가 정보 수단(132)에 대응됨), 내부적 제약 조건을 설계하며(이는 HM동작 속성 설계 수단(123)에 대응), 외부적 제약조건을 설계하여(이는 HM상호작용 정보 수단(132)에 대응된다) 설계된 모델의 형상에 동작 특성을 부여한다.

평가 실험용 입력 데이터 준비 수단(310)은 도 2에서 설명된 것과 같은 인터페이스 활용 방법에 따라 사용자 인터페이스의 사용성을 평가하는 목적에 적합한 데이터베이스(이는 입력DB(141)에 대응됨)를 관리하며, 그 데이터베이스로부터 평가 시뮬레이션에 적합한 입력 데이터를 선정하거나 난수 발생을 포함하는 방법을 통해 입력 정보들을 생성하며(입력DB(141)에 대응됨), 사용성 평가 시뮬레이션에서 인체 모델과 사용자 인터페이스 모델의 상호작용 최소 단위에 대응하도록 입력 데이터를 분해/결합하여 제공(입력 데이터 처리 수단(142)에 대응됨)한다.

모델 준비 수단(320)은, 사용자의 직접 상호작용을 수행하는 인터페이스 외형을 설계하며(이 기능은 UI설계 지원 시스템(101) 및 2D/3D Layout 설계 수단(102)에 대응된다), 설계된 모델은 객체 기반 설계 방법에 따라 상호작용 단위 개체에 대한 속성을 공간 및 시간 속성을 포함한 다차원 영역에서 변경할 수 있도록 하며(이 기능은 동작 속성 설계 수단(103) 및 UI 상호작용 정보 수단(113)에 대응), 입력 및 출력을 중심으로 상호작용 개체의 동작 속성을 정의하며(이 기능은 동작 속성 설계 수단(103)에 대응된다), 일정한 실험 기준에 부합하는 형상 정보를 설정하며(이 기능은 UI 형상 정보 수단(114)에 대응), 손을 이용하여 사용자 인터 페이스 단위개체와 상호작용을 할 때, 두 개체 사이에 교환되어야 하는 상호작용 정보를 정의하며(UI 상호작용 정보 수단(112)에 대응된다), 사용자 인터페이스 사용성 평가와 관련된 인터페이스의 초기값을 설정(UI 사용성 평가 정보 수단(112)에 대응됨)하고, 인터페이스 동작 속성 값을 변경하고(이 기능은 동작 속성 설계 수단(103)에 대응), 인터페이스의 내부 구성 요소의 평가 요소를 갱신한다(이 기능은 UI 사용성 평가 정보(112)에 대응된다).

사용성 평가 시뮬레이션 수단(330)은 사용자 인터페이스 사용성 평가부(140)에 대응하여, 상기 수단들(300 내지 320)로부터의 데이터를 중심으로 핸드 모델 시뮬레이션 및 MIT UI 시뮬레이션을 실행한다. 그 결과 사용자 인터페이스 시뮬레이션을 포함하여 사용자 평가를 시뮬레이션한다.

정리하면, 손모델 준비수단(300)은 사용성 평가 시뮬레이션 수단(330)에서 사용될 핸드 모델을 생성 및 결정하며, 모델 준비 수단(320)은 제품(MIT)의 사용자 인터페이스를 결정 및 생성하며, 평가 실험용 입력 데이터 준비수단(310)은 앞의 두 개체인 사용성 평가 수단을 이용하여 사용성 평가 시뮬레이션 수단(330)에서 수행할 작업 내용을 결정하는 입력 값을 결정하고 생성한다.

결과적으로 사용성 평가 시뮬레이션 수단(330)은 평가 실험용 입력 데이터 준비수단(310)으로부터의 입력 값을 이용하여 손모델 준비수단(300)과 모델 준비 수단(320)들에서 생성된 모델의 동작을 제어하고, 두 모델 사이의 정보 교환을 처리하여 최종 평가 값을 비교 수단(340)에 전달한다.

비교 수단(340)은 상기 시뮬레이션 수단의 평가 결과를 시뮬레이션 수행자가 결정하는 소정의 기준값과 비교하며, 최적화 모델 출력부(350)를 통해 주어진 손 모델과 입력 데이터 즉, 활용 행위에 최적화된 사용자 인터페이스 모델을 출력한다.

손 모델 준비 수단(300)은 표준화된 모델을 관리하는 템플릿(template) 데이터베이스 또는 가상 인체 모델 설계 툴 또는 3차원 스캐닝 입력 장치를 이용한 직접 취득 방법을 사용하여 손 모델의 외형을 설계한다.

손 모델 동작 특성 설계는 도 2의 인간 모델 설계부(120)을 이용해서 설계된 모델의 형상에 동작 특성을 부여하며, 이는 도 2의 인간모델 시뮬레이션부(130)의 동작과 실질적으로 동일하다.

손 모델 준비 수단(300)은, 사용성 평가 실험의 측정 기준이 되는 신체 해부학적 파라미터를 설계하고, 인간 공학적 분석에 관련된 파라미터를 설계하며, 내부적 제약 조건(예; 장애인, 결손된 손가락, 퇴행성 근육 정보 등)을 설계하며, 외부적 제약조건(예; 한 손가락 사용 경우, 한 손 전체 사용 경우, 양 손 엄지 손가락 사용 경우, 사용 환경에 따른 특정 자세 사용 불가 경우 등)을 설계하는 기능을 수행한다. 결과적으로 설계된 모델의 형상에 동작 특성을 부여하는 기능을 제공한다.

결과적으로 손 모델 준비 수단(300)은 도 2의 인간 모델 설계부(120)와 인간모델 시뮬 레이션부(130)의 기능을 제공한다.

핸드 모형 외형 설계 수단(301)을 통해 핸드폰과 같은 대상을 조작하는 상기에 설명된 핸드폰을 조작하는 사용자의 손에 대한 내부적, 외부적 제약 조건에 따라 외형이 설계되며, 그 결과물은 핸드 모델 동작 특성 설계 수단(302)을 통해 손 의 동작에 따른 특성이 설계된다. 핸드 모델 동작 특성 설계 수단(302)도 상기와 같은 사용자의 손에 대한 내부적, 외부적 제약 조건들을 고려하여 동작한다.

손 기반 사용자 인터페이스 평가용 신체 모델링 수단(303)은 실험에 사용되는 손 기반 인터페이스 평가용 신체 모델을 확정하기 위하여, 손의 크기 및 손가락의 길이 및 두께 등에 대한 정보와 같은 일정한 실험 기준에 부합하는 형상 정보를 설정하며, MIT의 UI 개체와 상호작용을 할 때 조건에 따라서 인체 모델의 단위 개체가 받게 되는 정보와 상대 개체에 영향을 주는 요소를 입력한다. 이는 도 2의 HM 상호작용 정보 수단(133)의 기능에 대응된다. 그리고, 사용성 평가와 관련된 인체 모델의 초기값을 설정하고(이는 도 2의 HM 사용성 평가 정보 수단(132)에 대응하는 기능이다), 사용자 인터페이스 사용성 평가부(140)의 피드백을 받아서, 인체 시뮬레이션 모델의 내부 파라미터를 갱신한다.

이와 같은 과정을 통해 시뮬레이션이 가능한 상태의 인간 모델이 손 기반 인터페이스 평가용 신체 모델의 모습으로 결정된다. 즉, 인간 모델 설계부(120)와 인간모델 시뮬 레이션부(130)의 동작을 통해 손 기반 인터페이스 평가용 신체 모델이 결정되는 것이다.

인간모델 시뮬레이션부(130)의 시각화는 현재 컴퓨터 그래픽스 캐릭터 에니메이션 엔진 기술을 통하여 용이하게 구현할 수 있으므로, 앞의 과정을 통해서 설계된 손 모델을 동작 시뮬레이션인 에니메이션 출력을 통하여 중간 검증 과정을 거칠 수 있다.

평가 실험용 입력 데이터 준비 수단(310)은 다음과 같이 동작한다.

MIT 입력 DB(Database)(311)는 특정 콘텐츠와 같이 인터페이스 활용 시나리오를 중심으로 사용자 인터페이스의 사용성을 평가하는 목적에 적합한 데이터를 관리한다. 새로운 인터페이스의 설계 및 기존 인터페이스에 대한 재평가 작업을 수행하기 위해서는 그 인터페이스의 활용 시나리오가 범용적인 경우와 특수한 경우를 대상으로 하는 경우가 있다. 새로운 인터페이스의 설계 및 기존 인터페이스에 대한 재평가 작업 즉, 다양한 컨텐츠의 입력을 다루는 조건과 같은 서로 다른 조건에 대한 인터페이스 장치에 대한 평가인 경우이더라도, 비교 대상이거나 최적의 설계 값을 찾기 위해서는 표준화된 평가 수단을 필요로 한다.

데이터베이스를 구성할 때에 다양한 입력 인터페이스의 성능 비교를 위하여 범용적/표준화된 데이터베이스를 적용할 수 있다. 예를 들면 웹서버로부터 통계적으로 수집된 사용자 입력 단어, 국가 표준 문서 내용이 데이터베이스로 된다. 이때에 상기와 같이 설명된 표준 테스트 데이터베이스를 구축하는 방법은 컴퓨터 공학 분야의 자연어 처리 기술이 다루는 일반적인 내용이며, 당업자는 용이하게 이를 구현할 수 있으므로 별도의 설명은 생략한다.

평가용 입력 데이터 처리부(312)는 MIT 입력 DB(311)로부터 평가 시뮬레이션에 적합한 입력 데이터를 선정한다. 또는 난수(random number) 발생 기법 등을 적용하여 기존 데이터베이스에 없는 입력 단위 조합을 생성함으로써 다양한 입력 정보를 생성한다. 그리고, 손 모델과 사용자 인터페이스 모델의 제약 사항을 고려하여 불필요한 입력 정보를 선별(filtering)한다. 예를 들면, HM 동작 속성 설계 수단(123)에 의해서 특정 손가락의 입력 동작을 제한한 경우이거나 HM 상호작용 정보 수단(133) 및 UI 상호작용 정보 수단(113)에 의해서 특정 입력 조합이 불가능한 것으로 설정이 된 경우, 이런 경우에 대한 입력 데이터를 선별하여 필터링하여 삭제한다.

평가용 입력 데이터 처리부(312)는 필요한 경우 핸드 모델 동작 특성 설계 수단(302)과 정보를 교환할 수 있다.

평가용 입력 데이터 수단(313)은 평가용 입력 데이터 처리부(312)에서 처리되어 입력되는 데이터를 사용성 평가 시뮬레이션에서의 인체 모델과 사용자 인터페이스 모델의 상호작용 최소 단위, 예를 들면 문자 경우 자음, 모음 단위에 적합하도록 분해/결합하여 사용성 평가 시뮬레이션 수단(330)의 입력으로 제공한다.

모델 준비 수단(320)은 다음과 같이 동작한다.

UI 외형 설계/변경 수단(321)은 CAD 기능을 활용하여 사용자의 직접 상호작용을 수행하는 MIT의 인터페이스 외형을 설계하여, 사용자 인터페이스 설계부(100)와 실질적으로 동일한 기능을 수행한다. 단, UI 외형 설계/변경 수단(321)을 통해 설계된 모델은 객체 기반(Object Oriented) 설계 방법을 적용하여, 상호작용 단위 개체 예를 들면 버튼, 슬라이더와 같은 입력용 메타포어, 영상, 음성과 같은 출력용 메타포어에 대한 속성을 공간 및 시간 속성을 포함한 다차원 영역에서 변경할 수 있도록 한다. 이는 사용자 인터페이스 시제품 시뮬레이션부(110)에서 속성을 공간 및 시간 속성을 포함한 다차원 영역에서 변경할 수 있도록 하는 것과 같은 것이다.

UI 외형 설계/변경 수단(321)은 사용자 인터페이스 설계부(100)와 마찬가지 로 데이터베이스 시스템으로부터 기본형태(template)를 얻어오기(loading) 하거나, 다양한 조건의 설계 시제품을 생산하기 위하여 난수 발생 기법, 인지적 인터페이스 설계 방법론 등과 같은 인간 공학 및 산업 디자인 공학 등의 설계 방법론에 따라서 지식(knowledge)을 사용자 인터페이스 설계 지원 시스템(101)으로부터 지원받을 수 있다. 예를 들면 인간 공학 및 산업 디자인 공학 등의 설계 방법론에 따라 핸드폰의 버튼 배열 및 문자입력 자판의 배열 방법을 설계하게 된다.

MIT UI 동작 특성 설계/변경 수단(322)은 UI 외형 설계/변경 수단(321)에서 설계된 모델의 형상에 MIT의 동작 특성을 부여한다. 이는 동작 속성 설계 수단(103) 및 UI 상호작용 정보 수단(113)의 기능에 해당하는 것으로, 구체적으로는 MIT의 기능과 사용 시나리오를 기준으로, 입력부와 출력부를 중심으로 상호작용 개체의 동작 속성(property), 예를 들면 전원 버튼의 눌러짐과 LCD 스크린의 기본 정보 표시 등을 정의한다.

MIT UI prototype 수단(323)은 실험에 사용되는 MIT UI 모델을 확정하기 위하여, 일정한 실험 기준에 부합하는 형상 정보 예를 들면 버튼의 크기, 버튼의 배치 간격 등을 설정한다. 이는 UI 형상 정보 수단(114)의 기능에 해당된다. 그리고 손을 이용하여 UI 단위개체와 상호작용을 할 때, 두 개체 사이에 교환되어야 하는 상호작용 정보를 정의한다. 이는 UI 상호작용 정보(113)에 해당되는 기능이다. 또한 MIT의 UI 사용성 평가와 관련된 인터페이스의 초기값을 설정하여, UI 사용성 평가 정보 수단(112)의 기능에 대응되는 역할을 한다. 그리고 사용자 인터페이스 사용성 평가부(140)의 피드백을 받아서, 인터페이스 동작 속성 값을 변경하여 UI 동 작 제어 수단(115)에 해당되는 기능을 하며, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하여 UI 사용성 평가 정보 수단(112)의 기능을 실행한다.

사용자 인터페이스 사용성 평가 시뮬레이션 수단(330)의 동작은 아래의 도 4에 대한 설명에서 자세하게 제시된다.

도 4는 본 발명에 따른 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템에서 사용자 인터페이스 사용성 평가를 시뮬레이션하는 일 예의 상세한 흐름을 도시한 것이다.

도 4의 전체적인 구성은 상호작용의 단위가 되는 데이터의 흐름을 입력으로 인간모델 시뮬레이션부(130) 및 사용자 인터페이스 시제품 시뮬레이션부(110)에 해당하는 손 모델과 MIT UI 모델의 동작 시뮬레이션을 통하여, 현재 정의된 설계값을 기준으로 사용성 평가 점수를 계산하도록 한다.

손 시뮬레이션 처리 단계(400), MIT 시뮬레이션 처리 단계(405) 및 평가용 입력 데이터 스트림 처리 단계(410)에서는 주어진 평가용 데이터 스트림을 환경 제약 기반 제어 단계(415)와 UI 단위 개체 손가락 연결 관계 처리 단계(420)의 입력으로 전달한다.

환경 제약 기반 제어 단계(415)에서는 MIT UI 사용성 평가 시뮬레이션 시간을 줄이기 위하여 손 모델과 MIT 모델의 시뮬레이션 제약 조건 그리고 입력 데이터로부터 정의되는 제약 조건을 다음 단계로 전달한다. 상기 제약 조건들은 동작 속성 설계 수단(103), HM 동작 속성 설계 수단(123), UI 상호작용 정보 수단(113) 및 HM 상호작용 정보 수단(133)으로부터 정의되는 정보를 참조할 수 있다.

예를 들어 손 시뮬레이션 처리 단계(400)에서 특정 손가락을 사용하지 못한다는 행동의 제약 정보를 출력하며, MIT시뮬레이션 처리 단계(405)에서는 현재 핸드폰과 같은 장치를 사용하기 위해서는 핸드폰을 손을 이용해서 어떤 방식으로 잡아야 한다는 제약 정보를 출력한다.

환경 제약 기반 제어 단계(415)에서는 도 3에서 핸드 모델 동작 특성 설계 수단(302)과 평가용 인력 데이터 처리부(312) 간의 상호 정보 교환으로, 예를 들면 1번 손가락으로 핸드폰의 A 버튼을 눌러라와 같은 연결 관계를 설정하지 못하도록 입력 조건에 따른 환경 제약 기반 제어 정보를 생성하여 420 단계로 출력한다.

UI 단위 개체 손가락 연결 관계 처리 단계(420)에서는 410 및 415 단계에서 입력 된 데이터를 처리할 손 모델의 특정 상호작용 단위 개체, 예를 들면 손가락과 MIT UI 모델의 단위 개체인 예를 들면 key나 버튼간의 연결 관계를 결정한다. 즉, 환경 제약 기반 제어 단계의 정보를 이용하여 제한된 수의 연결 관계 조합의 경우를 생성한다. 예를 들어, 양손의 엄지 손가락(총 2개)만을 이용하여 MIT의 10개의 버튼을 조작하는 시뮬레이션에서는 최대 ₁₀P₂ 의 순열 값을 구하는 관계로 총 90가지의 조합이 가능하다. 즉, 이는 461 단계를 수행하는 90가지의 방법이 가능하다는 의미가 된다. 이 경우 손가락과 버튼 사이의 거리 및 두 손가락 및 MIT UI의 위치 등의 제약 조건으로 불가능한 자세를 걸러내는 경우 그 조합의 수는 감소한다.

이와 같이 연결 관계의 처리를 보완하기 위해 425, 430 및 435 단계의 연결 관계 결정에 관련된 주요 시뮬레이션 단계를 거친다.

다음에 설명되는 425, 430 및 435 단계의 세가지 손 모양 결정 방법은, 다관절체로 정의된 3차원 모델을 초기 자세에서 다른 자세(예; 특정 버튼을 누른 상황)로 변경하는 방법으로, 3차원 컴퓨터 그래픽스의 케릭터 에니메이션 기술 및 로봇 공학 기술 분야에서 기본적인 문제를 해결하기 위해 적용되던 방법들을 사용하여 구현될 수 있다.

모션 캡쳐 기반 손 동작 시뮬레이션 단계(425)에서는 사전에 준비된 손동작 모션 캡쳐 데이터베이스를 검색하여, 주어진 연결 관계와 가장 유사한 손동작을 찾는다.

기구학 기반 손 동작 시뮬레이션 단계(430)에서는, 예를 들면 410과 415단계로부터 3차원 공간에 있는 손 혹은 손가락의 위치 정보와 MIT장치의 버튼의 위치 정보가 결정된 두 개체의 공간적 배치 상황에서, 다관절체로 정의된 손 모델을 로봇공학의 역기구학/동력학(IK; Inverse Kinematics, Dynamics)기법을 이용하여 손 모델의 동작을 결정한다.

생체 모델 기반 손 동작 시뮬레이션 단계(435)에서는 움직임 해부학(movement analysis) 이론에 근거한 인체해부학적 모델링 기법(예를 들면 생체 역학(biomechanical) 시뮬레이션)과 비강체(non-rigid body) 모델링 기법(예를 들면 시각적 사실성을 높이기 위해서 컴퓨터 그래픽스 분야에서 사용하는 가시화 방법) 등을 활용하여 보다 사실적인 손 모델의 동작을 시뮬레이션 한다.

손 동작 제어 합성 처리 단계(440)에서는 앞의 3가지 시뮬레이션 단계에서 생성된 손 모델의 동작 정보를 우선 순위와 합성 비율 정보를 활용하여 한 가지 결 과인 손 모양으로 합성한다. 이때에 필요에 따라서 관리자가 생성된 손 모델의 동작 정보에 있어서 우선 순위와 합성 비율 정보를 결정한다.

이때에 예를 들면, 425, 430 및 435 단계에서 결정된 손동작이 "자연스러운가?"에 대한 판단은 "손가락 끝과 버튼이 정확하게 일치하는지", "결과로 주어진 손동작을 실제 사람이 했을 때 무리가 없는 모양인지"와 같은 내용이 440 단계에서 결정된다. 이때 425, 430 및 435 단계의 결과를 3차원 그래픽으로 가시화 하여 관리자인 전문가가 선택 결정하거나, 혹은 400 단계와 같은 손 시뮬레이션 처리를 통해 얻은 결과 수치를 기준으로 판정을 하거나, 하이브리드 방법(앞의 3가지 결과물을 우선 순위를 두어서 (0.5x425 단계 결과) + (0.3x430 단계 결과) + (0.2x 435 단계 결과) 등과 같이 425, 430 및 435 단계의 각 시뮬레이션에 가중 비율을 부가하는 합성 처리 방법을 사용할 수 있다. 이는 동작 정보 합성 연구 분야에서의 motion data editing/blending이라는 일반화된 방법이다.

손 모델 상호작용 단위 개체 처리 단계(445)에서는 손 모델이 손 동작 제어 합성 처리 단계(440)를 수행하는 동안에, 인간모델 시뮬레이션부(130)에서 출력된 손 모델로부터 계산되는 사용성 평가 관련 상호작용 정보를 처리한다. 손 모델 상호작용 단위 개체 처리 단계(445)에서 인간모델 시뮬레이션부(130)는 도 4의 각 시뮬레이션 단계(425, 430, 435 단계)에서 발생되는 정보를 업데이트한다. 이는 도 2의 평가 시뮬레이션 통신 수단(147)의 양방향 통신의 경로를 사용한다.

MIT 모델 동작 제어 단계(450)에서는 환경 제약 기반 제어 단계(405)와 입력 데이터 스트림 처리 단계(410)로부터 입력받은 정보에 따라서 MIT 모델의 동작을 실행한다. 461 단계에서, 예를 들면 손가락과 핸드폰의 특정 버튼 사이의 관계를 찾는 시뮬레이션이 일어나는 동안, 핸드폰의 기계 장치 측면에서 어떤 버튼이 처리되는가에 대해서는 모델 준비 수단(320)에 의해 410단계 이전에 결정되어 있으므로, MIT 모델 동작 제어 단계(450)는 기기 자체의 동작을 처리하는 과정이다.

MIT 모델 상호작용 단위 개체 처리 단계(455)에서는 MIT 모델이 MIT 모델 동작 제어 단계(450)에서 주어진 동작을 수행하는 동안에, 사용자 인터페이스 시제품 시뮬레이션부(110)의 결과인 MIT 모델로부터 계산되는 사용성 평가 관련 상호작용 정보를 처리한다. 이는 도 2의 평가 시뮬레이션 통신 수단(147)의 양방향 통신의 경로를 사용하여, 사람(손)의 입장이 아니라, 핸드폰인 기계(MIT)측면에서의 정보들을 처리하는 것이다.

UI 사용성 평가 시뮬레이션 처리 단계(460)에서는 445 단계와 455 단계를 수행한 사용자 인터페이스 시제품 시뮬레이션(110)과 인간 모델 시뮬레이션(130) 간의 통신을 제어하고, 처리 결과를 저장한다. 혹은 도 3의 MIT UI 사용성 평가 시뮬레이션(330)에 포함된 핸드 모델 및 MIT UI 시뮬레이션 상호간의 통신이 제어대상이 된다. 이 경우 통신 제어라는 것은 두 시뮬레이션 처리 간의 정보 교환 과정이 멀티 프로세싱(Multi-processing), 멀티 스레딩(Multi-threading) 혹은 IPC(inter process communication) 방법으로 실행되는 것을 제어한다는 것이다.

입력 데이터 처리 완료 판정 단계(460)에서 주어진 입력 스트림을 모두 처리하면, 현재의 설계 설정값이 가지는 사용성 평가 결과를 처리하여 출력하는 UI 사용성 평가 결과 출력 단계(470)를 거치게 된다.

하나의 단위 입력인 상호작용 이벤트에 대한 다양한 경우의 손 모양이 결정 될 수 있으므로, UI 단위 개체와 손가락 사이의 연결 관계를 결정하는 420단계부터 결정된 하나의 조합의 테스트가 끝나는 460 단계까지의 총합인 461 단계는 병렬 처리 시뮬레이션 기법을 사용하여 동시에 수행하여 시간을 단축시킬 수 있다.

구체적으로는 425, 430 및 435 단계가 병렬로 실행되고, 445 및 455 단계가 병렬로 처리될 수 있다. 이는 전체적으로 동일한 프로그램 구조로 다양한 조합의 문제를 푸는 과정이므로, 병렬화를 이용하여 구현하는 것이 가능하다.

시뮬레이션의 결과인 평가 결과가 출력되면 비교수단(340)은 사용성 평가의 결과가 소정의 일정한 기준값 혹은 문턱값(threshold value)을 넘는 경우, 상기 과정의 결과인 최적의 UI 설계 디자인을 최적화 모델 출력부(350)로 전달하여 결과를 출력한다.

일정한 기준을 넘지 못하는 경우에는 MIT UI 외형 설계/변경 수단(321)으로 이를 통보하여, 사용자 인터페이스 시제품(110) 또는 사용자 인터페이스 설계부(100)를 이용하여 대화식으로 판단 기준을 변경하거나 또는 일정한 최적화 알고리즘에 기준하여, 현재의 UI 설계를 변경하여 다시 시뮬레이션하도록 한다.

도 5는 본 발명에 따라 모바일 단말기의 사용자 인터페이스를 설계하고 평가하는 흐름의 일 예를 도시한 것이다. 도 1 내지 도 4까지의 본 발명에 따른 설명이 도 5의 하나의 도면에 설명되어 있다.

손 모델(hand model) 생성 단계(500)에서는 사용성 평가 시뮬레이션에 사용될 수 있는 가상 핸드 모델을 생성한다. 다양한 사용자의 조건에 대한 시뮬레이션 을 지원하기 위하여 데이터베이스 형태로 구축한다.

3차원 핸드 모델을 설계하는 방법은 Maya, 3D studio MAX 등과 같은 상용의 3차원 CAD 시스템을 이용하여 3차원 모델의 외형인 피부 조직을 생성하고, 외형의 움직임을 제어하기 위한 내부 구조는 인체 해부학 및 움직임 분석학의 데이터를 근거로 뼈대와 관절 구조로 설계할 수 있으며, 그 형태는 로봇 공학에서 로봇 디자인에 기본이 되는 연결축(link)와 관절(joint)로 표현하는 것과 동일하다.

이때에 보다 정확한 인간 동작 시뮬레이션, 피부 변형 가시화의 구현 및 피로도 산출 등의 사용성 지표 계산을 위한 근육 및 근섬유 연결 구조를 상기와 같이 생성된 내부 및 외부 구조에 추가할 수 있다. 이 경우 인간 동작 시뮬레이션 및 피부 변형 가시화를 위해 deformable mesh control 기법을 사용할 수 있다.

상기와 같이 기본적인 구조를 손 모델을 위한 템플릿으로 정의하고, 다양한 사용자의 경우를 지원하는 방법으로 인간 공학 분야의 피실험자 모델 생성에 사용되는 신체 통계 데이터를 로드 및 반영하는 구조를 가지도록 할 수 있다. 즉, 상기와 같이 설계된 3차원 핸드 모델은 기본적으로 3차원(x, y, z 값) 수치 데이터를 가지고 있으므로, 컴퓨터 그래픽스의 3차원 변형 기법(transformation)을 이용하여, 임의의 길이와 부피 등을 가지는 핸드 모델로 변형 될 수 있다.

기존의 신체 치수 데이터를 이용해서 모델 데이터베이스를 구축하는 방법이외에 현장에서 직접 참여하는 사용자의 가상 핸드 모델을 생성하는 방법을 지원할 수도 있다. 즉, 컴퓨터 비전 기법으로 2차원 이미지 촬영을 통해 사용자 피부 이미지(texture) 정보와 손의 치수 정보를 추출해서, 상기와 같이 설계된 기본 핸드 템 플리트 모델에 합성하거나, 3차원 스캔 기법을 이용하여 사용자의 손과 일치하는 모델 및 피부 모델(polygon mesh)과 피부 이미지 모델을 얻는다.

손 모델 동작 특성 설계 단계(502)는 사실적인 손의 움직임을 설계하는 단계로, 뼈대와 관절로 구성된 손의 동작 제어 구조를 로봇 공학의 기구학(kinematics) 및 동력학(dynamics)만을 적용하는 것에 더하여, 움직임 해부학 정보를 반영하여 근육와 힘줄의 상호작용 정보 등을 추가하여 손 모델의 사실적인 동작을 생성한다.

즉, 각각의 관절의 각도에는 움직임이 가능한 일정한 범위가 있으며, 하나의 손가락이 움직일 때 움직임에 영향을 받는 다른 손가락이 있으므로, 이 정보를 이용하여 사실적인 손의 움직임을 생성한다. 그리고, 손 모델 구성 요소(예; 뼈, 근육, 근섬유, 피부, 관절)의 물리적 데이터(예; 길이, 부피, 밀도, 탄성 등)를 설정하여 움직임 해석의 파라미터로 사용한다.

평가 실험용 손 모델 결정 단계(504)에서는 해당 시뮬레이션마다 최종적으로 사용하게 될 손 모델을 결정한다. 손 모델은 500 단계에서 생성한 모델 데이터베이스에서 선정하는 방법 및 현재 사용자의 신체 치수를 컴퓨터 비전 기반 측정 방법 등을 적용하여 획득하고 이를 3차원 모델 변형 기법으로 템플릿 모델에 적용하거나 혹은 임의의 사용자를 가정한 무작위(random) 형상 데이터 생성 후 그 값을 적용할 수 있다.

그리고, 손 모델을 구성하는 하위 단계의 상호작용 개체(예; 손가락 마디 1개)에 대하여, 502 단계인 손 모델 동작 특성 설계를 통해 움직임 해부학 특성 설정에서 정의된 수치를 실험 목적에 따라서 변경한다. 예를 들면 손의 움직임 해부 학 정보에 따라서 각각의 손가락이 움직일 수 있는 범위 중, 실험에 사용되는 MIT기기의 사용법에 의해서 손가락의 일부는 사용하지 못하는 상황(예; 핸드폰을 한 손으로 잡았을 때, 키패드 상단의 버튼은 업지 손가락만 사용할 수 있는 경우, 핸드폰 옆면의 버튼은 검지와 중지 손가락만을 사용할 수 있는 경우 등과 같이 실험 목적에 따라 변경할 수 있다. 그리고 손 모델 자체 및 외부의 사용자 인터페이스 개체의 상호작용 단위 개체, 예를 들면 정보 단말기 전체 중 특정 버튼에게 미칠 힘의 크기 등을 결정한다.

손 모델을 선정한 후에는 사용성 실험 관련 파라미터를 설정한다. 사용성 실험 관련 파라미터는 인간 공학 및 산업 공학 분야의 피실험자 테스트 기법에서 다뤄지는 내용으로, 손을 이용하는 사용자 인터페이스 사용시 발생되는 다양한 측정 요소, 예를 들면 작업 로드, 피로도 값을 설정하고, 특정 디자인 경향에 대한 사용자의 선호도 수치 등을 설정하는 것이다.

상기와 같은 500, 502 및 504 단계를 거쳐서 시뮬레이션용 손 모델이 준비(506 단계)되며, 500 단계인 손 모델 생성 단계는 모델 데이터베이스가 이미 구축된 경우에는 생략될 수 있다.

평가용 자료 데이터베이스 생성 단계(508)에서는 사용성 평가용 입력 자료의 데이터베이스를 구축한다. 일반 또는 특정 상황을 대상으로 설계된 사용자 인터페이스는 해당 시나리오에 적합한 작업의 내용이 있으며, 다양한 인터페이스 디자인 사이의 비교 평가를 위한 정형화된 테스트 수단이 필요하다.

일반 상황은 예를 들면 일반인을 대상으로 하는 핸드폰 키버튼 UI 디자인 사 용성을 평가하는 것이며, 특정 상황은 예를 들면 장애인용 핸드폰 관련 사용성 평가, 특정 업무(공사장, 작업장, 장비 수리 등)에 적합한 모바일 기기의 UI 디자인 사용성을 평가하는 것이다. 특정 상황용 인터페이스 장치는 예를 들면 비행기 수리공과 같이 복잡한 전자나 기계 시스템의 유지 보수 작업을 하는 사용자에게는 일반형태의 PC가 아닌 웨어러블 컴퓨터와 같은 특수형 장치가 필요하며, 이런 장치에서는 일반 데스크톱 컴퓨터에서 쓰이는 마우스와 키보드 같은 일반 사용자 인터페이스를 그대로 사용할 수 없으므로 특정 상황으로 구분한다.

예를 들면 하나의 새로운 인터페이스 장치를 새로 개발했을 때 "이 장치가 기존의 장치보다 사용성이 우수하다"라는 주장을 뒷받침하기 위해서는 공인된 비교 평가 결과가 있어야하며, 이는 연구자들 사이에 또는 국제 공인 기구 등에서 실험용 입력 데이터의 표준화를 제정한 경우가 있으며, 이를 비교 평가를 위한 정형화 된 테스트 수단으로 이용할 수 있다. 혹은 별도의 국제적인 표준이 없는 경우에는 해당 분야의 알려진 예를 들면 Google과 같은 웹 사이트에 기재된 내용을 기준으로 비교 평가를 할 수 있다.

그러므로, 본 단계에서는 일반인이 사용하는 사전을 포함한 생활 문서 및 공공 기관의 다양한 서식 및 교과서를 자료로 하여, 자연어 처리 기법을 통해 주요 단어와 문장을 데이터베이스 형태로 구축한다. 예를 들면, 컴퓨터 사용자 인터페이스의 경우 인터넷 웹브라우저의 입력창을 통해서 웹서버에 전달되는 내용을 기록한 로그(Log) 파일 정보를 이용해서 수집 및 통계 데이터를 얻을 수 있다. 그리고, 이동형 정보 단말기(예; 핸드폰의 메시지 서비스)의 경우 해당 서비스를 처리하는 서 버의 로그(log) 파일 정보를 활용하여, 현재 소비자가 많이 사용하는 입력 데이터로부터 사용자 인터페이스 개체(예; 버튼)의 제어 순서(sequence)를 결정하는 기준 자료로 사용할 수 있다.

평가용 입력 데이터 선정 단계(510)에서는 508 단계에서 구축된 데이터베이스로부터, 현재 사용성 시뮬레이션 조건에 적합한 데이터 집합을 선정한다. 즉, 사용성 평가의 목적 및 선호도(예를 들면 20대가 주로 사용하는 입력 데이터 집합)에 따르는 방법 및 엄지손가락 1개만으로 버튼 입력을 하는 경우, 1회의 입력 동작으로 입력할 수 있는 문자소 단위의 종류는 버튼의 개수에 한정되며, 또는 특정 손가락의 결손으로 현재 주어진 사용자 인터페이스의 특정 입력 모드를 사용하지 못 하는 경우 등과 같은 특정 손 부위의 사용 제약과 MIT UI의 제약 상황을 적용하여 데이터 집합을 선정한다. 또는 현재 구축된 입력 데이터베이스의 문자소 단위 레벨에서 무작위(random)의 입력 데이터 집합을 생성하는 방법을 사용하여 데이터 집합을 선정할 수 있다.

손 모델 동작 특성 설계 단계(502)와 평가용 입력 데이타 선정 단계(510)는 서로 정보가 교류될 수 있으며, 이는 도3의 손 모델 준비 수단(300)과 평가 실험용 입력 데이터 준비 수단(310)간의 정보 교환과 같은 내용을 의미한다.

평가용 입력 데이터 결정 단계(512)에서는 510 단계에서 선정된 입력 데이터 집합의 내용을 MIT UI의 상호작용 단위 개체(예; 버튼 1개)의 최소 조작 단위로 분리하고, 이 분리된 결과를 하나의 스트림(stream)으로 정렬화하여, 입력 데이터 스트림 처리 단계(514)의 입력으로 전달한다.

508, 510 및 512 단계의 3단계 과정을 거쳐서 평가용 입력 데이터가 준비되며, 508 단계인 평가용 자료 DB 생성 단계는 데이터베이스가 이미 구축된 경우에는 생략될 수 있다.

MIT 모델 설계/변경 단계(516)에서는 일반적인 내용으로, UI를 중심으로 MIT 모델의 외형을 생성한다. 통상적으로 사용되는 종래의 CAD 시스템을 통해서 구축된 모델 데이터베이스의 정보를 활용하거나, CAD 툴과 지식기반 데이터베이스 기법을 이용하여 새로운 MIT를 설계할 수 있다.

MIT 동작 특성 설계/변경 단계(518)에서는 사용성 시뮬레이션을 지원하기 위한 MIT 모델의 기본 구조를 설계 및 변경한다. 버튼 누름과 같은 외부의 입력 작용에 대한 MIT UI의 동작과 그 동작에 따른 MIT UI 단위 개체 사이의 상호작용 관계를 설정하여 하는 것으로, CAD 툴에서 개체에 운동성(activity property)을 부여하는 작업 및 버튼 입력에 따른 가상 LCD 창에 표현될 정보를 디자인하는 등의 과정 등을 통해서 실행될 수 있다.

평가 실험용 MIT UI 시제품 설정/변경 단계(520)에서는 UI 구성 요소의 형상 정보 설정 값을 변경하거나, UI 단위 개체의 충격 발생 및 흡수량 등의 시뮬레이션 수행에 따른 상호작용 파라미터의 값을 설정하고, 디자인 요소에 대한 소비자의 선호도 정보 등을 설정하여 사용성 평가 과정의 피드백 단계의 근거 데이터로 사용되도록 한다.

516, 518 및 520 단계의 3단계 과정을 거쳐서 시뮬레이션용 MIT UI 모델(522)이 준비된다. MIT 모델 설계/변경 단계(516)는 모델 데이터베이스가 이미 구 축된 경우에는 생략될 수 있다.

입력 데이터 스트림 처리 단계(514)에서는 정렬된 입력 데이터를 MIT 모델 동작 제어 단계(524)로 전송하여 MIT UI 개체의 동작 방법을 결정하여 MIT 모델 시뮬레이션을 결정하도록 하고, UI 단위 개체 - 손가락 연결 관계 처리 단계(528)로 전송하여 예를 들면 눌려질 버튼과 사용할 손가락을 결정하는 손 모델의 시뮬레이션을 결정하도록 한다.

환경 제약 기반 제어 단계(526)에서는 시뮬레이션용 손 모델 준비 단계(506)를 통해 준비된 손 모델 및 시뮬레이션용 MIT UI 모델 단계(522)에서 준비된 MIT UI 모델로부터 제약 사항(constraint)을 취합하여 다음 단계인 UI 단위 개체-손가락 연결 처리 단계(528)로 전달하여 조합의 수를 제한하도록 한다. 예를 들어, 두 엄지손가락만을 사용하는 경우에는 나머지 손가락에 대한 연결 관계 처리를 하지 않도록 한다.

UI 단위 개체-손가락 연결 관계 처리 단계(528)에서는 앞 단에서 주어진 손 시뮬레이션 모델의 상호작용 최소 단위 개체(예; 손가락 끝) n개와 MIT UI 시뮬레이션 모델의 상호작용 최소 단위 개체(예; 버튼) m개 사이의 연결 관계를 정의한다. UI 단위 개체-손가락 연결 관계 처리 단계(528)는 환경 제약 기반 제어 단계(526) 및 입력 데이타 스트림 처리 단계(514)에서 입력을 받으며, 이는 도 4의 415, 420, 410 단계에 대한 설명 부분과 동일한 내용이다.

순열과 조합에 의해 다양한 연결 관계를 정의함에 있어서, 이 단계에서 최소 상호작용 단위 개체의 순서를 정하는 방법은 입력 데이터 스트림 처리 단계(514)의 출력으로 순서적으로 입력되는 데이터에 따라 결정한다. 즉, 입력되는 순서대로 최소 상호작용 단위 개체의 순서를 결정한다. 예를 들면, 입력 데이터의 스트림은 사용성 평가 시뮬레이션을 수행하는 당시 특정 입력 내용인, 예를 들면 "긴급"이라는 문자는 "ㄱ l ㄴ ㄱ ㅡ ㅂ"과 같이 입력되며, 이런 순서에 대응하여 최소 상호작용 수단인 손가락 끝과, 키보튼 1개 사이의 다양한 조합의 순서를 결정하게 된다.

예를 들어 핸드폰을 조작하는 경우 UI 단위 개체-손가락 연결 관계 처리 단계(528)에서 핸드폰의 눌러질 버튼과 그에 사용될 손가락이 결정된다.

손 동작/모양 시뮬레이션 단계(530)에서는 UI 단위 개체-손가락 연결 관계 처리 단계(528)에서 결정된 두 상호작용 개체 사이의 연결 관계에 따라서, 손 모델의 모양(posture)을 변형시킨다. 다관절 구조를 가진 손 모델의 경우 3차원 컴퓨터 그래픽스 및 로봇 공학에서 사용하는 동작 제어 방법을 사용한다. 즉, 사전에 기록된 손 동작 데이터나 Immersion 사의 Cyberglove와 같은 가상현실 장치를 사용하여 실시간에 입력되는 손의 모양으로부터 각각 관절의 값을 읽어들여서 이를 모델 변형의 데이터로 사용한다. 또는 기구학(kinematics) 및 동역학(dynamics)를 고려하여 계산적으로 임의의 자세를 취하는 동작을 생성해낼 수 있다. 여기에 더하여, 사실적 손 모양 시뮬레이션을 위해 움직임 분석학 및 생체 역학 모델을 적용하여 세부 자세 보정 과정을 거치도록 할 수 있다.

손 동작 제어 합성 처리 단계(532)에서는 530 단계의 3가지 동작 제어 방법에 따라서 결정된 손의 모양 변화인 동작 과정을 시간 축을 기준으로 초기 위치(time = 0)에서 최종(접촉) 위치(time = n)까지의 손 모델의 변형 정보 즉, 실시간 3차원 애니메이션을 생성한다. 상기와 같은 3가지 제어 방법을 통해 나온 결과를 1개의 최종값으로 결정하는 것은 시스템 관리자(operator)의 입력을 따라서 상기의 3가지 동작 제어 방법 각각에 우선 순위와 가중치를 부여하여 하나의 값으로 통일시켜 결정한다. 예를 들어, 시뮬레이션 당시에 인터페이스 장치를 통해 입력되는 모션 캡쳐 데이터를 이용해서 모델을 제어하는 경우, 대부분의 제어값은 캡쳐된 모션 데이터를 따르게 하고, 최종 위치값 등에서 인터페이스 장치의 에러값 등의 이유로 발생되는 위치 보정 문제 등은 기구학 기반의 관절각 계산 방법 등으로 보정/해결한다.

예를 들어 핸드폰을 조작하는 경우 손 동작 제어 합성 처리 단계(532)에서 조작에 사용될 손의 모양이 결정된다.

도 5와 같이 MIT 모델 상호작용 단위를 처리하고, 손 모델 상호작용 단위 개체를 처리하며, UI 사용성 평가 시뮬레이션 처리를 통해 도 2의 사용자 인터페이스 시제품 시뮬레이션부(110)의 UI 동작 제어(115) 및 사용자 인터페이스 사용성 평가부(140) 및 인간모델 시뮬레이션부(130)의 HM 동작 제어(135) 사이의 통신 과정을 통해서, MIT UI 모델의 동작 변화를 제어(예; 버튼의 눌려짐 가시화)하고 동작이 발생되는 시점에서의 상호작용 정보 교환 및 사용성 평가 정보를 교환한다.

위의 내용은 다음과 같이 정리될 수 있다.

MIT 모델 상호작용 단위 개체 처리와 손 모델 상호작용 단위 개체 처리는, 예를 들어 손가락으로 눌려지는 핸드폰의 특정 버튼이, 그 (눌려지는) 행위가 일어나는 동안에 상호작용 단위 개체인 버튼에서 일어나야 되는 모든 상황 및 그에 따 른 정보의 교환을 일반화시켜서 정리한 것이 도 1 또는 도 2의 사용자 인터페이스 시제품 시뮬레이션부(110), 인간모델 시뮬레이션부(130) 및 사용자 인터페이스 사용성 평가부(140) 사이에서 일어나는 정보 교환 상황이다.

UI 사용성 평가 시뮬레이션 처리는 사용자 인터페이스 사용성 평가부(140)와 사용자 인터페이스 시제품 시뮬레이션부(110) 및 인간모델 시뮬레이션부(130) 간의 통신 처리로 UI 사용성 평가 정보 수단(112)과 HM 사용성 평가 정보 수단(132)의 정보를 참조 또는 갱신하여, 사용성 평가 값, 예를 들면 이번 사용성 평가 실험을 통해서 UI부분에 발생된 물리적 피로도, 작업의 부하, 또는 휴먼 모델의 동작 제어 결정이 수월했는가, 동작 제약 조건이 여러 가지가 발생하여 다양한 동작 생성이 불가능했는가, 또는 일련의 손동작 생성을 통해 얻어진 최종 결과가 손의 관절에 많은 양의 작업 부하를 걸었는가 등을 계산 처리하고, GUI방식 프로그램을 이용한 사용성 평가용 사용자 인터페이스를 사용하여 일반 사용자가 현재 평가 대상이 되는 제품 디자인에 대한 만족도 점수와 같은 평가를 내리도록 처리하게 된다.

MIT 모델 상호작용 단위 개체 처리 단계(537)는 도 4의 MIT 모델 상호작용 단위 개체 처리 단계(455)와 동일한 내용이며, UI 사용성 평가 시뮬레이션 처리 단계(536)는 도 4의 UI 사용성 평가 시뮬레이션 처리 단계(460)와 동일한 내용이므로 별도의 설명은 생략한다.

도 5의 현재 MIT 모델 사용성 평가 완료 단계(538)에서는 도 3의 비교 수단(340)에서와 같이 현재 설정에 대한 사용성 시뮬레이션 결과가 기준 값(threshold value) 이하인 경우 최적화 작업을 위하여 MIT 모델 설계/변경 단계(516)로 순서가 이동된다. 그러나, 현재 설정에 대한 사용성 시뮬레이션 결과가 기준 값 이상인 경우에는 도 3의 최적화 모델 출력부(350)의 동작과 같이, 도 2의 최적화된 UI 설계 및 평가 결과 출력 수단(145) 및 최적화 결과물 애니메이션 생성 수단(146)의 작업을 수행한다. 애니메이션 생성 기능은 결과물의 시연 및 교육 등의 자료로 활용 될 수 있도록 시뮬레이션용 손 모델 준비 단계(506), 입력 데이터 스트림 처리 단계(514) 및 시뮬레이션용 MIT UI 모델 단계(522)부터 UI 사용성 평가 시뮬레이션 처리 단계(536)까지의 작업을 재수행하면서 동영상 등의 기록 방법을 적용하는 것으로서, UI 단위 개체 - 손가락 연결 관계 처리 단계(528)에서의 조합의 수가 최적화된 결과물의 1가지 경우만을 따르게 되어 빠른 결과물 생성이 가능하도록 한다.

UI 단위 개체-손가락 연결 관계 처리 단계(528), MIT 모델 동작 제어 단계(524)에서 UI 사용성 평가 시뮬레이션 처리 단계(536)까지의 영역이 파선(---)으로 묶여있는 것은 병렬 처리(parallel processing)가 가능한 부분(도 4의 461에 해당)을 표시한 것으로, 이와 같은 병렬 처리 가능한 부분을 이용하여 주어진 입력 조건으로 인간 모델 및 사용자 인터페이스 모델의 시뮬레이션을 할 때에, UI 단위 개체 - 손가락 연결 관계 처리 단계(528)의 다양한 경우의 수를 컴퓨터 프로그래밍 기법의 다중 작업(multi-threading; 멀티쓰레딩) 기법을 이용하여 독립 실행하는 방법으로 전체 사용성 시뮬레이션 시간을 단축할 수 있다.

MIT 모델 상호작용 단위 개체 처리 단계(537)는 도 4의 MIT 모델 상호작용 단위 개체 처리 단계(455)와 동일한 내용이다.

도 4의 455단계와 동일한 내용입니다.

대한 설명 부분을 찾지 못했습니다. 이 부분이 어느 부분에 설명되어 있는지 지적해주시기 바랍니다.

상기에 설명된 것과 같이 본 발명은 능동적인 컴퓨터 시뮬레이션을 이용하여, 사용자 인터페이스 개발에서 정의되는 다양한 환경적 제약 사항과 다양한 형태의 사용자 인터페이스 설계 형태의 조합(그룹(1)), 그리고 사용자의 신체적/정신적 특성/제약 사항과 하나의 결과/이벤트 생성을 위해 실시할 수 있는 다양한 사용자의 동작/자세의 조합(그룹(2))을 고려하여, 앞의 두 그룹((1)과(2))의 사이의 복잡한 연결 관계에서, 신체적 편의성과 작업 성능 향상을 중심으로 최적의 해를 찾는다.

또한 본 발명은 시스템의 입출력 기능을 사용하는 상호작용 수단을 표현하는, 그래픽 사용자 인터페이스(GUI)를 포함한, 3차원 가상 사용자 인터페이스 설계 단계에서, 가상 사용자 인터페이스와의 상호작용을 위하여 사용되는 물리적 인터페이스 장치(예; 손/머리/시선 위치 추적 장치)의 개발 이전에, 결과물의 사용 환경 조건을 고려하여 가상 사용자 인터페이스에 대한 사용성 평가와 시뮬레이션을 수행할 수 있게 한다.

그러므로, 본 발명은 신체적 상호작용 기반 사용자 인터페이스 설계에 있어서, 신체 모델의 능동적인 활동으로 외부 모델(인터페이스 장치)과의 상호작용에 의한 영향 관계를 시뮬레이션하며, 사용성 평가 작업을 정량적 시스템으로 보강하고 자동화시킴으로써, 피실험자를 이용한 수동적 설계 평가 시스템보다 높은 경제적 효율성으로, 최적의 사용자 인터페이스 개발을 유도하는 효능을 제공한다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 본 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 상기의 설명에 포함된 예들은 본 발명에 대한 이해를 위해 도입된 것이며, 이 예들은 본 발명의 사상과 범위를 한정하지 않는다. 상기의 예들 외에도 본 발명에 따른 다양한 실시 태양이 가능하다는 것은, 본 발명이 속한 기술 분야에 통상의 지식을 가진 사람에게는 자명할 것이다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

또한 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다는 것은 이 분야에 통상의 기술을 가진 자라면 용이하게 알 수 있는 것이다.

그리고 본 발명의 일부 단계들은, 또한, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이를 통해 최적의 인터페이스 설계를 유도하여 새로운 인터페이스에 대한 사용자의 초기 진입 장벽을 낮추어 쉽게 사용할 수 있도록 하고, 사용자의 작업 성능을 향상시킬 수 있도록 한다. 또한 새로운 제품 개발 단계에서, 빠른 시제품 제작(fast prototyping)과 평가(evaluation) 작업을 지원함으로써 짧은 생명주기(life-cycle)을 가지는 제품의 효율적인 생산 업무에 능동적으로 대처할 수 있다.

그리고, 본 발명은 UI와 HM의 시뮬레이션 기법을 이용하여, UI사용에 대한 구체적 시연(demonstration) 정보를 사용자에게 제공할 수 있으므로, 제품 사용에 대한 교육 및 훈련 분야에 활용 될 수 있다.

본 발명에 따른 시스템은 신체적 활동을 이용한 직접적 혹은 물리적 접촉 상호작용 형태의 인터페이스 사용이나, 임의의 센서를 통해 수집된 생체/신체 정보 해석에 의한 간접적 상호작용 형태의 인터페이스 사용을 대상으로, 사용성 평가 기 준 측면에서 최적의 인터페이스 설계를 도출하는 방법으로, 키보드 및 정보 단말기의 키패드 설계와 같은 물리적 인터페이스 개발과 가상 키보드 및 3차원 공간 메뉴 설계 등의 가상 인터페이스 개발 분야에 활용 될 수 있다.

본 발명에 따른 결과는 소형 정보단말기의 키패드의 형태 및 배치 방법 개발, 그리고 새로운 키보드 및 가전 기기 등의 입출력 장치 개발로부터, 항공기 조종석의 계기판 개발에 이르기까지, 다양한 신체 동작을 통해 물리적 상호작용을 수행하는 사용자 인터페이스 개발 분야에 적용할 수 있다.

또한 본 발명에 따른 결과는 차세대 웨어러블(wearable) 형태의 모바일 정보 단말기(MIT)에 사용 될 수 있는 가상 사용자 인터페이스 개발과 같이, 3차원 공간에 대한 사용자의 신체적 동작의 결과와 인터페이스 시스템의 기능을 연계시키는 최적의 방법을 찾도록 유도함으로써, 임의의 응용 어플리케이션과 효과적으로 상호작용할 수 있도록 지원하는 분야에 적용할 수 있다. 더 나아가 본 발명의 결과는 생체 정보나 신체 동작 정보를 명령 이벤트 정보로 해석하여, 단위 인터페이스 개체와 간접적으로 상호작용을 수행할 때, 사용자의 명령 발현 행위에 도움을 주는 피드백 인터페이스 설계 분야에 적용할 수 있다.

그 외에도 본 발명의 결과물은 정보, 가전, 군사, 오락, 등 사용자와 시스템 사이의 상호작용이 발생되는 일반적인 경우에 있어서 사용자 인터페이스 개발 과정에 적용할 수 있다. 즉, 일련의 사용자 인터페이스 개발 과정에서 이루어지는 피실험자 사용성 테스트(subject usability test) 단계 이전에, 자동화된 컴퓨터 시뮬레이션을 이용하여, 단기간에 최적의 결과물을 도출함으로써, 시간적 그리고 경 제적 측면의 이득을 얻을 수 있다.

Claims

상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템에 있어서,

사용자 인터페이스 개체 및 사용자 인터페이스를 설계하고, 각 단위 개체에 동작 속성을 부여는 사용자 인터페이스 설계부;

상기 사용자 인터페이스 내부 개체가 외부와 교환해야 하는 상호작용 정보를 관리하며, 사용성 평가와 관련된 정보를 관리하여 상기 설계된 사용자 인터페이스에 대한 시뮬레이션을 수행하는 사용자 인터페이스 시제품 시뮬레이션부;

사용자 인터페이스 사용성 평가할 인체에 대한 인체 모델을 설계하고, 상기 설계된 인체 모델의 동작 특성 모델을 저작(authoring)하는 인간 모델 설계부;

상기 인체 모델이 상기 사용자 인터페이스 개체와 상호작용을 할 때의 정보를 관리하여 시뮬레이션을 수행하는 인간 모델 시뮬레이션부; 및

상기 생성된 사용자 인터페이스 모델과 인체 모델을 이용한 사용성 평가 실험의 내용이 되는 콘텐츠 기반의 입력 데이터를 관리하며, 상기 사용자 인터페이스 시제품이 시뮬레이션된 결과와 인간 모델이 시뮬레이션된 결과를 이용하여 인간 모델을 따른 사용자 인터페이스 시제품에 대한 사용성 평가 실험을 하여 상기 설계된 사용자 인터페이스 모델에 대한 사용성을 평가하는 사용자 인터페이스 사용성 평가부;를 포함하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 사용자 인터페이스 설계부는 인터페이스 개체 설계를 지원하며, 이용 가능한 입출력 인터페이스 도구를 이용하여 2차원이나 3차원의 사용자 인터페이스를 설계하며, 각각의 단위 개체에 동작 속성을 부여하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제2항에 있어서, 상기 사용자 인터페이스 설계부는 설계된 사용자 인터페이스의 동작을 소정의 방법에 따라 시뮬레이션하고 설계된 모델을 검증하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 사용자 인터페이스 시제품 시뮬레이션부는, 사용자 인터페이스 설계의 물리적 데이터인 형상 정보를 수정하며, 인체를 포함한 외부 개체가 사용자 인터페이스 구성 개체와 상호작용을 할 때에 사용자 인터페이스 내부 개체가 외부와 교환해야 하는 상호작용 정보를 관리하며, 사용성 평가와 관련된 인터페이스의 초기값을 설정하고, 소정의 피드백 데이터를 수신하여 인터페이스 구성의 변경에 대한 기준 정보를 제시하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하며, 상기 사용자 인터페이스 설계부에서 정의된 모델 데이터와 사용자 인터페이스 형상 정보 부분, 사용자 인터페이스 상호작용 정보 부분 및 사용자 인터페이스의 사용성 평가 정보를 연계하여 시뮬레이션을 수행하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 인간 모델 설계부는, 인체를 그래픽을 사용해서 구성하여 표시하여 기본적인 인간의 신체 모델의 설계를 지원하며, 사용자 인터페이스 사용성 평가 실험을 위한 인체 모델을 설계하고, 인체 해부학 및 움직임 분석학에 따라 상기 설계된 인체 모델의 동작 특성 모델을 저작(authoring)하며, 정상적인 인체의 동작 데이터를 이용하거나, 특정 제약 조건이 부가된 상태의 동작 데이터를 이용하거나 또는 임의의 동작데이터를 생성하여 상기 설계된 인체 모델의 동작을 시뮬레이션하고 설계된 모델을 검증하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 인간 모델 시뮬레이션부는, 필요할 경우 설계가 완성된 상기 인체 모델의 형상 정보를 변경하며, 사용자 인터페이스 개체와 상호작용을 할 때 인체 모델이 받게 되는 정보와 상대 개체에 영향을 주는 요소를 저작하며, 사용성 평가와 관련된 인체 모델의 초기값을 설정하고, 소정의 피드백 데이터를 수신하여 인체 시뮬레이션 모델의 내부 파라미터를 갱신하며, 인간 모델 설계부에서 정의된 모델 데이터와 인간 모델 형상 정보, 인간 모델 상호작용 정보 및 인간 모델 사용성 평가 정보 부분의 정보를 연계하여 시뮬레이션을 수행하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 사용자 인터페이스 사용성 평가부는, 상기 생성된 사용자 인터페이스 모델과 인간 모델을 이용한 사용성 평가 실험의 내용이 되는 콘텐츠 기반의 입력 데이터를 관리하며, 상기 입력 데이터로부터 선정된 데이터를 사용성 평가 실험 단계에 적합한 단위로 분리하여 상기 사용자 인터페이스 시제품 시뮬레이션부에 제공하며, 소정의 입력 데이터와 상기 사용자 인터페이스 시제품 시뮬레이션부의 시뮬레이션 결과 및 상기 인간 모델 시뮬레이션부의 시뮬레이션 결과를 이용하여 사용성 평가 실험을 처리하여 사용성을 평가하며, 상기 각 시뮬레이션부에서 설계된 상호작용 정보를 교환하는 관계를 설정하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제7항에 있어서, 상기 사용자 인터페이스 사용성 평가부는,

평가 결과에 대한 결과 값을 처리하여 얻어진 상기 인체 모델에 대한 최적의 사용자 인터페이스 설계 결과를 사용자에게 출력하며, 최적화된 사용자 인터페이스 설계 결과와 함께 상기 신체 모델로 사용자 인터페이스를 사용하는 모습을 동영상을 포함하는 출력으로 생성하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 사용자 인터페이스 시제품 시뮬레이션부는 상기 사용자 인터페이스 사용성 평가부와 소정의 피드백 데이터 정보를 교환하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
제1항에 있어서,

상기 인간 모델 시뮬레이션부는 상기 사용자 인터페이스 사용성 평가부와 소정의 피드백 데이터를 교환하는 것을 특징으로 하는 사용자 인터페이스 설계 및 평가 시스템.
손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템에 있어서,

사용성 평가 실험의 측정 기준이 되는 신체 해부학적 파라미터, 인간 공학적 분석에 관련된 파라미터, 내부적 제약 조건 및 외부적 제약조건을 설계하여 설계된 모델의 형상에 동작 특성을 부여하는 손 모델 준비 수단;

사용자 인터페이스의 사용성을 평가하기 위한 데이터베이스를 관리하며, 그 데이터베이스로부터 사용성 평가 시뮬레이션에 사용될 입력 데이터를 제공하는 평가 실험용 입력 데이터 준비 수단;

사용자의 직접 상호작용을 수행하는 인터페이스 외형을 설계하며, 손을 이용하여 사용자 인터페이스 단위개체와 상호작용을 할 때, 두 개체 사이에 교환되어야 하는 상호작용 정보를 정의하며, 인터페이스의 동작 속성 값을 변경하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하는 모델 준비 수단; 및

상기 수단들로부터의 결과 데이터를 이용하여 손 모델 및 사용자 인터페이스 시뮬레이션 결과를 포함한 사용성 평가를 하여 최적의 사용자 인터페이스 설계 결과를 얻어내는 사용성 평가 시뮬레이션 수단;을 포함하는 것을 특징으로 하는 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템.
제11항에 있어서,

상기 사용성 평가 시뮬레이션 수단의 사용성 평가 결과를 소정의 기준값과 비교하는 수단;을 더 포함하여,

상기 사용성 평가 결과가 비교 수단의 평가 결과가 기준값보다 크지 않으면 이를 상기 모델 준비 수단으로 전달하여 사용자 인터페이스 외형을 다시 설계하게 하는 것을 특징으로 하는 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템.
제11항에 있어서,

상기 평가 실험용 입력 데이터 준비 수단은, 소정의 인터페이스 활용 시나리오를 중심으로 사용자 인터페이스의 사용성을 평가하는 목적에 적합한 데이터베이스를 관리하며, 그 데이터베이스로부터 평가 시뮬레이션에 적합한 입력 데이터를 선정하거나 난수 발생을 포함하는 방법을 통해 입력 정보들을 생성하며, 사용성 평가 시뮬레이션에 사용될 인체 모델과 사용자 인터페이스 모델의 상호작용 최소 단위에 대응하도록 입력 데이터를 분해/결합하여 제공하는 것을 특징으로 하는 손 상 호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템.
제11항에 있어서,

상기 모델 준비 수단은, 사용자의 직접 상호작용을 수행하는 인터페이스 외형을 설계하며, 설계된 모델은 객체 기반 설계 방법에 따라 상호작용 단위 개체에 대한 속성을 공간 및 시간 속성을 포함한 다차원 영역에서 변경할 수 있도록 하며, 입력 및 출력을 중심으로 상호작용 개체의 동작 속성을 정의하며, 일정한 실험 기준에 부합하는 형상 정보를 설정하며, 손을 이용하여 사용자 인터페이스 단위개체와 상호작용을 할 때에 개체들 사이에 교환되어야 하는 상호작용 정보를 정의하며, 사용자 인터페이스 사용성 평가와 관련된 인터페이스의 초기값을 설정하고, 인터페이스 동작 속성 값을 변경하고, 인터페이스의 내부 구성 요소의 평가 요소를 갱신하는 것을 특징으로 하는 손 상호 작용 기반의 사용자 인터페이스 설계 및 평가 시스템.