KR20130111699A - 이동 단말기의 출력 화면 분석 장치 및 방법, 이를 위한 기록 매체 - Google Patents

Abstract

본 발명은 터치 입력에 따라 변화하는 이동 단말기의 출력 화면을 기록한 고속 촬영 동영상을 저장하는 메모리; 상기 고속 촬영 동영상의 재생 영상을 디스플레이하는 디스플레이부; 및
상기 고속 촬영 동영상의 재생 영상에 관찰 영역을 설정한 뒤, 상기 관찰 영역을 추적하여 상기 이동 단말기의 프레임 변화를 감지하는 제어부를 포함하는 이동 단말기의 출력 화면 분석 장치를 제공한다.

Description

이동 단말기의 출력 화면 분석 장치 및 방법, 이를 위한 기록 매체{APPARATUS AND METHOD FOR ANALYZING AN OUTPUT OF MOBILE TERMINAL}

본 발명은 이동 단말기의 출력 화면 분석 장치 및 방법에 관한 것으로, 상세하게는 이동 단말기의 출력 화면을 분석하여 이동 단말기의 프레임 변화와 반응 속도를 산출하기 위한 장치 및 방법에 관한 것이다.

단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.

최근 스마트폰으로 대변되는 이동 단말기에서, 사용자는 터치감이라는 주관적 기준으로 이동 단말기의 성능을 판단하고 있다. 터치감이란 포인터를 통해 이동 단말기에 터치 입력을 가하였을때, 이동 단말기가 얼마나 잘 반응하는 것인지에 대한 것으로, 터치 입력에 대한 이동 단말기의 반응속도, 터치 입력에 대응한 이동 단말기의 화면 전환 속도 등을 의미하는 것이라 할 것이다.

종래의 터치감이라 하는 것은 사용자의 감성(感性)에 의존한 주관적인 것이고, 이를 객관화한 지표는 존재하지 않는다. 이에 따라, 개발자 입장에서도 이동 단말기의 터치감을 개선하기 위해 어떠한 부분을 개량해야 하는지를 명확히 파악할 수 없다는 문제점이 있다.

본 발명은 기존과는 달리, 이동 단말기의 출력 화면을 객관화된 지표로 분석하기 위한 것이다.

본 발명은 이동 단말기의 출력 화면을 분석하여, 이동 단말기의 터치감을 객관화한 지표로 출력하기 위한 것이다.

본 발명은 이동 단말기의 유아이 반응 속도, 이동 단말기의 프레임 변화, 이동 단말기의 화면 변화 속도 등을 측정하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 이동 단말기의 출력 화면 분석 장치는 터치 입력에 따라 변화하는 이동 단말기의 출력 화면을 기록한 고속 촬영 동영상을 저장하는 메모리; 상기 고속 촬영 동영상의 재생 영상을 디스플레이하는 디스플레이부; 및 상기 고속 촬영 동영상의 재생 영상에 관찰 영역을 설정한 뒤, 상기 관찰 영역을 추적하여 상기 이동 단말기의 프레임 변화를 감지하는 제어부를 포함한다.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 이동 단말기의 출력 화면 분석 장치는 이동 단말기의 출력 화면을 객관화된 지표로 분석할 수 있다.

또한, 본 발명의 적어도 하나의 실시예에 관련된 이동 단말기의 출력 화면 분석 장치는 이동 단말기의 유아이 반응 속도, 이동 단말기의 프레임 변화, 이동 단말기의 화면 변화 속도 등을 측정할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 이동 단말기로 터치 입력을 가하기 위한 터치 입력 구현 장치의 사시도.
도 2는 도 1에 도시된 고정부의 분해 사시도.
도 3은 도 2에 도시된 압착부의 단면도.
도 4는 이동 단말기가 고정된 상태에서 안착 플레이트가 제자리 회전하는 것을 설명하기 위한 예시도.
도 5는 도 1에 도시된 터치 입력부의 분해 사시도.
도 6은 이동 단말기의 제1 디스플레이부와 관련된 제1 방향 내지 제3 방향을 설명하기 위한 예시도.
도 7은 본 발명의 일실시예에 따른 유아이 분석부의 블록도.
도 8은 본 발명의 일실시예에 따른 유아이 분석부의 동작 흐름도.
도 9는 로드 셀에 가해지는 하중 변화를 도시한 그래프.
도 10은 본 발명의 일실시예에 따른 유아이 분석부의 동작 흐름도.
도 11은 천이 영상과 제1 장면의 싱크로율을 산출하는 것을 설명하기 위한 예시도.
도 12는 천이 영상과 제1 장면의 싱크로율을 산출하는 것을 설명하기 위한 다른 예시도.
도 13은 제1 장면 및 제2 장면과 천이 영상 사이의 싱크로율과 유아이 반응 시간의 관계를 도시한 그래프.
도 14는 본 발명의 일실시예에 따른 유아이 분석부의 동작 흐름도.
도 15는 제2 디스플레이부를 통해 재생되는 촬영 영상을 구성하는 제1 프레임에 관찰 영역을 설정하는 것을 설명하기 위한 예시도.
도 16은 고속 카메라의 촬영 영상을 구성하는 연속적인 프레임을 나열한 도면.
도 17은 제2 프레임에 관찰 영역이 재설정되는 것을 설명하기 위한 예시도.
도 18은 제1 프레임에 복수의 관찰 영역이 설정되는 것을 설명하기 위한 예시도.
도 19는 본 발명의 일실시예에 따른 유아이 분석부의 동작 흐름도.

이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.

이하에서는 설명의 편의를 위해, 분석 대상이 되는 타겟 단말기에 구비된 디스플레이부를 '제1 디스플레이부' 유아이 분석부에 구비된 디스플레이부를 '제2 디스플레이부'라 호칭하기로 한다. 이때, 제1 디스플레이부는 터치 스크린 형태로 구현되어, 터치 입력 구현 장치로부터 터치 입력을 전달받을 수 있다. 제2 디스플레이부 역시 터치 스크린 형태로 구현될 수 있으나, 반드시 터치 스크린 형태로 구현되어야 하는 것은 아니다.

도 1은 본 발명의 일실시예에 따른 이동 단말기(10)로 터치 입력을 가하기 위한 터치 입력 구현 장치(100)의 사시도이다. 도 1을 참조하면, 터치 입력 구현 장치(100)는 고정부(120), 터치 입력부(140) 및 고속 카메라(160)를 포함할 수 있다.

고정부(120)는 분석 대상이 되는 타겟 단말기(10)를 고정하는 역할을 수행한다. 고정부(120)는 이동 단말기(10)가 흔들림 없이 고정되도록 함으로써, 이동 단말기(10)에 원하는 터치 입력이 가해질 수 있도록 할 수 있다.

도 2는 도 1에 도시된 고정부(120)의 분해 사시도이다. 도 2를 참조하면, 고정부(120)는 이동 단말기(10)가 안착될 안착 플레이트(122)와, 안착 플레이트(122)에 안착되는 이동 단말기(10)를 고정시키기 위한 단말 가압부를 포함할 수 있다. 구체적으로, 단말 가압부는 안착된 이동 단말기(10)를 압착하기 위한 압착부(124), 압착부(124)를 지지하고 압착부(124)가 축방향으로 왕복할 수 있도록 안내하는 주프레임(126), 주프레임(126)을 전후 이동시키기 위해 안착 플레이트(122)와 결합하는 결합부(128), 결합부(128)와 연결되어 주프레임(126)의 전후 이동을 제어하는 핸들부(130)를 포함할 수 있다. 이때, 이동 단말기(10)에 압력을 가하기 위한 단말 가압부는 이동 단말기(10)가 고정될 수 있도록 적어도 2개의 세트가 동시에 구비될 수 있다(도 1에서는 4개의 세트가 동시에 구비된 것으로 예시).

도 2의 예에서, 결합부(128)와 주프레임(126), 결합부(128)와 안착 플레이트(122)는 나사 결합으로 일체화 될 수 있다. 결합부(128)에는 나사산이 형성되며, 주프레임(126)과 안착 플레이트(122)에는 결합부(128)가 회전할 수 있도록 나사홈(123,127)이 형성될 수 있다.

이동 단말기(10)가 안착 플레이트(122)에 안착되면, 사용자는 핸들부(130)를 회전시킴으로써, 주프레임(126)이 앞뒤로 이동하도록 조절할 수 있다. 주프레임(126)이 이동 단말기(10) 쪽으로 이동하면, 주프레임(126)에 연결된 압착부(124)가 이동 단말기(10)와 맞닿아 이동 단말기(10)를 가압하게 된다. 도 2에 도시된 4세트의 압착부(124)가 이동 단말기(10)를 가압하도록 한다면, 이동 단말기(10)는 압착부(124)에 고정될 수 있을 것이다. 이때, 압착부(124)를 통해 타겟 단말기(10)를 가압하는 압력을 보조하기 위해, 압착부(124)와 안착 플레이트(122) 사이에는 주프레임(126)과 결합하는 탄성부(132)가 더 포함될 수 있다. 탄성부(132)는 압착부(124)에 탄성력을 가하여, 핸들을 회전함으로써 타겟 단말기(10)를 가압하는 것을 보조할 수 있다.

도 2의 예에서, 압착부(124)를 통해 이동 단말기(10)를 가압할 때, 이동 단말기(10)가 효과적으로 고정될 수 있도록 압착부(124)의 일단에는 돌출홈(125)이 형성될 수 있다. 압착부(124)의 일단에 돌출홈(125)이 형성되는 것은 도 3을 통해 더욱 상세히 설명하기로 한다.

도 3은 도 2에 도시된 압착부(124)의 단면도이다. 도 3에 도시된 것과 같이, 압착부(124)의 일단에는 돌출홈(125)이 형성될 수 있다. 돌출홈(125)이 형성됨으로써, 이동 단말기(10)가 압착부(124)를 이탈하는 것을 방지할 수 있을 뿐만 아니라, 이동 단말기(10)가 제자리에서 흔들리는 것도 방지할 수 있다.

다시, 도 2를 참조하면, 도 2의 안착 플레이트(122)는 제자리 회전이 가능하도록 설치될 수 있다. 이는 제1 디스플레이부(15)의 디스플레이 모드가 자유롭게 전환될 수 있도록 하기 위함이다. 이동 단말기(10)가 고정 상태일 때 안착 플레이트(122)가 회전하면, 이동 단말기(10)는 센서부(예컨대, 중력 센서, 자이로 센서, 가속도 센서 등)의 신호를 기초로 제1 디스플레이부(15)의 디스플레이 모드를 포트레이트(Portrait) 모드에서 랜드스케이프(Landscape) 모드 (또는 이와 반대로)로 전환시킬 수 있다.

도 4a 내지 도 4c는 이동 단말기(10)가 고정된 상태에서 안착 플레이트(122)가 제자리 회전하는 것을 설명하기 위한 예시도이다. 도 4a에 도시된 예에서, 이동 단말기(10)는 포트레이트 모드로 작동한다. 이때, 도 4b에 도시된 것과 같이 안착 플레이트(122)가 서서히 회전하면 이동 단말기(10)도 점차 기울어지게 된다. 이동 단말기(10)의 기울어진 정도가 소정의 각도를 넘어서면, 도 4c에 도시된 것과 같이 이동 단말기(10)의 디스플레이 모드는 랜드스케이프 모드로 전환될 수 있다. 안착 플레이트(122)는 모터(미도시)에 의해 자동으로 회전될 수 있으며, 모터는 후술될 유아이 분석부(200)로부터의 제어 신호를 기초로 작동할 수 있다.

터치 입력부(140)는 고정부(120)에 이동 단말기(10)의 제1 디스플레이부(15)에 터치 입력을 가하기 위한 것이다. 이동 단말기(10)가 고정부(120)에 고정되면 터치 입력부(140)를 통해 제1 디스플레이부(15)에 터치 입력을 가할 수 있다. 여기서 터치 입력이란 제1 디스플레이부(15)를 터치하는 동작, 드래그(Drag) 하는 동작 및 플리킹(Flicking) 하는 동작을 포함할 수 있다. 제1 디스플레이부(15)를 터치한다는 것은 포인터를 제1 디스플레이부(15)에 접촉(contact)시킨 뒤 접촉 해제(release)하는 일련의 과정을 의미하고, 드래그(Drag) 동작은 포인터를 제1 디스플레이부(15)에 접촉(contact)시킨 상태에서 어느 한 방향으로 포인터를 이동하는 과정을 의미할 수 있다. 플리킹(Flicking)은 제1 디스플레이부(15)에 포인터를 접촉(contact) 시킨 상태에서 포인터를 어느 한쪽으로 튕기는 것을 의미할 수 있다. 여기서 플리킹 동작은 드래그 동작의 하위 범주에 포함되는 것으로 볼 수 있다. 따라서, 특별한 언급이 없다면, 드래그 동작에는 플리킹 동작이 포함되는 것으로 볼 수 있다. 이하 터치 입력부(140)의 구체적 동작을 도 5의 분해 사시도를 통해 상세히 설명하기로 한다.

도 5는 도 1에 도시된 터치 입력부(140)의 분해 사시도이다. 도 5를 참조하면, 터치 입력부(140)는 이동 단말기(10)의 터치 스크린과 직접적으로 접촉하는 핑거부(142), 핑거부(142)와 연결되는 로드 셀(144), 로드 셀(144)과 연결되어 핑거부(142)의 위치를 조절하기 위해 제1 방향으로 왕복 이동 가능한 아암부(146), 아암부(146)를 지지하여 아암부(146)의 이동을 가이드하고, 핑거부(142)와 제1 디스플레이부(15) 사이의 접촉 및 접촉 해제를 제어할 수 있도록 아암부(146)를 제2 방향으로 왕복 이동 시키는 연결부(148), 연결부(148)의 이동을 가이드하고, 핑거부(142)의 위치를 조절하기 위해 제3 방향으로 왕복 이동 가능한 지지부(150)를 포함한다.

여기서 제1 방향 내지 제3 방향은 서로 각기 다른 방향을 의미할 수 있다. 제1 방향 내지 제3 방향에 대한 자세한 설명은 도 6을 통해 상세히 설명하기로 한다.

도 6은 이동 단말기(10)의 제1 디스플레이부(15)와 관련된 제1 방향 내지 제3 방향을 설명하기 위한 예시도이다. 도 6에 도시된 바와 같이 이동 단말기(10)의 제1 디스플레이부(15)에 접촉된 포인터(본 발명의 핑거부(142))가 접촉을 유지한 상태(또는 접촉 해제된 상태)로 상하 방향으로 드래그 되는 것이 제1 방향(610)이라면, 포인터가 접촉을 유지한 상태(또는 접촉 해제된 상태)로 좌우 방향으로 드래그 되는 것은 제3 방향(620)으로 이해될 수 있다. 나아가, 제1 디스플레이부(15)에 접촉된 포인터가 접촉 해제되도록 움직이는 것과, 접촉 해제된 포인터가 제1 디스플레이부(15)에 접촉되도록 움직이는 것이 제2 방향(630)인 것으로 이해될 수 있다. 다만, 도 6은 제1 방향 내지 제3 방향을 일예를 설명한 것에 불과할 뿐, 제1 방향 내지 제3 방향이 반드시 도 6에 도시된 방향으로 정의되어야 하는 것은 아니다.

다시 도 5를 참조하면, 먼저, 핑거부(142)는 제1 디스플레이부(15)에 접촉되기 위한 포인터의 역할을 수행하는 것으로 이해될 수 있다. 핑거부(142)는 정전식 터치 및 압력식 터치 기술이 적용된 터치 스크린 중 적어도 하나에 적용될 수 있다.

로드 셀(144)은 핑거부(142)에 가해지는 하중의 크기를 측정한다. 후술될 유아이 분석부(200)는 로드 셀(144)에 가해지는 하중의 크기를 기초로, 이동 단말기(10)의 제1 디스플레이부(15)에 핑거부(142)가 접촉한 상태인지를 판단할 수 있다.

아암부(146)의 종단에는 로드 셀(144) 및 핑거부(142)가 연결된다. 아암부(146)는 연결부(148)에 형성된 제1 레일을 따라 제1 방향으로 움직일 수 있다. 아암부(146)가 움직임에 따라 아암부(146)의 종단에 연결된 핑거부(142)의 위치도 조절될 수 있다.

연결부(148)는 아암부(146)를 지지하는 역할을 수행하고, 아암부(146)가 제1 방향으로 움직이는 것을 가이드하는 역할을 수행한다. 아암부(146)의 움직임을 가이드하기 위해, 연결부(148)에는 제1 레일이 형성될 수 있다. 연결부(148)는 지지부(150)에 형성된 제2 레일을 따라 제2 방향으로 움직일 수 있다. 연결부(148)에 연결된 아암부(146) 역시 연결부(148)의 움직임을 따라 움직이게 되므로, 핑거부(142)의 위치도 연결부(148)의 움직임을 따라 움직이게 된다.

지지부(150)는 연결부(148)와 연결되어, 연결부(148)의 움직임을 가이드 역할을 수행한다. 또한, 지지부(150)는 터치 입력 구현 장치(100)의 하면 플레이트에 형성된 레일부를 따라 제3 방향으로 움직일 수 있다. 지지부(150)의 움직임은 종국적으로 핑거부(142)를 움직이게 하므로, 핑거부(142)는 지지부(150)의 움직임에 따라 제3 방향으로 움직일 수 있다.

결과적으로, 핑거부(142)는 아암부(146), 연결부(148) 및 지지부(150)의 움직임에 따라 적어도 6개의 방향으로 움직일 수 있다. 아암부(146), 연결부(148) 및 지지부(150) 중 적어도 두개가 동시에 움직인다면 (또한 각각의 이동 속도가 다르다면), 핑거부(142)는 더 많은 방향으로 움직일 수 있을 것이다.

아암부(146), 연결부(148) 및 지지부(150)는 모터(도면 미도시)에 의해 움직일 수 있으며, 모터는 후술될 유아이 분석부(200)의 제어 신호에 따라 제어될 수도 있다. 결과적으로, 아암부(146), 연결부(148) 및 지지부(150)의 움직임은 유아이 분석부(200)를 통해 원격 제어될 수 있고, 이에 따라, 핑거부(142)와 제1 디스플레이부(15)의 접촉 및 접촉 해제, 핑거부(142)가 터치하고자 하는 지점의 설정, 핑거부(142)를 제1 디스플레이부(15)에서 드래그 하는 것 역시 유아이 분석부(200)를 통해 원격 제어될 수 있을 것이다.

고속 카메라(160)는 제1 디스플레이부(15)의 출력을 촬영하기 위한 것이다. 고속 카메라(160)의 촬영 화면은 후술될 유아이 분석부(200)로 전송되어 제1 디스플레이부(15)의 출력을 분석하는데 사용될 수 있다. 고속 카메라(160)를 통한 촬영 개시, 촬영 종료는 유아이 분석부(200)를 통해 자동으로 제어될 수도 있다. 예컨대, 유아이 분석부(200)는 핑거부(142)가 제1 디스플레이부(15)에 접촉한 시점에 촬영이 개시되도록 제어할 수 있고, 핑거부(142)가 제1 디스플레이부(15)와 접촉 해제된 시점 (또는 접촉 해제된 후 소정 시간이 경과한 시점)에 촬영이 종료되도록 제어할 수도 있다. 다만, 촬영 개시 및 촬영 종료가 반드시 자동으로 설정되어야 하는 것은 아니며, 사용자 입력에 기반하여 개시되거나 종료될 수도 있다.

제1 디스플레이부(15)의 프레임 변화를 관찰하기 위해, 고속 카메라(160)를 통해 촬영되는 비디오 스트림의 프레임율(frame rate)은 제1 디스플레이부(15)의 출력 프레임율보다 더 높은 것이 바람직하다. 구체적으로, 고속 카메라(160)의 프레임율은 제1 디스플레이부(15)의 그것보다 2배 이상 높은 것이 바람직하다.

고속 카메라(160)는 선반부(170)(170)와 결합하여, 선반부(170) 위에서 타겟 단말기(10)를 촬영할 수 있다. 고속 카메라(160)가 선반부(170) 위에 고정 결합됨으로써, 제1 디스플레이부(15)를 흔들림 없이 촬영할 수 있다. 촬영 영상이 흔들리지 않음으로써, 유아이 분석부(200)는 제1 디스플레이부(15)의 프레임 변화를 정확하게 인지할 수 있다.

고속 카메라(160)를 지지하는 선반부(170)는 프레임부와 나사결합하여 제자리 회전 가능하도록 제작될 수 있다. 선반부(170)의 제자리 회전은 고속 카메라(160)의 촬영 각도를 조절하는 역할을 수행할 수 있다.

유아이 분석부(200)는 터치 입력 구현 장치(100)로부터 획득한 데이터를 기초로 제1 디스플레이부(15)의 출력을 분석하는 역할을 수행한다. 구체적으로, 유아이 분석부(200)는 터치 입력 구현 장치(100)로부터 획득한 비디오 스트림을 분석하여 터치 스크린의 프레임 변화, 터치 스크린의 프레임율, 프레임 변화의 부드러움 정도, 유아이 반응 시간 등의 정보를 산출할 수 있다. 유아이 분석부(200)는 터치 입력 구현 장치(100)의 이격된 외부 장치이거나, 터치 입력 구현 장치(100)에 실장된 일 기능부일 수 있다.

유아이 분석부(200)가 터치 입력 구현 장치(100)와 이격된 외부 장치인 경우, 유아이 분석부(200)는, 개인용 컴퓨터, 워크 스테이션 등의 컴퓨팅 시스템일 수 있다. 이 경우, 유아이 분석부(200)는 터치 입력 구현 장치(100)와 직접(local) 연결 되거나 무선(wireless) 연결될 수 있다.

도 7은 본 발명의 일실시예에 따른 유아이 분석부(200)의 블록도이다. 도 7을 참조하면, 유아이 분석부(200)는 인터페이스부(210), 메모리(220), 제2 디스플레이부(230) 및 제어부(240)를 포함할 수 있다.

인터페이스부(210)는 유아이 분석부(200)와 터치 입력 구현 장치(100)의 통로 역할을 수행한다. 인터페이스부(210)는 터치 입력 구현 장치(100)로부터 데이터를 전송 받거나, 유아이 분석부(200)의 데이터가 외부 기기로 전송되도록 한다. 구체적으로, 인터페이스부(210)는 터치 입력 구현 장치(100)로부터, 로드 셀(144)의 하중 정보, 고속 카메라(160)의 촬영 영상을 수신하고, 터치 입력부(140) 및 고정부(120)를 구동시키기 위해 제어부(240)에서 생성된 제어신호를 터치 입력 구현 장치(100)로 전송할 수 있다. 유아이 분석부(200)와 터치 입력 구현 장치(100)가 무선 통신으로 데이터를 송수신하는 경우, 인터페이스부(210)에는 안테나, IrDA 리시버와 같은 수신 장치들이 연결될 수도 있다.

메모리(220)는 제어부(240)의 처리 및 제어를 위한 프로그램이 저장될 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수 있다. 구체적으로, 메모리(220)는 터치 입력 구현 장치(100)로부터 수신한 촬영 화면을 저장하고, 제어부(240)를 통해 출력된 이동 단말기(10)의 프레임 율, 관찰 영역의 속도, 유아이 반응 시간 등을 데이터베이스화 하여 저장할 수 있다.

제2 디스플레이부(230)는 고속 카메라(160)를 통해 제공되는 비디오 스트림의 재생 화면과, 제1 디스플레이부(15) 출력의 분석 결과를 표시한다. 이때, 제2 디스플레이부(230)를 통해 제공되는 비디오 스트림의 재생속도는 제어부(240)에 의해 조절될 수 있다. 예컨대, 사용자가 비디오 스트림의 재생 속도를 늦추면, 비디오 스트림은 제2 디스플레이부(230) 상에서 저속 재생될 수 있다. 비디오 스트림을 저속 재생함으로써, 사용자에게 제1 디스플레이부(15)의 출력 변화를 좀 더 세밀하게 관찰하도록 할 수 있다.

제어부(240)는 터치 입력 구현 장치(100)의 각 기능부의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 일예로, 제어부(240)는 터치 입력 구현 장치(100)의 고정부(120)의 제자리 회전, 타겟 단말기(10)로 터치 입력을 가하기 위한 터치 입력부(140)의 제어, 고속 카메라(160)를 통한 촬영 개시 및 중지 설정 등을 제어할 수 있다.

나아가, 제어부(240)는 고속 카메라(160)의 비디오 스트림을 분석하여 제1 디스플레이부(15)의 변화를 수치적으로 분석할 수 있다. 구체적으로, 제어부(240)는 타겟 단말기(10)의 유아이 반응 속도, 제1 디스플레이부(15)의 프레임 변화에 기초한 프레임율, 프레임 변화시 변화의 부드러운 정도 등을 수치화할 수 있다.

이하에서는 유아이 분석부(200)의 동작 흐름도를 통해 유아이 분석부(200)에 포함되는 각 구성 요소의 유기적 결합관계를 상세히 살펴보기로 한다. 설명의 편의를 위해, 유아이 분석부(200)가 터치 입력 구현 장치(100)를 제어하는 과정을 먼저 살펴본 뒤, 유아이 분석부(200)가 제1 디스플레이부(15)의 변화를 수치적으로 분석하는 것을 살펴보기로 한다.

도 8은 본 발명의 일실시예에 따른 유아이 분석부(200)의 동작 흐름도이다. 구체적으로, 도 8은 유아이 분석부(200)가 터치 입력 구현 장치(100)를 제어하는 과정을 도시한 것이다. 도 8을 참조하면, 먼저 제어부(240)는 제1 디스플레이부(15)에 핑거부(142)가 터치될 지점을 선정하기 위해, 아암부(146) 및/또는 지지부(150)를 구동하는 제어 신호를 생성할 수 있다(S801). 생성된 제어 신호는 터치 입력 구현 장치(100)로 전송되어, 아암부(146) 및/또는 지지부(150)의 위치가 조절되는데 활용될 수 있다. 아암부(146) 및/또는 지지부(150)의 위치 조절은 핑거부(142)의 위치 조절을 수반함으로, 제1 디스플레이부(15)의 원하는 지점에 핑거부(142)가 터치될 수 있도록 할 수 있다.

터치될 지점이 선택되면, 제어부(240)는 제1 디스플레이부(15)와 핑거부(142)가 접촉되도록 아암부(146)가 지지부(150)를 따라 이동하도록 제어할 수 있다(S802). 구체적으로, 아암부(146)가 지지부(150)를 따라, 제1 디스플레이부(15)가 놓여진 쪽으로 이동하면, 핑거부(142)와 제1 디스플레이부(15)의 거리도 줄어들게 되어 결국에는 터치 동작이 이루어질 수 있다.

이후, 제어부(240)는 로드 셀(144)의 하중 값을 기초로, 제1 디스플레이부(15)와 핑거부(142)가 접촉 상태인지 여부를 판단할 수 있다(S803). 핑거부(142)와 제1 디스플레이부(15)가 실제로 맞닿은 상태라 하더라도, 제1 디스플레이부(15)에 터치 입력이 수행되는 것은 아니다. 예컨대, 제1 디스플레이부(15)가 압력식 터치 기술이 적용된 터치 스크린인 경우, 터치 스크린에 사전 설정된 압력이 가해져야 터치 입력이 수행되는 것으로 인식될 수 있다. 로드 셀(144)의 하중 값을 기초로 제1 디스플레이부(15)와 핑거부(142)가 접촉 상태인지 여부를 판단하는 것은, 제1 디스플레이부(15)에 터치 입력이 가해질 정도로 충분한 압력이 가해졌는지를 판단하기 위함이다. 제1 디스플레이부(15)에 충분한 압력이 가해진 경우, 제어부(240)는 핑거부(142)가 제1 디스플레이부(15)에 접촉되었다고 판단할 수 있다.

도 9a 및 도 9b는 로드 셀(144)에 가해지는 하중 변화를 도시한 그래프이다. 핑거부(142)와 제1 디스플레이부(15)가 맞닿은 이후, 아암부(146)가 계속 제1 터치 스크린으로 이동하고자 하는 경우, 도 9a에 도시된 바와 같이, 로드 셀(144)에 가해지는 하중은 점차 커지게 된다. 제어부(240)는 로드 셀(144)에 가해지는 하중과 기 설정 값을 비교하여, 제1 디스플레이부(15)와 핑거부(142)가 접촉 상태에 있는지를 판단할 수 있다. 구체적으로, 도 9a의 예에서, 로드 셀(144)의 하중값이 임계치(threshold value)를 넘는 경우, 제어부(240)는 핑거부(142)가 제1 디스플레이부(15)에 접촉 되었다고 판단하고, 미리 지정된 값 이하인 경우, 핑거부(142)가 터치 스크린에 접촉되지 않은 상태라고 판단할 수 있다. 도 9a의 예에서, 제어부(240)는 제1 시점(t1)에서 핑거부(142)가 제1 디스플레이부(15)에 접촉(contact) 되고, 제2 시점(t2)에서 핑거부(142)가 접촉 해제(release) 된 것으로 판단할 수 있다.

도 9b는 드래그 동작이 수행된 경우 로드 셀(144)의 하중값 변화를 도시한 것이다. 도 9b에 도시된 바와 같이, 드래그 동작이 입력되는 동안 로드 셀(144)에 가해지는 하중값은 임계치보다 높은 값을 갖는다. 제어부(240)는 핑거부(142)와 제1 터치스크린이 접촉되었다고 판단한 제3 시점(t3)부터 아암부(146) 및/또는 지지부(150)를 이동시켜 드래그 동작이 수행되도록 제어할 수 있을 것이다.

제1 디스플레이부(15)와 핑거부(142)가 접촉되었다고 판단하면, 제어부(240)는 고속 카메라(160)가 제1 디스플레이부(15)의 촬영을 시작하도록 제어할 수 있다(S804). 이를 통해 고속 카메라(160)는 터치 입력에 대한 제1 디스플레이부(15)의 변화를 기록할 수 있다.

도 8의 실시예에서, 고속 카메라(160)가 제1 디스플레이부(15)의 촬영을 개시하는 단계(S803)가 반드시 S802 단계 이후에 수행되어야 하는 것은 아니다. S803 단계는 S801 및 S802 단계의 앞에서 수행될 수도 있다. 또한, S801 단계와 S802 단계가 반드시 기술된 선후 관계로 실행되어야 하는 것은 아니다. S801 단계가 수행되면서 S802 단계가 수행되거나, S802 단계가 수행된 이후, S801 단계가 수행될 수도 있다.

유아이 분석부(200)가 터치 입력 재현 장치를 제어하는 동안 고속 카메라(160)는 이동 단말기(10) 터치스크린의 화면 변화를 촬영할 수 있다. 유아이 분석부(200)는 고속 카메라(160)로부터 비디오 스트림을 획득하고, 이를 분석하여, 터치 스크린의 화면 변화 양상을 분석할 수 있다.

여기서, 터치 입력에 반응한 제1 디스플레이부(15)의 변화 양상은 다음과 같이 유형화 될 수 있다.

i) 제1 디스플레이부(15)가 전혀 다른 화면으로 전환되는 경우

ii) 제1 디스플레이부(15)의 출력 화면이 어느 한쪽 방향으로 스크롤 되는 경우

iii) 제1 디스플레이부(15)의 출력 화면이 확대 또는 축소 되거나, 출력 화면이 90도 회전하는 경우(즉, 포트레이트 모드와 랜드스케이프 모드 사이의 전환)

이하에서는 상술한 유형별로 제어부(240)가 제1 디스플레이부(15)를 분석하는 과정을 상세히 설명하기로 한다.

<유형 1 - 제1 디스플레이부(15)가 전혀 다른 화면으로 전환되는 경우>

유형 1은 제1 디스플레이부(15)의 출력 화면이 제1 장면에서 제2 장면으로 바뀌는 경우이다. 일예로, 홈 스크린에 배치된 어플리케이션을 터치 하는 사용자 입력이 행하여 지면, 제1 디스플레이부(15)의 출력은 홈 스크린 화면(제1 화면)에서 선택된 어플리케이션의 구동 화면(제2 화면)으로 바뀔 수 있다. 설명의 편의를 위해, 본 실시예에서는 제1 디스플레이부(15)가 제1 장면에서 제2 장면으로 전환되는 것으로 가정하고, 제1 장면 및 제2 장면 사이에서 제1 디스플레이부(15)를 통해 출력되는 영상을 천이 영상이라 명명하기로 한다.

도 10은 본 발명의 일실시예에 따른 유아이 분석부(200)의 동작 흐름도이다. 비디오 스트림의 획득 단계는 인터페이스부(210)를 통해 고속 카메라(160)로부터 이동 단말기(10)의 터치스크린을 촬영한 촬영 영상을 수신하는 단계이다(S1001). 인터페이스부(210)를 통해 수신된 촬영 영상은 메모리(220)에 저장되고, 제어부(240)는 제2 디스플레이부(230)를 통해 촬영 영상이 재생되도록 제어할 수 있다(S1002).

이후, 제어부(240)는 제1 디스플레이부(15)의 최초 반응 시간을 산출할 수 있다(S1003). 최초 반응 시간이란, 핑거부(142)가 제1 디스플레이부(15)와 접촉 해제(또는 접촉)된 이후, 제1 장면이 사라질 때까지 소요되는 시간으로 이해될 수 있다. 여기서, 제어부(240)는 천이 영상과 제1 장면의 싱크로율을 기반으로 제1 디스플레이부(15)에서 제1 장면이 사라졌는지를 판단할 수 있다.

도 11 및 도 12는 천이 영상과 제1 장면의 싱크로율을 산출하는 것을 설명하기 위한 예시도이다. 도 11에 예시된 것과 같이, 이동 단말기(10)는 제1 장면(1110)이 점점 작아지도록 제어함으로써, 제1 장면(1110)이 제1 디스플레이부(15)에서 사라지도록 제어할 수 있다. 이때, 제어부(240)는 제1 장면과 천이 영상 사이의 싱크로율을 측정하여 제1 장면(1110)이 제1 디스플레이부(15)에서 완전히 사라졌는가를 판단할 수 있다. 도 11a는 제1 디스플레이부(15)를 통해 제1 장면(1110)이 표시된 경우의 예시도이다. 도 11a에서, 제1 디스플레이부(15)를 통해 출력되는 화면은 제1 장면(1110) 그 자체이므로, 도 11a의 화면과 제1 장면(1110)은 100% 싱크로율을 갖는다. 이후, 제1 장면(1110)의 크기가 점차 줄어들면, 제1 장면(1110)과 천이되는 영상 사이의 싱크로율은 점차 감소할 것이다. 일예로, 도 11b에 도시된 제1 디스플레이부(15)의 천이 영상이 제1 장면(1110)을 80% 크기로 출력하는 것이라면, 도 11b 천이 영상의 싱크로율은 제1 장면(1110)의 80%로 산출될 수 있다. 나아가, 도 11c에 도시된 제1 디스플레이부(15)의 천이 영상이 제1 장면(1110)을 10% 크기로 출력하는 것이라면, 도 11c 천이 영상의 싱크로율은 제1 장면(1110)의 10%로 산출될 수 있다.

또 다른 예로, 이동 단말기(10)는 도 12에 예시된 것과 같이, 제1 장면(1210)의 일부가 곧바로 제2 장면(1220)으로 천이됨으로써, 제1 장면(1210)이 제1 디스플레이부(15)에서 사라질 수도 있다. 도 12a에서, 제1 디스플레이부(15)를 통해 출력되는 화면은 제1 장면(1210) 그 자체이므로, 도 12a에 예시된 화면과 제1 장면(1210)은 100% 싱크로율을 갖는다. 이후, 도 12b에 도시된 바와 같이, 제1 장면(1210)의 일부가 제2 장면(1220)으로 변환되는 천이 영상이 출력되면, 제어부(240)는 제1 디스플레이부(15)에 표시된 제1 장면(1210)의 잔여 비율에 따라 싱크로율을 산정할 수 있다. 예컨대, 도 12b의 예에서, 제1 디스플레이부(15)를 통해 출력되는 제1 장면(1210)과 제2 장면(1220)의 비율이 8:2인 경우, 제어부(240)는 도 12b에 예시된 천이 영상과 제1 장면(1210) 사이의 싱크로율을 80%로 산출할 수 있다. 이후, 도 12c에 도시된 것과 같이, 제1 장면(1210)이 점차 제1 디스플레이부(15)에서 사라져, 제1 장면(1210)과 제2 장면의 비율(1220)이 1:8이 되면, 제어부(240)는 도 12c에 예시된 천이 영상과 제1 장면 사이의 싱크로율을 20%로 산출할 수 있다.

즉, 도 11 및 도 12의 예에서, 제어부(240)는 제1 장면의 변형 정도에 기초하여 싱크로율을 산정할 수 있다. 도 11 및 도 12에서는 제1 장면의 크기를 조절하면서 또는 제1 장면의 일부가 변형되도록 하면서 제1 디스플레이부(15)의 출력이 변환되는 것으로 예시하였지만, 이는 일예에 불과할 뿐, 본 발명을 한정하는 것은 아니라 할 것이다. 제1 장면과 제2 장면의 싱크로율 변화를 탐지하기 위해, 메모리(220)에는 제1 장면과 제2 장면이 기 저장되어 있을 수 있다.

제어부(240)는 천이 영상과 제1 장면의 싱크로율이 임계치 미만이 되면, 제1 디스플레이부(15)에서 제1 장면이 사라진 것으로 인식할 수 있다. 예컨대, 제1 장면과 천이 영상의 싱크로율이 100% 미만이 되거나, 0%가 된 경우, 또는 사전 설정된 값 이하가 된 경우 제어부(240)는 제1 디스플레이부(15)에서 제1 장면이 사라진 것으로 판단할 수 있다. 예컨대, 제1 장면과 천이 영상 사이의 싱크로율이 80% 이하일 때 제1 디스플레이부(15)에서 제1 장면이 사라진 것으로 판단한다면, 제어부(240)는 도 11b 및 도 12b의 천이 화면이 출력될 때 제1 디스플레이부(15)에서 제1 장면이 사라진 것으로 판단할 수 있다.

제1 디스플레이부(15)에서 제1 장면이 사라지면, 제어부(240)는 로드 셀(144)의 하중값을 기초로 판단된 제1 디스플레이부(15)와 접촉 해제(또는 접촉) 시점과 제1 디스플레이부(15)에서 제1 장면이 사라진 시점 사이를 최초 반응 시간으로 산출할 수 있다.

다시 도 10를 참조하면, 최초 반응 시간을 산출한 이후, 제어부(240)는 제1 장면과 제2 장면 사이의 장면 전환 시간을 산출 할 수 있다(S1004). 구체적으로, 제어부(240)는 제1 디스플레이부(15)에서 제1 장면이 사라진 시점부터 제1 디스플레이부(15)에 제2 장면이 나타나는 시점 사이의 시간을 장면 전환 시간으로 산출할 수 있다. 앞서 도 11 및 도 12에 도시된 것과 같이, 제어부(240)는 제2 장면과 천이 영상 사이의 싱크로율을 기초로 제1 디스플레이부(15)에 제2 장면이 표시되고 있는지를 판단할 수 있다. 제어부(240)는 제2 장면과 천이 영상 사이의 싱크로율이 100% 이거나, 0%를 초과한 경우, 또는 사전 설정된 값 이상이 된 경우, 제2 디스플레이부(230)에서 제2 장면이 나타나는 것으로 판단할 수 있다.

최초 반응 시간과 장면 전환 시간이 산출되면, 제어부(240)는 최초 반응 시간과 장면 전환 시간을 합한, 유아이 반응 시간을 산출할 수 있다(S1005). 유아이 반응 시간은 제1 장면에 터치 입력을 가한 시점부터, 목적하는 제2 장면이 제1 디스플레이부(15)에 표시되는 시점까지의 시간을 나타내는 것으로 최초 반응 시간과 장면 전환 시간의 합으로 표현될 수 있다.

도 13은 일예로 제1 장면 및 제2 장면과 천이 영상 사이의 싱크로율과 유아이 반응 시간의 관계를 도시한 그래프이다. Y 축은 제1 장면과 천이 영상, 제2 장면과 천이 영상 사이의 싱크로율을 기록한 것이고, x 축은 시간을 기록한 것이다.

도 13에서 제1 장면이 출력되는 제1 디스플레이부(15)에 핑거부(142)가 접촉한 뒤(t1), 접촉 해제되면(t2), 제1 장면이 제1 디스플레이부(15)로부터 서서히 사라지면서, 제1 장면의 싱크로율은 점차 감소하게 된다. 제어부(240)는 제1 장면과 천이 영상 사이의 싱크로율이 임계값(threshold) 이하가 된 경우(t3), 제1 디스플레이부(15)에서 제1 장면이 사라졌다고 판단할 수 있다. 이후 제2 장면이 화면에 표시되면, 제2 장면의 싱크로율은 점차 상승하게 된다. 제어부(240)는 제2 장면과 천이 영상 사이의 싱크로율이 임계값(threshold) 이상이 되면(t4), 제1 디스플레이부(15)에 제2 장면이 표시되었다고 판단할 수 있다. 도 13의 그래프에서, t2와 t3 사이는 최초 반응 시간, t3 및 t4 사이는 장면 전환 시간으로 정의될 수 있으며, 이를 합한 t2 와 t4 사이는 유아이 반응 시간으로 이해될 수 있을 것이다.

도 13에서는 핑거부(142)가 제1 디스플레이부(15)와 접촉 해제(release)된 시점(t2)을 유아이 반응 시간의 기산점인 것으로 기술되었으나, 반드시 이에 한정되는 것은 아니다. 핑거부(142)가 제1 디스플레이부(15)와 접촉(contact) 한 시점(t1)을 유아이 반응 시간(및 최초 반응 시간)의 기산점으로 사용할 수도 있다.

나아가, 도 10에서는 유아이 반응 시간을 산출하기 위해, 최초 반응 시간 및 장면 전환 시간을 구분하여 산출하는 것으로 예시하고 있으나, 유아이 반응 시간이 반드시 최초 반응 시간 및 장면 전환 시간으로 구분되어야 하는 것은 아니다. 제어부(240)는 최초 반응 시간과 장면 전환 시간을 구분하지 않고(즉, 제1 장면의 싱크로율을 판단하는 과정 없이), 핑거부(142)가 제1 디스플레이부(15)와 접촉 해제된 시점부터, 제2 장면이 제1 디스플레이부(15)에 나타나는 시점 사이를 측정하여 유아이 반응 시간으로 산출할 수도 있다.

<유형 2 - 제1 디스플레이부(15)의 출력 화면이 어느 한쪽 방향으로 스크롤 되는 경우>

유형 2는 제1 디스플레이부(15)를 통해 출력되는 출력 화면이 상하 또는 좌우 방향으로 서서히 이동하는 경우이다. 일예로, 이동 단말기(10)의 화면에 표시되지 않은 내용을 확인하고자 할 때, 화면을 상하 (또는 좌우)로 스크롤 한다면, 이동 단말기(10)를 통해 출력되는 화면이 일방향으로 이동할 수 있을 것이다.

도 14는 본 발명의 일실시예에 따른 유아이 분석부(200)의 동작 흐름도이다. 도 14의 비디오 스트림의 획득 단계 및 촬영 영상의 재생 단계는 각각 도 10의 S1001 및 S1002 단계에 대응되므로, 상세한 설명은 생략하기로 한다.

이후, 제어부(240)는 제2 디스플레이부(230)를 통해 출력되는 고속 촬영 동영상의 재생 영상을 구성하는 제1 프레임에 관찰 영역을 설정할 수 있다(S1403). 제어부(240)는 제1 프레임에서 제1 디스플레이부(15)의 특징점을 가장 잘 표현하는 부분을 관찰 영역으로 설정할 수 있다. 여기서, 제1 디스플레이부(15)의 특징점을 가장 잘 표현하는 부분이란, 제1 프레임을 구성하는 복수의 영역들 중 색 편차(variance)가 가장 큰 부분을 의미할 수 있다. 즉, 제1 프레임을 구성하는 복수의 영역들 중 평균값과 색상, 채도 또는 명암의 평균값과 가장 이질적인 부분을 관찰 영역으로 설정할 수 있다. 색 편차가 가장 큰 부분을 관찰 영역으로 설정함으로써, 제1 디스플레이부(15)의 화면이 변화하는 경우에도 관찰 영역을 정확히 추적할 수 있다.

도 15는 제2 디스플레이부(230)를 통해 재생되는 촬영 영상을 구성하는 제1 프레임에 관찰 영역을 설정하는 것을 설명하기 위한 예시도이다. 도 15에 도시된 것과 같이, 제어부(240)는 촬영 영상의 제1 프레임을 복수의 구역으로 나눌 수 있다. 이후, 제어부(240)는 제1 프레임의 색 평균값과 각 구역의 색 편차값을 비교하여, 그 편차값이 가장 큰 부분을 관찰 영역(1510)으로 설정할 수 있다. 색 편차가 가장 큰 부분은 제1 프레임 내에서 주파수가 가장 높은 부분이므로, 향후 손쉽게 관찰 영역을 추적할 수 있다.

이후, 제어부(240)는 관찰 영역의 움직임을 기초로, 제1 디스플레이부(15)의 프레임 변화를 감지할 수 있다(S1404). 제1 디스플레이부(15)의 프레임 변화를 감지하는 것은 도 16의 예시를 통해 더욱 상세히 설명하기로 한다.

도 16은 고속 카메라(160)의 촬영 영상을 구성하는 연속적인 프레임을 나열한 것이다. 설명의 편의를 위해, 도 16a 내지 도 16e에 도시된 도면을 1번 프레임 내지 5번 프레임으로 명명하기로 한다.

1번 프레임에서 제1 디스플레이부(15)를 통해 통화 목록이 표시되는 것으로 예시되 있다. 1번 프레임에서 제1 디스플레이부(15)의 좌측 상단 부분이 관찰 영역(1610)으로 설정되었다고 가정한다. 고속 카메라(160)의 촬영 영상이 1번 프레임에서 2번 프레임으로 변화할 때, 관찰 영역(1610)은 움직이지 않고 제자리에 위치하는 것을 확인할 수 있다. 즉, 촬영 영상이 1번 프레임에서 2번 프레임으로 변화할 동안 제1 디스플레이부(15)에는 프레임 변화가 없는 것으로 판단될 수 있다. 이후, 촬영 영상이 2번 프레임에서 3번 프레임으로 변화하면, 관찰 영역(1610)이 초기 위치(제1 지점)에서 제2 지점으로 이동한 것을 확인할 수 있다. 이는 곧 제1 디스플레이부(15)의 프레임 변화를 의미하는 것으로, 제1 디스플레이부(15)를 통해 출력되는 화면이 일방향으로 움직이는 것을 가리키는 것으로 볼 수 있다. 촬영 영상이 3번 프레임에서 4번 프레임으로 변화하는 동안 관찰 영역(1610)의 위치가 변하지 않으므로, 제1 디스플레이부(15)의 프레임 변화 역시 없는 것을 확인할 수 있다. 4번 프레임에서 5번 프레임으로 변화할 때, 관찰 영역(1610)이 제2 지점에서 제3 지점으로 이동하므로, 제어부(240)는 제1 디스플레이부(15)의 프레임이 변화되었음을 감지할 수 있다. 즉, 도 16에 도시된 것과 같이, 제어부(240)는 관찰 영역(1610)의 움직임을 기초로 제1 디스플레이부(15)에 프레임 변화가 일어나는지 판단할 수 있다.

제어부(240)는 소정시간 동안의 제1 디스플레이부(15)의 프레임 변화를 탐지함으로써, 터치 입력 반응시 제1 디스플레이부(15)의 프레임율(Frame rate)를 측정할 수 있다. 제1 디스플레이부(15)의 프레임율이 높을수록 화면이 부드럽게 이동하는 것으로 이해될 수 있다.

도 16의 예에서, 제1 디스플레이부(15)를 통해 출력되는 화면이 일방향으로 계속 움직이면, 관찰 영역은 제1 디스플레이부(15)에서 사라질 수 있다. 관찰 영역의 적어도 일부가 촬영 영상에서 사라지면(즉, 관찰 영역이 제1 디스플레이부(15)에서 사라지면), 제어부(240)는 촬영 영상을 구성하는 제2 프레임에 관찰 영역이 재설정 되도록 제어할 수 있다.

도 17은 제2 프레임에 관찰 영역이 재설정되는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 도 17a 및 도 17b에 도시된 도면을 6번 프레임 및 7번 프레임으로 명명하기로 한다. 촬영 영상이 6번 프레임에서 7번 프레임으로 변하면서, 기 설정된 관찰 영역(1710)이 제1 디스플레이부(15)에서 사라진다. 제어부(240)는 촬영 영상에서 기 설정된 관찰 영역(1710)이 사라진 것을 인지함으로써, 제1 디스플레이부(15)의 프레임 변화를 인지할 수 있다. 촬영 영상에서 기 설정된 관찰 영역(1710)이 사라지면, 제어부(240)는 관찰 영역이 사라진 최초의 프레임인 7번 프레임에 관찰 영역이 재설정 되도록 제어할 수 있다(1720). 제어부(240)는 재설정된 관찰 영역(1720)을 추적하여 제1 디스플레이부(15)의 프레임 변화를 관찰할 수 있다.

본 발명의 다른 실시예에 따르면, 촬영 영상에서 관찰 영역이 사라지는 것을 방지하기 위해, 제어부(240)는 촬영 영상을 구성하는 제1 프레임에 복수의 관찰 영역이 설정되도록 제어할 수도 있다.

도 18a 및 도 18b는 제1 프레임에 복수의 관찰 영역이 설정되는 것을 설명하기 위한 예시도이다. 도 18a 및 도 18b에 도시된 바와 같이, 제어부(240)는 제1 프레임에 복수의 관찰 영역이 설정되도록 제어할 수 있다. 복수의 관찰 영역을 설정하는 경우, 제어부(240)는 도 18a에 도시된 것과 같이, 색 편차가 큰 순서대로 소정 개수(도 18a에서는 3개의 관찰 영역(1810,1820,1830)이 설정된 것으로 예시)의 관찰 영역을 설정할 수 있다. 또는 제어부(240)는 도 18b에 도시된 것과 같이, 제1 프레임을 n 등분 하여(도 18b에서는 제1 프레임이 3등분(1820,1830,1840) 된 것으로 예시) 각 구획을 대표하는 관찰 영역(1825,1835,1845)이 설정되도록 제어할 수도 있다.

도 18에 예시된 것과 같이, 복수개의 관찰 영역이 설정된 경우, 어느 하나의 관찰 영역이 사라지더라도, 촬영 영상에 표시되는 잔여 관찰 영역을 통해 프레임 변화를 관찰할 수 있다. 제어부(240)는 복수개의 관찰 영역 중 적어도 하나가 촬영 영상에서 사라진 경우, 제2 프레임에 사라진 수만큼의 관찰 영역이 재설정 되도록 제어할 수도 있다.

상술한 실시예에서, 제어부(240)는 제1 디스플레이부(15)의 프레임율 외에 관찰 영역의 이동 속도를 더 산출할 수도 있다. 일예로, 도 16에서 촬영 영상이 3번 프레임에서 5번 프레임으로 변화하면, 관찰 영역도 제2 지점에서 제3 지점으로 변화하게 된다. 제어부(240)는 제2 지점과 제3 지점 사이의 변위와, 3번 프레임과 5번 프레임 사이의 시간 간격을 기초로 관찰 영역의 이동 속도를 산출할 수 있다. 촬영 영상에 복수개의 관찰 영역이 설정된 경우, 관찰 영역의 이동 속도는 관찰 영역 중 어느 하나의 이동 속도 또는 각 관찰 영역의 이동 속도 평균 값일 수 있다.

<유형 3 - 제1 디스플레이부(15)의 출력 화면이 확대 또는 축소 되거나, 출력 화면이 90도 회전하는 경우>

유형 3은 제1 디스플레이부(15)를 통해 출력되는 출력 화면이 확대 또는 축소 되거나, 출력 화면이 90도 회전하는 경우이다.

도 19는 본 발명의 일실시예에 따른 유아이 분석부(200)의 동작 흐름도이다. 도 19의 비디오 스트림의 획득 단계 및 촬영 영상의 재생 단계는 각각 도 10의 S1001 및 S1002 단계에 대응되므로, 상세한 설명은 생략하기로 한다.

이후, 제어부(240)는 제2 디스플레이부(230)를 통해 출력되는 고속 촬영 동영상의 재생 영상을 구성하는 제1 프레임에 관찰 영역을 설정할 수 있다(S1903). 제어부(240)는 제1 프레임에서 제1 디스플레이부(15)의 특징점을 가장 잘 표현하는 부분을 관찰 영역으로 설정할 수 있다. 여기서, 제1 디스플레이부(15)의 특징점을 추출하기 위해, SIFT(Scale Invariant Feature Transform) 알고리즘이 사용될 수 있다. SIFT 알고리즘의 경우, 영상의 크기 변화, 회전에 의한 변형에도 높은 매칭율을 유지할 수 있다.

이후, 제어부(240)는 관찰 영역의 움직임을 기초로, 제1 디스플레이부(15)의 프레임 변화를 감지할 수 있다(S1904). 나아가, 제어부(240)는 관찰 영역의 이동 속도도 측정할 수 있다. 프레임 변화를 감지하는 것과 관찰 영역의 이동 속도를 측정하는 것은 앞서 도 16 내지 도 18을 통해 설명한 것에 대응하므로 상세한 설명은 생략하기로 한다.

상술한 예에서, 유아이 분석부(200)가 터치 입력 구현 장치(100)의 각 기능부의 동작을 제어하는 것으로 설명하고 있지만(예를 들어, 고정부(120)의 회전 제어, 터치 입력부(140)의 동작 제어, 고속 카메라(160)의 촬영 개시 및 종료 제어 등) 반드시 그래야만 하는 것은 아니다. 유아이 분석부(200)가 터치 입력 구현 장치(100)와 직접적으로 연결되어야 하는 것은 아니며, 유아이 분석부(200)는 고속 카메라(160)를 통해 촬영된 비디오 스트림을 수동으로 입력 받아 제1 디스플레이부(15)의 출력을 분석할 수도 있다.

본 발명의 일실시예에 의하면, 전술한 방법들은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

상기와 같이 설명된 이동 단말기는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100 : 터치 입력 구현 장치
120 : 고정부
122 : 안착 플레이트
124 : 압착부
126 : 주프레임
125 : 돌출홈
128 : 결합부
130 : 핸들부
132 : 탄성부
140 : 터치 입력부
142 : 핑거부
144 : 로드 셀
146 : 아암부
148 : 연결부
150 : 지지부
160 : 고속 카메라
170 : 선반부
200 : 유아이 분석부
210 : 인터페이스부
220 : 메모리
230 : 제2 디스플레이부
240 : 제어부

Claims (18)

1. 터치 입력에 따라 변화하는 이동 단말기의 출력 화면을 기록한 고속 촬영 동영상을 저장하는 메모리;
   상기 고속 촬영 동영상의 재생 영상을 디스플레이하는 디스플레이부; 및
   상기 고속 촬영 동영상의 재생 영상에 관찰 영역을 설정한 뒤, 상기 관찰 영역을 추적하여 상기 이동 단말기의 프레임 변화를 감지하는 제어부
   를 포함하는 이동 단말기의 출력 화면 분석 장치.
2. 제 1 항에 있어서, 상기 제어부는,
   상기 관찰 영역이 움직일 때마다 상기 이동 단말기의 프레임이 변화하는 것으로 판단하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
3. 제 2 항에 있어서, 상기 제어부는,
   상기 이동 단말기의 프레임 변화를 기초로 상기 이동 단말기의 프레임율을 산출하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
4. 제 1 항에 있어서, 상기 제어부는,
   상기 관찰 영역의 이동 속도를 더 산출하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
5. 제 1 항에 있어서,
   상기 관찰 영역은 상기 고속 촬영 동영상의 재생 영상을 구성하는 제1 프레임 위에 생성되는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
6. 제 5 항에 있어서,
   상기 관찰 영역은 상기 제1 프레임 중 색상 편차, 채도 편차 또는 명암 편차가 가장 큰 영역인 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
7. 제 5 항에 있어서, 상기 제어부는,
   상기 관찰 영역의 적어도 일부가 상기 고속 촬영 동영상의 재생 영상에서 사라지면,
   상기 고속 촬영 동영상의 재생 영상을 구성하는 제2 프레임에 상기 관찰 영역이 재설정 되도록 제어하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
8. 제 5 항에 있어서,
   상기 제1 프레임에 설정되는 상기 관찰 영역은 적어도 두개인 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
9. 제 1 항에 있어서, 상기 제어부는,
   상기 이동 단말기의 출력 화면이 제1 장면에서 제2 장면으로 전환될 때, 상기 이동 단말기에 터치 입력이 행하여진 시점부터 상기 제2 장면이 표시될 때까지 소요되는 유아이 반응 시간을 더 산출하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
10. 제 9 항에 있어서, 상기 유아이 반응 시간은,
    상기 터치 입력이 행하여진 시점부터 상기 제1 장면이 사라질 때까지의 최초 입력 반응 시간 및 상기 제1 장면이 사라진 이후부터 상기 제2 장면이 표시될 때까지의 장면 전환 시간의 합인 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
11. 제 10 항에 있어서, 상기 제어부는,
    상기 제1 장면이 상기 제2 장면으로 천이할 때, 상기 제1 장면과 상기 천이 영상과의 싱크로율을 기초로 상기 제1 장면의 사라짐 여부를 판단하고, 상기 제2 장면과 상기 천이 영상과의 싱크로율을 기초로 상기 제2 장면의 나타남 여부를 판단하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
12. 제 1 항에 있어서, 상기 제어부는,
    터치 입력 구현 장치의 동작을 더 제어하고,
    상기 터치 입력 구현 장치는 상기 이동 단말기를 고정시키기 위한 고정부;
    상기 이동 단말기의 터치스크린에 터치 입력을 가하기 위한 터치 입력부; 및
    상기 이동 단말기의 출력 화면을 촬영하기 위한 고속 카메라를 포함하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
13. 제 12 항에 있어서, 상기 터치 입력부는,
    상기 터치스크린에 터치 입력을 가하기 위한 핑거부; 및
    상기 터치스크린으로부터 상기 핑거부에 전달되는 하중을 측정하기 위한 로드 셀을 포함하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
14. 제 13 항에 있어서, 상기 제어부는,
    상기 로드 셀을 통해 측정된 하중 값을 기초로 상기 터치스크린과 상기 핑거부의 접촉 여부를 판단하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
15. 제 14 항에 있어서, 상기 제어부는,
    상기 핑거부가 상기 터치스크린과 접촉 해제되면, 상기 고속 카메라가 촬영을 개시하도록 제어하는 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
16. 제 12 항에 있어서,
    상기 고정부는 제자리 회전 가능한 것을 특징으로 하는 이동 단말기의 출력 화면 분석 장치.
17. 이동 단말기의 출력 화면을 기록한 고속 촬영 동영상을 재생하는 단계;
    상기 고속 촬영 동영상의 재생 영상에 관찰 영역을 설정하는 단계; 및
    상기 관찰 영역을 추적하여 상기 이동 단말기의 프레임 변화를 감지하는 단계
    를 포함하는 이동 단말기의 출력 화면 분석 방법.
18. 이동 단말기의 출력 화면을 기록한 고속 촬영 동영상을 재생하기 위한 명령어;
    상기 고속 촬영 동영상의 재생 영상에 관찰 영역을 설정하기 위한 명령어; 및
    상기 관찰 영역을 추적하여 상기 이동 단말기의 프레임 변화를 감지하기 위한 명령어
    를 포함하는 이동 단말기의 출력 화면 분석 방법을 기록한 컴퓨터로 판독 가능한 기록매체.

Images