KR20150024009A - 사용자 입력 피드백 제공 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 사용자 입력 피드백 제공 방법은, 입력 이미지의 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하는 과정과, 사용자 입력 발생됨에 따라, 해당 분할 이미지가 포함된 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 과정을 포함한다.

Description

사용자 입력 피드백 제공 방법 및 장치{METHOD FOR PROVIDING USER INPUT FEEDBACK AND APPARATUS FOR THE SAME}

본 발명은 휴대용 장치에 관한 것으로서, 사용자 입력에 대응되는 피드백 효과를 제공하는 방법 및 장치에 관한 것이다.

최근 휴대용 장치에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 휴대용 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 휴대용 장치에서 실행 가능한 다양한 어플리케이션들이 개발되고 있다.

이에 따라 최근 스마트 폰 및 태블릿 PC와 같은 휴대용 장치 내에는 적어도 수 개에서 수백 개의 어플리케이션들이 저장될 수 있다. 그리고, 상기 어플리케이션들 각각을 실행시키기 위한 객체들(또는 단축 아이콘)이 휴대용 장치의 터치 스크린 상에 표시된다. 이에 따라 사용자는 터치 스크린 상에 표시된 단축 아이콘들 중 어느 하나를 터치함으로써 원하는 어플리케이션을 휴대용 장치에서 실행시킬 수 있다. 또한, 휴대용 장치의 터치 스크린 상에는 상기 단축 아이콘들 이외에도 위젯, 사진 및 문서 등과 같은 다양한 형태의 비쥬얼 객체들이 표시되고 있다.

이와 같이, 휴대용 장치는 사용자의 신체, 손가락, 전자펜, 스타일러스 펜 등의 입력 유닛을 이용한 터치 입력 방식, 모션 입력 방식 등을 지원하고 있다. 최근에는 이러한 사용자 입력의 발생에 대응하여, 진동 소자 등을 통해 피드백 효과를 제공하고 있다.

상기한 바와 같이 종래에는 사용자 입력에 대응되는 피드백 효과를 제공하고는 있지만, 진동 효과와 같이 단순한 효과만을 제공하고 있어, 사용자 입력을 사실적으로 표현하여 사용자에게 전달하는 데 한계가 있는 실정이다.

본 발명은 전술한 점을 고려하여 안출된 것으로써, 디스플레이되는 이미지의 특성을 반영하여, 사용자 입력에 대해 보다 사실적으로 피드백 효과를 제공할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다.

상술한 바를 달성하기 위해 본 발명의 일 측면에 따른 사용자 입력 피드백 제공 방법은, 입력 이미지의 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하는 과정과, 사용자 입력 발생됨에 따라, 해당 분할 이미지가 포함된 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 과정을 포함한다.

본 발명의 다른 측면에 따른 사용자 입력 피드백 제공 방법은, 입력 이미지에 포함된 객체의 속성을 설정하는 과정과, 입력 이미지의 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하는 과정과, 사용자 입력이 발생됨에 따라, 상기 객체의 속성과, 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 과정을 포함한다.

본 발명의 또 다른 측면에 따른 단말 장치는, 정보를 디스플레이하고, 사용자에 의해 입력되는 터치 입력 이벤트를 검출하는 터치스크린, 적어도 하나의 제어부, 및 적어도 하나의 입력 이미지를 저장하고, 적어도 하나의 프로그램을 저장하는 메모리부를 포함하며, 상기 적어도 하나의 프로그램은, 상기 제어부에 의해 실행되도록 구성되며, 상기 입력 이미지를 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하고, 사용자 입력이 발생됨에 따라, 해당되는 분할 이미지의 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 명령어를 포함한다.

본 발명의 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 저장 매체는, 상기 입력 이미지를 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하고, 사용자 입력이 발생됨에 따라, 해당되는 분할 이미지의 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 명령어를 포함하는 적어도 하나의 프로그램을 포함한다.

도 1은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법이 적용되는 장치의 예시도
도 2a 및 2b는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법이 적용되는 장치의 전면 사시도,
도 3은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법의 동작 순서를 도시하는 흐름도,
도 4는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 사용되는 입력 이미지의 일 예시도,
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 의해 분류된 분할 이미지의 일 예시도,
도 6은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 의해 분류된 피드백 클러스터 레벨에 할당된 피드백 효과의 일 예시도,
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에서 사용되는 피드백 효과의 일 예시도,
도 8은 도 3의 304단계의 다른 예를 도시하는 도면,
도 9는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 사용되는 피드백 클러스터 레벨에 할당된 피드백 효과 후보를 예시하는 도면,
도 10은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 의한 객체의 이동을 예시하는 도면,
도 11은 본 발명의 다른 실시예에 따른 사용자 입력 피드백 제공 방법의 동작 순서를 도시하는 흐름도,
도 12a 내지 도 12d는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에서 객체를 설정하는 동작을 도시하는 개념도.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

도 1은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법이 적용되는 장치의 예시도이다. 도 1을 참조하면, 장치(100)는 제어부(110), 통신모듈(120), 입/출력 모듈(130), 저장부(150), 전원공급부(160), 터치스크린(171), 및 터치스크린 컨트롤러(172)를 포함한다.

우선, 제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111), 롬(112), 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다. 또한, 제어부(110)는 통신모듈(120), 입/출력 모듈(130), 저장부(150), 전원공급부(160), 터치스크린(171), 및 터치스크린 컨트롤러(172)를 제어할 수 있다. 나아가, 제어부(110)는 싱글코어로 이루어지거나, 듀얼 코어, 트리플 코어, 또는 쿼드 코어 등과 같이 복수의 코어로 이루어질 수도 있다. 상기 코어의 수는 단말의 특성에 따라 본 발명의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 구성될 수 있음은 물론이다.

통신모듈(120)은 셀룰러 모듈, 무선랜 모듈 및 근거리통신 모듈 중 적어도 하나를 포함할 수 있다.

셀룰러 모듈은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 셀룰러 모듈은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

무선랜 모듈은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 무선랜 모듈은 무선으로 연결되는 무선 액세스 포인트(AP, access point)에서 제공하는 위치 정보를 사용하여 무선랜 모듈을 구비하고 있는 단말의 위치정보를 확인하는 WPS(Wi-Fi Positioning System)를 구동할 수 있다.

근거리통신 모듈은 제어부(110)의 제어에 따라 장치(100)와 무선으로 근거리 통신을 처리하는 모듈로써, 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등의 근거리 통신방식에 기초하여 통신을 처리할 수 있다.

나아가, 통신모듈(120)은 USB 통신 케이블, 시리얼 통신 케이블 등을 통해 연결된 다른 전자장치와 소정의 통신 방식(예컨대, USB 통신, 시리얼 통신 등)에 기초하여 데이터 통신을 수행할 수 있음은 물론이다.

입/출력 모듈(130)은 버튼(131), 스피커(132), 및 진동모터(133) 중, 적어도 하나를 포함할 수 있다.

버튼(131)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.

스피커(132)는 제어부(110)의 제어에 따라 셀룰러 모듈, 무선랜 모듈 및 근거리통신 모듈의 다양한 신호(예, 무선신호, 방송신호 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(132)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동모터(133)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다.

이와 같은, 스피커(132) 및 진동모터(133)는 장치(100)의 볼륨운영모드의 설정 상태에 따라, 동작할 수 있다. 예컨대, 장치(100)의 볼륨운영모드는 소리모드, 진동모드, 소리&진동모드, 무음모드 등으로 운영될 수 있으며, 이들 모드 중 하나의 모드로 설정될 수 있다. 제어부(110)는 상기 볼륨운영모드가 설정된 모드에 기초하여, 장치(100)가 수행하는 기능에 따라 상기 스피커(132) 또는 진동모터(133)의 동작을 지시하는 신호를 출력할 수 있다. 예컨대, 상기 볼륨운영모드가 소리모드로 설정된 상태에서, 셀룰러 모듈(또는 무선랜 모듈, 근거리통신 모듈)에 의한 호가 수신되면, 제어부(110)는 호 수신을 알리는 음성신호를 스피커(132)에 제공함으로써, 스피커(132)가 상기 음성신호를 출력할 수 있다. 또는, 상기 볼륨운영모드가 진동모드로 설정된 상태에서, 셀룰러 모듈(또는 무선랜 모듈, 근거리통신 모듈)에 의한 호가 수신되면, 제어부(110)는 호 수신을 알리는 진동신호를 진동모터(133)에 제공함으로써, 진동모터(133)가 상기 진동신호를 출력할 수 있다. 비록 본 발명의 일 실시예에서, 호 수신에 대응하여 스피커(132) 및 진동모터(133)의 동작을 제어하여, 그에 대응되는 신호를 출력하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 본 발명의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 수정 및 변형될 수 있음은 물론이다. 예컨대, 터치스크린(171) 상을 터치하는 사용자의 터치 동작 및 터치스크린(171) 상에서의 터치의 연속적인 움직임에 응답하는 출력(예컨대, 음성신호 또는 진동신호)을 제공할 수도 있다.

저장부(150)는 제어부(110)의 제어에 따라 입/출력 모듈(130), 터치스크린(171)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(150)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

“저장부”라는 용어는 저장부(150), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

전원공급부(160)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(160)는 장치에 구비된 커넥터와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다. 또한, 전원공급부(160)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 장치(100)로 공급할 수도 있다.

터치스크린(171)은 단말의 운영체제(OS; Operation System)에 기초하여, 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 디스플레이할 수 있다. 터치스크린(171)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(172)로 전송할 수 있다. 터치스크린(171)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(171)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(171)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(172)로 전송할 수 있다.

터치스크린(171)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

한편, 터치스크린 컨트롤러(172)는 제어부(110)에서 제공되는 디스플레이 데이터가 터치스크린(171)에 표시될 수 있도록, 터치스크린(171)의 출력값을 제어한다. 그리고, 터치스크린 컨트롤러(172)는 터치스크린(171)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다.

이와 같은, 제어부(110)는 터치스크린(171)과 터치스크린 컨트롤러(172)로부터 제공되는 데이터를 사용하여, 사용자 입력을 처리할 수 있다. 즉, 제어부(110)는 터치스크린 컨트롤러(172)로부터 수신된 디지털 신호를 이용하여 터치스크린(171)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린(171)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 제어부(110)는 상기 사용자 입력에 대응하는 피드백 효과를 제공할 수 있다. 상기 피드백 효과는 터치스크린(171)을 통해 출력되는 디스플레이 이미지에 적용되는 디스플레이 효과, 스피커(132)를 통해 출력되는 음성 신호에 적용되는 오디오 효과, 및 진동 모터(133)를 통해 출력되는 진동 신호에 적용되는 햅틱 효과를 포함할 수 있으며, 상기 제어부(110)는 상기 디스플레이 효과, 오디오 효과, 햅틱 효과 중 적어도 하나 또는 둘 이상의 효과를 조합하여 출력할 수 있다.

이상, 본 발명의 일 실시예에서, 사용자 입력을 터치스크린(171)을 통해 입력받는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 다양한 구성부를 통해 사용자 입력을 인식하여 처리할 수 있음은 물론이다. 예컨대, 본 발명의 일 실시예에 따른 장치는, 센서 모듈(140) 또는 카메라 모듈(145)을 포함할 수 있고, 상기 센서 모듈(140) 또는 카메라 모듈(145)을 통해 입력되는 데이터를 사용하여 사용자 입력을 처리할 수 있다. 또한, 제어부(110)는, 상기 센서 모듈(140) 또는 카메라 모듈(145)을 통한 사용자 입력에 대응하여 상기 피드백 효과를 출력할 수도 있다.

예컨대, 상기 센서 모듈(140)은 사용자의 장치(100)에 대한 접근 여부를 검출하는 근접센서, 장치(100) 주변의 빛의 양을 검출하는 조도센서, 및 RGB 센서 중, 적어도 하나의 센서를 포함하여 구성될 수 있다. 또한, 센서 모듈(140)은 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수도 있다. 나아가, 상기 센서 모듈(140)에서 검출된 정보는 제어부(110)에 제공될 수 있으며, 상기 제어부(110)는 상기 검출된 정보를 사용하여 사용자 입력을 처리할 수 있다.

나아가, 카메라 모듈(145)은 장치의 전면 또는 후면에 마련되어 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 카메라를 포함할 수 있으며, 카메라를 통해 촬영된 정지이미지 또는 동영상은 제어부(110)에 제공될 수 있다. 상기 제어부(110)는 상기 카메라에서 제공되는 정지이미지 또는 동영상을 사용하여, 사용자 입력을 처리할 수 있다.

도 2a 및 2b는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법이 적용되는 장치의 전면 사시도이다.

도 2a 및 2b를 참조하면, 장치(100)의 전면(100a) 중앙에는 터치스크린(171)이 배치된다. 상기 터치스크린(171)은 장치(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다. 도 2a에서는, 상기 터치스크린(171)에 락 스크린이 표시된 예를 나타낸다. 락 스크린은 장치(100)의 전원을 켰을 때 상기 터치스크린(171) 상에 표시되는 첫 화면으로써, 사용자에 의해 설정된 보안정보(예컨대, 비밀번호, 보안패턴 등)를 입력하여, 장치(100)에 접근할 수 있는 환경을 제공하는 화면이다. 따라서, 제어부(110)는 사용자 입력에 의해 확인되는 보안정보(예컨대, 비밀번호, 보안패턴 등)의 유효성을 확인한 후, 락 스크린의 해제를 진행하여 홈 스크린(도 2b, 170b)으로 전환하는 동작을 진행한다.

또한, 락 스크린은 비밀번호를 입력받거나, 보안 패턴을 입력받을 수 있도록 구성될 수도 있으며, 사용자가 별도의 보안정보를 설정하지 않는 경우에는, 상기와 같은 비밀번호 또는 보안 패턴을 입력받지 않고 사용자의 터치입력 또는 드레그 입력에 의해 홈 스크린 화면으로 전환하도록 구성될 수도 있다.

그리고, 홈 스크린은 여러 페이지의 서로 다른 홈 스크린들을 포함할 수 있는데, 상기 여러 페이지의 홈 스크린들 중 첫 번째 홈 스크린은 메인 홈 스크린일 수 있다. 홈 스크린에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(171a, 171b, 171c), 메인메뉴 전환키(171d), 시간, 날씨 등이 표시될 수 있다. 상기 메인메뉴 전환키(171d)는 상기 터치스크린(171) 상에 메뉴 화면을 표시한다. 또한, 상기 터치스크린(171)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각, 볼륨운영모드와 같은 장치(100)의 상태를 표시하는 상태바(Status Bar, 172)가 형성될 수도 있다.

상기 터치스크린(171)의 하부에는 홈 버튼(131a), 메뉴 버튼(131b), 및 뒤로 가기 버튼(131c)이 형성될 수 있다.

기본적으로, 홈 버튼(131a)은 터치스크린(171)에 메인 홈 스크린(main Home screen)을 표시한다. 예를 들어, 터치스크린(171)에 상기 메인 홈 스크린과 다른 홈 스크린(any Home screen) 또는 메뉴화면이 표시된 상태에서, 상기 홈 키(131a)가 터치되면, 터치스크린(171)에 메인 홈 스크린이 디스플레이될 수 있다. 또한, 터치스크린(171) 상에서 어플리케이션들이 실행되는 도중 홈 버튼(171a)이 터치되면, 상기 터치스크린(171)상에는 도 2a에 도시된 메인 홈 스크린이 디스플레이될 수 있다. 또한 홈 버튼(131a)은 상기 터치스크린(171) 상에 최근에(recently) 사용된 어플리케이션들을 디스플레이하도록 하거나, 태스크 매니저(Task Manager)를 디스플레이하기 위하여 사용될 수도 있다.

메뉴 버튼(131b)은 터치스크린(171) 상에서 사용될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.

뒤로 가기 버튼(131c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 디스플레이하거나, 가장 최근에 사용된 어플리케이션을 종료시킬 수 있다.

장치(100)의 전면(100a) 상부 가장자리에는 제1 카메라(145a)와 조도 센서(141) 및 근접 센서(142)가 배치될 수 있고, 추가로, 장치(100)의 전면(100a) 상부 중앙부분에는 스피커(133)가 배치될 수 있다. 그리고, 장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(131d), 볼륨버튼(131e) 등이 배치될 수 있다.

이하, 본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다.

또한, 본 발명의 예시적 실시예에 따른 방법들은 전술한 장치(100)의 저장부(150)에 프로그램 명령 형태로 구현되어 저장될 수 있으며,상기 프로그램 명령은, 본 발명의 예시적 실시예에 따른 방법들의 실행을 위해 제어부(110) 내에 포함된 램(RAM, 113)에 일시적으로 저장될 수 있다. 이에 따라, 제어부(110)는, 본 발명의 예시적 실시예에 따른 방법들에 따른 상기 프로그램 명령에 대응하여, 장치(100)에 포함된 하드웨어 구성요소들의 제어를 수행하고, 본 발명의 예시적 실시예에 따른 방법들을 실행하면서 발생되는 데이터를 일시 또는 지속적으로 저장부(150)에 저장하고, 본 발명의 예시적 실시예에 따른 방법들의 실행에 필요한 UI를 터치스크린 컨트롤러(172)에 제공할 수 있다.

도 3은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법의 동작 순서를 도시하는 흐름도이다.

본 발명의 일 실시예에 따른 사용자 입력에 대한 피드백 효과 제공 방법은 이미지 입력에 의해 그 동작이 개시될 수 있다(301).

상기 이미지 입력 동작은 장치(100)가 자체적으로 이미지를 획득하는 동작(예컨대, 카메라 모듈(145)을 통한 정지 이미지 촬영, 드로잉 어플리케이션을 통한 이미지의 생성 등), 또는 통신 모듈(120)을 통해 유/무선으로 연결된 다른 전자장치로부터 이미지를 획득하는 동작일 수 있다.

나아가, 본 발명의 일 실시예에 따른 사용자 입력에 대한 피드백 효과 제공 방법은 사용자 입력에 대응하는 피드백 효과를 제공하기 위한 것이고, 사용자가 장치(100)에 획득된 모든 이미지를 사용하지 않을 수 있음을 고려하면, 상기 모든 이미지에 사용자 입력이 발생하지 않을 수 있다. 따라서, 사용자에 의해 사용되는 이미지에 한하여 이미지 입력 동작을 처리하도록 구성할 수도 있다. 따라서, 앞서 예시한 이미지 입력 동작과 달리 취한 방식으로, 상기 이미지 입력 동작을 설정할 수도 있다. 예컨대, 제어부(110)는 터치스크린(171)에 이미지가 디스플레이되는 것을 이미지 입력 동작으로 설정하여 처리할 수도 있다.

다음으로, 제어부(110)는 상기 입력 이미지(예컨대, 도 4, 401)를 미리 정해진 크기 단위로 분할하고, 상기 분할된 이미지의 특성을 확인하여, 미리 정해진 클러스터 레벨로 분류한다(302). 예컨대, 제어부(110)는 상기 입력 이미지(401)를 미리 정해진 크기 단위로 분할하여, 분할 이미지를 획득한다. 그리고, 상기 분할 이미지 각각에 대해, 이미지 특성을 검출한다. 예컨대, 상기 이미지 특성은 굵기(Coarseness), 대조(Contrast), 방향성(directionality), linelikeness, regularity, roughness, Gradients 방향, Gradients 크기 등을 포함할 수 있다. 이러한 이미지 특성의 검출은 상기 분할 이미지를 Tamura Texture 분석, Low level image feature analysis 등의 방식을 사용하여 검출할 수 있다.

예컨대, 굵기(Coarseness) 특성은 상기 미리 정해진 크기 단위의 상기 분할된 이미지에 포함된 픽셀들에 대한 평균 값을 확인하고, 주변의 분할된 이미지의 평균 값과 비교하여 확인할 수 있다. 대조(Contrast) 특성은, 상기 분할 이미지에 포함된 인텐서티(intensities)의 크기와 분포(distribution)에 기초하여 확인할 수 있다. 방향성(directionality) 특성은, 상기 분할 이미지의 수직 및 수평 방향에 대한 에지 필터를 처리하여, 수직 및 수평 방향의 에지를 검출할 수 있다. 그리고, 상기 수직 방향의 에지와 수평 방향의 에지 사이의 비는 로컬 에지의 방향성을 확인하는데 사용될 수 있다. 또한, 이미지 전체에 대한 상기 로컬 에지의 방향성을 사용하여, 이미지가 어느 방향으로 에지를 갖는지, 또는 이미지가 방향성을 갖지 않는지 등을 확인할 수 있다. 라인 유사도(Linelikeness) 특성은, 상기 분할 이미지의 에지 특성을 통해 확인할 수 있으며, 특히 소정의 분할된 이미지와 이웃한 분할 이미지의 에지의 방향성 사이의 유사성을 통해 확인할 수 있다. 규칙성(Regularity) 특성은 이미지 내에서 반복되는 특성이 어느 정도 포함되는지를 측정하여 확인할 수 있다. 거칠기(Roughness) 특성은 굵기(Coarseness) 특성과 대조(Contrast) 특성을 사용하여 확인할 수 있다. 그레디언트(Gradients) 특성은 이웃한 픽셀들과의 인텐서티(intensities)의 크기의 차이를 확인하여 검출할 수 있다. Gradients 특성과 방향성(directionality) 특성은 피드백 효과에 주요한 요소로 작용할 수 있다.

그리고, 이와 같은 과정을 통해 상기 이미지의 특성이 확인된 후, 제어부(110)는 상기 분할 이미지의 적어도 하나의 특성값이 미리 정해진 클러스터 레벨 중 어느 영역에 포함되는지를 확인하여, 상기 분할 이미지의 클러스터 레벨을 분류한다. 예컨대, 제어부(110)는 굵기(Coarseness)이 상대적으로 큰 값을 갖는 부드러운 영역을 포함하는 분할 이미지를 제1클러스터(도 5a, 510)로 설정하고, Gradients 크기가 상대적으로 큰 값을 갖는 영역과 부드러운 영역 사이의 변화가 큰 분할 이미지를 제2클러스터(도 5b, 520)로 설정하고, 상대적으로 높은 대조 값을 갖는 영역을 포함하는 분할 이미지를 제3클러스터(도 5c, 530)로 설정할 수 있다.

이와 같이, 302단계가 완료된 후, 제어부(110)는 터치스크린(171)에 사용자 입력을 감지하게 되면(303-예), 상기 사용자 입력에 대응하는 피드백 효과를 제공하게 된다(304). 예컨대, 제어부(110)는 상기 사용자 입력이 발생된 영역 해당되는 분할 이미지를 확인하고, 상기 분할 이미지가 포함된 클러스터 레벨을 확인한다. 그리고, 제어부(110)는 상기 클러스터 레벨에 미리 할당된 피드백 효과를 확인하고, 확인된 피드백 효과의 출력을 제어한다. 즉, 상기 사용자 입력이 발생된 영역 해당되는 분할 이미지가 제1클러스터에 해당되면, 제1피드백 효과(제1디스플레이 효과(V1), 제1오디오 피드백 효과(A1), 제1햅틱 효과(H1))(601)에 대응하는 피드백 효과를 출력하고, 상기 사용자 입력이 발생된 영역 해당되는 분할 이미지가 제2클러스터에 해당되면, 제2피드백 효과(제2디스플레이 효과(V2), 제2오디오 피드백 효과(A2), 제2햅틱 효과(H2))(602)에 대응하는 피드백 효과를 출력하고, 상기 사용자 입력이 발생된 영역 해당되는 분할 이미지가 제3클러스터에 해당되면, 제3피드백 효과(제3디스플레이 효과(V3), 제3오디오 피드백 효과(A3), 제3햅틱 효과(H3))(603)에 대응하는 피드백 효과를 출력할 수 있다.

상기 피드백 효과는 디스플레이 효과, 오디오 효과, 및 햅틱 효과 중, 적어도 하나 또는 둘 이상을 조합하여 출력되는 효과일 수 있다. 상기 디스플레이 효과는 상기 사용자 입력이 발생된 영역에 소정의 이미지 효과를 처리하여 출력하는 것일 수 있으며, 예컨대, 도 7a에 예시되는 리플효과(701), 도 7b에 예시되는 글로우 효과(702), 도 7c에 예시되는 모션 효과(703)를 포함할 수 있다.

상기 클러스터 레벨에 대응하는 피드백 효과, 즉, 제1, 제2, 제3 피드백 효과는 그 출력값의 크기가 다르게 설정될 수 있다. 예컨대, 제1클러스터에 포함된 분할 이미지가 제3클러스터에 포함된 분할 이미지보다 상대적으로 부드러운 이미지 특성을 가질 수 있으며, 이러한 이미지 특성이 사용자에게 전달될 수 있도록, 상기 제1피드백 효과에 포함된 오디오 효과(A1)는 제3피드백 효과에 포함된 오디오 효과(A3)보다 상대적으로 낮은 주파수 대역 또는 낮은 크기의 음성신호를 출력하도록 설정될 수 있다. 또한, 이와 유사하게 상기 제1피드백 효과에 포함된 햅틱 효과(H1)는 제3피드백 효과에 포함된 햅틱 효과(H3)보다 상대적으로 낮은 주파수 또는 낮은 진동 세기를 갖는 진동신호를 출력하도록 설정될 수 있다.

나아가, 상기 클러스터 레벨에는 복수의 피드백 효과 후보가 포함될 수 있으며, 제어부(110)는 상기 분할 이미지에서 검출된 이미지 특성에 포함된 파라미터 값들을 고려하여, 복수의 피드백 효과 후보로부터, 상기 분할 이미지와 가장 근접한 이미지 특성을 갖는 피드백 효과를 검출할 수도 있다.

한편, 이와 같은 304단계는 상기 사용자 입력이 종료될 때까지 반복적으로 진행될 수 있다(305).

나아가, 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에서, 304단계에서, 이미지의 특성을 반영하여 피드백 효과를 제공하는 것을 예시하였으나, 이와 다른 예로써, 이미지의 특성과 함께 사용자 입력의 특성을 더 반영하여 피드백 효과를 제공하도록 구성될 수도 있다.

도 8은 도 3의 304단계의 다른 예를 도시하는 도면이다.

우선, 801단계에서, 제어부(110)는 상기 사용자 입력이 발생된 영역에 대응되는 분할 이미지가 포함된 클러스터 레벨을 확인한다. 그리고, 제어부(110)는 상기 클러스터 레벨에 할당된 피드백 효과 후보를 확인하게 된다.

예컨대, 상기 클러스터 레벨에는 복수의 피드백 효과 후보가 포함될 수 있으며, 제어부(110)는 상기 분할 이미지에서 검출된 이미지 특성에 포함된 파라미터 값들을 고려하여 복수의 피드백 효과 후보로부터, 상기 분할 이미지와 가장 근접한 이미지 특성을 갖는 피드백 효과를 검출할 수 있다.

다음으로, 802단계에서, 상기 제어부(110)는 상기 사용자 입력의 특성을 확인한다. 예컨대, 상기 사용자 입력의 특성은 상기 사용자 입력으로 검출되는 터치 제스처 입력의 이동 속도, 터치 입력의 세기 등을 포함할 수 있다. 이를 고려하여, 제어부(110)는 상기 터치 입력의 변화를 검출하여 상기 터치 제스처 입력의 이동 속도를 검출하거나, 터치 입력이 발생되는 영역의 크기, 터치 입력 시 검출되는 전정 용량의 크기 또는 터치 입력시 검출되는 감압의 크기 등을 사용하여 터치 입력의 세기를 검출할 수 있다.

한편, 803단계에서, 제어부(110)는 상기 피드백 효과에 상기 사용자 입력의 특성을 반영한 피드백 효과를 설정하게 된다. 즉, 제어부(110)는 상기 801단계에서 확인된 피드백 효과에, 상기 사용자 입력의 특성을 반영하여, 상기 피드백 효과의 출력 값의 크기를 설정할 수 있다. 이에 따라, 제어부(110)는 분할된 이미지가 동일한 클러스터 레벨에 포함되더라도, 상기 사용자 입력의 특성이 다른 값을 가질 경우, 상기 피드백 효과의 출력 값을 다르게 설정하여 출력할 수 있으므로, 사용자에게 보다 사실적인 피드백 효과를 제공할 수 있게 된다.

도 9는 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 사용되는 클러스터 레벨에 할당된 피드백 효과 후보를 예시하는 도면이다.

도 9에서, 복수의 클러스터 레벨, 예컨대, 제1클러스터(901), 제2클러스터(902), 제3클러스터(903)을 예시한다. 그리고, 상기 각 클러스터 레벨에 복수의 피드백 효과 후보가 포함될 수 있는데, 구체적으로 제1클러스터(901)에는 피드백 효과 후보로써, 제1-1피드백 효과(911), 제1-2피드백 효과(912)가 포함되고, 제2클러스터(902)에는 피드백 효과 후보로써, 제2-1피드백 효과(921), 제2-2피드백 효과(922)가 포함되고, 제3클러스터(903)에는 피드백 효과 후보로써, 제3-1피드백 효과(931), 제3-2피드백 효과(932)가 포함되는 것을 예시한다. 또한, 각 피드백 효과에(911, 912, 921, 922, 931, 932)는 복수의 출력 값 레벨(L, M, H)이 포함될 수 있으며, 상기 출력 값 레벨(L, M, H)은 사용자 입력의 특성을 고려하여 설정되는 값일 수 있다.

이하, 도 9를 참조하여, 도 8을 통해 전술한 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법의 동작을 설명한다.

우선, 801단계에서 제어부(110)는 사용자 입력이 발생된 영역에 대응되는 분할 이미지가 포함된 클러스터 레벨을 확인하게 된다. 예컨대, 제어부(110)는 상기 사용자 입력이 발생된 영역에 대응되는 분할 이미지가 제1클러스터(901)에 포함되는 것을 확인하고, 상기 제1클러스터(901)에 할당된 피드백 효과 후보들(911, 912)을 확인하게 된다. 그리고, 제어부(110)는 상기 분할 이미지와 이미지 특성이 가장 유사한 제1피드백 효과(911)를 선택한다.

이후, 802단계에서, 제어부(110)는 상기 사용자 입력의 특성, 예컨대 터치 제스처 입력의 이동 속도를 확인한다.

다음으로, 803단계에서, 제어부(110)는 상기 터치 제스처 입력의 이동 속도가 미리 정해진 레벨, 예컨대 고, 중, 저 레벨 중, 고 레벨에 속한 것을 확인한다. 그리고, 제어부(110)는 상기 터치 제스처 입력의 이동 속도를 고려하여, 상기 제1피드백 효과(911)에 설정된 값 중, 상기 사용자 입력이 고 레벨에 대응되는 값( 911H)을 피드백 효과의 출력 값으로 결정할 수 있다.

나아가, 803단계에서, 제어부(110)는 상기 사용자 입력의 특성을 반영함에 있어서, 사용자 입력의 방향을 더 반영하여 상기 피드백 효과의 출력을 제어할 수 있다. 예컨대, 제어부(110)는 상기 사용자 입력으로 검출되는 터치 제스처 입력의 방향을 확인하고, 상기 터치 제스처 입력이 진행되는 방향을 고려한 디스플레이 효과와, 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향을 고려한 오디오 효과 및 햅틱 효과를 반영하여, 피드백 효과를 구성하고, 출력할 수 있다. 예컨대, 제어부(110)는 상기 터치 제스처 입력이 진행되는 방향으로 리플 효과(701)나, 모션 효과(703)를 형성하여 디스플레이 출력을 제어할 수 있다. 그리고, 제어부(110)는 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향이 동일한 방향일 경우, 상대적으로 낮은 주파수의 음성신호를 갖는 오디오 효과와 진동신호를 갖는 햅틱 효과를 구성할 수 있고, 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향이 동일한 방향일 경우, 상대적으로 높은 주파수의 음성신호를 갖는 오디오 효과와 진동 신호를 갖는 햅틱 효과를 구성할 수 있다.

본 발명의 일 실시예에 따른 사용자 입력에 대한 피드백 효과 제공 방법은 터치스크린(171)에 출력되는 이미지와 함께 표시되는 객체(Object)의 이동에 피드백 효과를 반영할 수도 있다.

도 10은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에 의한 객체의 이동을 예시하는 도면으로써, 이미지(1001)와, 이동 객체(1005)가 터치스크린(171) 상에 표시됨을 예시한다. 상기 이동 객체(1005)는 사용자 입력의 의해 생성되는 객체로써 사용자 입력이 발생되는 영역을 표시하기 위해 생성되는 포인터 객체이거나, 상기 이미지 내에 포함되는 객체로써 배경 이미지에 대응되는 레이어와 분리된 레이어에 포함되어 이동 가능하게 구성되는 이미지 객체일 수 있다.

제어부(110)는 상기 이동 객체(1005)가 위치한 영역에 대응되는 분할 이미지를 확인하고, 상기 분할 이미지가 포함되는 클러스터 레벨을 확인하고, 상기 확인된 클러스터 레벨에 대응되는 피드백 효과를 출력하도록 구성될 수 있다. 예컨대, 상기 이동 객체(1005)가 이동되는 영역의 이미지 특성에 따라 상기 이동 객체(1005)의 이동 속도를 제어하여 출력하거나, 오디오 효과 또는 햅틱 효과를 출력하는 신호(음성신호 또는 진동신호)의 주파수를 제어하여 출력할 수 있다.

도 11은 본 발명의 다른 실시예에 따른 사용자 입력 피드백 제공 방법의 동작 순서를 도시하는 흐름도이다.

본 발명의 다른 실시예에 따른 사용자 입력 피드백 제공 방법의 기본적인 구성은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법과 유사하게 구성될 수 있다. 다만, 본 발명의 다른 실시예에 따른 사용자 입력에 대한 피드백 효과 제공 방법은 본 발명의 일 실시예와 달리 사용자가 이미지에 포함된 객체에 대한 속성을 할당하는 환경을 제공할 수 있다.

우선, 본 발명의 다른 실시예에 따른 사용자 입력에 대한 피드백 효과 제공 방법은, 사용자 입력에 대한 피드백 효과를 설정할 수 있는 어플리케이션(예컨대, 피드백 효과 설정 어플리케이션)의 동작에 의해 개시될 수 있다(1101).

다음으로, 1102단계에서, 제어부(1102)는 장치(100)에 저장된 적어도 하나의 이미지 중 하나를 선택할 수 있는 환경을 제공하고, 상기 적어도 하나의 이미지 중, 하나의 이미지를 선택받는다.

1103단계에서, 제어부(110)는 상기 입력 이미지를 터치스크린(171)에 디스플레이하고, 상기 입력 이미지에 포함된 객체의 속성을 설정할 수 있는 환경을 제공한다. 예컨대, 도 12a 내지 도 12d에 예시되는 바와 같이, 입력 이미지(1200)가 디스플레이 되는 터치 스크린(171) 상에 사용자 입력이 발생됨에 따라 상기 사용자 입력이 발생되는 궤적(1201, 1203, 1205, 1207)을 표시하고, 상기 사용자 입력이 발생되는 궤적(1201, 1203, 1205, 1207)에 의해 분리되는 영역을 하나의 객체(1202, 1204, 1206, 1208)로 설정하도록 한다. 그리고, 제어부(110)는 상기 설정된 객체에 설정할 속성을 입력받는다. 예컨대, 제어부(110)는 미리 정해진 복수의 속성을 제공하고, 상기 미리 정해진 복수의 속성 중 하나를 선택할 수 있도록 구성될 수 있다. 예컨대, 도 12a에서와 같이, 입력 이미지(1200)가 디스플레이되는 상태에서, 사용자 입력이 제1궤적(1201)과 같이 입력되면, 제어부(110)는 상기 제1궤적(1201)에 의해 분리되는 영역을 제1객체(1202)로 설정하게 된다. 그리고, 제어부(110)는 상기 미리 정해진 복수의 속성, 예컨대, 잔디(Glass), 하늘(Sky), 나무(Tree), 물(Water) 등을 제공하고, 이 중 하나를 선택할 수 있는 속성 설정 UI를 제공한다. 그리고, 제어부(110)는 상기 속성 설정 UI를 통해 선택되는 속성(예컨대, 잔디(Glass))을 상기 제1객체(1202)의 속성으로 설정하게 된다.

다음으로, 제어부(110)는 상기 객체 속성의 설정이 완료되었는지를 확인하고, 상기 객체 속성의 설정이 완료될 때까지 전술한 1103단계의 동작을 반복하여 진행하게 된다(1104). 상기 객체 속성의 설정 완료 여부는 상기 피드백 효과 설정 어플리케이션에서 제공되는 UI 등을 통해 사용자로부터 입력받을 수 있다.

다음으로, 상기 제어부(110)는 상기 입력 이미지를 미리 정해진 크기 단위로 분할하고, 상기 분할된 이미지의 특성을 확인하여, 미리 정해진 클러스터 레벨로 분류한다(1105). 예컨대, 제어부(110)는 상기 입력 이미지를 미리 정해진 크기 단위로 분할하여, 분할 이미지를 획득한다. 그리고, 상기 분할 이미지 각각에 대해, 이미지 특성을 검출한다. 예컨대, 제어부(110)는 상기 입력 이미지(401)를 미리 정해진 크기 단위로 분할하여, 분할 이미지를 획득한다. 그리고, 상기 분할 이미지 각각에 대해, 이미지 특성을 검출한다. 예컨대, 상기 이미지 특성은 굵기(Coarseness), 대조(Contrast), 방향성(directionality), linelikeness, regularity, roughness, Gradients 방향, Gradients 크기 등을 포함할 수 있다. 이러한 이미지 특성의 검출은 상기 분할 이미지를 Tamura Texture 분석, Low level image feature analysis 등의 방식을 사용하여 검출할 수 있다. 그리고, 이와 같은 과정을 통해 상기 이미지의 특성이 확인된 후, 제어부(110)는 상기 분할 이미지의 적어도 하나의 특성값이 미리 정해진 클러스터 레벨 중 어느 영역에 포함되는지를 확인하여, 상기 분할 이미지의 클러스터 레벨을 분류한다. 예컨대, 제어부(110)는 굵기(Coarseness)이 상대적으로 큰 값을 갖는 부드러운 영역을 포함하는 분할 이미지를 제1클러스터(도 5a, 510)로 설정하고, Gradients 크기가 상대적으로 큰 값을 갖는 영역과 부드러운 영역 사이의 변화가 큰 분할 이미지를 제2클러스터(도 5b, 520)로 설정하고, 상대적으로 높은 대조 값을 갖는 영역을 포함하는 분할 이미지를 제3클러스터(도 5c, 530)로 설정할 수 있다.

다음으로, 사용자의 요청에 의해 상기 이미지 특성의 설정이 완료된 입력 이미지의 디스플레이가 요청됨에 따라(1106-예), 제어부(110)는 상기 입력 이미지를 터치스크린(171) 상에 디스플레이한다.

이후, 제어부(110)는 상기 입력 이미지를 터치스크린(171) 상에 디스플레이하는 상태에서 사용자 입력의 발생 여부를 확인하고, 사용자 입력이 발생되면(1107-예), 피드백 효과를 제공하는 1108단계를 진행하게 된다. 또한, 1107 단계에서, 상기 제어부(110)는 상기 사용자 입력의 특성을 확인할 수 있다. 예컨대, 상기 사용자 입력의 특성은 상기 사용자 입력으로 검출되는 터치 제스처 입력의 이동 속도, 터치 입력의 세기 등을 포함할 수 있다. 이를 고려하여, 제어부(110)는 상기 터치 입력의 변화를 검출하여 상기 터치 제스처 입력의 이동 속도를 검출하거나, 터치 입력이 발생되는 영역의 크기, 터치 입력 시 검출되는 전정 용량의 크기 또는 터치 입력시 검출되는 감압의 크기 등을 사용하여 터치 입력의 세기를 검출할 수 있다.

한편, 1108 단계에서, 제어부(110)는 상기 사용자 입력이 발생된 영역 해당되는 분할 이미지를 확인하고, 상기 분할 이미지가 포함된 클러스터 레벨을 확인한다. 그리고, 제어부(110)는 상기 클러스터 레벨에 미리 할당된 피드백 효과를 확인하고, 확인된 피드백 효과의 출력을 제어한다. 이때, 본 발명의 다른 실시예에 따른 사용자 입력 피드백 제공 방법은 본 발명의 일 실시예에 따른 사용자 입력 피드백 제공 방법에서와 달리, 상기 입력 이미지에 포함된 분할 이미지의 이미지 특성뿐 아니라, 객체 속성을 반영하여 피드백 효과를 제공한다.

즉, 제어부(110)는 상기 사용자 입력이 발생된 영역에 대응되는 분할 이미지가, 사용자에 의해 설정된 객체에 포함되는지 여부를 확인한다. 분할 이미지가, 사용자에 의해 설정된 객체에 포함되는 경우, 상기 사용자에 의해 설정된 객체의 속성을 확인하고, 상기 객체의 속성에 대응되는 이미지 특성을 확인한다. 그리고, 제어부(110)는 상기 분할 이미지가 포함된 클러스터 레벨에 대응되는 피드백 효과 후보를 확인하고, 상기 피드백 효과 후보 중, 상기 객체의 속성에 대응되는 이미지 특성과 가장 유사한 출력 값을 포함하는 피드백 효과를 선택할 수 있다.

또한, 제어부(110)는 상기 확인된 피드백 효과에, 상기 사용자 입력의 특성을 반영하여, 상기 피드백 효과의 출력 값의 크기를 설정할 수 있다. 예컨대, 제어부(110)는 1107단계에서 확인된 상기 사용자 입력의 특성, 예컨대 터치 제스처 입력의 이동 속도를 반영하여 상기 피드백 효과의 출력 값을 제어할 수 있다. 구체적으로, 제어부(110)는 상기 터치 제스처 입력의 이동 속도가 미리 정해진 레벨, 예컨대 고, 중, 저 레벨 중, 어느 레벨에 속하는지를 확인할 수 있고, 이와 같이 확인된 상기 터치 제스처 입력의 이동 속도를 고려하여, 상기 피드백 효과에 설정된 값 중, 상기 사용자 입력이 고 레벨에 대응되는 값을 피드백 효과의 출력 값으로 결정할 수 있다.

비록, 본 발명의 실시예에서, 상기 제어부(110)는 클러스터 레벨에 대응되는 피드백 효과 후보를 확인하고, 상기 피드백 효과 후보 중, 상기 객체의 속성에 대응되는 이미지 특성과 가장 유사한 출력 값을 포함하는 피드백 효과를 선택하는 것을 예시하였으나, 본 발명이 이를 한정하는 것은 아니다. 이와 달리 취한 방식으로, 제어부(110)는 클러스터 레벨에 대응되는 피드백 효과 후보(예컨대, 제1피드백 효과 후보)를 확인하고, 추가적으로 상기 객체의 속성에 대응되는 피드백 효과 후보(예컨대, 제2피드백 효과 후보)를 더 확인하고, 상기 제1피드백 효과 후보와, 제1피드백 효과 후보에 포함된 후보들로부터 상가 피드백 효과를 결정하도록 구성될 수도 있다.

나아가, 1108단계에서, 제어부(110)는 상기 사용자 입력의 특성을 반영함에 있어서, 사용자 입력의 방향 등을 더 반영하여 상기 피드백 효과의 출력을 제어할 수 있다. 예컨대, 제어부(110)는 상기 사용자 입력으로 검출되는 터치 제스처 입력의 방향을 확인하고, 상기 터치 제스처 입력이 진행되는 방향을 고려한 디스플레이 효과와, 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향을 고려한 오디오 효과 및 햅틱 효과를 반영하여, 피드백 효과를 구성하고, 출력할 수 있다. 예컨대, 제어부(110)는 상기 터치 제스처 입력이 진행되는 방향으로 리플 효과(701)나, 모션 효과(703)를 형성하여 디스플레이 출력을 제어할 수 있다. 그리고, 제어부(110)는 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향이 동일한 방향일 경우, 상대적으로 낮은 주파수의 음성신호를 갖는 오디오 효과와 진동신호를 갖는 햅틱 효과를 구성할 수 있고, 상기 터치 제스처 입력이 진행되는 방향과 상기 분할 이미지의 이미지 특성으로 검출된 그래디언트 방향이 동일한 방향일 경우, 상대적으로 높은 주파수의 음성신호를 갖는 오디오 효과와 진동 신호를 갖는 햅틱 효과를 구성할 수도 있다.

또한, 전술한 1103 단계에서, 객체의 이미지 속성을 설정하는 것을 예시하였으나, 추가적으로 객체의 디스플레이 효과에 반영할 애니메이션 속성을 더 설정할 수 있도록 구성될 수도 있다. 예컨대, 제어부(110)는 선택된 객체에 포함된 이미지의 애니메이션 속성 등을 설정할 수 있는 애니메이션 설정 UI를 제공하여 애니메이션 속성(예, 속도, 리액션 방향, 리액션 세기 등)을 입력받아 설정할 수 있다.

본 발명의 실시예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대용 장치에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명의 방법은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 휴대용 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 유선 또는 무선 통신을 수행하기 위한 통신부와, 프로그램의 전송을 제어하는 제어부를 포함할 수 있다. 상기 프로그램 제공 장치는 상기 휴대용 단말로부터 상기 프로그램의 제공 요청을 수신할 경우, 상기 휴대용 단말에 상기 프로그램을 유선 또는 무선으로 제공할 수 있다. 또한, 상기프로그램 제공 장치는 상기 휴대용 단말로부터 상기 프로그램의 제공 요청이 없는 경우에도, 예를 들어 상기 휴대용 단말이 특정 장소 내에 위치할 경우, 상기 휴대용 단말에 상기 프로그램을 유선 또는 무선으로 제공하도록 형성될 수도 있다.

Claims (15)

1. 사용자 입력에 대응하는 피드백을 제공하는 방법에 있어서,
   입력 이미지의 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하는 과정과,
   사용자 입력 발생됨에 따라, 해당 분할 이미지가 포함된 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
2. 제1항에 있어서, 상기 피드백 효과를 제공하는 과정은,
   사용자 입력의 특성을 확인하는 과정과,
   상기 피드백 클러스터 레벨 및 사용자 입력의 특성에 대응되는 피드백 효과를 출력하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
3. 제2항에 있어서, 상기 사용자 입력의 특성은,
   사용자 제스처 입력의 이동 속도 및 사용자 터치 입력의 가압 세기 중, 적어도 하나를 포함하는 것을 특징으로 하는 사용자 입력 피드백 제공 방법.
4. 제1항에 있어서, 상기 피드백 효과는,
   시각적 효과, 청각적 효과, 및 햅틱 효과 중, 적어도 하나를 포함하는 것을 특징으로 하는 사용자 입력 피드백 제공 방법.
5. 제2항에 있어서,
   입력 이미지에 포함된 객체의 이동을 요청받는 과정과,
   상기 객체가, 상기 이미지 특성을 반영하여 이동하도록 표시하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
6. 제5항에 있어서,
   상기 이미지 특성을 반영한 상기 객체의 이동에 대응하여, 상기 피드백 효과를 출력하는 과정을 더 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
7. 사용자 입력에 대응하는 피드백을 제공하는 방법에 있어서,
   입력 이미지에 포함된 객체의 속성을 설정하는 과정과,
   입력 이미지의 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하는 과정과,
   사용자 입력이 발생됨에 따라, 상기 객체의 속성과, 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
8. 제7항에 있어서, 상기 피드백 효과를 제공하는 과정은,
   사용자 입력의 특성을 확인하는 과정과,
   상기 객체의 속성, 피드백 클러스터 레벨, 및 사용자 입력의 특성에 대응되는 피드백 효과에 출력하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
9. 제8항에 있어서, 상기 사용자 입력의 특성은,
   사용자 제스처 입력의 이동 속도 및 사용자 터치 입력의 가압 세기 중, 적어도 하나를 포함하는 것을 특징으로 하는 사용자 입력 피드백 제공 방법.
10. 제8항에 있어서,
    입력 이미지에 포함된 객체의 이동을 요청받는 과정과,
    상기 객체가, 상기 이미지 특성을 반영하여 이동하도록 표시하는 과정을 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
11. 제10항에 있어서,
    상기 이미지 특성을 반영한 상기 객체의 이동에 대응하여, 상기 피드백 효과를 출력하는 과정을 더 포함함을 특징으로 하는 사용자 입력 피드백 제공 방법.
12. 단말 장치에 있어서,
    정보를 디스플레이하고, 사용자에 의해 입력되는 터치 입력 이벤트를 검출하는 터치스크린,
    적어도 하나의 제어부, 및
    적어도 하나의 입력 이미지를 저장하고, 적어도 하나의 프로그램을 저장하는 메모리부를 포함하며,
    상기 적어도 하나의 프로그램은, 상기 제어부에 의해 실행되도록 구성되며,
    상기 입력 이미지를 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하고,
    사용자 입력이 발생됨에 따라, 해당되는 분할 이미지의 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 명령어를 포함함을 특징으로 하는 단말 장치.
13. 제12항에 있어서, 상기 적어도 하나의 프로그램은,
    사용자 입력의 특성을 확인하고,
    상기 피드백 클러스터 레벨 및 사용자 입력에 대응되는 피드백 효과를 출력하는 명령어를 포함함을 특징으로 하는 단말 장치.
14. 적어도 하나의 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체에 있어서,
    상기 적어도 하나의 프로그램은,
    상기 입력 이미지를 미리 정해진 크기 단위로 분할하고, 상기 미리 정해진 단위의 분할 이미지에 대한 이미지 특성을 확인하여 피드백 클러스터 레벨을 분류하고,
    사용자 입력이 발생됨에 따라, 해당되는 분할 이미지의 피드백 클러스터 레벨에 대응되는 피드백 효과를 제공하는 명령어를 포함함을 특징으로 하는 컴퓨터로 읽을 수 있는 저장 매체.
15. 제14항에 있어서, 상기 적어도 하나의 프로그램은,
    사용자 입력의 특성을 확인하고,
    상기 피드백 클러스터 레벨 및 사용자 입력에 대응되는 피드백 효과를 출력하는 명령어를 포함함을 특징으로 하는 컴퓨터로 읽을 수 있는 저장 매체.

Images