KR20150046105A

KR20150046105A - 멀티모드 피드백으로 이미지를 인식하는 시스템 및 방법

Info

Publication number: KR20150046105A
Application number: KR20157006229A
Authority: KR
Inventors: 아비섹 나가르; 카우쉬크 조시암; 앤드류 디커슨; 티모시 탐슨
Original assignee: 삼성전자주식회사
Priority date: 2012-08-20
Filing date: 2013-08-16
Publication date: 2015-04-29
Also published as: JP2015531932A; US20140049491A1; WO2014030888A1; JP6359538B2; US9280206B2; CN104583912A; CN104583912B; EP2885690A1; KR102162419B1; EP2885690A4

Abstract

본 발명은 이미지에 대한 피드백 효과를 제공하는 방법에 관한 것으로, 시스템 및 컴퓨터로 독출가능한 매체가 제공된다. 상기 방법은 이미지 영역에서 하나 이상의 특징들을 확인하는 단계를 포함한다. 상기 방법은 또한 확인된 하나 이상의 특징들을 다수의 피드백 효과 모드들(modalities)중 적어도 하나에 매핑하는 단계를 포함한다. 또한, 상기 방법은 이미지 영역에 해당하는 사용자 입력 좌표에 응답하여 이미지와 연관된 사용자 인터페이스가 다수의 피드백 효과 모드들 중 적어도 하나를 사용자에게 제공하도록, 피드백 효과 출력을 위한 파라미터들을 생성하고 생성된 파라미터들을 이미지와 연관하여 저장하는 단계를 포함한다. 다수의 피드백 효과 모드들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과, 및 하나 이상의 오디오 피드백 효과를 포함한다.

Description

멀티모드 피드백으로 이미지를 인식하는 시스템 및 방법{SYSTEM AND METHOD FOR PERCEIVING IMAGES WITH MULTIMODAL FEEDBACK}

본 발명은 일반적으로 이미지 인식에 관한 것으로, 특히 멀티모드 피드백으로 이미지를 인식하는 것에 관한 것이다.

사진, 그래픽, 및 백그라운드와 같은 이미지들은 일반적으로 정지 이미지 보기를 통해 전자장치의 사용자 인터페이스에서만 인식된다. 오늘날 증가하고 있는 수많은 소비자 전자장치는 터치스크린, 스피커 및 햅틱 피드백을 제공하는 기능을 포함한다. 햅틱 피드백은 진동 또는 모션(motion)과 같은 움직임을 사용하는 터치 감각을 통해 사용자에게 제공되는 피드백이다.

따라서 멀티모드 피드백의 사용을 통해 이미지 인식을 향상할 필요가 있다.

본 발명의 실시 예들은 멀티모드 피드백으로 이미지를 인식하는 시스템 및 방법을 제공하는 것이다.

일 실시 예에서, 이미지에 대한 피드백 효과를 제공하는 방법이 제공된다. 상기 방법은 이미지 영역에서 하나 이상의 특징들을 확인하는 단계를 포함한다. 상기 방법은 확인된 하나 이상의 특징들을 다수의 피드백 효과 모드들(modalities)중 적어도 하나에 매핑(mapping)하는 단계를 포함한다. 또한, 상기 방법은 이미지 영역에 해당하는 사용자 입력 좌표에 응답하여 이미지와 연관된 사용자 인터페이스가 다수의 피드백 효과 모드들 중 적어도 하나를 사용자에게 제공하도록, 피드백 효과 출력을 위한 파라미터들을 생성하고 생성된 파라미터들을 이미지와 연관하여 저장하는 단계를 포함한다. 다수의 피드백 효과 모드들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과, 및 하나 이상의 오디오 피드백 효과를 포함한다.

다른 실시 예에서, 이미지에 대한 피드백 효과를 제공하는 시스템이 제공된다. 상기 시스템은 적어도 하나의 프로세서와 프로그램 코드를 저장하는 적어도 하나의 저장(storage) 장치를 포함한다. 상기 프로세서는 이미지 영역에서 하나 이상의 특징으로 확인하는 프로그램 코드를 실행하고, 하나 이상의 확인된 특징들을 다수의 피드백 효과 모드들 중 적어도 하나에 매핑하며, 이미지 영역에 해당하는 사용자 입력 좌표에 응답하여 이미지와 연관된 사용자 인터페이스가 다수의 피드백 효과 모드들 중 적어도 하나를 사용자에게 제공하도록, 피드백 효과 출력을 위한 파라미터를 생성하고 이미지와 연관하여 생성된 파라미터들을 저장한다.

또 다른 실시 예에서, 이미지에 대한 피드백 효과를 제공하는 프로그램 코드를 구현하는 비일시적(non-transitory)인 컴퓨터로 독출가능한 매체가 제공된다. 컴퓨터로 독출가능한 매체는 이미지 영역에서 하나 이상의 특징들을 확인하는 단계에 대한 프로그램 코드를 포함한다. 컴퓨터로 독출가능한 매체는 또한 확인된 하나 이상의 특징들을 다수의 피드백 효과 모드들 중 적어도 하나에 매핑하는 단계에 대한 프로그램 코드를 포함한다. 또한, 컴퓨터로 독출가능한 매체는 이미지 영역에 해당하는 사용자 입력 좌표에 응답하여 이미지와 연관된 사용자 인터페이스가 다수의 피드백 효과 모드들 중 적어도 하나를 사용자에게 제공하도록, 피드백 효과 출력을 위한 파라미터들을 생성하고 생성된 파라미터들을 이미지와 연관하여 저장하는 단계에 대한 프로그램 코드를 포함한다.

본 발명의 실시 예에 따르면 멀티모드 피드백의 사용을 통해 이미지 인식을 향상시킬 수 있다.

하기 상세한 설명을 작성하기 전, 본원 문서 전체에서 사용되는 단어와 구문에 대한 정의를 제시하는 것이 유리할 수 있다: 용어 "또는"은 포괄적인 (inclusive) 것으로 '및/또는' 을 의미한다; 구문 "..와 연관된" 및 "..그 안에서 연관된"과 그 파생어들은 포함, ..내에서 포함, 상호연결, 함유, ..내에서 함유된, ..에 또는 ..와 연결된, ..에 또는 ..와 결합된, ..와 통신가능한, ..와 협력하는, 끼우다, 병치하다, 근접한, ..해야 하는 또는 ..에 묶인, 갖다, ..의 특징을 갖다, 등을 의미할 수 있다; 그리고 용어 "제어기"는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템 또는 그 일부를 의미하며, 그러한 장치는 하드웨어, 펌웨어 또는 소프트웨어, 또는 그들의 적어도 두 개의 결합으로 구현될 수 있다. 임의의 특별한 제어부와 연관된 기능은 집중되어 있거나 국부적으로 혹은 원격으로 분산될 수 있다. 어떤 단어와 구문들에 대한 정의들은 본 특허문서 전체에 대해 제공되며, 이 기술이 속한 분야의 당업자는 대부분은 아니더라도, 많은 경우 그러한 정의들이 미래뿐만 아니라 그 이전에도 그렇게 정의된 단어와 구문들을 사용하는데 적용된다는 것을 이해해야 할 것이다.

본 발명과 그 장점에 대한 보다 완전한 이해를 위해 첨부된 도면을 참조하여 다음의 상세한 설명이 이뤄진다. 도면에서 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 다양한 실시 예를 구현하는데 사용될 수 있는 전자장치를 도시한 것이다.
도 2는 본 발명의 다양한 실시 예에 따른 이미지에 대한 피드백 효과를 생성하는 시스템을 도시한 것이다.
도 3은 도 2에 도시된 시스템에서 재균형 모듈(rebalancing module)의 예시적인 실시 예를 도시한 것이다.
도 4는 본 발명의 다양한 실시 예에 따른 잠재적인 텍스쳐 값에 기반하여 이미지 패치들을 분류하는 과정에 대한 흐름도를 도시한 것이다.
도 5는 본 발명의 예시적인 실시 예에 따른 조악도(coarseness), 콘트라스트(contrast) 및 기울기(gradient)에 대한 평균 값들에 따라 분류된 다른 클러스트들로부터 패치들을 도시한 것이다.
도 6은 본 발명의 예시적인 실시 예에 따른 텍스쳐(texture) 맵, 세기(intensity) 맵, 및 색상 맵으로 추출된 입력 이미지의 예를 도시한 것이다.
도 7A 및 7B는 본 발명의 예시적인 실시 예에 따른 이미지에 대한 사용자 터치에 응답하여 제공된 피드백 효과를 도시한 것이다.
도 8A는 본 발명의 예시적인 실시 예에 따른 이미지에서 물결 효과(ripple effect)를 도시한 것이다.
도 8B는 본 발명의 예시적인 실시 예에 따른 이미지에서 글로우 효과(glow effect)를 도시한 것이다.
도 8C는 본 발명의 예시적인 실시 예에 따른 이미지에서 블러 효과(blur effect)를 도시한 것이다.
도 9는 본 발명의 예시적인 실시 예에 따른 추출된 이미지 특징과 피드백 효과 사이의 예시적인 매핑을 도시한 것이다.
도 10은 본 발명의 예시적인 실시 예에 따른 휴대폰을 위한 사용자 인터페이스에 디스플레이된 이미지를 도시한 것이다.
도 11은 본 발명의 다양한 실시 예에 따른 이미지에 대한 피드백 효과를 생성하는 과정을 도시한 것이다.
도 12는 본 발명의 다양한 실시 예에 따라 이미지 피드백 효과를 사용자에게 제공하는 과정을 도시한 것이다.

이하에서 도시된 도 1 내지 12 및 본 명세서에서 본 발명의 원리를 기술하는데 사용되는 다양한 실시 예들은 단지 설명을 위한 것이며 본 발명의 범위를 제한하는 방식으로 해석되어서는 안된다. 본 발명의 원리는 임의의 적절하게 배치된 시스템 또는 장치에서 구현될 수 있음이 당업자에게 자명하다.

본 발명의 다양한 실시 예들은 햅틱(haptic) 피드백(feedback)이, 특히, 예를 들어, 잡음 환경에서 생산성을 증가시킬 수 있음을 인식한다. 본 발명의 다양한 실시 예들은 또한 햅틱 피드백이 에워싸는 듯한 감각 경험을 주고 받기 위한 이미지와 같은 시각적 콘텐츠 맥락으로 확장될 수 있음을 인식한다. 이미지는 원할 경우 경험을 기억해내게 하는 시각적 매체로 현재의 감각 경험을 유지한다. 그러나 위 과정에서, 장면에서의 청각, 터치 및 다른 감각 콘텐츠가 버려진다. 감각 경험의 일부는 시각, 청각 및 햅틱 효과가 집중된 애플리케이션을 통해 이미지를 볼 때 다시 만들어질 수 있다. 예를 들어, 본 발명의 실시 예들은 햅틱 피드백의 세기를 프로브의(probe) 형상, 사용자가 가상 표면에서 프로브를 움직이는 속도 및 가상 표면의 형상을 기반으로 인식한다. 본 발명의 실시 예들은 이미지에 대한 햅틱 피드백을 결합하려는 기존 접근법의 한계가 다른 종류의 햅틱 피드백 결합의 유효성을 평가하기 위한 햅틱 및 사용자 연구의 부족 이외에 시각 및 청각 효과의 동시 결합이 부족한 것임을 인정한다.

본 발명의 다양한 실시 예들은 또한 청각 피드백이 이미지 인지를 향상시킬 수 있음을 인정한다. 예를 들어, 청각 피드백은 사용자가 화면에서 특별한 종류의 텍스쳐를 터치할 때 특별한 소리를 발생하는 시스템을 포함한다. 본 발명의 실시 예들은 그러한 시스템의 한계가 계산의 복잡도에 있음을 인정한다. 예를 들어, 계산 복잡도는 생성된 다양한 소리를 제한할 수 있다. 본 발명의 다양한 실시 예들은 또한 시각적 피드백이 시각적 콘텐츠를 변경하여 이미지 인식을 향상하려는 접근법을 포함함을 인정한다. 본 발명의 실시 예들은 햅틱과 오디오처럼 시각적 피드백 시스템이 확장된 수동 조정이 필요함을 인정한다.

따라서 본 발명의 실시 예들은 디스플레이된 이미지와 관련된 어플리케이션을 이용하거나 이미지를 보고 있는 사용자에게 시각, 햅틱 및 원하는 (예를 들어, 자연적인 및/또는 관심을끄는) 감각 피드백을 제공하기 위한 다른 감각 효과들의 조화를 제공한다. 다양한 실시 예는 사용자가 이미지의 다른 부분들을 터치하고 있는 동안, 예를 들어, 터치에 민감한 디스플레이 유닛을 사용하여 정상적인 이미지 보기를 넘어서는 청각, 시각, 및 햅틱 피드백을 사용자에게 제공한다. 청각 효과는 사용자가 이미지의 특정 영역에서 손가락을 터치하거나 움직이고 있는 동안 특정 소리를 재생하는 것을 포함한다. 촉각 효과라고도 불리는 햅틱 효과는 사용자가 이미지의 특정 영역에서 손가락을 터치하거나 움직이는 동안 합성된 촉각 피드백을 재생하는 것을 포함한다. 촉각 피드백의 예로는 핸드헬드(handheld) 장치에서 보통 사용할 수 있는 햅틱 진동의 온-오프 시퀀스가 있다. 다른 온-오프 패턴을 갖는 다른 진동 시퀀스는 진동을 경험한 사용자에게 다른 감각 반응을 이끌어낸다. 한편, 시각적 효과는, 예를 들어 사용자가 이미지를 터치하고 있는 포인트 주변을 표시하는 이미지 영역의 색상과 세기를 변경하여 시각적 콘텐츠를 변경한다. 이러한 세 가지 형태의 피드백과 가능한 다른 형태가 체계적으로 선택되고 이들에 대한 파라미터들은 사용자 프로파일, 장치 타입 등과 같은 다양한 요인들에 의해 좌우되어 이미지 콘텐츠의 감각 인지를 향상시킨다.

도 1은 전자 장치(100)에 구현된 다양한 실시 예들을 설명한다. 도 1의 설명은 다른 실시 예들이 구현될 수 있는 방식에 대한 물리적 또는 구조상에서 제한하려는 것이 아니다. 본 발명의 다른 실시 예들은 임의의 적절하게 배치된 시스템 또는 장치에서 구현될 수 있다.

도 1은 본 발명의 다양한 실시 예를 구현하는데 사용될 수 있는 전자장치(100)를 도시한 것이다. 예를 들어, 일부 실시 예에서, 전자장치(100)는 터치스크린이 가능한 장치로 이미지와 관련된 청각, 시각 및/또는 햅틱 피드백을 전자장치(100)의 사용자에게 제공한다. 일부 실시 예에서, 전자장치(100)는 이미지의 특징을 확인하여 이미지와 함께 제공될 청각, 시각, 및/또는 햅틱 피드백에 대한 파라미터들을 생성한다. 제한적이지 않은 예를 들어, 전자장치(100)는 서버(server) 컴퓨터, 개인용(personal) 컴퓨터, 랩탑(laptop) 컴퓨터, 태블릿(tablet) 컴퓨터, 휴대폰(mobile phone), PDA(personal digital assistant), TV 등일 수 있다.

본 예시적인 실시 예에서, 전자장치(100)는 안테나(105), 무선 주파수(RF) 트랜시버(110), 송신(TX) 처리 회로(115), 마이크(120) 및 수신(RX) 처리 회로(125)를 포함한다. 전자장치(100)는 또한 스피커(130), 프로세서(140), 입출력(I/O) 인터페이스(IF)(145), 키패드(150), 터치스크린(155), 및 메모리(160)를 포함한다. 메모리(160)는 기본 운영체제(OS) 프로그램(165)을 더 포함한다.

본 발명의 유리한 실시 예에서 프로세서(140)는 마이크로프로세서 또는 마이크로컨트롤러이다. 메모리(160)는 프로세서(140)와 결합된다. 본 발명의 유리한 실시 예들로부터, 메모리(160)의 일부는 랜덤 액세스 메모리(RAM)를 포함하고, 메모리(160)의 다른 일부는 읽기 전용 메모리(ROM)으로 동작하는 플래시 메모리와 같은 비휘발성 메모리를 포함한다.

프로세서(140)는 전자 장치(100)의 전체 동작을 제어하기 위해 메모리(160)에 저장된 기본 운영체제(OS) 프로그램(165)을 실행한다. 그러한 동작에서, 프로세서(140)는 잘 알려진 원리에 따라 무선 주파수(RF) 트랜시버(110), 수신기 처리회로(125), 및 송신기 처리회로(115)에 의한 순방향 채널 신호의 수신 및 역방향 채널 신호의 송신을 제어한다.

본 예시적인 실시 예에서 전자장치(100)는 또한 스피커(130), 프로세서(140), 입출력(I/O) 인터페이스(IF)(145), 키패드(150), 터치스크린(155), 및 메모리(160)를 포함한다. 메모리(160)는 기본 운영체제(OS) 프로그램(165)을 더 포함한다.

프로세서(140)는 메모리(160)에 상주하는 다른 프로세스 및 프로그램을 실행할 수 있다. 다양한 실시 예에서, 프로세서(140)는 피드백 프로그램(170)의 프로그램 코드를 실행하여 이미지에 대한 청각, 시각 및/또는 햅틱 피드백을 생성 및/또는 제공한다. 프로세서(140)는 실행 프로세스에 의해 요구되는 것처럼 메모리(160)로/로부터 데이터를 이동시킬 수 있다. 프로세서(140)는 또한 입출력(I/O) 인터페이스(145)와 결합된다. I/O 인터페이스(145)는 전자장치(100)에 랩탑 컴퓨터 및 핸드헬드 컴퓨터와 같은 다른 장치들에 연결하는 능력을 제공한다. I/O 인터페이스(145)는 이 액세서리들 및 프로세서(140) 사이의 통신 경로이다.

프로세서(140)는 또한 키패드(150) 및 터치스크린(155)과 결합된다. 일부 실시 예에서, 전자 장치(100)의 사용자는 키패드(150)를 사용해 전자 장치(100)에 데이터를 입력할 수 있다. 다른 실시 예에서, 전자 장치(100)는 터치스크린을 사용하여 사용자 입력을 수신할 수 있다. 예를 들어, 터치스크린(155)은, 예를 들어, 저항식, 또는 정전용량식 터치 플레이트와 같은 터치 플레이트 및 디스플레이 모두를 포함할 수 있다. 터치스크린(155)에서 디스플레이는, 예를 들어, 텍스트 및/또는 적어도 웹 사이트로부터의 제한된 그래픽을 렌더링할 수 있는 액정 디스플레이, 발광 다이오드 디스플레이 및/또는 유기 발광 다이오드 디스플레이일 수 있다. 대안적인 실시 예들은 다른 타입의 디스플레이들을 사용할 수 있다.

햅틱 피드백 장치(175)는 햅틱 피드백을 제공하는 장치이다. 예를 들어, 햅틱 피드백 장치(175)는 모터를 포함하여 전자장치(100)에 움직임 및/또는 진동을 생성하고 전자장치(100)의 사용자에게 햅틱 피드백을 제공한다. 센서(180)는 전자장치(100)가 위치한 환경의 조건을 감지하는 센서이다. 제한적이지 않은 예를 들어, 센서(100)는 근접 센서, 광센서 또는 전자장치(100)가 위치한 환경의 조건들을 감지하는 다른 형태의 센서일 수 있다. 다양한 실시 예에서, 전자장치(100)는 피드백 타입에 대한 제한조건 결정에 센서(180)를 사용하여 이미지와 함께 제공할 수 있다.

전자장치(100) 및 그 안에 포함된 컴포넌트들에 대한 설명은 예시적이며 본 발명의 원리에 따라 구현될 수 있는 다양한 실시 예들에 대한 물리적인 또는 구조(architectural)상의 제한을 가하려는 것이 아니다. 예를 들어, 필요한 전자장치 타입에 따라 전자장치(100)의 실시 예들은 도 1에 도시된 모든 컴포넌트들을 포함하지 않을 수 있다. 예를 들어, 개인용 컴퓨터, 또는 서버 컴퓨터와 같은 컴퓨터는 근거리 통신망과 카드를 사용하여 유선 연결을 통해 통신할 수 있고, 예를 들어 안테나(105), 무선 주파수(RF) 트랜시버(110), 송신(TX) 처리회로(115), 마이크(120) 및/또는 수신(RX) 처리 회로(125)와 같은 무선 통신 소자들을 포함하지 않을 수 있다. 다양한 실시 예에서, 전자장치(100)는 마우스를 사용하는 사용자로부터 커서 입력을 수신할 수 있거나 또는 전자장치(100)는 키패드(150)를 포함하지 않을 수 있다. 다른 실시 예에서, 전자장치(100)가 이미지에 대한 청각, 시각 및/또는 햅틱 피드백 파라미터들을 생성하기만 하는 경우, 전자장치(100)는 센서(180) 및/또는 햅틱 피드백 장치(175)를 포함하지 않을 수 있다. 다른 실시 예에서, 이미지를 디스플레이하는 전자장치(100)는 제공될 수 있는 피드백 타입에 대한 물리적인 제한을 가질 수 있다. 예를 들어, 그러한 실시 예들에서, 전자장치(100)는 햅틱 피드백 장치(175)를 포함하지 않을 수 있고, 터치스크린이 가능하지 않을 수 있으며, 스피커(130)를 포함하지 않을 수 있다.

도 2는 본 발명의 다양한 실시 예에 따른 이미지에 대한 피드백 효과를 생성하는 시스템(200)을 도시한 것이다. 본 예시적인 실시 예에서, 시스템(200)은 특징 추출 및 피드백 효과 사이의 매핑을 통해 이미지에 대한 피드백 효과를 생성한다. 시스템(200)은, 예를 들어, 도 1에 도시된 전자장치(100) 및 피드백 프로그램(170)에 의해 구현될 수 있다.

본 예시적인 실시 예에서, 시스템(200)은 청각, 시각, 햅틱 및 다른 감각 효과에 대한 애플리케이션 및 조화를 제공하여 원하는(예를 들어, 자연적인 및/또는 매력적인) 감각 피드백을 사용자에게 제공한다. 시스템(200)은 콘텐츠 및 사용자 인터랙션(user interaction)와 같은 입력을 수신하는 입력 모듈(205)을 포함한다. 입력 콘텐츠는 그래픽, 사진, 배경 등과 같은 이미지들을 포함할 수 있다. 사용자 인터랙션 입력은 터치스크린으로의 사용자 터치 입력 좌표, 또는 마우스를 사용한 커서 또는 포인터 입력 좌표를 포함할 수 있다. 시스템(200)은 이미지에 대한 이상적인 인지를 판단하기 위한 이상적인 인지를 확인하는 이미지 인지 모듈(201)을 포함하여 디스플레이된 이미지에 있는 장면에 실제로 존재하는 관찰자에 대한 시뮬레이션을 제공한다. 시스템(200)은 또한 재균형(rebalancing) 모듈(215)을 포함하여 이미지 특징 추출 및 피드백 효과 사이의 매핑을 사용하여 이미지에 대해 새로 원하는 인지를 가능하게 한다. 원하는 인지가 가능하도록 재균형 모듈(215)은 특징추출모듈(220) 및 효과생성모듈(225)을 포함한다.

다양한 실시 예들에서, 특징추출모듈(220)은 하기에서 상세하게 논의되는 것과 같이 이미지로부터 다양한 이미지 텍스처 특징들을 확인 및/또는 추출한다. 그러한 특징의 예들은 타무라(Tamura) 텍스처 특징, 국부 기울기 벡터(local gradient vector) 등을 포함한다. 특징추출모듈(220)을 사용하여 추출된 특징들은 이미지와 함께 제공될 효과들의 파라미터 추정에 사용되어야 하는 국부 이미지 특성을 측정하도록 기대된다. 다른 예에서, 특징추출모듈(220)은 장면의 요소들(예를 들어, 잔디, 나무, 사람들 등)을 인식할 수 있고, 국부적인 또는 클라우드 기반의 객체 인식 시스템 사용을 포함할 수 있다.

다양한 실시 예에서, 효과 생성 모듈(225)은 특징 추출 모듈, 이미지 자체, 및 사용자가 장치와 인터랙션하는 방식(예를 들어, 사용자가 장치를 터치하고 있거나 커서 입력이 검출된 위치의 xy좌표)을 확인하고 이미지에 대한 청각, 시각 및 햅틱 효과를 포함할 수 있는 감각 피드백을 생성한다. 이하에서 효과생성모듈(225)에 의해 제공될 수 있는 다양한 청각, 시각 및 햅틱 효과가 상세하게 논의된다. 일부 방식에서 시각효과는 디스플레이되고 있는 이미지를 변형하는 반면, 청각 및 햅틱 효과는 이미지를 디스플레이하는 장치에 의해 직접 재생되고 및/또는 제공된다.

재균형 모듈(215)은 그 후 다양한 효과들을 이미지의 적용가능한 영역에 매핑하고 이미지 효과를 제공하는 출력 파라미터들(230)을 생성한다. 예를 들어, 출력 파라미터들(230)은 한 이미지의 다른 영역으로 매핑되는 이미지에 대한 효과들의 라이브러리에 저장된 효과를 제공하는 명령어일 수 있다. 사용자가 입력좌표를 제공하는 경우, 시스템(200)은 라이브러리로부터의 출력 파라미터(230)와 사용자 입력 좌표에 해당하는 영역 사이의 매핑을 확인한다. 확인된 출력 파라미터(230)는 검색 및 처리되어 원하는 피드백 효과를 제공한다.

도 3은 도 2에 도시된 시스템(200) 내 재균형 모듈(215)의 예시적인 실시 예를 도시한 것이다. 다양한 실시 예에서, 특징추출모듈(220)은 입력 데이터(305)(예를 들어, 이미지)를 수신하고, 예를 들어, 텍스쳐, 세기, 색상 및/또는 터치 또는 커서 입력과 같은 이미지와의 사용자 인터랙션 등과 같은 이미지의 특징들을 추출 및/또는 확인한다. 본 실시 예에서, 특징추출모듈(220)은 동시발생행렬(co-occurrence matrices), 마코프 랜덤 필드(Markov random fields), 가버(Garbor) 텍스처 특징 및 타무라 특징을 포함하는 여러 기술들을 사용해 이미지 특징을 추출할 수 있다. 텍스쳐 특징 추출을 위한 추가적인 기술들은, 예를 들어, 본 발명에 참조로 포함된 Tuceryan, M., and Jain, A. K., C. Chen, L. Pau, and P. Wang의 “The Handbook Pattern Recognition and Computer Vision”, World Scientific Publishing Co., 1998에서 특히 2.1장의 “Texture Analysis”에 기재되어 있다. 동시발생행렬, 마코프 랜덤 필드, 가버 텍스처 특징 및 타무라 특징은 주로 텍스쳐 분류에 사용되지만, 이 방법들에 대한 값들이 주어진다면 텍스쳐 종류를 추론하거나 시각화하기는 어려울 수 있다. 한편, 타무라 텍스쳐 특징들은 특히 각기 다른 특징들에 의미를 제공한다. 6개의 타무라 특징들은 조악도(coarseness), 콘트라스트, 방향성, 선 유사성(line likeness), 규칙성 및 거칠기(roughness)를 포함하고, 본 발명에 참조로 포함된 “Texture features corresponding to visual perception” by H. Tamura, S. Mori, and T. Yamawaki in IEEE Transactions on Systems, Man, and Cybernetics, vol. SMC-8, no. 6, 1978, 460 - 473, 논문에 상세히 기재되어 있다.

조악도는 기본적으로 이미지에서 텍스쳐 요소들의 크기를 정량화한다. 텍스쳐에서 요소들이 클수록 더 조악하다. 예로서, 큰 돌에 대한 이미지는 작은 돌에 대한 이미지보다 더 조악하다. 확대된 이미지 버전은 원래의 이미지에 비해 더 큰 조악도 값을 갖는 것이 주지된다. 콘트라스트는 기본적으로 이미지 내 국부적으로 존재한 세기값의 범위를 측정한다. 예로서, 흑/백 체커판 이미지는 하늘 이미지보다 큰 콘트라스트를 가질 것이다. 방향성은 우세한(dominant) 기울기를 갖는 다른 방향의 수를 정량화한다. 예로서, 창문 블라인드에 대한 이미지는 돌 이미지보다 더 방향성을 갖는다. 선 유사성은 이미지에 존재하는 얇은 선들의 양을 측정한다. 예로서, 와이어 메시(wire mesh) 이미지는 돌 이미지보다 더 선처럼 보인다. 규칙성은 텍스처 요소들이 얼마나 규칙적으로 위치하는지를 측정한다. 예로서, 층을 이룬 블록 이미지는 유리 이미지보다 더 규칙적이다. 거칠기는 조악도와 콘트라스트 값들의 합으로 얻어진다. 텍스쳐가 얼마나 거칠게 인지되는지를 측정한다. 타무라 특징 외에 특징추출모듈(220)은 소벨(Sobel) 연산자를 사용해 계산된 이미지 기울기를 사용하여 터치된 위치를 많은 소정 카테고리들 중 하나로 분류할 수 있다. 국부 텍스쳐 카테고리는 차례로 재생될 청각, 시각 및 햅틱 효과를 결정하는데 사용된다.

다른 예에서, 특징추출모듈(220)은 또한 이미지의 세기 및 색상에 대한 값들을 식별하여 피드백 효과 매칭을 위한 식별된 특징으로 사용할 수 있다. 예를 들어, 도 6은 본 발명의 예시적인 실시 예에 따른 텍스쳐 맵(605), 세기 맵(610), 및 색상 맵(615)으로 추출된 입력 이미지(600)의 예를 도시한 것이다. 이 예에서, 특징추출모듈(220)은 이미지(600)에서 다양한 포인트들에 대한 텍스처, 세기 및/또는 색상 값들을 식별하고, 피드백 효과는 이미지의 텍스처, 세기 및 색상 중 하나 이상으로 매핑될 수 있다. 예를 들어, 특징추출모듈(220)은 텍스쳐 값들의 범위, 세기 및/또는 색상을 식별하고, 재균형 모듈(215)이 청각, 시각 효과 및/또는 햅틱 효과의 해당 범위를 매핑하는 것(예를 들어, 진동 주파수 또는 세기)을 알 수 있다.

일부 실시 예들에서, 시스템(200)은 잠재적인 텍스쳐, 세기 및/또는 색상 값들을 기반으로 이미지 영역들, 패치들, 또는 영역들을 분류하고, 시각, 햅틱 및 청각 효과 파라미터들을 분류된 이미지 영역, 패치, 또는 영역들 각각으로 매핑할 수 있다. 예를 들어, 도 4는 본 발명의 다양한 실시 예에 따른 잠재적인 텍스쳐 값에 기반하여 이미지 패치들을 분류하는 과정에 대한 흐름도를 도시한 것이다. 본 실시 예에서, 시스템(200)은 이미지를 수신하고(400단계), 이미지를 다수의 영역들, 패치들 또는 영역들로 분할한다(405단계) 시스템(200)은 각 패치의 포인트들 또는 픽셀들의 텍스쳐를 분석한다(410단계). 예를 들어, 시스템(200)은 타무라 특징을 추출하여 이미지 내 기울기를 식별한다. 시스템(200)은 추출된 특징들을 기반으로 각 패치를 분류한다(415단계). 예를 들어, 시스템(200)은 터치된 위치를 소정 카테고리들로 분류하도록 계산된 이미지 기울기들을 사용해 패치에서 특징들을 분류할 수 있다. 이후, 시스템(200)은 이미지의 각 패치를 분류한다(420단계). 예를 들어, 시스템(200)은, 예를 들어, 조악도, 콘트라스트, 방향성, 선 유사성, 규칙성 및 거칠기와 같은 타무라 특징들 모두에 대한 다양한 레벨로 패치를 분류할 수 있다. 패치의 카테고리는 차례로 청각, 시각, 및 햅틱 효과가 재생되거나 그 패치에 대한 사용자 입력과 연관되도록 결정하는데 사용된다.

도 5는 본 발명의 예시적인 실시 예에 따른 조악도, 콘트라스트 및 기울기들의 평균 값들에 따라 분류된 다른 클러스터(cluster)들로부터의 패치들을 도시한 것이다. 본 예시적인 실시 예에서, 시스템(200)은 텍스쳐 패치 풀(pool) (예를 들어 50x50 크기)에서 조악도, 콘트라스트 및 국부 기울기 크기를 추출하고 K-평균(means) 클러스터링을 사용하여 패치들을 클러스터링하여 k개의 서로 다른 클러스터 세트를 생성한다.

이미지 특징들을 확인한 후, 시스템(200)은 하나 이상의 피드백 효과를 확인된 이미지 특징에 할당, 생성 및/또는 매핑한다. 다양한 실시 예에서, 이 피드백 효과는 적어도 세 가지 타입, 즉, 청각, 시각 및 햅틱을 포함한다. 본 발명의 다양한 실시 예에서 사용된 시각 효과는 세 가지 다른 타입: 이동(displacement) 효과, 조명 효과, 및 블러(blur) 효과를 포함한다.

변위 효과는 사용자가 영역들을 터치할 때 이미지 내 일부 영역들의 이동을 포함한다. 이 효과는 움직임으로써 터치에 반응하는 장면에 존재하는 물리적인 객체를 모사한다(simulate). 이동 효과의 예는 이하에서 상세하게 설명될 물결(Ripple) 효과이다. 한편, 조명 효과는 이미지에서 일부 영역들을 강조(highlight)하는데 사용되는 광원을 모사한다. 광원은 다른 색상의 파장들을 갖는 특정 색상의 세트를 포함할 수 있다. 조명효과의 예는 이하에서 상세하게 설명될 글로우(glow) 효과이다. 시각 효과의 세 번째 카테고리는 빠르게 움직이는 객체를 볼 때, 특히 객체가 초점에서 벗어났을 때 기본적으로 인간의 인지의 한계를 강조하는 이미지의 일부 영역을 블러링하는 것을 포함한다. 블러 효과의 예는 이하에서 상세하게 설명될 모션-블러(motion-blur) 효과이다. 이 효과들은 서로 상보적이며 동시에 차곡차곡 또는 동시에 재생되거나 제공될 수 있다.

도 8A는 본 발명의 예시적인 실시 예에 따른 이미지에서 물결 효과를 도시한 것이다. 도시된 것처럼, 물결효과는 사용자가 물 표면을 터치하고 있으면 물이 화면 위에 퍼져나가는 시나리오를 모사한다. 여기서, 각 픽셀의 위치는 그 위치에서의 물 높이를 기반으로 갱신될 수 있다. 각 프레임에서, 특정 포인트에서 물의 높이는 이전 두 프레임의 이웃 포인트들뿐만 아니라 그 포인트에서의 물 높이를 사용해 결정된다. 사용자가 화면을 터치하면, 터치 포인트의 이웃 영역에서 그 순간 디스플레이된 이미지 프레임 내 물 높이는 특정 레벨까지 올라간다. 그 효과는 이전 프레임들에 의해 좌우되기 때문에, 효과는 후속 프레임에서 계속 재생되고 이미지 위를 흐르는 물결 감각이 인지된다. 이 효과를 모사하는 두 파라미터가 있으며, 사용자가 이미지를 터치할 때 물 높이가 영향을 받는 원형의 주위 영역의 크기와 댐핑(damping) 파라미터이다. 댐핑 파라미터는 기본적으로 모사되는 유체의 점성을 모사한다. 댐핑 파라미터 값이 작으면, 물결은 유체의 점성이 매우 높은 것으로 인지됨을 나타내며 매우 빨리 사라진다. 한편, 댐핑 파라미터 값이 가능한 최대값(즉, 1)을 갖는다면 물결은 중지되지 않는다.

도 8B는 본 발명의 예시적인 실시 예에 따른 이미지에서 글로우 효과(glow effect)를 도시한 것이다. 이 예에서, 사용자가 현재 표면을 터치하고 있는 위치 주변의 영역은 효과 파라미터들을 기반으로 변경된다. 물결 효과와 달리, 이 효과는 일시적인 효과다. 이는 사용자가 화면을 터치하고 있는 위치를 변경하자마자 효과 또한 따라서 움직인다는 것을 의미한다. 현재의 구현에서는, 디스플레이되고 있는 이미지와 관련된 색상 값들의 세기 컴포넌트를 증가시키는 글로우 유사(glow-like) 효과가 생성된다. 특정 포인트(x,y)에서 이미지의 RGB 색상 값들이 각각 r, g, 및 b라면, 갱신된 색상 값들은 아래 수학식 1에 따라 계산될 수 있다.

여기서, X는 이 효과에 의해 영향을 받는 이미지 영역의 크기를 조절하는데 사용되는 파라미터이고, D는 터치 포인트의 위치로부터 고려된 현재 픽셀의 유클리드(Euclidean) 거리이며, F는 효과의 세기를 조절하는 파라미터이다. 상수 R_MAX, G_MAX, and B_MAX 는 적색, 녹색, 및 청색에 대해 허용된 최대값을 나타낸다.

도 8C는 본 발명의 예시적인 실시 예에 따른 이미지에서 블러 효과를 도시한 것이다. 모션 효과는 사용자가 이미지를 가로질러 손가락을 움직이고 있고, 사용자가 이미지를 터치하고 있는 영역에서 이미지가 국부적으로 블러링되는 시나리오를 모사한다(simulate). 블러링 방향은 사용자가 손가락을 움직이고 있는 방향과 동일하다. 글로우 효과와 유사하게 이 효과는 국부적이며 일시적이다, 즉, 블러링은 그 값이 사용자가 화면을 터치하는 포인트 주변에서 효과 파라미터로 조정될 수 있는 반경 내 영역에서만 나타난다. 사용자가 현재 (Tx, Ty) 포인트에서 터치하고 있고, 사용자가 손가락을 움직이는 속도가 (Vx, Vy)라면, 효과는 그 픽셀 자체를 포함한 7개 이웃 픽셀들의 픽셀값들에 대한 가중 평균을 수행한다. 이 7이라는 값의 파라미터는 예시적이며, 다른 값들도 사용될 수 있다. 이 모션 블러 효과를 조절하는데 사용되는 파라미터는 선택된 이웃 포인트들의 터치 포인트로부터의 거리를 결정하는 효과의 크기이다. 모션 블러 효과의 다른 파라미터는 색상 값들이 이 효과의 결과로 영향을 받는 터치 포인트 주변의 영역이다.

상술한 것들과 유사하게 사용될 수 있는 시각 효과의 추가적이고 비제한적인 예는 이하를 포함한다: 3D 메시 렌더링(3D mesh rendering); 스포트라이트(spotlight); 색상 시프팅(color shifting); 메시 분해 다각형(mesh explode polygons); 포인트 라이트 (point light); 세피아톤(Sepia tone); 물결 (wave); 방향성 광(directional light); 렌 비네트(len vignette); 물 채우기(water fill); 픽셀별 조명(per pixel lighting); 금속, 고무 또는 나무 음영 (metal, rubber or wood shading); 물고기 눈(fish eye); 그림자(shadows); 범프 매핑(bump mapping);번개lightning; 불fire; 털(fur); 연기(smoke); 불덩이fireball; 지연(dilation); 안개(fog); 수성 페인트 (water paint); 침식 (erosion); 확대경 (magnifying glass); 일시 커튼 효과(ephemeral curtain); 선명하게 하기(sharpen); 눈 입자 snow particles; 글로우 glow; 양각 emboss; 픽시 먼지 pixie dust; bloom; 흑백 black and white; cherry blossom particles; heat wave; 크로스 해치(cross hatch); 다른 입자효과other particle effects; 사인파 (sine waves); 만화 음영(cartoon shading); 반사(reflection);열 화상(thermal vision) (프레데터 모드 predator mode); 부정(negative); 굴절(refraction); 나이트 비전(night vision); 젤-오 젤라틴 효과(Jell-O gelatin effect); 모션 블러 (motion blur); 소벨 에지 검출(Sobel edge detection); 옷감 리플(cloth ripple); 모션 트레일러 (motion trailer); 라플라시안 에지 검출(Laplacian edge detection); 지니 효과(genie effect); 렌즈 플레어(lens flare); 밝게 하기(brighten); TV 정적(static) / 잡음(noise); 신의 광선(god rays); 어둡게 하기(darken); 타일 뒤집기 (flipping tiles); 가우시안 블러(Gaussian blur); 색 입히기(colorize); 디각형상의 비디오(video on polygons); 필드 깊이(depth of field); 색상 채널 및 메시 변형 제거(remove color channels and mesh deformations).

본 발명의 다양한 실시 예들은 또한 햅틱 피드백 효과를 제공한다. 햅틱 피드백 효과는 온-오프 스위칭 회로에 의해 구동되는 비대칭 가중치를 갖는 코어리스(coreless) dc 모터를 사용하여 생성되는 진동촉각(vibrotactile) 피드백을 포함할 수 있다. 온-오프 스위칭 소프트웨어 (예를 들어, 이멀전(immersion) 소프트웨어)는 다양한 스위칭 시퀀스들(예를 들어 진동 주파수 및 패턴)을 제공할 수 있고, 각각은 장치를 터치하는 사용자에 의해 특정 센서 응답을 이끌어내는데 사용될 수 있다. 임의의 다른 소프트웨어로 구동되는 햅틱/촉각 피드백도 사용될 수 있다. 예시적인 일 실시 예에서, 도 7A에 도시된 것처럼 사용자가 물이 존재하는 이미지상의 영역을 터치하면, 부드럽거나 낮은 주파수 진동이 재생될 수 있다. 다른 예에서, 도 7B에 도시된 것처럼 사용자가 바위를 터치하면, 더 강하거나 더 높은 주파수의 진동이 재생될 수 있다.

본 발명의 다양한 실시 예들은 또한 청각 피드백 효과를 제공한다. 예를 들어, 사용자가 터치에 민감한 화면을 터치하자마자 사운드가 재생되기 시작할 수 있다. 재생되는 특정 사운드는 터치 포인트와 관련해 텍스쳐 특징 값들을 기반으로 결정될 수 있다. 일부 예에서, 사운드는 사용자가 화면을 터치하고 있는 한 루프 내에서 계속 재생될 수 있다. 재생되는 사운드는 국부적인 텍스처 특징 또는 색상 값들에 따라 변할 수 있다. 예를 들어, 재생 속도, 사운드 강도 또는 사운드 타입이 변할 수 있다.

일부 예에서, 재생 속도는 사용자가 이미지를 터치하고 있는 포인트와 관련된 픽셀의 텍스처 특징 또는 색상 값들의 함수로 계산될 수 있다. 텍스처 특징 또는 색상 값들을 사운드 재생 속도에 매핑하는데 사용되는 함수는 임의적일 수 있다. 예시적인 함수로서, 재생속도 s는 s=s*(f^d)로 계산될 수 있고, 여기서 f는 곱셈 인자이고 d는 터치 포인트에서 특정 텍스처 특징을 측정하는 1 이상의 정수이다. 상술한 예에서, 속도 s는 사운드가 정상속도의 s배로 재생되고 있음을 의미한다. d값은 이미지 텍스처의 임의의 단조적인(monotonic) 또는 비단조적인 함수일 수 있다. 일부 예에서, 재생되는 사운드 세기는 또한 재생속도 계산에 사용되는 것과 유사한 방식으로 계산될 수 있다.

일부 예에서, 재생속도 또는 사운드 세기의 변경과 유사하게, 재생된 사운드 타입 역시 터치 포인트에서 텍스처 특징 값들을 기반으로 변경될 수 있다. 사운드의 두 가지 다른 카테고리 - 자연 및 합성이 사용될 수 있다. 자연적인 사운드는 사운드가 자연에 존재하는 곳(예를 들어, 폭포)으로부터 마이크를 사용해 녹음되고, 합성 사운드는 사운드의 오디오 파형을 특정하여 생성된다. 합성 사운드의 예는 특정 주파수를 갖는 샘플링된 사인(sine) 파형이 될 것이다. 다른 예에서, 사운드 또는 단어들의 다른 라이브러리 타입은 특정의 확인된 특징으로 매핑될 수 있다. 예시적인 일 실시 예로서, 도 7A에 도시된 것처럼 사용자가 물이 존재하는 이미지상의 영역을 터치하면, 물이 흐르는 것처럼 마음을 진정시키는 사운드가 재생될 수 있다. 다른 예에서, 도 7B에 도시된 것처럼 사용자가 바위를 터치하면, 충돌 잡음과 같은 더 거친 사운드가 재생될 수 있다. 또 다른 예에서, “물” 또는 “바위”에 대한 단어 녹음이 재생될 수 있다. 그러한 실시 예들은 특히 시각이 손상된 사람 및 어휘를 배우는 어린이들을 돕는데 유용할 수 있다.

본 발명의 다양한 실시 예에서, 효과는 추출된 이미지 텍스처 특징을 기반으로 변경될 수 있다. 도 9는 본 발명의 예시적인 실시 예에 따른 추출된 이미지 특징과 피드백 효과 사이의 예시적인 매핑을 도시한 것이다. 본 실시 예에서, 시스템(200)은 사용자가 표면을 터치하는 방식뿐만 아니라 잠재적인 이미지 텍스처를 기반으로 하여 피드백 효과 파라미터들을 결정한다. 이 예시적인 실시 예에서, 6개 주요 요인들이 피드백 효과를 조절하는 데 사용된다.

이 예시적인 실시 예에서, 추출된 조악도 값은 글로우 효과의 크기 파라미터를 결정하는데 사용될 수 있다. 조악도가 클수록 파리미터 크기가 커진다. 이러한 연관성은 큰 요소를 갖는 텍스처가 더 작은 요소를 갖는 텍스처에 비해 사용자에게 이미지의 더 큰 영역에 집중하게 한다는 사실을 기반으로 한다. 이 효과를 달성하기 위해, 글로우의 반경은 사용자 선호를 기반으로 하여 정규화된 조악도 값과 곱해질 수 있다. 일반적인 조악도 값을 사용하면 조명 타입의 시각적 효과에 의해 영향을 받는 이미지 영역의 크기를 증가시키게 될 것이다.

플리크(flick) 속도는 사용자가 디스플레이 상에서 손가락(또는 커서)을 움직이는 속도이다. 이 예에서, 플리크 속도는 모션 효과를 조절하는데 사용된다. 속도가 클수록 모션 블러 크기 또는 임의의 블러 타입의 시각 효과의 크기도 커진다. 플리크 방향은 사용자가 디스플레이 상에서 손가락(또는 커서)을 움직이는 방향이다. 이 예에서, 플리크 방향 또한 이미지가 플리크 방향만 따라서 블러링되는 모션 효과를 조절하는데 사용된다.

기울기 크기는 x, y 방향 모두와 관련된 소벨(Sobel) 커널을 갖는 이미지를 컨볼루션(convolution)하여 계산된 값이다. 일례에서, 3x3 소벨 커널은 x,y 방향 모두에 대해 사용될 수 있다. 이 예에서, 기울기 크기는 물결 효과를 조절하는데 사용될 수 있다. 높은 기울기 값은 자연스럽게 더 큰 댐핑(damping)을 야기해야 하므로, 댐핑 팩터는 기울기 값과 곱해질 수 있다. 따라서 물결은 기울기가 더 큰 지역에서처럼 빨리 흐르지 않는다. 기울기 값은 일반적으로 변위 타입의 시각적 효과에서 변위량을 제한하는데 사용될 수 있다. 기울기 방향은 기울기와 관련된 방향이다. 이 예에서, 기울기 방향은 기본적으로 후술되는 방해(obstruction) 값 결정에 사용된다.

방해 값은 기본적으로 플리크 방향에 따른 기울기 양을 결정한다. 플리크 벡터 (Fx, Fy) 및 기울기 벡터 (Gx, Gy)가 주어지면, 방해 값은 플리크 벡터와 기울기 벡터의 내적 (즉, O = Fx*Gx + Fy*Gy)으로 계산된다. 이 예에서, 방해 값은 차례로 청각 및 햅틱 효과를 조절하는데 사용된다. 방해 값이 클수록 기대되는 피드백을 이끌어내는 것과 관련된 에너지가 커진다. 청각 및 햅틱 효과에서 에너지는 세기 및 주파수와 같은 특성들과 관련될 수 있다.

이 파라미터들이 연관 효과에 적용되기 전에 그 값들은 사용자의 선호도에 따라 조절되거나 변경될 수 있다. 기계학습(machine-learning) 시스템 역시 사용자 프로파일을 기반으로 사용자 선호도를 추론하도록 설계될 수 있다. 도 9에 도시된 매핑은 예시적이며, 본 발명의 원리에 따라 구현될 수 있는 다른 매핑들의 수 또는 타입에 대한 제한을 암시하지 않는다.

도 10은 본 발명의 예시적인 실시 예에 따른 휴대폰(1000)을 위한 사용자 인터페이스(1005)에 디스플레이된 이미지를 도시한 것이다. 본 실시 예에서, 휴대폰(1000)은 도 1에서 전자장치(100)의 일례이다. 이 예에서, 휴대폰(1000)의 터치 스크린(1010)은 사용자 인터페이스(1005)에서 착신전화와 관련된 이미지(1015) (예를 들어, 착신 전화 또는 사용자 옵션에 대한 그래픽)를 디스플레이한다. 사용자 인터페이스(1005)는 또한 문자 메시지 응답, 전화 통화 및 전화 끊기 옵션들 중 하나를 전송하는 전화 처리에 대한 옵션을 디스플레이한다.

이 실시 예에서, 시스템(200)은 이 이미지(1015)에 대한 피드백 효과를 생성하여 사용자가 이미지(1015)를 인식하는 것을 돕고 착신 전화에 응답하는 것을 돕는다. 예를 들어, 사용자는 휴대폰(1000)을 듣거나 보는 데 제한이 있는 회의중이거나 영화를 보고 있을 수 있다. 이 예에서, 휴대폰(1000)은 사용자에게 햅틱 피드백을 제공하여 이미지(1015)를 인지하거나 착신 전화에 응답하도록 도울 수 있다. 예를 들어, 사용자는 전자장치의 모서리 중 하나를 터치하여 전화처리를 위한 옵션들 중 하나를 선택하라는 진동을 느낄 수 있다. 비제한적인 예에서, 전화를 받기 위해 이미지(1015)의 한 영역을 터치하면 짧은 하나의 진동촉각 펄스 피드백을 트리거할 수 있고, “끊기”를 터치하면 긴 하나의 진동촉각 펄스 피드백을 트리거할 수 있다. 유사하게 “나중에 전화드리겠습니다…”라는 문자 메시지를 보내기 위해 이미지(1015)의 한 영역을 터치하면, 두 개의 진동촉각 펄스 피드백이 트리거되고, “통화할 수 없습니다. 무슨 일이죠?”라는 문자를 터치하면 세 개의 진동촉각 펄스 피드백이 트리거될 수 있다. 그러면 사용자는 휴대폰(1000)을 볼 필요 없이 전화에 응답하기 위한 옵션 중 어느 것을 선택했는지 알게 되고, 이는 사용자가 휴대폰(1000)을 볼 수 없는 상황에 있다면 유리할 수 있다. 다른 텍스트와 관련된 촉각진동 펄스 패턴은 다른 텍스트 상자들에 대한 배경 이미지로 보여질 수 있는, 다르게 텍스처된 이미지들과 관련된 파라미터들로 얻어질 수 있다.

상술한 예시적인 실시 예에서 논의되고 도시된 바와 같이, 시스템(200)은 또한 이미지에 대한 피드백 효과 파라미터들을 생성하는데 있어 제한조건(310) 내 요인들을 확인할 수 있다. 제한조건들(310)은, 예를 들어, 이미지를 디스플레이하는 장치의 물리적인 제한조건들 및, 사용자가 장치를 볼 수 없거나 (예를 들어, 사용자의 주머니에 장치가 있거나 사용자가 운전 중이거나, 사용자에게 시각 장애가 있거나 등), 현재 환경에서 잡음이 용납되지 않는 경우(예를 들어, 장치가 무음 모드) 또는 터치가 의도되지 않은 장치 (예를 들어, 컴퓨터 모니터 또는 TV) 와 같은 환경적인 제한조건들이 주어진 경우 제공될 수 있는 피드백 효과 모드들(modalities)의 수와 타입들에 대한 제한들이다. 시스템(200)은 이미지를 디스플레이하는 장치(예를 들어, 터치스크린이 가능하지 않은 장치는 햅틱 피드백 장치(175)를 포함하지 않고, 스피커(130) 등을 포함하지 않는다)에서 컴포넌트들에 대한 정보 및 장치의 설정들 (예를 들어, 장치가 무음 동작모드, 구동 동작모드, 비 디스플레이 동작모드 등이다)로부터 이 제한조건들을 확인할 수 있거나, 또는 센서(180)를 사용하여, 예를 들어, 광 또는 근접 검출 (예를 들어, 광이 감지되지 않거나 장치가 가려져/차단되어 시각 피드백 효과가 제한될 수 있다)을 통해 자동으로 확인될 수 있다.

제한조건들(310)을 확인시, 시스템은 이미지와 함께 제공된 피드백 모드를 제한할 수 있다. 예를 들어, 사용자가 운전중이거나 시각 장애를 입었다면 이미지와 함께 제공된 피드백 모드는 햅틱 및 청각 피드백 효과로 제한될 수 있다. 다른 예에서, 사용자가 회의 중이거나 영화를 보고 있는 경우 이미지와 함께 제공된 피드백 모드는 햅틱 효과로 제한될 수 있다. 다른 예에서, 사용자가 이미지를 프로젝터나 TV에 보이거나 웹사이트에 업로드하는 경우, 이미지와 함께 제공되는 피드백 모드는 시각 및 청각 피드백 효과로 제한될 수 있다. 또 다른 예에서, 의사가 중요한 수차(aberration) 관찰에서 실수하지 않도록 의료 이미지를 느끼고자 한다면 피드백 효과는 햅틱 피드백 효과로 제한될 수 있다.

이러한 제한점들은 이미지 디스플레이에 앞서 포함되어 나중의 디스플레이와 관련해 저장될 수 있다. 예를 들어, 시스템(200)은 디스플레이시 하나 이상의 피드백 모드가 제한되는 이벤트에서 디스플레이된 이미지에 제공되는 피드백 모드에 대한 다른 옵션들을 포함할 수 있다. 다른 예에서, 시스템(200)은 이미지 디스플레이시 확인된 제한조건들(310)을 기반으로 이미지에 대한 피드백 효과를 생성할 수 있다.

도 11은 본 발명의 다양한 실시 예에 따른 이미지에 대한 피드백 효과를 생성하는 과정을 도시한 것이다. 예를 들어, 도 11에 도시된 과정은 도 1의 전자장치(100) 또는 도 2의 시스템(200)에 의해 수행될 수 있다.

이미지 영역에서 특징(들)을 확인함으로써 상기 과정이 시작된다(1105단계). 예를 들어, 1105단계에서, 상기 과정은 다양한 이미지 영역들과 관련된 텍스처, 세기 및 색상을 확인할 수 있다. 상기 과정은 또한 이미지에 있는 객체들을 확인한다. 영역 내 특징들인 사용자의 터치 또는 플리크와 같은 이미지와의 인터랙션을 기반으로 추출되어 확인될 수 있다.

다음으로 상기 과정은 특징(들)을 다수의 피드백 효과 모드들 중 적어도 하나에 매핑한다(1110 단계). 예를 들어, 1110단계에서 상기 과정은 이미지 또는 특정 영역 내 특징들을 제공될 다른 피드백 효과로 매핑할 수 있다. 다수의 피드백 효과 모드들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과 및 하나 이상의 청각적 피드백 효과를 포함할 수 있다. 이 단계의 일부로서, 과정은 또한 어느 피드백 효과 모드가 매핑될 수 있는가에 대한 제한조건들을 확인한다. 과정은 또한 사용자의 플리크 방향 또는 속도와 같은 이미지와의 인터랙션을 기반으로 피드백 효과를 매핑할 수 있다.

다음으로 과정은 피드백 효과 출력에 대한 파라미터들을 생성한다(1115단계). 예를 들어, 1115단계에서, 과정은 사용자가 터치 또는 커서를 통해 이미지와 인터랙션할 때 피드백 효과를 제공하도록 파라미터들을 생성할 수 있다. 그런 다음, 과정은 생성된 파라미터들을 이미지와 연관하여 저장한다(1120단계). 예를 들어, 1120단계에서, 과정은 이미지 영역에 해당하는 사용자 입력 좌표에 응답하여 이미지와 연관된 사용자 인터페이스가 사용자에게 다수의 피드백 효과 모드 중 적어도 하나를 제공하도록, 생성된 파라미터들을 저장할 수 있다. 이 과정의 일부로서, 사용자는 생성된 파라미터 값들을 변경할 수 있다.

도 12는 본 발명의 다양한 실시 예에 따라 사용자에게 이미지 피드백 효과를 제공하는 과정을 도시한 것이다. 예를 들어, 도 12에 도시된 과정은 도 1의 전자장치(100) 또는 도 2의 시스템(200)에 의해 수행될 수 있다.

상기 과정은 이미지를 디스플레이함으로써 시작된다(1205 단계). 예를 들어, 1205단계에서 상기 과정은 터치스크린이 가능한 장치를 사용하여 이미지를 디스플레이할 수 있다. 그런 다음 상기 과정은 사용자로부터 입력을 수신한다(1210단계). 예를 들어, 1210단계에서, 입력은 터치스크린의 터치를 통해 또는 마우스의 커서를 통해 이뤄질 수 있다. 그럼 다음 상기 과정은 사용자 입력에 해당하는 이미지 좌표를 확인한다(1215단계). 예를 들어, 1215단계에서, 상기 과정은 이미지상의 터치 또는 커서 위치에 대한 x,y 좌표를 확인할 수 있다. 상기 과정은 또한 플리크 방향 및 속도와 같은 이미지와의 인터랙션 특징들을 확인할 수 있다.

그런 다음, 상기 과정은 이미지 영역에서 특징(들)로 매핑된 피드백 효과(들)을 확인한다(1220단계). 예를 들어, 1220단계에서, 과정은 사용자 입력에 해당하는 이미지에서 추출된 특징들을 기반으로 피드백 효과를 생성할 수 있다. 과정은 또한 이미지 영역들 또는 특징들과 피드백 효과들 사이의 저장된 매핑으로부터 피드백 효과를 확인할 수 있다. 피드백 효과들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과 및 하나 이상의 청각적 피드백 효과를 포함할 수 있다. 이 단계의 일부로서, 상기 과정은 또한 다른 피드백 효과 타입에 대한 제한조건들을 확인하고 어느 피드백 효과가 제공되는지를 제한할 수 있다.

그런 다음, 상기 과정은 피드백 효과(들)을 제공한다(1225 단계). 예를 들어, 1225단계에서, 상기 과정은 검출된 사용자 입력에 반응하여 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과 및/또는 하나 이상의 청각 피드백 효과를 제공할 수 있다.

도 11 및 12는 각각 이미지에 대한 피드백 효과를 생성하고 사용자에게 이미지 피드백 효과를 제공하는 과정의 예를 도시하고 있지만, 도 11 및 12에 다양한 변경이 이뤄질 수 있다. 예를 들어, 일련의 단계들로 도시되었지만, 각 도면 내 다양한 단계들은 중복되거나, 병렬로 일어나거나, 다른 순서로 일어나거나, 또는 여러 번 일어날 수 있다.

본 발명이 다수의 예를 들어 설명되었지만, 다양한 변화 및 변경이 당업자에게 제시될 수 있다. 본 발명은 그러한 변경 및 변형이 첨부된 청구범위 내에 속하도록 포괄함이 의도된다.

Claims

이미지(image)에 대한 피드백(feedback) 효과를 제공하는 방법에 있어서:
이미지 영역에서 하나 이상의 특징을 확인하는 단계;
상기 하나 이상의 확인된 특징을 다수의 피드백 효과 모드 중 적어도 하나에 매핑(mapping)하는 단계; 및
상기 이미지 영역에 해당하는 사용자 입력의 좌표들에 응답하여, 상기 이미지와 연관된 사용자 인터페이스가 사용자에게 다수의 피드백 효과 모드들 중 적어도 하나를 제공하도록 피드백 효과 출력을 위한 파라미터들을 생성하고 상기 이미지와 연관하여 상기 생성된 파라미터들을 저장하는 단계를 포함함을 특징으로 하는 방법.
이미지에 대한 피드백 효과를 제공하는 시스템에 있어서:
적어도 하나의 프로세서; 및
프로그램 코드를 저장하는 적어도 하나의 저장 장치를 포함하고,
상기 프로세서는,
상기 이미지의 한 영역에서 하나 이상의 특징을 확인하고,
상기 하나 이상의 특징으로 다수의 피드백 효과 모드 중 적어도 하나에 매핑하며,
상기 이미지 영역에 해당하는 사용자 입력의 좌표들에 응답하여 상기 이미지와 연관된 사용자 인터페이스가 사용자에게 다수의 피드백 효과 모드들 중 적어도 하나를 제공하도록 피드백 효과 출력을 위한 파라미터들을 생성하고 상기 이미지와 연관하여 상기 생성된 파라미터들을 저장하기 위한 상기 프로그램 코드를 실행하는 것을 특징으로 하는 시스템.
제1항 또는 제2항에 있어서,
상기 다수의 피드백 효과 모드들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과, 및 하나 이상의 청각 피드백 효과를 포함함을 특징으로 하는 방법 또는 시스템.
제1항 또는 제2항에 있어서,
터치스크린이 가능한 장치를 사용하여 이미지를 디스플레이하는 단계;
사용자의 터치 입력에 대응하는 상기 이미지의 좌표를 확인하는 단계;
상기 이미지의 한 영역에 매핑된 피드백 효과를 확인하는 단계; 및
상기 터치스크린이 가능한 장치를 사용하여 상기 피드백 효과를 제공하는 단계를 더 포함함을 특징으로 하는 방법 또는 시스템.
제1항 또는 제2항에 있어서,
상기 하나 이상의 확인된 특징들은 상기 이미지 영역과 연관된 텍스처(texture), 세기, 및 색상을 포함함을 특징으로 하는 방법 또는 시스템.
제3항에 있어서,
사용자에게 하나 이상의 상기 피드백 효과 모드들을 제공하는데 대한 제한조건을 확인하는 단계; 및
상기 하나 이상의 확인된 특징들의 제한되지 않은 피드백 효과 모드만으로의 매핑을 제한하는 단계를 포함함을 특징으로 하는 방법 또는 시스템.
제6항에 있어서,
상기 제한조건은 시각적으로 손상된 동작 모드이고,
상기 하나 이상의 확인된 특징들의 매핑을 제한하는 단계는, 상기 하나 이상의 확인된 특징들을 하나 이상의 햅틱 피드백 효과 또는 하나 이상의 청각 피드백 효과 중 적어도 하나에 매핑하는 것을 제한하는 단계를 포함함을 특징으로 하는 방법 또는 시스템.
제6항에 있어서,
상기 제한조건을 확인하는 단계는 센서를 사용하여 광량이 임계치보다 낮은 것을 확인하는 단계, 및
상기 하나 이상의 확인된 특징들의 매핑을 제한하는 단계는, 상기 하나 이상의 확인된 특징들을 하나 이상의 햅틱 피드백 효과 또는 하나 이상의 청각 피드백 효과 중 적어도 하나에 매핑하는 것을 제한하는 단계를 포함함을 특징으로 하는 방법 또는 시스템.
제6항에 있어서,
상기 제한조건은 묵음 동작 모드이고,
상기 하나 이상의 확인된 특징들의 매핑을 제한하는 단계는, 상기 하나 이상의 확인된 특징들을 하나 이상의 햅틱 피드백 효과 또는 하나 이상의 청각 피드백 효과 중 적어도 하나에 매핑하는 것을 제한하는 단계를 포함함을 특징으로 하는 방법 또는 시스템.
제9항에 있어서,
상기 이미지는 수신되고 있는 전화 통화와 관련되고, 상기 이미지의 다른 영역들은 상기 전화 통화에 응답하여 취해질 수 있는 다른 행동들에 대응하며, 상기 매핑된 피드백 효과는 사용자로부터의 터치 입력에 응답하여 취해진 행동임을 나타내는 햅틱 피드백 효과들임을 특징으로 하는 방법 또는 시스템.
이미지에 대한 피드백 효과를 제공하는 프로그램 코드를 구현하는 비일시적인 컴퓨터로 독출가능한 매체에 있어서, 상기 컴퓨터로 독출가능한 매체는:
이미지 영역에서 하나 이상의 특징을 확인하고,
상기 하나 이상의 특징으로 다수의 피드백 효과 모드 중 적어도 하나에 매핑하고,
상기 이미지의 한 영역에 해당하는 사용자 입력의 좌표들에 응답하여 상기 이미지와 연관된 사용자 인터페이스가 사용자에게 다수의 피드백 효과 모드들 중 적어도 하나를 제공하도록, 피드백 효과 출력을 위한 파라미터들을 생성하고, 상기 이미지와 연관하여 상기 생성된 파라미터들을 저장하기 위한 프로그램 코드를 포함함을 특징으로 하는 컴퓨터로 독출가능한 매체.
제11항에 있어서,
상기 다수의 피드백 효과 모드들은 하나 이상의 시각적 피드백 효과, 하나 이상의 햅틱 피드백 효과, 및 하나 이상의 청각 피드백 효과를 포함함을 특징으로 하는 컴퓨터로 독출가능한 매체.
제11항에 있어서,
터치스크린이 가능한 장치를 사용하여 이미지를 디스플레이하는 단계;
사용자의 터치 입력에 대응하는 상기 이미지의 좌표를 확인하는 단계;
상기 이미지의 한 영역에 매핑된 피드백 효과를 확인하는 단계; 및
상기 터치스크린이 가능한 장치를 사용하여 상기 피드백 효과를 제공하는 단계를 더 포함함을 특징으로 하는 컴퓨터로 독출가능한 매체.
제11항에 있어서,
상기 하나 이상의 확인된 특징들은 상기 이미지 영역과 연관된 텍스처, 세기, 및 색상을 포함함을 특징으로 하는 컴퓨터로 독출가능한 매체.
제12항에 있어서,
사용자에게 상기 다수의 피드백 효과 모드들 중 하나 이상을 제공하는데 대한 제한조건을 확인하는 단계; 및
상기 하나 이상의 확인된 특징들을 제한되지 않은 피드백 효과 모드만으로의 매핑을 제한하는 단계를 더 포함함을 특징으로 하는 컴퓨터로 독출가능한 매체.