KR20130110158A - 인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스 - Google Patents

인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스 Download PDF

Info

Publication number
KR20130110158A
KR20130110158A KR1020137006788A KR20137006788A KR20130110158A KR 20130110158 A KR20130110158 A KR 20130110158A KR 1020137006788 A KR1020137006788 A KR 1020137006788A KR 20137006788 A KR20137006788 A KR 20137006788A KR 20130110158 A KR20130110158 A KR 20130110158A
Authority
KR
South Korea
Prior art keywords
information
smartphone
user
cursor
image
Prior art date
Application number
KR1020137006788A
Other languages
English (en)
Inventor
로버트 크레이그 브랜디스
토니 에프. 로드리게스
Original Assignee
디지맥 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지맥 코포레이션 filed Critical 디지맥 코포레이션
Publication of KR20130110158A publication Critical patent/KR20130110158A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술의 특정 양태들은 인쇄된 문서들 및 다른 유형의 객체들과 함께 사용될 수 있는 스마트폰 제스처의 사용자 인터페이스 동작에 대해 대응하는 부분을 고려한다. 다른 양태들은 카메라-장착된 스마트폰을 사용하기 위한 마우스-기반 사용자 인터페이스 기술들의 맵핑을 수반한다. 굉장히 다양한 다른 특징들 및 구성들이 또한 설명된다.

Description

인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스{SMARTPHONE-BASED USER INTERFACES, SUCH AS FOR BROWSING PRINT MEDIA}
관련 출원 데이터
미국에서, 본 출원은 2010년 8월 20일 출원된 61/375,789의 정규 출원이고, 본원에 참조로서 통합되는 13,079,327의 연속 출원이다.
2010년 6월 9일 출원된 12/797,503 및 2010년 8월 10일 출원된 12/855,996에서, 양수인은 스마트폰들 및 관련 시스템들의 직관적 컴퓨팅의 영역으로의 발전을 돕기 위해 이러한 디바이스들에 유용한 다양한 기술들을 설명하였다. 본 기술은 상기 양수인들의 이전 작업, 특히, 사용자 인터페이스 분야에 대한 추가 개선들을 고려한다.
이러한 언급된 문서들의 원리들 및 교훈들은 현재-설명된 구성들의 맥락으로 적용되도록 의도되고, 그 반대도 가능하다.
다양한 사용하기 쉬운 인터페이스 기술들이 컴퓨터 디바이스들을 위해 고안되었고, 현재 광범위하게 사용된다.
한 익숙한 인터페이스는 하이퍼링크들("링크들"이라고도 함)을 통합한 웹 페이지들 및 다른 문서들과의 상호작용을 수반한다.
특정한 시나리오에서, 이러한 페이지가 컴퓨터 스크린 상에 나타날 때, 하이퍼링크들이 흔히 상이한 컬러(예를 들어, 청색)의 텍스트로 보이고 밑줄이 그어져 있을 수 있다. 사용자는 마우스(또는 다른 포인팅 디바이스)를 상기 링크 상에, 또는 가까이에 마우스-제어된 화살표 커서가 위치하도록 이동시킬 수 있다. 상기 커서가 상기 밑줄 친 텍스트에 다가감에 따라, 상기 화살표는 흔히 손모양 커서로 바뀐다. 이는 상기 커서가 활성 존에 있다는 것을 상기 사용자에게 나타낸다. 그러면 상기 사용자가 상기 링크를 활성화하고 새로운 정보가 상기 스크린 상에 나타나도록 상기 마우스로 "클릭" 명령을 발행한다.
이러한 구성이 도 1의 웹페이지 발췌본에 의해 도시된다. 통상의 화살표 커서가 손모양 커서로 바뀌고, 밑줄은 상기 청색 하이퍼링크된 텍스트 "DRMC" 아래에 나타난다. 또한 도 1에 점선 박스로 도시된 것은 상기 링크와 연관된 "롤오버 존(rollover zone)"(때때로 "핫 에어리어(hot area)"라고 함)(102)이다. 상기 화살표 커서가 이 영역에 들어갈 때, 상기 커서가 형태를 바꾸고, 사용자 클릭이 상기 링크를 활성화한다. (상기 롤오버 존의 확장은 상기 사용자에게 명확히 나타나지 않고; 오히려 사용을 통해 사용자에 의해 발견된다.)
가끔, 상기 커서가 상기 롤오버 존에 들어갈 때, "툴 팁(tool tip)"이 상기 스크린 상에 나타날 것이다. 이는 상기 링크가 활성화되기 전에 상기 링크에 관한 추가 정보를 상기 사용자에게 제공하기 위해 흔히 사용되는 주석이다.
애플리케이션 프로그램들에서 메뉴들은 종종 유사하게 동작한다. 사용자는 버튼 또는 다른 제어 상에 상기 화살표 커서를 위치시키도록 마우스를 이동한다. 상기 커서가 손모양으로 변하는 대신, 상기 버튼/제어는 흔히 하이라이트되어-클릭이 그 기능을 불러오는(invoke) 것을 나타낸다. 종종 -상기 커서가 위치된 상기 제어에 관한 추가 정보를 제공하는- "툴 팁"이 나타날 것이다.
이러한 상호작용은 3단계를 수반한다는 것이 인식될 것이다. 먼저, 상기 화살표 커서는 하이퍼링크/제어로부터 떨어져 있어, 클릭은 아무 소용이 없다(적어도 상기 하이퍼링크/제어에 관해). 이는 "유휴(idle)" 단계로 간주될 수 있다.
제 2 단계에서, 상기 화살표 커서는 상기 하이퍼링크/제어와 연관된 존에 있다. 이 위치에서, 어떤 일들-상기 커서가 형태를 바꾸거나, 상기 제어가 외모를 바꾸는-이 일어나 상기 커서가 어떤 일을 활성화하기 위한 위치에 있다는 것을 사용자에게 경고한다. 이는 "호버링(hovering)" 단계로 간주될 수 있다. 상기 사용자가 "클릭" 명령을 발행하지 않는 한/할 때까지 어떠한 액션도 호버링에 의해 불리지 않는다.
상기 사용자가 "클릭" 명령을 발행할 때, 상기 하이퍼링크/제어가 활성화되고 액션을 취한다. 이 제 3 단계는 "활성화" 단계로 간주될 수 있다.
데스크탑 컴퓨터들과 유사한 많은 UI 원리들은 스마트폰들에 대응하는 부분들을 갖는다. 예를 들어, 하이퍼링크된 페이지의 링크는 전형적으로 부가적인 기능성을 나타내도록 시각적으로 표기된다(예를 들어, 상이한 컬러에 의해, 및/또는 밑줄에 의해). 상기 링크를 활성화하기 위해, 상기 사용자는 상기 링크 상의, 또는 가까운 영역의 상기 스크린을 단순히 탭(tap)한다. 소프트웨어 프로그램의 버튼 또는 다른 제어와도 유사하다.
상기 스마트폰의 경우에서, 상기 "호버링" 단계에 대응하는 부분은 없다는 것이 인식될 것이다. 상기 사용자가 상기 스크린을 탭할 때까지, 상기 나타난 페이지가 "유휴" 단계로 간주될 수 있다. 탭을 발행할 때, "활성화된" 단계로 스위칭한다.
상기 스마트폰 스크린 상의 상기 사용자의 "탭" 동작은 제스처의 형태이다. 스마트폰들은 흔히 다양한 다른 제스처-기반 사용자 명령들을 지원한다. 하나는 상기 스크린을 손가락으로 아래로(또는 위로) 스윕(sweep)하는- 상기 디스플레이된 정보의 페이지가 스크롤 다운(또는 업)되도록 하는-것이다. 다른 제스처는 두 손가락들을 사용한 "핀치(pinch)"(손가락들을 상기 스크린 상에 위치시키고, 이들을 함께 이동시킴)이다. 이는 디스플레이된 정보의 페이지를 줌-아웃(zooming-out)함으로써 더 낮은 해상도로 디스플레이되게 한다. 반대로, 두 손가락으로 "스프레드(spread)"하는, 반대 동작은 상기 디스플레이된 정보의 페이지를 줌-인(zooming-in)함으로써 더 높은 해상도로 도시되게 한다.
한 양태에서, 본 기술은 인쇄된 문서들 및 다른 유형의 객체들과 함께 사용될 수 있는 스마트폰 제스처의 사용자 인터페이스 동작에 대해 대응하는 부분을 고려한다.
다른 양태에서, 본 기술은 카메라-장착된 스마트폰들을 사용하기 위한 마우스-기반 사용자 인터페이스 동작들의 맵핑을 고려한다.
본 기술의 상술한 및 부가적인 특징들 및 장점들이 첨부된 도면들을 참조하여 진행되는 이하의 상세한 설명으로부터 더 쉽게 명백해질 것이다.
도 1은 마우스 및 데스크탑 컴퓨터를 사용하여 종래의 상호작용 기술을 도시하는 웹 페이지의 발췌본을 도시한 도면.
도 2는 스마트폰 카메라에 의해 이미지화되고 스마트폰 스크린 상에 디스플레이된 바와 같이, 분류된 광고의 페이지를 도시하는 도면.
도 3a는 스마트폰 스크린 상에 나타난 포인터 커서를 도시한 도면.
도 3b는 연관된 정보의 "툴 팁" 디스플레이와 함께, 스마트폰 스크린 상에 나타난 손모양 커서를 도시하는 도면.
도 4a는 전화기의 상부를 잠깐 아래 위로 팁(tip)하는 것을 포함하는, 두 개의 제스처들을 도시한 도면.
도 4b는 전화기의 상부를 잠깐 왼쪽 또는 오른쪽으로 트위스트(twist)하는 것을 포함하는, 두 개의 제스처들을 도시한 도면.
도 5는 인쇄된 페이지가 예를 들어, 행 및 열 번호들에 의해 표시된, 블록들로 가상으로 분할되는 방법을 도시한 도면.
도 6a 및 도 6b는 스마트폰 스크린에 나타난 다른 스타일들의 커서들을 도시한 도면.
도 7은 증가된 분류된 광고가 스마트폰 상에서 리뷰될 수 있는 커버 플로우-스타일 사용자 인터페이스의 제 1 형태를 도시하는 도면.
도 8은 커버 플로우-스타일 인터페이스의 제 2 형태를 도시하는 도면.
도 9는 "매직 렌즈" 인터페이스를 도시하는 도면.
본 기술은 신문과 같은 디지털로 워터마크된 인쇄된 자료들로 설명된다. 그러나, 상세한 원리들은 예를 들어, 디지털 워터마크뿐만 아니라 인쇄된 자료도 필요로 하지 않고 더 일반적으로 적용 가능하다.
디지털 워터마크 기술은 보조 데이터를 인쇄, 이미지 또는 오디오 콘텐트에 임베딩하기 위해 사용된다. 예시적인 워터마킹 구성이 양수인의 특허 6,590,996 및 공개된 출원 20100150434에 예시된다.
보통, 디지털 워터마크들은 스테가노그래픽(steganographic)이다; 즉, 그들은 관심을 벗어난다. 종종, 워터마크들은 이미지를 포함하는 화소들이 너무 미묘하게 변경되어 사람의 눈이 어떠한 차이도 완전히 구분하지 못할 때와 같이 사람들에게 완전히 감지될 수 없다. 다른 구현들에서, 워터마킹은 가시적인 변화를 유발하지만 이러한 문자는 상기 마킹이 복수 비트의 보조 데이터를 전달하는 것을 사람인 시청자가 의식하지 못한다.
디지털 워터마킹의 마지막 카테고리의 예는 백그라운드 염색(tint)이다. 작은 점들, 미세한 선들, 또는 다른 특징들의 무해한(inoffensive) 패턴이 신문 조각 또는 다른 물리적 객체를 가로질러 연장하여-적절한 색조를 상기 객체에 효율적으로 제공한다. 이러한 구성은 신문들이나 잡지들에 특히 유용하다. 텍스트의 상이한 열들 또는 다른 영역들이 상이한 배경들(상이한 워터마크 페이로드 데이터를 전달함)로 인코딩될 수 있거나, 전체 페이지가 동일한 페이로드로 인코딩될 수 있다. 예들이 양수인의 특허 6,985,600, 6,947,571 및 6,724,912, 및 앞서 언급된 출원 12/855,996에 예시된다.
도 2는 이러한 구성을 도시한다. 여기서, 스마트폰 카메라는 신문으로부터 디지털로 워터마크된 분류된 광고 페이지를 이미징한다. (상기 신문은 카메라로부터 약 6인치 떨어져 위치된다.)
상기 워터마크에 의해 인에이블된 기능에 액세스하기 위해, 상기 사용자는 상기 스마트폰의 워터마크 판독 모드를 활성화한다. (이는 음성 명령, 터치 스크린 상호작용, 물리적 버튼 터치, 등과 같은 기술분야에 공지된 다양한 방법으로 이루어진다.) 상기 워터마크 판독 모드에서, 커서 화살표(112)가 도 3a에 도시된 바와 같이, 분류된 광고의 이미지된 페이지 위에 나타난다. (상기 광고 이미지는 설명의 간결함을 위해 본 도면 및 다른 도면들에서 도시되지 않는다.)
상기 신문 페이지 상의 각각의 인에이블된 광고는 연관된 롤오버 영역을 갖는다. 상기 사용자가 상기 전화기(또는 신문)를 이동시켜 상기 커서 화살표(112)가 상기 롤오버 영역에 있게 되고, 상기 커서가 손모양 커서(114)로 형태를 바꾼다. 툴-팁(116)이 또한 나타날 수 있다. 이는 도 3b에 도시된다.
상기 손모양 커서의 표현은 종래의 컴퓨터들의 경험으로부터 상기 사용자에게 친숙하다. 상기 사용자는 이것이 상기 사용자로부터 신호의 수신시 상기 디바이스가 동작(예를 들어, 추가 정보 획득)을 취할 준비가 되었다는 것을 나타낸다는 것을 이해한다. 그러나, 이 특정한 구성에서 상기 사용자는 마우스를 사용하기보다 제스처에 의해 활성화 입력 신호를 제공한다.
다수의 제스처들이 내장된 센서들(예를 들어, 가속도계, 자이로스코프(gyroscope), 및 자기계(magnetometer))을 사용하여 스마트폰에 의해 감지될 수 있다. 제스처들은 또한 상기 전화기의 카메라에 의해 캡처된 이미지 내의 특징들의 적절한 모션을 분석함으로써 감지될 수 있다.
도 4a는 2개의 예시적인 제스처들을 도시한다: 상기 전화기의 상부를 간단히 아래 및 위로 팁하는-"팁-다운(tip-down)" 및 반대를 "팁-업(tip-up)"이라고 하는- 제스처. 도 4b는 상기 전화기를 왼쪽으로 약간(예를 들어, 10 내지 30도) 순간적으로 젖혔다가(cocking) 이전 방향으로 되돌아오는-"트위스트-레프트" 및 상보적으로 "트위스트-라이트" 모션이라고 하는 2개의 제스처를 더 도시한다. 많은 수의 다른 전화 움직임들이 또한 전화기 소프트웨어에 열중하는 사용자를 시그널링하는 제스처로서 사용될 수 있다. (제스처 인터페이스에 대한 양수인의 초기 연구가 특허 7,174,031에 예시된다.)
상기 예시적인 실시예에서, 상기 사용자가 상기 손모양 커서와 연관된 링크로 진행하기를 원한다는 것을 시그널링하기 위해 팁-다운 제스처가 사용된다. 이 제스처가 감지될 때, 상기 전화기는 상기 선택된 광고에 관한 상세한 정보 - 보통 예를 들어, 사진들, 비디오들에 대한 링크, 등을 포함하는, 광고만 인쇄한 것보다 더 풍부한 정보의 프리젠테이션이 이용가능한 스크린을 나타낸다.
상술한 논의는 상기 사용자의 시점으로부터의 간단한 상호작용을 설명했다. 다음의 논의는 예시적인 실시예의 기본적인 기술적 상세들을 제공한다.
상기 워터마크 판독기가 활성화될 때, 상기 소프트웨어는 상기 전화기의 카메라 시스템으로부터의 데이터 출력을 모니터링한다. 상기 소프트웨어는 상기 사용자의 동작에 관한 무언가를 학습하기 위해 워터마크-임의의 워터마크-를 판독하기 원한다.
예시적인 실시예에서, 상기 워터마크 검출기는 적절한 품질의 이미지가 이용가능하지 않는 한 워터마크 판독을 시도하지 않는다. 적절한 이미지가 이용가능하면, 워터마크가 현재 나타나는지 여부를 결정하기 위해 버퍼링되고 분석된다. 그렇다면, 워터마크 판독 동작이 수행된다.
이에 관해 다양한 평가들이 수행될 수 있다. 하나는 전화기의 모션을 고려하는 것이다. 상기 전화기가 활발하게 움직이면, 상기 이미지는 아마도 워터마크 판독에 유용하도록 너무 흐려진다. 전화기 모션은 센서 데이터(예를 들어, 가속도계, 자이로스코프)로부터 판단될 수 있다. 상기 지시된 모션이 문턱값을 초과하면, 상기 캡처된 이미지는 거의 사용하지 않는 것으로 무시될 수 있다. 반대로, 상기 모션이 문턱값 미만이면, 상기 사용자가 워터마크 디코딩에 적절한 이미지가 캡처될 수 있게 상기 전화기를 충분히 안정적으로 쥐고 있다.
다른 센서들로부터 이미지 흐림도(blurriness)/선명도(sharpness)를 추론하는 대신, 상기 화소 데이터 자체가 검토될 수 있다. 선명한 이미지(흐릿한 이미지와 대조하여)는 비교적 더 높은 콘트라스트, 더 강한 에지들, 및 더 높은 주파수 콘텐트에 의해 특징 지워지는 경향이 있다. 당업자들에게 친숙한 이미지 프로세싱 기술들이 하나 이상의 이들 파라미터들을 특징화하기 위해 화소 데이터에 적용되고, 상대적인 이미지 품질을 나타내는 메트릭을 도출할 수 있다. 다시, 상기 품질이 문턱값 이상일 때만, 워터마크 분석이 수행된다.
이미지 품질을 평가하는 또 다른 기술은 상기 전화기에 제공된 툴들(tools)을 채용하는 것이다. 예를 들어, 애플 아이폰 4의 운영체제는 상기 카메라 시스템의 자동-초점부가 포커스-락(focus-lock)을 달성할 때, 자동 노출부가 적절한 노출로 설정될 때, 및 화이트 밸런스부가 적절한 화이트 밸런스를 설정할 때를 식별하는 다양한 파라미터들을 드러낸다. 특히, 상기 운영체제에 의해 제공된 상기 인터페이스들의 "핵심 비디오" 클래스는 이러한 정보를 노출하고, 이러한 데이터를 상기 워터마크 판독기로 전달하기 위해 불려온다. 워터마크 검출/판독은 하나 이상의 이들(예를 들면, 적어도 자동-포커스 락)이 적절한 이미지 품질을 나타내는 경우에만 수행될 수 있다.
유망한 이미지가 이용가능할 때, 워터마크 판독이 시작되기 전에 추가 검사가 적용될 수 있다. 예를 들어, 상기 이미지는 워터마크 디코딩을 가능하게 할 다이내믹 레인지에 대해 검토될 수 있다. 유사하게, 상기 이미지는 "평탄도"-특징들의 상대적인 결핍(상기 카메라가 막다른 벽을 가리킬 때 일어날 수 있는)을 나타내고, 워터마크가 존재하지 않는다는 것을 암시하는-에 대해 검토될 수 있다. (상기 양수인의 특허 7,013,021가 유용한 검사 전략들을 상세히 설명한다.)
적절하게 나타나는 이미지의 프레임이 이용가능할 때, 상기 소프트웨어는 예를 들어, 상기 양수인의 특허 6,590,996 및 공개된 출원 20100150434에 상세히 설명된 기술들을 이용하여, 워터마크 분석을 시작한다. (일부 구현들에서, 상기 프레임은 복합적이고-둘 이상의 프레임들로부터의 화소 데이터를 사용하여 형성될 수 있다.)
상기 디코딩된 워터마크 페이로드 데이터는 상이한 유형들일 수 있다. 한 구성에서, 이는 페이지 ID 및 블록 ID를 포함한다. 상기 페이지 ID는 특정한 신문 페이지(예를 들어, 2010년 8월 20일, 도시 판, 오리건주의 페이지 D5)와 연관된 고유한 식별자이다. 상기 블록 ID는 상기 페이지의 특정한 지역을 나타낸다.
도 5에 도시된 바와 같이, 페이지가 정사각형 타일들(202a, 202b, 등)의 어레이로 구성된 것으로 간주될 수 있다. 각 타일, 또는 블록은 숫자로 식별될 수 있다. 예시된 구성에서, 각 블록은 2개의 숫자들-행 번호 및 열 번호로 식별된다.
따라서, 디코딩된 워터마크가 7B32A9의 페이지 ID 및 {1,4}의 블록 ID를 포함하는 페이로드를 가질 수 있다. 전자를 나타내기 위해 24비트를 취하고; 후자는 8비트를 취할 수 있다. 물론 더 크거나 더 작은 워터마크 페이로드들이 사용될 수 있다.
상기 워터마크 소프트웨어가 캡처된 이미지로부터 워터마크를 성공적으로 판독하자마자, 이는 상기 디코딩된 페이로드를 원격 데이터베이스 시스템으로 전송하고 대응하는 데이터를 리턴해주길 요청한다. 상기 데이터베이스 시스템은 워터마크된 페이지들에 관해 상기 신문에 의해 저장된 정보 및 그들의 콘텐트들을 포함한다(또는 이러한 정보가 저장된 다른 원격 시스템들에 대한 포인터들을 포함한다). 이러한 원격 저장소로부터, 상기 스마트폰은 상기 페이지 및 그 콘텐트들에 관한 정보를 요청한다.
리턴된 정보는 상기 사용자가 2010년 8월 20일 오리건주의 페이지 D5를 보고 있다는 것을 나타내고- 또한 상기 페이지의 특정한 타일 영역을 나타낸다. 네트워크 약인(considerations)이 허용한다고 가정하면, 상기 리턴된 정보는 또한 상기 페이지의 각각의 광고에 관한 요약 정보를-각각의 광고에 대한 추가 정보가 저장된 링크들과 함께- 포함하는 것이 바람직하다. (상기 사용자가 나중에 이러한 정보를 보거나 사용하기로 결심한다면 나중의 가능한 사용의 예상에 이러한 정보의 제공은 시스템 응답 속도를 높인다.)
요약하면, 예시적인 실시예에서, 상기한 모든 동작들은 이미지의 제 1 선명 프레임이 상기 전화기의 상기 워터마크 디코더부에 이용가능해지자마자 발생할 수 있다. -상기 워터마크 판독기를 활성화하는 것 이외의- 사용자 동작은 필요 없다. (상기한 출원들 12/797,503 및 12/855,996에 상세히 설명된 바와 같이, 워터마크-판독 기능의 사용자 활성화는 다른 실시예들에서는 필요하지 않다. 대신, 상기 전화기는 캡처된 이미지의 가능한 디지털 워터마크들을 항상 경고할 수 있다.)
일단 상기 전화기가 상기 원격 시스템으로부터 상기 신문 페이지에 관한 정보를 수신하면, 약인이 상기 페이지의 상기 커서(112)의 위치에 주어질 수 있다. 상기 참조된 특허 문서들에 상세히 설명된 바와 같이, 상기 상세한 디지털 워터마크는 상기 워터마크 소프트웨어로 하여금 상기 워터마크된 객체(즉, 상기 신문 페이지)의 6D 포즈를 파악하도록 하는 임베딩된 등록 데이터를 포함한다.
더 상세히, 상기 워터마크 검출기는 원래 인코딩된 방향으로부터 상기 캡처된 이미지의 회전, 원래 사이즈로부터(시청 거리에 관련되는) 상기 워터마크의 스케일, 및 상기 워터마크의 기점으로부터 상기 감지된 워터마크 패턴의 변형(이하 추가로 논의됨)을 감지할 수 있다. 시야각(수직으로부터의 오프셋으로 표현된)이 또한 추정될 수 있다.
상기 상세한 구성에서, 각 블록(202)은 상기 블록에 대한 상기 페이지 ID 및 블록 ID를 전달하는 고유한 워터마크 패턴 타일과 함께 염색된다. (각 블록이 약간 다른 페이로드를 가지고 있더라도 사람 관찰자에게는 모두 드러나지 않게 균일하게 나타난다.) 언급된 문서들에 상세히 설명된 바와 같이, 예시적인 워터마크 패턴 타일이 128 x 128 정사각형 서브-영역들(워터마크 소자들 또는 "왁셀들(waxels)"이라고 함)로 형성된다. 이들 서브-영역들은 인치에 대해 66만큼 떨어져 수직 및 수평으로 위치된다. (잡지들에서, 인치에 대해 150과 같이, 더 높은 왁셀 밀도가 사용될 수 있다.) 따라서, 이러한 상세한 실시예에서, 블록(202)은 각 측면에서 1.94인치이다. 각각의 워터마크 타일은 상부 좌측 코너에 기점을 갖는다. (상기 워터마크 기점은 X- 및 Y-의 왁셀 오프셋으로서, 포즈의 변형 부분이 관련되는 참조 포인트이다.)
상기 상부 왼쪽 코너에서, 상기 블록(202a)은 상기 페이지의 상부에 상부 에지를 갖고 왼쪽 페이지 마진에 왼쪽 에지를 갖는다(상기 워터마크 염색이 상기 페이지의 에지들로 진행한다고 가정한다). 다음에, 블록(202a)은 다시 상기 페이지의 상부에 상부 에지를 갖지만, 왼쪽 에지는 상기 왼쪽 마진으로부터 1.94"를 갖는다.
각 블록(202)의 상기 상부 왼쪽 코너(기점)는 행 및 열 위치를 나타내는 블록 ID로부터 유사하게 결정될 수 있다. 예를 들어, 블록 {3,2}은 상기 페이지의 상부로부터 3.88" 아래 및 상기 페이지의 왼쪽 마진으로부터 1.94"인 상부 왼쪽 코너를 갖는다. 따라서, 상기 블록 ID로부터, 상기 워터마크로부터 파악된 상기 포즈 데이터와 함께, 상기 인쇄된 페이지 내에서, 도 3a의 상기 화살표 커서(112)의 위치가 수직 및 수평으로 1/66인치로 결정될 수 있다. (상기 도시된 커서는 상기 스마트폰 스크린의 중심에 도시되지만, 필수적이진 않다.)
상기 원격 데이터베이스로부터 리턴된 정보는 상기 페이지의 각 광고의 X- 및 Y- 위치(인치, 왁셀, 등의 단위로)로 조직될 수 있다. 예를 들어, 상기 리턴된 정보는 각각의 광고에 대한 롤오버 존에 대한 좌표들을 포함할 수 있다.
상기 커서 화살표가 롤오버 존 내에 팁을 갖는 것으로 발견되면(또는 상기 신문 또는 카메라가 이동되어 이러한 존 내로 상기 팁을 이동시키면), 상기 소프트웨어는 도 3b에 도시된 손모양 형태로 상기 커서를 변경함으로써 응답한다. 이 롤오버 존과 연관된, 상기 원격 데이터베이스로부터 리턴된 정보는 상기 페이지의 이 부분과 연관된 주제 또는 다른 정보를 나타내는 툴 팁(116)(예를 들어, "1967 Mustang")을 포함할 수 있다.
상기 원격 데이터베이스로부터 리턴된 정보는 또한 상기 인쇄된 광고의 텍스트를 포함할 수 있고, 뿐만 아니라 다른 확장된 정보를 전형적으로 포함한다. 상기 운영체제가 사용자 제스처(예를 들어, "팁 다운" 제스처)의 수신을 보고하면, 모든 이러한 확장된 정보가 상기 사용자에게 나타날 수 있다.
(경청하는 독자는 상기 "탑 다운" 제스처가 원래 위치로부터 목표로 하는 카메라를 피하고, 프레임들이 프리-러닝(free-running) 방식으로 캡처된다고 가정하는-흐릿해진 이미지가 캡처되게 된다는 것을 알 것이다. 카메라 이미지와 관련하여 전화기-이동 제스처의 사용을 용이하게 하기 위해, 상기 전화기는 워터마크 검출을 위해 적합한 품질의-이미지의 최신 프레임들을 저장하는 선입선출(first-in, first-out) 메모리 버퍼를 갖는 것이 바람직하다. 카메라 이미지를 시사하는 제스처가 감지될 때, 이 버퍼는 상기 제스처-연관된 이동이 시작되기 전에 저장된(전형적으로 최근에 저장된) 이미지의 프레임을 검색하도록 요청된다. 그러면 상기 제스처-지시된 동작이 이미지의 리콜된(recalled) 프레임을 참조함으로써 수행된다.)
상세한 실시예에서, 손모양 커서가 상기 스크린에 디스플레이되고, 팁-다운 제스처가 감지될 때, 상기 초기에-검색된 확장된 정보가 상기 카메라 이미지의 상부에 나타난다. (상기 이미지는 어두워지거나 투명해지고, 및/또는 상기 확장된 정보는 그 영역의 상기 카메라 이미지를 대체하는 박스에 나타날 수 있다.) 대안적으로, 상기 카메라 이미지는 상기 스크린으로부터 제거되고, 상기 확장된 정보만 나타날 수 있다.
일부 구현들에서, 상기 원격 데이터베이스로부터 리턴된 정보는 상기 페이지의 각각의 광고에 대한 모든 확장된 정보를 포함하지는 않지만, 이러한 정보에 대한 링크들만은 포함한다. 이 경우, 상기 화살표 커서가 손모양 커서로 바뀔 때, 상기 스마트폰은 -이러한 정보의 디스플레이를 트리거하는 사용자 제스처에 대해 기다리지 않고- (저장된 곳으로부터) 상기 확장된 정보를 검색하기 위해 롤오버 존과 연관된 상기 링크를 자동으로 사용할 수 있다. 상기 손모양 커서만이 상기 연관된 정보의 검색을 보증하기 위해 사용자의 관심의 충분한 표현이다.
주지된 바와 같이, 상기 손모양 커서의 디스플레이는 상기 인쇄된 페이지의 일부에 대한 적어도 낮은 레벨의 사용자 관심을 나타낸다. (그 후 상기 사용자가 제스처하면, 이는 훨씬 더 높은 레벨의 관심을 표현한다.) 이러한 정보는 다양한 당사자들, 예를 들어, 신문 발행자, 광고주들, 닐슨(Nielsen)과 같은 제 3 소비자 통계 보고, 등에게 유용하다. 따라서, 본 기술의 특정 실시예들은 사용자의 스마트폰이 적어도 순간적으로 손모양 커서를 렌더링하는 상기 인쇄된 콘텐트를 나타내는 정보(데이터 로그)를 저장한다. 이러한 동작은 사용자가 이러한 포인트 위에 호버링하는 것을 나타낸다(예를 들어, 디스플레이된 툴 팁을 리뷰하기 위해). 이러한 로그된 정보(얼마나 오랫동안 상기 사용자가 이러한 광고 위에 호버링했는지, 및 상기 광고가 제스처 호출(invocation)에 의해서 더 계속되는지 여부와 같은 다른 정보를 또한 포함함)는 예를 들어, 사용자에 대한 지불의 대가로, 또는 상기 소프트웨어의 서비스 개념에 따라 관심있는 당사자들에게 제공될 수 있다. 이들 당사자들은 차례로 예를 들어, 관심있는 당사자들에 대한 보고들을 생성 및 제공, 상기 신문의 상이한 위치들에 광고하기 위한 상이한 가격 설정, 등과 같은 "청중 측정" 정보에 기초하여 동작을 취할 수 있다. (예를 들어, 상기 신문 페이지의 상부 외측 코너가 가장 일반적으로 사용자들에게 주목된다면, 이러한 위치에 배치된 광고들은 더 높은 삽입률을 보장할 수 있다.)
도 7은 본 기술의 다른 양태에 따라, 스마트폰 스크린의 분류된 광고 정보의 "커버-플로우(cover-flow)" 표현을 도시한다. 이러한 실시예에서, 하나의 광고에 대해 확장된 정보는 상기 스크린의 중심에 가깝게 디스플레이된 가상 페인(virtual pane; 250a)에 두드러지게 나타난다. 위 및 아래(또는 구현에 따라 오른쪽 및 왼쪽)는 다른 페인들(250b 내지 250g)의 부분적인 관점들이다. 이들 페인들에 대해, 제목과 같은, 적은 정보가 표시된다.
상기 사용자가 스마트폰 카메라를 이동함에 따라, 광고 열이 패닝 업 또는 다운(panning up or down)하고, 상기 커버-플로우 인터페이스의 페인들은 애니메이트된 방식(animated fashion)으로 플립(flip)되어, 인접한 광고들에 관한 상세들을 드러낸다. 상기 광고의 전체 페이지에 대한 상기 확장된 정보가 상기 데이터베이스로부터 수신되면, 이러한 패닝은 -마술사의 교묘한 카드 데크(deck)의 조작과 유사한- 유동하는, 리플(ripple) 디스플레이를 도출한다. 하지만 이 경우 상기 카드들은 인쇄된 매체에 모두 기초하여, 상기 사용자에게 관심있는 주제들에 관한 추가 정보를 드러내는 렌즈들과 같은 기능을 한다.
다시, 훨씬 더 많은 정보가 이용가능해질 수 있다. 도 7에 도시된 상기 페인(250a)은 예를 들어, 단일 사진, 및 제한된 텍스트를 포함한다. 이 페인이 디스플레이되는 동안, 상기 사용자는 상기 전화기로 -다른 사진들, 비디오, 상세한 설명들, 등과 같은- 추가 정보의 제공을 트리거하는 팁-다운 모션을 취할 수 있다. 다시, 이러한 정보는 원격 스토어로부터 더 먼저 다운로드될 수 있고, 상기 사용자에 의해 요청될 때 이동 준비를 위해 캐시(cached)될 수 있다.
다른 제스처들이 다른 동작들을 트리거할 수 있다. 예를 들어, 팁-업 제스처는 나중의 리뷰를 위해 상기 확장된 정보가 메모리에 부가되도록 할 수 있고; 트위스트-레프트(twist-left) 제스처는 상기 확장된 정보가 디폴트 목적지로 메일링되도록(emailed) 하거나, 상기 사용자와 연관된 소셜 네트워킹 페이지로 포스팅(posted)되도록 할 수 있다.
도 7의 상기 커버-플로우 인터페이스는 다른 것들과 유사하게, 스크린 면적 문제와 마주한다. 뷰어는 전형적으로 상기 스마트폰에 의해 캡처된 이미지에 상기 이미지가 액세스를 인에이블하는 상기 확장된 정보보다 덜 관심을 갖는다. 그렇지만 상기 이미지는 상기 인쇄된 매체의 내비게이션을 돕는데 유용하다. 타협하여, 상기 커버-플로우 인터페이스는 상기 사용자로 하여금 상기 커버 플로우의 뒤에서 보이는 것처럼 상기 카메라에 의해 캡처된 이미지의 발췌본을 보도록 하는 가상 윈도우(252)를 선택적으로 포함할 수 있다. (이러한 이미지는 설명의 명료함을 위해 도 7로부터 생략된다.)
상기 도시된 윈도우(252)는 상기 디스플레이 스크린의 중심에 있지 않다. 그렇지만 상기 사용자가 관심있는 아이템들을 가리키는 상기 커서를 발견할 것이라고 일반적으로 기대되는 상기 디스플레이 스크린의 중심이다. 상기 도시된 구성에서 상기 윈도우(252)는 시야의 카메라 필드의 중심으로부터 취해진 이미지의 정사각형 발췌본을 나타낸다. 커서 아이콘은 시야의 카메라 필드의 중심에서 이미지를 가리키는 이 윈도우의 중간에 나타날 수 있다. 이러한 구성에 의해, 상기 사용자는 상기 커버-플로우 인터페이스의 다른 이익들을 여전히 제공하면서, 상기 카메라가 지향된 방향으로 상기 인쇄된 이미지 상에 오버레이된(overlaid) 커서에 의해 제공된 공간적 콘텍스트를 유지한다. (이러한 정사각형 윈도우(252)는 상기 카메라가 페이지 아래 위로 이동함에 따라, 상이한 페인들의 애니메이션을 플립함으로써 정지되고 유지될 수 있다.)
도 8은 제 2 커버-플로우 인터페이스를 도시한다. 본 실시예에서, 윈도우(254)는 다시 캡처된 이미지의 디스플레이를 위해 제공된다. 그러나 이 경우, 상기 윈도우는 -신문 이미지의 더 큰 표현을 가능하게 하는- 상기 디스플레이의 전체 높이를 본질적으로 확장한다. (다시, 상기 나타난 이미지는 시야의 카메라 필드의 중심으로부터 취해진다.) 이 상세한 구현은 상기 윈도우(254) 내의 커서를 나타내지 않는다.
도 8의 실시예는 라이브(live)보다 정적인, 카메라 이미지에 사용하기에 적합하다. 상기 소프트웨어는 상기 사용자로 하여금 저장된 이미지를 참조하여 나중에 내비게이팅할 수 있게 하는, 상기 인쇄된 페이지로부터 캡처된 정적인 이미지를 저장할 수 있다. 이러한 내비게이션은 훨씬 나중에 행해질 수 있다. 예를 들어, 상기 사용자는 커피 숍에서 줄서있는 동안 신문으로부터 이미지를 캡처할 수 있고, 시간이 흐른 뒤 -점심 동안- 이전에 캡처된 이미지에 기초하여 탐색할 수 있다.
특히, 상기 사용자는 원하는 포인트에서 윈도우(254)의 디스플레이된 이미지를 탭함으로써, 또는 상기 윈도우를 손가락으로 아래 위로 스윕함으로써 내비게이팅할 수 있다. 후자의 동작은 상기 커버-플로우 애니메이션으로 하여금 시야로 상이한 페인들을 성공적으로 플립하는 것을, 활성화하도록 한다.
상기 윈도우(254)는 폭이 제한되지만, 상기 사용자는 또한 상기 윈도우를 가로질러 손가락을 옆으로 스윕할 수 있다. 이는 상기 아래에 있는 이미지가 손가락과 함께 이동하여(애플 아이폰 등으로부터 익숙한) -상기 캡처된 이미지의 새로운 부분들을 드러낸다. 예를 들어, 손가락을 왼쪽으로 스윕함으로써, 이는 새로운 이미지가 오른쪽으로부터 상기 윈도우로 들어가게, 예를 들어, 사용자가 브라우징할 수 있는 광고의 새로운 열을 노출한다. 이러한 이미지는 또한 -상기 이미지가 더 큰 해상도(즉, 더 작은 영역에 포커스 온) 또는 더 작은 해상도(즉, 더 큰 영역이 보여지게 함)로 나타나게 하는- "핀치(pinch)" 및 "스프레드(spread)" 제스처들로 조작될 수 있다. 다시, 이러한 사이즈 조정되거나 위치 조정된(repositioned) 이미지가 상기 커버 플로우 패러다임을 사용하여, 사용자 브라우징을 위한 기초로서 사용될 수 있다.
상기 커버-플로우 인터페이스의 또 다른 구현들에서, 상기 카메라로부터의 이미지는 풀-스크린으로 디스플레이될 수 있지만, 흐려지거나, 낮은 콘트라스트를 가질 수 있다. 그러면 상기 도시된 커버-플로우 구성은 -상기 아래에 있는 카메라 이미지의 시각적 콘텍스트의 감각을 제공하는 투명도로- 이 배경에 겹쳐질 수 있다.
상기 인쇄된 객체로부터 캡처된 이미지와 진행중인 상호작용은 필요하지 않다는 것이 인식될 것이다. 일단 제 1 워터마크가 신문 페이지의 임의의 포인트로부터 디코딩되면, 상기 스마트폰은 상기 페이지의 모든 콘텐트에 대한(실제로, 상기 신문의 모든 콘텐트에 대한) 확장된 정보를 검색할 수 있다. 엄밀히 말하면, 나중에 상기 신문 자체가 필요하지 않다.
예를 들어, 도 8의 인터페이스는 윈도우(254)를 생략할 수 있다. 상기 신문의 이미지화된 페이지의 광고를 브라우징하기 위해, 상기 사용자는 단순히 상기 스크린에 손가락으로 스크롤-업 또는 스크롤-다운 제스처를 스윕할 수 있다. 상기 광고에 대응하고, 상기 원격 컴퓨터로부터 다운로드된 확장된 정보는 공간적 위치에 따라 상기 메모리로부터 리콜될 수 있고, 상기 커버-플로우 인터페이스를 사용하여 애니메이트된 방식으로 나타날 수 있다. 상기 사용자는 상기 스크린 상의 왼쪽 또는 오른쪽으로 손가락 모션을 스윕함으로써 광고의 주변 열로 스위칭할 수 있다.
게다가, 상기 디스플레이 상에 나타난 정보는 상기 인쇄된 페이지 상의 대응하는 광고의 공간적 위치에 따라 정렬될 필요는 없다. 상기 정보는 가격, 상기 판매자까지의 거리(예를 들어, 전화 교환 또는 우편 번호에 의해 추정되는), 자동차 모델 연도, 자동차 컬러, 등과 같은 임의의 다른 메타데이터에 의해 분류될 수 있다. 이러한 옵션들은 종래의 UI 기술들을 사용하여 불려올 수 있는 보조 메뉴들에 의해 규정될 수 있다.
상기 인쇄된 페이지에 대응하는 이미지를 이용할 수 있게 하는 인터페이스에서(예를 들어, 도 7 및 도 8), 이러한 이미지는 상기 스마트폰에 의해 전혀 캡처될 필요가 없다는 것을 인식할 것이다. 일단 상기 페이지의 제 1 이미지가 상기 스마트폰에 의해 캡처되면, 상기 워터마크는 상기 출판 및 페이지 번호에 대한 상세들을 공개한다. 전체 페이지에 대한(또는 전체 출판에 대한) 완전히 새로운 이미지가 원격 데이터베이스로부터 다운로드될 수 있고, 그 후 상기 스마트폰 카메라에 의해 캡처된 (전형적으로 낮은 품질의)이미지 대신 사용될 수 있다.
다시, 상기 스마트폰 스크린에 나타난 모든 정보의 로그 상세 및 각각의 이러한 감상의 지속 기간은 원한다면, 닐슨과 같은 제 3의 사용자들에게 수집되고 제공될 수 있다.
스마트폰 카메라들은 여전히 다른 기능을 인에이블한다. 특히, 터치 스크린 제스처의 사용을 고려한다.
터치스크린 제스처들은 UI 구성에 유용하지만, 비-휴대 디바이스들에 가장 어울린다. 스마트폰과 같이 휴대형 디바이스와 함께 사용될 때, 전형적으로 한 손으로 상기 전화기를 쥐고, 다른 한 손으로 터치 스크린 제스처를 행한다. 그러나, 양 손을 스마트폰 동작에 전념하는 것은 항상 편리한 것은 아니다.
본 기술의 다른 양태에 따라, 이러한 양손 양식이 회피될 수 있다. 터치 스크린 상에 손가락(또는 손가락들)으로 제스처하는 대신, 대응하는 명령이 상기 전화기를 이동함으로써 발행될 수 있다.
상기 디스플레이로 하여금 디스플레이되는 이미지를 줌-인하도록 하는 "스프레드(spread)" 제스처를 고려한다. 종래와 같이, 두 손이 필요하고, 한 손은 전화기를 쥐고, 다른 한 손은 "스프레드" 제스처를 실행한다.
이러한 동작이 한 손 조작되도록 카메라 이미지가 채용될 수 있다. 상기 사용자는 단순히 전화기의 카메라를 카메라가 향하는 어느 곳이든 이동시킨다. 상기 전화기의 소프트웨어가 상기 전화기에 의해 캡처된 이미지 상의 특징 추적을 수행하고, 상기 카메라가 객체를 향해 물리적으로 이동함에 따라 상기 프레임의 에지로 이동하는 특징들을 언급한다. 이미지화되는 상기 객체 및 상기 카메라 데이터는 상기 스크린에 디스플레이될 필요가 없다. 대신, 캡처된 카메라 이미지의 스트림은 상기 터치 스크린 상의 손가락 제스처들에 대한 프록시(proxy)이다. 상기 사용자가 객체를 향해 상기 카메라를 물리적으로 줌하는 것을 언급함으로써, 상기 소프트웨어는 터치 제스처를 스프레딩하는 것에 응답하여 단순히 종래 기술에서 했던 것처럼 상기 스마트폰 스크린에 디스플레이되는 정보에 대해 대응하는 줌 동작을 수행한다.
핀치 제스처와는 반대이다. 상기 터치 스크린 상의 핀치 제스처를 수행하는 제 2 손 대신 주체로부터 멀리 카메라를 이동하도록 기능한다.
상기 캡처된 이미지에 대한 특징 추적 동작을 수행하는 대신, 상기 스마트폰은 캡처된 이미지의 연속하는 프레임들에 포함된 디지털 워터마크의 스케일 변화를 검출할 수 있다. 상기 스케일이 증가하면, 이는 상기 사용자가 상기 전화기를 워터마크된 객체를 향해 이동하는 것-상기 스크린에 디스플레이되는 정보에 대한 의도된 줌-인 동작을 시그널링-을 가리킨다. 반대로, 상기 스케일이 감소하면, 이는 의도된 줌-아웃 동작을 시그널링한다.
아직 아이폰에서는 인에이블되지 않지만, 애플 맥 북 프로(Apple Mac Book Pro)는 상기 스크린 상에 디스플레이되는 어떠한 정보도 회전하는 다른 터치 스크린 제스처를 갖는다. 이 제스처는 두 손가락들을 스크린 상에 위치시키고, -상기 손가락 간의 거리를 실질적으로 일정하게 유지하면서-손가락 자세를 트위스트한다.
유사하게, 스마트폰 사용자는 단순히 상기 카메라 필드의 시야에 캡처된 이미지를 회전시키도록 기능하는, 상기 디바이스를 회전시킬 수 있다. 이러한 회전은 다시 상기 캡처된 이미지에서 특징 추적으로부터, 또는 주지된 워터마크 검출기에 의해 생성된 6D 포즈 벡터로부터 사용가능한 방향 정보를 참조하여 감지될 수 있다.
터치-스크린 제스처들에 대한 프록시로서 카메라 데이터를 해석하는 스마트폰 모드가 음성 명령, 버튼 누름, 전체 전화 제스처(예를 들어, 도 4a/도 4b), 또는 터치-스크린 제스처와 같은 다양한 공지의 구성들에 의해 시작될 수 있다. 유사한 수단에 의해 중단될 수 있다.
매직 렌즈( Magic Lens )
매직 렌즈("툴글래스(Toolglass)"라고도 함)는 인지된 실행 불가능성으로 인해 절대 실행 가능해지지 않는, 원래 Xerox PARC의 연구자들에 의해 개발된 사용자 인터페이스(UI) 개념이다. 본 기술의 양태에 따라, 이러한 UI는 매우 현실적인 형태로 구현된다.
상기 매직 렌즈 구성은 양손 UI이다. 한 손으로, 상기 사용자는 제 1 포인팅 디바이스(예를 들어, 마우스)를 동작한다. 이 디바이스는 사용자의 데스크탑 상의, 흔히 투명 오버레이로서 나타난, 그리드된 툴들의 팔레트(gridded palette of tools)를 이동시킨다. 하나의 툴은 복사(copy)일 수 있다. 다른 툴은 붙여넣기(paste)일 수 있다. 다른 툴은 이메일일 수 있다. 다른 툴은 인쇄, 등일 수 있다.
상기 사용자가 그리드된 툴 오버레이를 조작하여 원하는 툴(예를 들어, 인쇄)이 상기 툴이 적용될(예를 들어, 파일을 나타내는 데스크탑 아이콘) 특정한 객체 위에 위치된다.
그 후, 다른 손으로, 상기 사용자는 스크린 상의 커서를 이동하는 제 2 포인팅 디바이스(예를 들어, 제 2 마우스)를 동작한다. 상기 사용자는 이 커서를 디스플레이된 툴들의 그리드된 어레이의 특정한 툴을 가리키도록 위치시킨다. (상기 사용자가 상기 데스크탑 파일 아이콘 위에 위치한 인쇄 툴과 함께 상기 툴 그리드를 위치시키도록 상기 제 1 포인팅 디바이스를 동작했다는 것을 상기한다.) 일단 상기 커서가 상기 인쇄 툴 위에 위치되면, 상기 사용자는 제 2 마우스를 클릭한다. 이는 상기 아이콘에 의해 나타난 파일이 인쇄되도록 한다.
이러한 구성은 3 객체들의 공간적 합류를 수반한다; 상기 마우스 커서와 함께 상기 그리드된 팔레트의 특정한 툴과 함께 적절한 공간적 배열의, 상기 사용자의 원래 스크린(예를 들어, 데스크탑)의 특징.
이러한 구성은 제록스 특허 5,617,114 및 다수의 학술 출판들에 상세히 설명된다. 그 중 두 개가 제록스의 Bier 등의, 이른바 Toolglass and Magic Lenses: The See-Through Interface, Proc. of SIGGRAPH '93, 73-80(부록 A로서 예비 출원 61/375,789에 첨부됨) 및 A Taxonomy of See-Through Tools, SIGCHI '94(부록 B로서 예비 출원 61/375,789에 첨부됨).
이러한 구성의 실행 불가능성이 양손 동작으로 증명되었다. 사람-머신 상호작용의 이러한 스타일은 대부분의 작업 환경들에 대해 부적당한 것으로 발견되었다.
본 기술의 이러한 양태에 따라, 이러한 실행 불가능성은 상기 제 1 포인팅 디바이스와 유사한 방식으로 상기 스마트폰 카메라를 사용함으로써, 및 상기 제 2 포인팅 디바이스와 유사한 방식으로 상기 사용자의 엄지(또는 다른 손가락)를 사용함으로써 극복된다.
도 9는 예를 도시한다. 동작의 이 모드에서(종래 방식으로 사용자에 의해 불려올 수 있는), 연관된 소프트웨어는 상기 스마트폰 카메라에 의해 캡처된 이미지의 상부에 오버레이(선택적으로, 투명한)로서 그리드된 툴들의 팔레트를 나타낸다. 상기 그리드의 각 타일은 라벨 또는 다른 표시에 의해 식별된 연관된 기능을 갖는다. 예를 들어, 툴 타일(302)은 상기 기능 PRINT로 라벨링된다. 각 타일은 또한 이러한 특징이 반드시 필요한 것은 아니지만, 상기 사용자가 상기 이미지의 특정한 포인트를 가리키는 기능을 정확히 목표로 할 수 있는 일부 표시를 포함할 수 있다. 예시된 실시예에서 "+"(십자선)가 사용된다.
상기 사용자가 상기 폰 카메라를 위치시켜 원하는 기능 타일이 원하는 이미지의 발췌본, 예를 들어, 특정한 신문 기사 또는 분류된 광고(예시의 명확성을 위해 도시되지 않음)에 오버레이한다. 그 후 상기 사용자는 엄지 손가락 또는 다른 손가락을 이용하여 원하는 기능 타일(예를 들어, PRINT)을 탭한다. 이러한 탭은 상기 스마트폰 운영체제에 의해 제공된 상기 터치 스크린 인터페이스에 의해 감지되고, 상기 "+"로 표기된 객체에 인가된, 상기 선택된 기능의 실행을 트리거한다. 이 경우, 상기 분류된 광고는 디폴트 프린터로 인쇄된다.
이 테마에 대한 다양한 변형이 있다. 실제로, 제록스 문서에 언급된 본질적으로 모든 동작들, 및 구성들, 상세들은 과도한 실험 없이 상기된 설명에 기초하여 카메라-장착된 스마트폰으로 당업자에 의해 구현될 수 있다. 이들 원리들은 -1 제어도의 카메라 위치, 및 다른 제어도의 스크린의 원하는 위치에서 사용자의 탭과 함께- 다른 디자인의 양손 UI들에 인가될 수 있다.
다른 특징들 및 구성들이 상기 제록스 문서에서 고려되지 않지만, 본원에 교시되고 참조로서 통합된 문서들에서, 이러한 구성을 사용하여, 다시 과도한 실험 없이 유사하게 인가될 수 있다.
예를 들어, 상기 PRINT 기능은 단지 상기 사용자에 의해 이미지된 상기 신문에 공개된 바와 같이 분류된 광고의 텍스트만을 인쇄할 필요는 없다고 주의된다. 대신, -디코딩된 워터마크 데이터에 기초하여- 상기 원격 데이터베이스로부터 획득된 상기 확장된 정보가 인쇄될 수 있다. 이 경우, 상기 광고의 인쇄된 버전은 원래보다 더 상세하다.
유사하게, 상기 사용자에 의해 탭된 카메라 이미지는 "live"일 필요는 없다. 대신, 상기 라이브 이미지의 원하는 위치에 상기 툴 팔레트를 오버레이하도록 상기 카메라를 위치시킨 후, 상기 사용자는 정적인 프레임을 캡처하도록 명령을 발행할 수 있다(예를 들어, 제스처 또는 음성 명령에 의해). 일단 상기 프레임이 그에 따라 동결되면, 상기 사용자는 상기 원하는 동작을 -이러한 조작이 상기 툴 팔레트를 상기 캡처된 이미지에 대해 시프트하도록 할 수 있다는 염려 없이- 개시하도록 원하는 툴 타일을 탭할 수 있다.
다른 대다수의 이러한 변형들이 본 설명으로부터 당업자들에게 잘 이해될 것이다.
결론
상기된 바로부터, 본 기술은 스마트폰들에 대한 사용자 인터페이스들의 개념들, 및 카메라 사용 모델들을 확장한다고 인식될 수 있다. 한 양태에서, 인쇄 매체에 대한 그래픽 사용자 인터페이스가 제공된다. 게다가, 이러한 사용자 인터페이스는 온라인 웹 페이지들과 상호작용하는 사용자의 이전 경험들을, -어떠한 명령 없이도- 이러한 상호작용을 직관적이게 하여 영향력 있게 한다.
상기 상세한 구성들은 단지 예시라는 것이 인식될 것이다. 실제 구현들은 상이한 도해법(iconography), 상이한 제스처 용어들, 부가적인 동작들 및 특징들, 등과 같은 다수의 상세들에서 다를 수 있다. 따라서, 상기된 구성들은 우리 기술의 경계로서 취해져서는 안 되고, 오히려 무수한 가능한 구현들 중에서 샘플 구현으로 상기 발명의 특징들을 예시하는 것으로 취해져야 한다.
유사하게, 분류된 광고의 문맥에 주로 기술되지만, 동일한 원리들이 뉴스 기사들, 사진들, 광고 디스플레이, 등과 같이, 다른 인쇄된 콘텐트를 포함하는, 다른 문맥들에 또한 적용 가능하다는 것이 인식될 것이다.
예를 들어, 뉴스 기사를 고려한다. 신문은 독자에게 확장된 콘텐트가 이용 가능하다는 것을 나타내기 위해, 독특한 활자체 또는 다른 표현을 사용하여 기사 내의 단어 또는 구를 하이라이트할 수 있다. 이러한 그래픽 단서(clue)는 하이퍼링크들을 나타내기 위해 웹 페이지들 상에 이러한 단서들을 광범위하게 사용하기 때문에 사용자들에게 친숙하다. 실제로, 상기 신문에 의해 채택된 표현은 이러한 단어들을 청색 및/또는 밑줄 그어 인쇄하는 것과 같이, 웹 페이지 하이퍼링크들을 흉내낼 수 있다. (두껍게 하는 것도 또한 사용될 수 있다.)
앞에서와 같이, 상기 사용자가 상기 페이지 상의 어느 곳에서든 단일 적절한 이미지 프레임을 캡처하자 마자, 상기 출판 및 페이지가 식별될 수 있다. 상기 페이지에 대해 확장된 콘텐트가 상기 스마트폰으로 다운로딩될 수 있고, 사용자 액세스를 준비하기 위해 캐시된다. 다시, 상기 다운로드된 정보는 상기 페이지의 각 아이템과 연관된 롤오버 존의 확장을 규정하는 데이터를 포함한다. 상기 롤오버 존의 사이즈는 개별적으로 링크된 단어들/구들의 수가 더 큰지 또는 더 작은지 여부에 따라, 더 작거나 클 수 있다. 기사가 단일 링크된 구(예를 들어, 문장을 리드)만을 가지면, 상기 롤오버 박스는 상기 인쇄된 페이지의 기사 전체를 아우르도록 규정될 수 있다. 다른 쪽 극단으로는, 기사의 각 단어가 (잠재적으로 상이한)확장된 콘텐트로 자신의 링크를 가질 수 있다.
다른 구성에서, 상기 링크된 콘텐트의 이용 가능성은 하이라이트된 단어들 또는 구들에 의해 표시되지 않는다. 대신, 사용자들은 본질적으로 모든 인쇄 매체가 연관된 링크된 콘텐트를 갖는다는 것을 찾도록 익숙해질 것이다. 임의의 인쇄 매체에 대해 상기 전화기를 비교적 정적으로 쥐고 있는 것은 상기 커서가 손으로 스위칭되게 하는 위치에서 배경 염색 및 상기 링크된 콘텐트가 상기 사용자의 명령에 디스플레이하도록 준비된다는 신호를 발견할 수 있다. 상기 링크된 데이터로부터 이용 가능한 상기 정보를 예시하는 툴 팁이 상기 사용자가 상기 링크를 따를지 여부를 결정하는 것을 돕기 위해 제공될 수 있다.
신문에 공개된 사진들도 유사하다. 오바마 대통령과 가족의 사진을 고려한다. 스마트폰을 위치시켜 상기 커서(112)가 아이들 중 하나의 얼굴 위에 있어서 예를 들어, 이름으로 아이를 식별하는 툴 팁이 나타나도록 할 수 있다. 그 후 상기 폰으로 제스처하는 것은 그 아이에 대한 위키피디아 페이지와 같은 확장된 정보를 소환할 수 있다. (당업자에게 친숙한 바와 같이, 사진 이미지의 워터마크는 염색, 또는 상기 보조 데이터를 전달하기 위해 미묘하게 수정될 수 있는 사진을 포함하는 하프톤 소자들(halftone elements)-비교적 덜 가시적인 더 많은 신호 에너지를 두고, 비교적 더 가시적인 더 적은 에너지를 두는-에 의한 것일 수 있다.)
상기 커버-플로우 인터페이스는 분류된 광고뿐만 아니라, 신문 기사들과도 유용하다. 다시, 임의의 신문 페이지의 임의의 부분의 단일 이미지를 캡처함으로써, 상기 전체 신문 콘텐트들이 상기 스마트폰으로 다운로딩될 수 있다. 각 기사로부터의 상기 헤드라인 및 리드 문장(lead paragraph)(및 선택적으로 사진)이 커버 플로우 페인에 나타날 수 있다. 상기 사용자는 상기 화면을 가로질러 손가락을 스윕하고, 연속적인 페인들/스토리들을 통해 플립함으로써 상기 신문의 전자 대상물을 리뷰할 수 있다.
다시, 상기 페인들은 인쇄된 신문의 순서에 대응하여 정렬될 수 있지만, 본질적이지는 않다. 다른 정렬이 사용될 수 있다. 하나의 정렬은 예를 들어, 역사적 사용 패턴들에 기초하여, 사용자 프로파일 데이터를 따른다. 상기 사용자가 지방 정부 및 시애틀 마리너스(Seattle Mariners)를 포함하는 스토리를 리뷰하는데 역사적으로 더 많은 시간을 소비한다면, 이러한 기사들은 도시된 제 1 페인들 중에서 나타날 수 있다. 반대로, 상기 사용자가 리얼리티 쇼들에 관한 기사들 및 부고들에 관심을 갖지 않는다면, 이들 자료들은 상기 커버-플로우 기사 순서의 끝에 놓여질 수 있다.
때때로 상기 사용자가 폭주하고 이러한 기술에 의해 이용 가능해진 모든 확장된 콘텐트를 탐색할 수 없을 수 있다. 일 구현에서, 상기 전화기는 상기 사용자가 상기 커서를 호버링하도록(즉, 손모양 커서로 바뀌는) 하는 각 아이템에 대한 확장된 콘텐트를 저장한다. 이 정보는 상기 사용자가 더 많은 여가 시간을 가질 때 용이하게 리뷰될 수 있는 가상 서류가방, 또는 다른 데이터 구조로 유지된다.
당업자는 이 기술이 자연스런 소셜 네트워킹 구현들을 갖는다는 것을 인식할 것이다. 확장된 콘텐트를 리뷰하는 상기 사용자의 이력이 소셜 네트워킹 사이트로 포스팅될 수 있고, 선택된 사용자의 친구들과 공유될 수 있다. 전형적으로, 이러한 이력은 프로필 세팅 또는 저장된 규칙들에 기초하여, 포스팅 전에 필터링된다. 예시적인 사용자는 상기 사용자가 지난주, 신문의 뉴스 섹션 및/또는 오피니언 섹션들의 리뷰에 가장 긴 시간을 보낸 3개의 기사를 상기 소셜 네트워킹 페이지가 식별(및 링크)할 수 있다고 명시할 수 있다.
도 6a 및 도 6b는 본 기술과 함께 채용될 수 있는 커서들(402, 404)의 다른 형태를 도시한다. 종래 기술에서, 이러한 커서들은 예를 들어, 상기 카메라가 포커싱하려고 하는 이미지의 존을 나타내도록 변하지 않는 방식, 일관되게 나타난다. 본 기술의 양태에 따라, 이러한 커서들은 상기 카메라 시스템 또는 캡처된 이미지에 관한 정보를 상기 사용자에게 전달하도록 기능할 수 있다.
예를 들어, 포커스를 획득하는 진행-또는 포커스 락 상태-은 사이즈를 변화시키는 것과 같이, 상기 커서를 변화시킴으로써 시그널링될 수 있다(예를 들어, 포커스됨에 따라 더 작아지는 것이 얻어짐). 포커스 락이 달성될 때, 상기 커서는 컬러를 변화시킬 수 있다.
대안적으로, 상기 커서의 컬러는 포커스를 획득하는 진행, 예를 들어, 적색으로 시작하고 포커스가 획득될 때 검정색으로 종료할 때까지 다른 뚜렷한 컬러들의 시퀀스를 통해 진행하는 것을 시그널링하도록 애니메이트될 수 있다. 포커스가 획득되지 않으면, 상기 컬러는 원래의 적색(또는 다른 컬러)으로 돌아갈 수 있다.
유사하게, 상기 커서가 카메라 또는 이미지 파라미터에 따른 비율로 플래시할 수 있다. 또는 이러한 파라미터에 따른 속도로 애니메이트(예를 들어, 레이싱 라이트 방식으로)될 수 있다.
상기 커서의 형상은 예를 들어, 구불구불하거나 달리 비틀어진 형태를 취하는 직선들로, 사용자에 대한 잠재적인 관심의 파라미터를 나타내는 왜곡 효과의 진폭 및/또는 주파수로 변조될 수 있다.
이들 효과들의 차이가 또한 결합될 수 있다.
상기 사용자에 대한 잠재적인 관심의 파라미터의 예로서 포커스가 언급되었지만, 자동 노출, 화이트 밸런스, 카메라 떨림 정도, 워터마크를 디코딩하기 위한 이미지의 상대적인 품질, 등을 포함한다.
잠재적 관심의 다른 파라미터는 시야각이다. 워터마크 검출기들은 상기 워터마크된 매체를 바로 내려다 볼 때 최상으로 동작한다. 워터마크된 페이지가 각도를 갖고 보여지면, 상기 워터마크를 디코딩하는데 필요한 시간이 증가한다.
상기 시야각은 상기 이미지로부터-상기 워터마크 자체로부터 및 또한 다른 시각적 단서들(예를 들어, 사다리꼴들로 왜곡되는 사각 박스들)로부터- 추정될 수 있다.
상기 카메라가 상기 페이지를 바로 내려다 보면, 상기 커서들은 도 6a/도 6b에 도시된 바와 같이 나타날 수 있다. (또는, 직사각형보다 사각형이 더 낫다.) 상기 카메라가 각도를 갖고 상기 페이지를 보면, 상기 커서의 대응하는 측면은 과장된 크기로 나타날 수 있다. 상기 사용자는 상기 전화기를 자연스럽게 이동시키려고 하여 상기 커서가, 상부 및 하부 측면들이 모두 같은 크기를 갖고, 최적의 시점을 나타내는, 대칭적인 방식으로 나타난다.
대안적으로, 이러한 시야각 정보는 포커스와 관련하여 상기 리뷰된 커서들을 포함하는, 디스플레이된 커서들의 다른 변형에 의해 전달될 수 있다.
상기 언급된 특허 문서들은 본 기술의 실시예들을 구현하도록 사용될 수 있는 부가적인 상세들을 제공한다. 상기 설명된 기능은 과도한 실험 없이, 본원으로부터 당업자에 의해 소프트웨어 형태로 구현될 수 있다. 사용자 인터페이스를 포함하는, 아이폰 디바이스에 관한 상세들이 애플의 공개된 출원 20080174570에 제공된다.
본 명세서를 지나치게 늘리지 않고 포괄적인 개시를 제공하기 위해, 출원인들은 특허 출원들 및 상기 참조된 문서들을 참조로서 통합한다. (이러한 자료들은 그들의 특정한 교시와 관련하여 상기에 언급되더라도, 전체로서 통합된다.) 이들 참조 개시 기술들 및 교시들은 본원의 상세한 구성들로 통합될 수 있고, 본원에 상세한 기술들 및 교시들로 통합될 수 있다. 독자는 이러한 종래 기술에 친숙하다고 추정된다.

Claims (10)

  1. 카메라-장착된 스마트폰을 사용하여 인쇄된 페이지 상의 아이템들을 브라우징하기 위한 사용자 인터페이스 방법으로서,
    상기 카메라에 의해 캡처된 상기 페이지의 이미지와 관련하여, 상기 스마트폰의 스크린 상에 커서를 디스플레이하는 동작;
    상기 캡처된 이미지에 포함된 스테가노그래픽(steganographic) 정보를 참조함으로써 상기 인쇄된 페이지 내의 상기 디스플레이된 커서의 위치를 결정하는 동작;
    상기 스마트폰과 관련하여 상기 페이지가 이동됨에 따라, 상기 인쇄된 페이지 상의 아이템과 연관된 롤오버 존으로 상기 디스플레이된 커서의 진입을 감지하는 동작; 및
    상기 커서가 상기 롤오버 존으로 진입할 때 상기 커서의 형태를 변경하는 동작을 포함하는, 사용자 인터페이스 방법.
  2. 제 1 항에 있어서,
    상기 스테가노그래픽 정보로부터 복수-심볼 데이터를 디코딩하기 위해 상기 스마트폰에서 프로그램된 프로세서를 사용하는 동작;
    상기 데이터의 적어도 일부를 더 많은 시스템으로 송신하는 동작; 및
    상기한 동작의 결과로서, 상기 스마트폰에서 추가 정보를 수신하는 동작을 더 포함하는, 사용자 인터페이스 방법.
  3. 제 2 항에 있어서,
    상기 수신된 추가 정보는 상기 롤오버 존을 규정하는 정보를 포함하는, 사용자 인터페이스 방법.
  4. 제 1 항에 있어서,
    상기 커서의 형태를 변경한 후, 상기 롤오버 존과 연관된 정보를 로그(logging)하고, 사용자 액션의 학습을 인에이블하도록 상기 스마트폰으로부터 떨어져 있는 데이터 저장소에 이러한 로그된 정보를 제공하는 동작을 더 포함하는, 사용자 인터페이스 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 커서의 상기 형태를 변경한 후, 스마트폰 제스처를 감지하는 동작; 및
    상기 감지된 제스처에 응답하여, 상기 롤오버 존과 연관된 액션을 취하는 동작을 더 포함하는, 사용자 인터페이스 방법.
  6. 제 5 항에 있어서,
    상기 스마트폰 제스처를 감지한 후, 상기 롤오버 존과 연관된 정보를 로그하고, 사용자 액션의 추가 학습을 인에이블하도록 상기 데이터 저장소에 이러한 로그된 정보를 제공하는 동작을 더 포함하는, 사용자 인터페이스 방법.
  7. 제 1 항에 있어서,
    상기 스테가노그래픽 정보는 디지털 워터마크 정보를 포함하는, 사용자 인터페이스 방법.
  8. 제 1 항에 있어서,
    상기 스테가노그래픽 정보는 글리프(glyph) 정보를 포함하는, 사용자 인터페이스 방법.
  9. 카메라-캡처된 이미지를 스마트폰의 디스플레이 상에 나타내는 단계;
    상기 나타난 이미지 상에 복수의 표시를 오버레이(overlaying)하는 단계로서, 각각의 표시는 상기 디스플레이의 상이한 영역과 연관되고, 각각의 표시는 기능에 대응하는, 상기 복수의 표시 오버레이 단계;
    상기 디스플레이의 제 1 영역에서 감지된 사용자 탭(tap)을 나타내는 신호를 수신하는 단계; 및
    상기 제 1 영역과 연관된 제 1 표시에 의해 표시된 바와 같은, 상기 제 1 영역과 연관된 기능을 불러오고(invoke), 상기 제 1 표시가 오버레이된 이미지의 부분에 대응하는 데이터에 상기 기능을 적용하는 단계를 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 나타난 이미지는 먼저 캡처되고, 사용자 상호작용을 용이하게 하기 위해 상기 디스플레이 상의 정적 표현을 위해 버퍼에 저장되는, 방법.
KR1020137006788A 2010-08-20 2011-08-12 인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스 KR20130110158A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US37578910P 2010-08-20 2010-08-20
US61/375,789 2010-08-20
US13/079,327 US20120046071A1 (en) 2010-08-20 2011-04-04 Smartphone-based user interfaces, such as for browsing print media
US13/079,327 2011-04-04
PCT/US2011/047644 WO2012024191A1 (en) 2010-08-20 2011-08-12 Smartphone-based user interfaces, such as for browsing print media

Publications (1)

Publication Number Publication Date
KR20130110158A true KR20130110158A (ko) 2013-10-08

Family

ID=45594475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137006788A KR20130110158A (ko) 2010-08-20 2011-08-12 인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스

Country Status (3)

Country Link
US (1) US20120046071A1 (ko)
KR (1) KR20130110158A (ko)
WO (1) WO2012024191A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218530B2 (en) 2010-11-04 2015-12-22 Digimarc Corporation Smartphone-based methods and systems
JP5814532B2 (ja) * 2010-09-24 2015-11-17 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
CN104115179B (zh) * 2011-01-27 2018-01-09 谷歌公司 一种用于内容访问控制的方法
US8564684B2 (en) * 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
WO2013043393A1 (en) 2011-09-23 2013-03-28 Digimarc Corporation Context-based smartphone sensor logic
KR101923929B1 (ko) 2012-06-06 2018-11-30 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법
WO2014074111A1 (en) * 2012-11-09 2014-05-15 Thomson Licensing Handheld display zoom feature
US9830588B2 (en) * 2013-02-26 2017-11-28 Digimarc Corporation Methods and arrangements for smartphone payments
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
KR20140108995A (ko) * 2013-03-04 2014-09-15 삼성전자주식회사 페이지의 일부 영역을 이용한 데이터 처리 방법 및 장치
US9363734B2 (en) 2013-03-15 2016-06-07 Aswin Rajeevalochana System and method for preventing phone functionality while driving
US9198113B2 (en) * 2013-03-15 2015-11-24 Aswin Rajeevalochana App for preventing phone functionality while driving
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
WO2014182963A2 (en) 2013-05-08 2014-11-13 Digimarc Corporation Methods and arrangements involving substrate marking
CN111078343B (zh) * 2013-09-12 2023-08-01 北京三星通信技术研究有限公司 用于移动终端的截屏方法和截屏装置以及移动终端
US10713688B2 (en) 2013-09-25 2020-07-14 Transform Sr Brands Llc Method and system for gesture-based cross channel commerce and marketing
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
US20190306385A1 (en) 2014-01-31 2019-10-03 Digimarc Corporation Concerning digital marking and reading of plastic items, useful in recycling
US11962876B2 (en) 2014-01-31 2024-04-16 Digimarc Corporation Recycling methods and systems, and related plastic containers
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
US10306174B1 (en) 2014-09-15 2019-05-28 Google Llc Multi sensory input to improve hands-free actions of an electronic device
US10353995B2 (en) * 2014-10-21 2019-07-16 International Business Machines Corporation Improving understanding of the relationship between the comments being made to the containers and the comments being made to the elements of the containers
KR20160063131A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 영상표시장치, 영상표시방법 및 컴퓨터 판독가능 기록매체
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
US10007964B1 (en) 2015-05-20 2018-06-26 Digimarc Corporation Image processing methods and arrangements
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
US10073612B1 (en) 2015-08-17 2018-09-11 Bentley Systems, Incorporated Fixed cursor input interface for a computer aided design application executing on a touch screen device
US10599607B2 (en) * 2016-08-10 2020-03-24 Texas Instruments Incorporated Method and system for interpreting clicks on a multi-function input device
US10853968B2 (en) 2017-09-29 2020-12-01 Digimarc Corporation Watermark sensing methods and arrangements
US10885336B1 (en) 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
CN114201128A (zh) 2020-09-02 2022-03-18 华为技术有限公司 一种显示方法及设备
CN114115629A (zh) * 2020-08-26 2022-03-01 华为技术有限公司 一种界面显示方法及设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5862260A (en) * 1993-11-18 1999-01-19 Digimarc Corporation Methods for surveying dissemination of proprietary empirical data
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US6985600B2 (en) * 1994-03-17 2006-01-10 Digimarc Corporation Printing media and methods employing digital watermarking
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US7712668B2 (en) * 1994-05-25 2010-05-11 Marshall Feature Recognition, Llc Method and apparatus for accessing electronic data via a familiar printed medium
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US6964374B1 (en) * 1998-10-02 2005-11-15 Lucent Technologies Inc. Retrieval and manipulation of electronically stored information via pointers embedded in the associated printed material
US20100045816A1 (en) * 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
CA2373511C (en) * 1999-05-19 2014-07-08 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
EP1923830A3 (en) * 1999-05-19 2008-08-27 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
US6760119B1 (en) * 1999-05-25 2004-07-06 Silverbrook Research Pty Ltd Relay device
US7196806B2 (en) * 2001-06-29 2007-03-27 International Business Machines Corporation Data processing system for converting content relative to a space used as an advertising medium into a printable object
US7239747B2 (en) * 2002-01-24 2007-07-03 Chatterbox Systems, Inc. Method and system for locating position in printed texts and delivering multimedia information
GB0213531D0 (en) * 2002-06-13 2002-07-24 Hewlett Packard Co Paper-to-computer interfaces
JP4401633B2 (ja) * 2002-08-29 2010-01-20 富士通株式会社 印刷物に掲載された広告の効果を計測する広告効果計測方法、及びこれらの方法をコンピュータに行わせるプログラム
US7835504B1 (en) * 2003-03-16 2010-11-16 Palm, Inc. Telephone number parsing and linking
US8301893B2 (en) * 2003-08-13 2012-10-30 Digimarc Corporation Detecting media areas likely of hosting watermarks
US7920759B2 (en) * 2005-08-23 2011-04-05 Ricoh Co. Ltd. Triggering applications for distributed action execution and use of mixed media recognition as a control input
US8156427B2 (en) * 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US8498980B2 (en) * 2007-02-06 2013-07-30 Nancy P. Cochran Cherry picking search terms
US10078414B2 (en) * 2007-03-29 2018-09-18 Apple Inc. Cursor for presenting information regarding target
KR101487528B1 (ko) * 2007-08-17 2015-01-29 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP4450038B2 (ja) * 2007-09-12 2010-04-14 株式会社カシオ日立モバイルコミュニケーションズ 情報表示装置及びプログラム
EP2225628B1 (en) * 2007-12-20 2018-05-30 Myriad France Method and system for moving a cursor and selecting objects on a touchscreen using a finger pointer
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction

Also Published As

Publication number Publication date
US20120046071A1 (en) 2012-02-23
WO2012024191A1 (en) 2012-02-23

Similar Documents

Publication Publication Date Title
KR20130110158A (ko) 인쇄 매체를 브라우징하기 위한 것과 같은 스마트폰-기반 사용자 인터페이스
US11550993B2 (en) Ink experience for images
US20180024719A1 (en) User interface systems and methods for manipulating and viewing digital documents
US8839128B2 (en) Gallery application for content viewing
EP3058512B1 (en) Organizing digital notes on a user interface
EP2815299B1 (en) Thumbnail-image selection of applications
KR101749233B1 (ko) 휴대용 컴퓨팅 장치의 디스플레이를 제어하는 방법
EP2284679B1 (en) User interface systems and methods for manipulating and viewing digital documents
CN108629033B (zh) 电子文本的操纵和显示
US9412032B2 (en) Schedule managing method and apparatus using optical character reader
EP3547218A1 (en) File processing device and method, and graphical user interface
KR20040044373A (ko) 비디오 썸네일 및 그 생성 방법
US9792268B2 (en) Zoomable web-based wall with natural user interface
US11475610B1 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US12001642B2 (en) User interfaces for managing visual content in media
Liwicki et al. Touch & write: a multi-touch table with pen-input
EP2712433B1 (en) User interface for drawing with electronic devices
KR20180071492A (ko) 키넥트 센서를 이용한 실감형 콘텐츠 서비스 시스템
US20160267941A1 (en) Selfie-Graph
JP2024084767A (ja) メディア内の視覚コンテンツを管理するユーザインタフェース

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid