KR101754750B1 - 상호작용 스크린 보기를 위한 장치, 매체 및 방법 - Google Patents

상호작용 스크린 보기를 위한 장치, 매체 및 방법 Download PDF

Info

Publication number
KR101754750B1
KR101754750B1 KR1020167009813A KR20167009813A KR101754750B1 KR 101754750 B1 KR101754750 B1 KR 101754750B1 KR 1020167009813 A KR1020167009813 A KR 1020167009813A KR 20167009813 A KR20167009813 A KR 20167009813A KR 101754750 B1 KR101754750 B1 KR 101754750B1
Authority
KR
South Korea
Prior art keywords
user
area
viewing
display
computer
Prior art date
Application number
KR1020167009813A
Other languages
English (en)
Other versions
KR20160045927A (ko
Inventor
켄턴 엠. 라이온즈
조슈아 제이. 라트클리프
호스트 더블유. 하우세커
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160045927A publication Critical patent/KR20160045927A/ko
Application granted granted Critical
Publication of KR101754750B1 publication Critical patent/KR101754750B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04897—Special input arrangements or commands for improving display capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0606—Manual adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

컴퓨터 디스플레이의 표현 방식은 사용자가 디스플레이 상에서 보고 있는 것에 기초하여 수정될 수 있다. 일 실시예에서, 사용자가 보고 있는 것을 결정하는 데에 시선 검출 기술이 사용될 수 있다. 사용자가 보고 있는 것에 기초하여, 디스플레이는 사용자가 보고 있는 영역에서의 디스플레이를 개선 또는 열화시키도록 변경될 수 있다.

Description

상호작용 스크린 보기를 위한 장치, 매체 및 방법{APPARATUS, MEDIUM AND METHOD FOR INTERACTIVE SCREEN VIEWING}
본원은 컴퓨터 시스템, 특히 그러한 컴퓨터 시스템을 위한 디스플레이 및 그래픽 프로세싱에 관한 것이다.
통상적으로, 컴퓨터 시스템은 다양한 상이한 이미지들을 디스플레이할 수 있다. 예를 들어, 일부 예시들을 언급하자면, 그것은 텍스트, 스틸 이미지 또는 비디오 이미지와 같은 사진(picture)을 디스플레이 할 수 있고, 또는 애니메이션으로된(animated) 그래픽을 디스플레이할 수 있다.
예로서, 스틸 사진을 보자면, 일반적으로, 복수의 세팅들이 이미지를 캡처하는 데에 사용될 수 있다. 이러한 세팅들이 이미지를 캡처하는 사람에 의해 설정되면, 결과적인 묘사(depiction)의 성질이 고정된다. 일부 경우들에서, 포스트-프로세싱은 이미지에 대한 묘사를 변화시키도록 적용될 수 있다. 예를 들면, 대비(contrast) 증가가 적용될 수 있고, 조도(illumination)가 변화될 수 있으며, 다른 변화들이 완성된 사진에 행해질 수 있다.
도 1은 본 발명의 일 실시예에 대한 시스템 묘사이다.
도 2는 본 발명의 일 실시예에 따른 카메라에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 디스플레이 시스템에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 도 3에 도시된 실시예에 대한 설정 시퀀스이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 개략적 묘사이다.
본 발명의 일부 실시예들에 따라, 임의의 유형의 컴퓨터 디스플레이되는 이미지의 묘사는 이미지가 이미 디스플레이된 후에도 국지적으로 변화될 수 있다. 일부 실시예들에서, 국지적 변화는 전체 묘사 내에서 특정 영역의 사용자 선택의 결과일 수 있다. 이러한 영역들은 그들의 특성을 향상시키도록 재디스플레이될 수 있다. 예를 들면, 사용자가 컴퓨터 묘사의 특정 영역을 볼 때, 예를 들면, 해상도, 초점의 심도, 노출, 및 시차(parallax)를 포함하는 그 영역의 다양한 특성들이 조정될 수 있다. 그 결과, 이미지는 현재 관심 영역에서 국지적으로 향상될 수 있다.
많은 경우들에서, 이미지에 대한 임의의 컴퓨터 디스플레이 묘사의 모든 조정가능한 특성들을 최적화하기란 불가능하다. 이미지의 상이한 영역들에서 묘사되는 대상들은 이미지 캡처 디바이스(또는 그래픽 묘사의 뷰 포인트)로부터 상이한 거리들에 있을 수 있으며, 따라서 다소 흐린 초점으로 될 수 있다. 시차는 묘사가 캡처되는 방식에 기초하여, 묘사에 대해 상이할 수 있다. 유사하게, 조도는 다양한 국지적 조명 효과에 의해 영향을 받을 수 있다. 마지막으로, 노출은 묘사내의 상이한 위치들에서 상이할 수 있다.
따라서, 더 큰 현재 관심의 영역 내에서 선택적인 향상을 가능하게 하는 것이 유리할 수 있다. 이는 예를 들면, 입력/출력 디바이스들을 통한 사용자 선택에 의해, 사용자가 어떤 영역에 관심이 있는지를 결정함으로써, 또는 사용자가 실제로 보고 있는 것을 시선 검출(gaze detection)을 사용하여 결정함으로써 행해질 수 있다. 이러한 영역들은 사용자가 원하는 대로 다양한 특성들을 향상시키기 위해 재-렌더링될 수 있다. 이는 일부 실시예들에서 자동으로 발생할 수 있다.
도 1을 참조하면, 컴퓨터 시스템(10)은 카메라(14)를 그 위에 장착한 디스플레이(12)를 포함할 수 있다. 컴퓨터 시스템(10)은, 예를 들면, 데스크탑 컴퓨터와 같은, 고정 또는 유선 시스템, 또는 예를 들어, 랩탑, 모바일 인터넷 디바이스, 셀 폰, 텔레비전, 이미지 디바이스, 또는 엔터테인먼트 시스템과 같은 모바일 또는 배터리 전원을 갖는 시스템일 수 있다.
일부 실시예들에서, 카메라(14)는 사용자 시선 검출을 위해 사용되는 비디오 카메라일 수 있다. 본원에서 사용되는, "시선 검출"은 임의의 시간에서 사용자가 디스플레이(12)의 어떠한 부분을 보고 있는지를 결정하는 것을 의미한다. "시선 검출"은 머리, 얼굴, 및/또는 안구 추적을 포함한다. 시선 검출 시스템은 또한 사용자의 안구를 적외광으로 조명하는 적외광원을 포함할 수 있다. 이 조명은 안구 추적을 개선시킬 수 있는 "적안(red eye)" 효과를 발생시킬 수 있다. 카메라(14)에 근접하여 위치하는 온 축(on axis) 적외광원들이 사용될 수 있다. 또한, 카메라로부터 이격되어 있는 오프 축(off axis) 광원들이 대신 사용될 수도 있다. 디스플레이(14)는 프로세서(16)에 연결될 수 있으며, 프로세서(16)는, 일 실시예에서, 사용자가 보고 있는 디스플레이의 영역을 결정하기 위해, 시선 검출기로부터의 입력을 사용하는 관심 영역 식별 모듈(18)을 포함한다.
관심 영역 식별 모듈(18)은 하드웨어, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 시선 검출을 사용하는 것에 부가하여, 또는 그것을 대체하여, 사용자 입력들이 커서 입력의 형식으로, 또는 디스플레이 스크린과의 사용자 접촉에 기초하여 디스플레이(12)가 터치 스크린인 경우에 수신될 수 있다. 관심 영역을 나타내는 다른 방법들이 또한 적용될 수 있다.
관심 영역 식별 모듈(18)은 일 실시예에서, 프로세서(16) 내에 또한 포함될 수 있는, 이미지 변형 모듈(20)에 연결된다. 모듈(20)은 예를 들면 정적 또는 동적 이미지 또는 애니메이션을 변형할 수 있다. 사진 변형 모듈(20)은 일 실시예에서 관심 영역을 변형시키도록 사진 데이터베이스(24)에 의존할 수 있다. 관심 영역은 노출, 피사계 심도(depth of field), 시차, 해상도, 또는 임의의 다른 특성들의 관점에서 변형될 수 있다. 일부 실시예들에서, 데이터베이스(24)는 다양한 특성들의 관점에서 캡처된 동일한 장면의 다수의 묘사를 포함할 수 있다. 예를 들면, 노출, 피사계 심도, 시차, 조도, 또는 해상도 중 임의의 하나 이상이 변화될 수 있으며, 따라서, 특정 관심 영역은 사진 데이터베이스(24)에서 묘사의 상이한 버전을 선택함으로써 조정되는 그들의 특성들을 가질 수 있다. 변형된 이미지는 디스플레이 드라이버(22)로 구동되어, 현재 디스플레이를 수정하기 위해 디스플레이(12)에 제공될 수 있다.
일부 실시예들에서, 관심 영역에 적용되는 변화들의 성질은 미리 프로그램될 수 있다. 따라서, 사용자는 관심 영역에서 어떤 특성들이 변화할 수 있는 지를 정확하게 프로그램할 수 있다. 또한, 사용자는 사용자가 특정 관심 영역이 어떻게 변화되기를 원하는지 지시하도록 실시간 명령들을 제공할 수 있다. 이들은 임의의 입력 디바이스에 의해 제공될 수 있고, 부가적인 예시들을 들자면, 음성 명령 또는 제스처 명령에 의해 지시될 수도 있다.
또 다른 대안으로서, 시스템은 어떠한 특성들이 특정 영역에서 향상될 수 있는지를 결정할 수 있다. 시스템은 일부 실시예들에서, 향상가능한 특성들의 일부 및 전부를 자동으로 향상시킬 수 있다.
도 2를 참조하면, 시퀀스(26)는 카메라(14)를 포함하는 프로세서-기반 시스템(10)에 의해 구현될 수 있다. 따라서, 프로세서-기반 시스템은 스틸 또는 비디오 카메라, 또는 이미징 기능을 갖는 임의의 유형의 컴퓨터일 수 있다. 그것은 하드웨어, 소프트웨어 및/또는 펌웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 실시예들에서, 시퀀스는 반도체, 자기 또는 광학 저장 매체와 같은 비-일시적 컴퓨터 판독가능한 매체 상에 저장되는 컴퓨터 판독가능 명령어들에 의해 구현될 수 있다.
시퀀스는 일부 실시예들에서, 마름모(28)에 나타난 바와 같이, 영화(movie)를 구성하는 프레임 또는 프레임들의 시퀀스와 같은, 이미지를 캡처하는 명령이 수신되는지를 결정함으로써 시작할 수 있다. 만약 그렇다면, 다수의 사진들이 블록(30)에 나타난 바와 같이, 다른 특성들 중에서, 상이한 초점, 조도 및/또는 스테레오 대응(stereo correspondence)으로 자동으로 캡처될 수 있다. 이러한 사진들은 블록(32)에 나타난 바와 같이, 데이터베이스(24)에 저장될 수 있다. 일부 실시예들에서, 사진들은 어떠한 사진들이 어떠한 효과에 대응하는지를 알 수 있도록 하는 방법으로 조직화 또는 라벨링될 수 있다.
다음, 도 3을 참고하면, 컴퓨터 제어되는 디스플레이는 소프트웨어, 하드웨어 및/또는 펌웨어로 구현될 수 있는 시퀀스에 의해 설명될 수 있다. 소프트웨어 및 펌웨어 응용에서, 시퀀스는 비-일시적 컴퓨터 판독가능한 매체 상에 저장되는 명령들에 의해 구현될 수 있다.
처음으로, 블록(34)에 나타난 바와 같이, 관심 영역이 식별된다. 다시, 관심 영역은, 예를 들자면 시선 검출 모듈로부터의 사용자 입력, 사용자 터치 스크린 입력, 또는 커서 입력을 수신하는 것을 포함하는 다수의 상이한 방법으로 식별될 수 있다.
일부 경우들에서, 관심 영역은 일부 미리 프로그래밍된 시퀀스를 사용하여 결정될 수 있다. 예를 들면, 디스플레이 내의 다양한 영역에서의 사용자 시선을 갖도록 요망될 수 있다. 따라서, 관심 영역은 시스템이 구현을 위해 프로그래밍된 콘텐츠 또는 일부 패턴에 의해 제어될 수 있다. 따라서, 사용자는 일부 실시예들에서, 영역마다 스크린 상에 묘사를 통해 리드될 수 있다. 예를 들면, 묘사는 주어진 방식으로 사용자가 사진을 보게하도록 변화될 수 있다. 반대로, 예를 들면, 그 대상의 모습을 열화시킴으로써, 묘사는 사용자가 보고 있는 장면에서의 일부 대상으로부터 시청자의 주의를 돌리도록 변화될 수 있다. 예를 들면, 대상은 다른 대상이 더 또렷하게 묘사되는 동안, 블러링(blurring) 처리될 수 있다.
다음으로, 블록(36)에서, 이미지 선택, 변형 및 결합이 달성될 수 있다. 이는 원하는 향상에 대응하는 데이터베이스내의 이미지를 선택하고, 그 이미지들을 디스플레이(12) 상에 디스플레이되는 하나의 사진으로 결합함으로써 행해질 수 있다.
일부 실시예들에서, 블록(38)에서 나타낸 바와 같이, 동적 포토 렌더링이 사용될 수 있다. 동적 렌더링은 사용자가 보고 있는 대상의 모습을 변화시키도록 기존 프레임을 대체하기 위한 캡처된 프레임 또는 프레임들의 선택을 포함할 수 있다.
하나의 방안에서, 묘사의 상이한 버전들은 사용자 관심 또는 초점의 영역에서 원하는 효과를 제공하기 위해 현재의 묘사를 대체할 수 있다. 다른 방안에서, 관심 영역은 원하는 효과를 제공하도록 컴퓨터 그래픽 기술을 사용하여 재-렌더링될 수 있다. 예를 들면, 이미징된 대상의 모자이크가 전체 장면을 구성하도록 제공될 수 있다. 이러한 모자이크들의 각각은 수정된 컴퓨터 렌더링된 묘사로 대체될 수 있다. 또한, 컴퓨터 렌더링된 변화들의 결합 및 상이한 카메라 세팅으로 이미지의 상이한 버전들을 캡처함으로써 제공되는 변화들은 일부 실시예들에서 결합될 수 있다. 마지막으로, 블록(40)에서, 디스플레이는 선택된 영역을 원하는 향상으로 보여주도록 변형될 수 있다.
일부 실시예들에서, 사용자 시선 검출에 기초한, 장면의 변화는 육안이 움직이는 방식에 관련하여 장면을 보는 것을 시뮬레이트하는 방법으로 구현될 수 있다. 이는 육안이 움직이는 방식을 시뮬레이트하는 것 또는 육안이 움직이는 방식에 반대의 효과를 고의적으로 제공하는 것을 의미할 수 있다. 예로서, 사용자가 밝은 광을 보고 있을 때, 밝기는 눈이 적응함에 따라 점차적으로 감소되고 눈으로 더 적은 광을 방사한다.
인간의 눈은 특정 정도의 적응력을 가진다. 이 동일한 적응력은 장면 내의 조명이 변함에 따라 사용자가 장면을 보는 방법을 변화시키도록 전자적으로 적용될 수 있다. 예를 들면, 사용자가 그 초점을 장면 내의 밝은 광을 보도록 변화시킴에 따라, 광은 예를 들면 컴퓨터 렌더링 기술을 사용하여 처음에는 밝게 보이고 그 다음 점진적으로 어두워질 수 있다. 이것이 발생하는 정도는 육안이 광에 적응하는 정도에 대응할 수 있고, 또는 원하는 효과를 생성하기 위해 상기 적응도와는 상이한 정도로 발생할 수 있다.
묘사의 소스가 카메라와 같은 이미징 디바이스인 실시예들이 전술되었지만, 다른 실시예들에서 소스는 방송, 케이블, 또는 위성 소스와 같은 텔레비전 소스들을 포함하는 시청 가능한 매체, 및 DVD 디스크 또는 다른 저장된 매체와 같은 디지털 매체 중 임의의 소스일 수 있다. 일 실시예에서, 사용자고 보고 있는 것에 응답하여, 텔레비전을 사용하여, 사용자의 수신기에 전송되는 콘텐츠는 예를 들면, 헤드 엔드(head end)로부터 변화할 수 있다. 따라서, 시선 검출에 기초하는 본원에 기재되는 변화들은 사용자의 현재 초점이 무엇인지에 따라 헤드 엔드로부터 묘사의 상이한 버전들을 전송함으로써 구현될 수 있다.
일부 실시예들에서, 안구 시선 검출은 덜 정교할 수 있다. 이러한 경우에, 컴퓨터 비전 기술이 시스템의 동작을 향상시키도록 이용될 수 있다. 예로서, 장면에서 묘사된 사람의 머리를 사용자가 보고 있다고 가정하자. 그러나, 안구 시선 검출은 에러를 발생시킬 수 있고, 사실, 이미징된 사람의 머리에 근접하지만, 대응하지는 않는 빈 영역에 초점이 맞춰져 있다고 결정할 수 있다. 컴퓨터 콘텐츠 분석은 안구 추적을 사용하여 위치하는 영역에 근접한 영역을 검색하고, 일반적으로 사람들은 스크린의 빈 영역을 보지 않기 때문에 실제 초점이 사용자의 머리를 향해야 한다고 결정하도록 제공될 수 있다. 따라서, 사용자의 시선이 빈 영역에 초점이 맞춰져 있다는 안구 추적기 지시에 응답하여, 이미징된 장면은 근접한 대상을 찾고 사용자의 시선의 더 근접한 대상을 결정하도록 검색될 수 있다. 이러한 방법으로, 검출된 시선 방향은 콘텐츠 분석을 사용하여 조정될 수 있다.
도 3의 시퀀스는 일 실시예에서 도 4에 도시된 설정 시퀀스(42)를 사용하여 가능할 수 있다. 시스템의 실제 사용 전에, 도 3의 시퀀스는 그 시퀀스에 대한 입력 데이터를 제공함으로써 가능할 수 있다. 설정 시퀀스(42)는 하드웨어, 소프트웨어, 및/또는 펌웨어로 구현될 수 있고, 소프트웨어 및 펌웨어 실시예들은 비-일시적 컴퓨터 판독가능한 매체에 저장된 컴퓨터 실행가능한 명령어들에 의해 구현될 수 있다.
처음에, 블록(44)에서, 관심 영역 사이즈의 선택이 수신된다. 따라서, 사용자는, 스크린 상의 특정 영역이 식별되는 때, 정확한 시선 타겟을 둘러싸는 영역이 얼마나 많이 수정되어야 하는지를 지시할 수 있다. 따라서, 입력 픽셀을 중심으로 둘러싸는 원형, 사각형, 또는 직사각형 영역과 같은 주어진 기하학적인 영역은 사용자 선택에 기초하여 자동으로 적용될 수 있다. 수신될 수 있는 다른 입력들은 초점의 입도(granularity), 조도 및 스테레오 대응 감도 세팅일 수 있다. 따라서, 이미지들은 일련의 증가 또는 감소하는 해상도, 초점, 조도 및 스테레오 대응으로 캡처될 수 있다. 이러한 세팅들 사이의 범위 또는 각각의 연속적으로 캡처된 이미지들 사이의 변화의 양은 블록(46)에서 사용자에 의해 설정될 수 있다.
블록(48)에서, 기록될 노출 수치 세팅이 사용자에 의해 설정될 것이다. 이 모든 정보는, 경우에 따라 카메라 또는 시스템(10)과 관련하여 저장될 수 있다. 일부 실시예들에서, 설정 시퀀스는 카메라 및 컴퓨터(10)에서 개별적으로 구현될 수 있다.
마지막으로, 도 5를 참조하면, 카메라(14)의 일례가 도시되어 있다. 일 실시예에서, 카메라(14)는 동시에 상이한 세팅들(즉, 초점 심도들)로 다수의 사진들을 찍는 플레놉틱(plenoptic) 카메라(50)일 수 있다. 다른 실시예는 상이한 카메라 세팅들로 동일한 장면의 일련의 샷들을 찍는 데에 단순히 초점 브라케팅(bracketing)을 사용할 수 있다. 또 다른 실시예에서, 오토브라케팅이 상이한 세팅들로 동일한 장면의 일련의 샷들을 자동으로 캡처하는 데에 사용될 수 있다.
카메라(50)는 저장소(60)에 연결되는 프로세서(52)를 포함할 수 있다. 저장소(60)는 설정 시퀀스(42)로부터 데이터를 수신할 수 있고, 소프트웨어 또는 펌웨어 구현된 실시예에서 시퀀스(26)를 포함할 수 있다. 일 실시예에서, 프로세서(52)는 그러한 시퀀스를 실행할 수 있다. 또한 정적 또는 동적 이미지를 실제로 캡처하는 데에 사용될 수 있는 이미지 센서(54)가 프로세서(52)에 연결될 수 있다. 렌즈 시스템(56)은 프로세서(52)에 의해 제어될 수 있다. 렌즈 시스템은 일련의 급속 노출들 각각에서 프로세서(52)에 의해 전자적으로 해상도, 피사계 심도 또는 초점 중 하나 이상을 자동으로 그리고 연속적으로 변화시킬 수 있다. 마지막으로, 조명 시스템 또는 조명(58)은 프로세서(52)에 의해 동적으로 조정될 수 있다.
본원에서 기재된 그래픽 프로세싱 기술은 다양한 하드웨어 아키텍처로 구현될 수 있다. 예를 들면, 그래픽 기능은 칩셋 내에 통합될 수 있다. 대안적으로, 별개의 그래픽 프로세서가 사용될 수 있다. 또 다른 실시예에 따라, 그래픽 기능이 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다.
본 명세서 전체를 통해 "일 실시예" 또는 "실시예"에 대한 참조는 그 실시예와 연관되어 기재되는 특정한 특징, 구조 또는 특성이 본 발명 내에 포함되는 적어도 하나의 구현에 포함된다는 것을 의미한다. 따라서, "일 실시예" 또는 "실시예에서"라는 구절은 반드시 동일한 실시예를 가리키는 것은 아니다. 또한, 특정한 특징, 구조, 또는 특성은 기재되어 있는 특정 실시예가 아닌 다른 적절한 형태로 성립될 수 있고, 모든 그러한 형태들은 본 발명의 청구 범위 내에 포함될 수 있다.
본 발명이 제한된 수의 실시예들에 대해 기술되었지만, 당업자라면 그로부터 다수의 수정 및 변경을 이해할 것이다. 첨부한 청구 범위는 이러한 본 발명의 사상 및 영역 내에 포함되는 모든 그러한 수정 및 변경을 커버하도록 의도되었다.

Claims (13)

  1. 컴퓨터로 구현되는 방법으로서, 상기 방법은 프로세서-기반 컴퓨터 시스템에 의해 수행되며,
    시선 검출 기술(gaze detection technology)을 사용하여, 사용자가 보고 있는 디스플레이 상의 위치에 관한 초기 판단(initial assessment)을 내리는 단계;
    상기 시선 검출 기술이 상기 사용자가 보고 있다고 나타내는 영역이 빈 영역인지 여부를 결정하는 것에 의해 상기 초기 판단을 테스트하는 단계;
    상기 영역이 빈 영역인 경우, 상기 영역에 근접한 영역을 검색하여 근접한 대상(object)이 존재하는지 결정하는 단계; 및
    상기 대상이 존재하는 경우, 상기 초기 판단을 수정하고 상기 근접한 대상을 상기 사용자가 보고 있는 대상으로 식별하여, 상기 대상의 해상도, 피사계 심도(depth of field), 또는 초점을 변경하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    컴퓨터 렌더링을 사용하여 표현을 변경하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    사용자가 무엇을 보는지를 결정하기 위해 안구 시선 검출(eye gaze detection)을 사용하고, 상기 사용자의 시선이 검출된 영역의 표현을 변경하는 단계를 포함하는 방법.
  4. 제3항에 있어서,
    상기 사용자의 시선이 검출된 영역의 초점, 조도, 또는 스테레오 대응(stereo correspondence) 중 하나 이상을 변경하는 단계를 포함하는, 방법.
  5. 컴퓨터에 의해 실행되는 명령어들을 저장하는 비-일시적 컴퓨터 판독가능한 매체로서, 상기 컴퓨터로 하여금,
    시선 검출 기술을 사용하여, 사용자가 보고 있는 디스플레이 상의 위치에 관한 초기 판단을 내리고,
    상기 시선 검출 기술이 상기 사용자가 보고 있다고 나타내는 영역이 빈 영역인지 여부를 결정하는 것에 의해 상기 초기 판단을 테스트하며,
    상기 영역이 빈 영역인 경우, 상기 영역에 근접한 영역을 검색하여 근접한 대상이 존재하는지 결정하고,
    상기 대상이 존재하는 경우, 상기 초기 판단을 수정하고 상기 근접한 대상을 상기 사용자가 보고 있는 대상으로 식별하여, 상기 대상의 해상도, 피사계 심도, 또는 초점을 변경하도록 하는
    명령어들을 저장하는 비-일시적 컴퓨터 판독가능한 매체.
  6. 제5항에 있어서,
    상기 디스플레이 상의 이미지화된 대상들의 묘사를 변경하도록 하기 위해 컴퓨터 렌더링을 사용하는 명령어들을 더 저장하는, 비-일시적 컴퓨터 판독가능한 매체.
  7. 제5항에 있어서,
    사용자가 무엇을 보는지 결정하기 위해 안구 시선 검출을 사용하고, 상기 사용자의 안구 시선의 타겟인 영역의 모습(appearance)을 변경하도록 하는 명령어들을 더 저장하는, 비-일시적 컴퓨터 판독가능한 매체.
  8. 제7항에 있어서,
    상기 영역에서 초점, 조도, 또는 스테레오 대응 중 하나 이상을 변경하는 명령어들을 더 저장하는, 비-일시적 컴퓨터 판독가능한 매체.
  9. 시선 검출 기술을 사용하여, 사용자가 보고 있는 디스플레이 상의 위치에 관한 초기 판단을 내리고, 상기 시선 검출 기술이 상기 사용자가 보고 있다고 나타내는 영역이 빈 영역인지 여부를 결정하는 것에 의해 상기 초기 판단을 테스트하며, 상기 영역이 빈 영역인 경우, 상기 영역에 근접한 영역을 검색하여 근접한 대상이 존재하는지 결정하고, 상기 대상이 존재하는 경우, 상기 초기 판단을 수정하고 상기 근접한 대상을 상기 사용자가 보고 있는 대상으로 식별하며, 상기 대상의 해상도, 피사계 심도, 또는 초점을 변경하도록 하는 프로세서; 및
    상기 디스플레이에 연결된 이미징 디바이스
    를 포함하는 장치.
  10. 제9항에 있어서,
    상기 프로세서에 연결된 컴퓨터 디스플레이를 포함하는 장치.
  11. 제10항에 있어서,
    상기 이미징 디바이스는 상기 컴퓨터 디스플레이 상에 장착되는 장치.
  12. 제9항에 있어서,
    상기 프로세서는 상기 디스플레이 상에 상기 사용자가 보고 있는 대상들의 모습을 변경시키는 장치.
  13. 제9항에 있어서,
    상기 이미징 디바이스는 플레놉틱 카메라인 장치.
KR1020167009813A 2011-09-08 2011-09-08 상호작용 스크린 보기를 위한 장치, 매체 및 방법 KR101754750B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/050893 WO2013036236A1 (en) 2011-09-08 2011-09-08 Interactive screen viewing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006199A Division KR20140057594A (ko) 2011-09-08 2011-09-08 상호작용 스크린 보기

Publications (2)

Publication Number Publication Date
KR20160045927A KR20160045927A (ko) 2016-04-27
KR101754750B1 true KR101754750B1 (ko) 2017-07-10

Family

ID=47832474

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167009813A KR101754750B1 (ko) 2011-09-08 2011-09-08 상호작용 스크린 보기를 위한 장치, 매체 및 방법
KR1020147006199A KR20140057594A (ko) 2011-09-08 2011-09-08 상호작용 스크린 보기

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147006199A KR20140057594A (ko) 2011-09-08 2011-09-08 상호작용 스크린 보기

Country Status (6)

Country Link
US (1) US9361718B2 (ko)
EP (1) EP2754028A4 (ko)
JP (1) JP5934363B2 (ko)
KR (2) KR101754750B1 (ko)
CN (1) CN103765374A (ko)
WO (1) WO2013036236A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140040474A (ko) * 2012-09-26 2014-04-03 한국전자통신연구원 비디오 요약 장치, 방법 및 시스템
US9367117B2 (en) * 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
EP2924540B1 (de) * 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
US20160011657A1 (en) * 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
CN105635624B (zh) * 2014-10-27 2019-05-03 华为技术有限公司 视频图像的处理方法、设备及系统
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
EP3250982B1 (en) * 2015-01-30 2021-09-29 Hewlett-Packard Development Company, L.P. Electronic display illumination
CN104635933B (zh) * 2015-02-26 2018-10-30 华为技术有限公司 一种图像切换的方法和装置
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US10218968B2 (en) * 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US9990035B2 (en) * 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze
WO2017208351A1 (ja) 2016-05-31 2017-12-07 株式会社オプティム 撮像画像共有システム、撮像画像共有方法及びプログラム
US10678063B2 (en) 2016-06-20 2020-06-09 Sharp Kabushiki Kaisha Image processing device, display device, control method for image processing device, and control program
US11477302B2 (en) * 2016-07-06 2022-10-18 Palo Alto Research Center Incorporated Computer-implemented system and method for distributed activity detection
US11093834B2 (en) * 2016-07-06 2021-08-17 Palo Alto Research Center Incorporated Computer-implemented system and method for predicting activity outcome based on user attention
US10885478B2 (en) 2016-07-06 2021-01-05 Palo Alto Research Center Incorporated Computer-implemented system and method for providing contextually relevant task recommendations to qualified users
US10152122B2 (en) * 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
US10209772B2 (en) 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
CN112445339A (zh) * 2016-09-20 2021-03-05 托比股份公司 基于注视和扫视的图形操纵
US10623723B2 (en) * 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
CN110679147B (zh) 2017-03-22 2022-03-08 奇跃公司 用于显示系统的基于深度的凹式渲染
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
CN111819518A (zh) 2018-03-13 2020-10-23 索尼公司 信息处理设备、信息处理方法和记录介质
US11238836B2 (en) 2018-03-16 2022-02-01 Magic Leap, Inc. Depth based foveated rendering for display systems
KR20220167427A (ko) * 2021-06-11 2022-12-21 삼성디스플레이 주식회사 표시 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228848A (ja) * 2000-02-15 2001-08-24 Matsushita Electric Ind Co Ltd 視線検出機能を有する表示素子
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6795806B1 (en) * 2000-09-20 2004-09-21 International Business Machines Corporation Method for enhancing dictation and command discrimination
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
EP1426919A1 (en) 2002-12-02 2004-06-09 Sony International (Europe) GmbH Method for operating a display device
JP3959354B2 (ja) * 2003-01-10 2007-08-15 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
WO2005010739A1 (en) 2003-07-29 2005-02-03 Philips Intellectual Property & Standards Gmbh System and method for controlling the display of an image
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US20070011609A1 (en) * 2005-07-07 2007-01-11 Florida International University Board Of Trustees Configurable, multimodal human-computer interface system and method
EP1943583B1 (en) * 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
US7694226B2 (en) * 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context
CN101405680A (zh) * 2006-03-23 2009-04-08 皇家飞利浦电子股份有限公司 用于图像操作的眼睛跟踪控制的热区
JP2008003816A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
JP4420002B2 (ja) 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US7860382B2 (en) * 2006-10-02 2010-12-28 Sony Ericsson Mobile Communications Ab Selecting autofocus area in an image
US8341022B2 (en) * 2006-12-30 2012-12-25 Red Dot Square Solutions Ltd. Virtual reality system for environment building
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
WO2010024782A1 (en) 2008-08-26 2010-03-04 Agency For Science, Technology And Research A method and system for displaying an hdr image on a ldr display device
CN101394487B (zh) * 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8311279B2 (en) * 2010-02-23 2012-11-13 Fuji Xerox Co., Ltd. System and method for improved image analysis through gaze data feedback
US8780251B2 (en) * 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228848A (ja) * 2000-02-15 2001-08-24 Matsushita Electric Ind Co Ltd 視線検出機能を有する表示素子
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
WO2013036236A1 (en) 2013-03-14
EP2754028A1 (en) 2014-07-16
KR20160045927A (ko) 2016-04-27
US9361718B2 (en) 2016-06-07
EP2754028A4 (en) 2015-08-12
JP5934363B2 (ja) 2016-06-15
US20130271454A1 (en) 2013-10-17
CN103765374A (zh) 2014-04-30
JP2014532206A (ja) 2014-12-04
KR20140057594A (ko) 2014-05-13

Similar Documents

Publication Publication Date Title
KR101754750B1 (ko) 상호작용 스크린 보기를 위한 장치, 매체 및 방법
US11756223B2 (en) Depth-aware photo editing
US10948726B2 (en) IPD correction and reprojection for accurate mixed reality object placement
KR102480245B1 (ko) 패닝 샷들의 자동 생성
US11782507B2 (en) Image changes based on facial appearance
US11200752B1 (en) Color correction for immersive content production systems
US20210090279A1 (en) Depth Determination for Images Captured with a Moving Camera and Representing Moving Features
CN107452031B (zh) 虚拟光线跟踪方法及光场动态重聚焦显示系统
TW201215124A (en) Imaging apparatus, image processing method, and recording medium for recording program thereon
US20140204083A1 (en) Systems and methods for real-time distortion processing
US9336607B1 (en) Automatic identification of projection surfaces
Perrin et al. Measuring quality of omnidirectional high dynamic range content
CN110870304B (zh) 向用户提供信息以观察多视图内容的方法和装置
US20170365230A1 (en) Display devices showing multimedia in multiple resolutions with eye tracking
US20240147053A1 (en) Method and apparatus with hyperlapse video generation
US20230119162A1 (en) Systems and methods for processing scanned objects
Besrour et al. The conception and implementation of a local HDR fusion algorithm depending on contrast and luminosity parameters
KR20120008329A (ko) 어안렌즈 및 안면 추적을 이용한 전자기기 디스플레이 표시 장치 및 그 방법, 이를 이용하는 모바일 기기

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right