KR20160019548A - 다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치 - Google Patents

다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치 Download PDF

Info

Publication number
KR20160019548A
KR20160019548A KR1020167000950A KR20167000950A KR20160019548A KR 20160019548 A KR20160019548 A KR 20160019548A KR 1020167000950 A KR1020167000950 A KR 1020167000950A KR 20167000950 A KR20167000950 A KR 20167000950A KR 20160019548 A KR20160019548 A KR 20160019548A
Authority
KR
South Korea
Prior art keywords
depth
refocus
information
image
user
Prior art date
Application number
KR1020167000950A
Other languages
English (en)
Inventor
징 쉬
아이동 장
창치 후
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160019548A publication Critical patent/KR20160019548A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시 예는 다중 심도 구간 재초점 방법, 장치 그리고 전자 장치를 제공한다. 방법은, 이미지를 표시 장치에 표시하는 단계; 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계; 재초점 처리된 이미지(refocused image)를 상기 표시 장치에 표시하기 위하여, 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계; 및 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계를 포함하며, 상기 적어도 2개의 불연속 심도 구간에서 각각의 심도 구간은 적어도 하나의 심도면(depth plane)으로 이루어지고, 각 심도면은 적어도 하나의 초점 픽셀을 포함하고, 동일한 심도면에 포함되는 초점 픽셀들에 대응하는 물점(object point)들의 심도는 동일하며, 상기 재초점 처리된 이미지는, 상기 표시된 이미지에서 상기 재초점 영역을 제외한 영역에 비해 시각적으로 구별 가능한 선명도 차이를 가진다. 그러므로 다중 심도 구간 재초점이 구현된다.

Description

다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치{METHOD AND DEVICE FOR REFOCUSING MULTIPLE DEPTH INTERVALS, AND ELECTRONIC DEVICE}
본 발명은 인간 컴퓨터 인터랙션(interaction) 및 이미지 처리의 기술에 관한 것으로, 특히, 다중 심도 구간 재초점(multi-depth-interval refocusing) 방법, 장치 그리고 전자 장치에 관한 것이다.
재초점은 사진이 형성된 후에 사용자 요구(user need)에 따라 사진의 초점면 또는 피사계 심도(depth-of-field)를 재선택하는 것을 나타낸다. 사진을 보는 경우, 보는 사람(viewer)은 사진사가 선택한 테마 풍경(themed scenery)을 수동적으로 보지 않고, 풍경을 선명하게 하기 위하여 관심 있는 풍경을 선택할 수 있다.
종래에 재초점 방법에 따라, 재초점은 단지 하나의 심도면(depth plane)에서 수행될 수 있다. 이러한 방법으로, 한번에 하나의 심도면에 대응하는 하나의 영역(area)만이 선택될 수 있다. 그러나 실제 애플리케이션(application)에서, 사용자는 다중 심도면 또는 하나 이상의 심도 구간에서 재초점을 수행할 필요가 있을 수 있으며, 기존 재초점 알고리즘은 사용자 요구를 충족시킬 수 없다. 버튼을 추가하거나 다중 레벨 메뉴를 설정하여도 이러한 문제를 잘 해결할 수 없으며, 사용자의 메모리 부하를 추가시킬 뿐이다. 그러므로 다중 심도 구간 재초점 방법이 시급하게 제시될 필요가 있다.
본 발명의 실시 예는 다중 심도 구간 재초점을 구현하는데 사용되는 다중 심도 방법, 장치 그리고 전자 장치를 제공한다.
제1 측면에 따르면, 본 발명의 실시 예는 다중 심도 구간 재초점 방법을 제공하며, 상기 방법은
사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간(interval)을 포함하는 재초점 영역(refocus area)을 결정하는 단계;
재초점 처리된 이미지(refocused image)를 상기 표시 장치에 표시하기 위하여, 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계; 및
상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계를 포함하고,
상기 적어도 2개의 불연속 심도 구간에서 각각의 심도 구간은 적어도 하나의 심도면(depth plane)으로 이루어지고, 각 심도면은 적어도 하나의 초점 픽셀을 포함하고, 동일한 심도면에 포함되는 초점 픽셀들에 대응하는 물점(object point)들의 심도는 동일하며, 상기 재초점 처리된 이미지는, 상기 표시된 이미지에서 상기 재초점 영역을 제외한 영역에 비해 시각적으로 구별 가능한 선명도 차이(definition difference)를 가진다.
제1 측면의 제1 가능 구현 방식에서, 상기 이미지를 표시 장치에 표시하는 단계는,
임의의 심도면에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하는 단계; 또는
임의의 심도 구간 내에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하는 단계를 포함한다.
제1 측면의 제2 가능 구현 방식에서, 상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
사용자에 의하여 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩 입력을 획득하고, 상기 적어도 2회의 싱글 포인트 슬라이딩에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -; 또는
다수의 손가락을 사용하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 분기(divergent) 다중포인트 슬라이딩을 획득하고, 각 회의 슬라이딩이 멈출 때 각 손가락이 위치되는 위치를 정점(vertex) 또는 측면(side)으로 사용하여 폐쇄된 그래픽 영역(closed graphic area)을 구성하며, 상기 다수의 손가락을 사용하여 상기 적어도 2회의 분기 다중포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 그리고 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 각 폐쇄된 그래픽 영역은 하나의 심도 구간에 대응함 -; 또는,
트레일(trail) 또는 폐쇄된 기하학적 그래픽(closed geometric graphic)을 획득하고, 상기 트레일 또는 폐쇄된 기하학적 그래픽을 상기 표시된 이미지의 다른 위치로 이동시키고, 원래 위치(original position) 및 상기 트레일 또는 상기 폐쇄 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 상기 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -; 또는,
적어도 2개의 포인트를 선택하기 위하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑(tapping)을 획득하고, 하나 이상의 미리 정의된 심도 구간 값에 따라 상기 포인트를 포함하는 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 상기 포인트 각각은 하나의 심도 구간에 대응함 -
를 포함하고, 상기 트레일 또는 폐쇄된 기하학적 그래픽은, 다수의 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치 스크린상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려진다.
제1 측면의 제3 가능 구현 방식에서, 상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자에 의하여 장치에 대해 수행되는 자세(posture) 동작을 검출하고, 상기 그래픽 객체를 사용하여 상기 자세 동작이 지나가는 경로를 마킹(marking)하고, 상기 그래픽 객체를 사용하여 마킹된 상기 경로를 사용하여 상기 재초점 영역을 획득하며, 상기 사용자가 상기 물리적 버튼 또는 상기 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 반복하는 단계; 또는
상기 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거시킬 경우, 상기 그래픽 객체의 현재 위치를 사용하여 상기 재초점 영역을 획득하며, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 상기 사용자에 의하여 반복하는 단계
를 포함하고, 상기 그래픽 객체는 상기 사용자에 의하여 장치에 대해 수행되는 자세 동작에 따라 대응하는 물리적 움직임을 수행하며,
상기 사용자에 의해 장치에 대해 수행되는 자세 동작을 검출하는 것은,
상기 사용자에 의하여 상기 장치에 대해 수행되는 옮김 동작(translation operation)을 획득하고, 상기 장치의 옮긴 거리(translation distance)를 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키며, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하는 단계; 또는,
상기 사용자에 의해 상기 장치에 대해 수행되는 기울기(tilting) 동작을 획득하고, 상기 장치의 경사각(tilt angle)을 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하는 단계를 포함한다.
제1 측면의 제4 가능 구현 방식에서, 상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
상기 표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하며, 상기 추적에 의하여 획득되며 상기 사용자의 손이 이동하는 상기 트레일에 따라 상기 그래픽 객체를 이동시키고, 상기 표시된 이미지의 영역으로서 상기 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 상기 적어도 2개의 불연속 심도 구간을 결정하며, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계; 또는,
사용자가 손바닥(palm)을 미는 동작을 모니터링 하고, 상기 손바닥을 미는 동작의 움직임(motion) 경로를 상기 표시된 이미지의 공간적 위치에 매핑시키며, 상기 매핑에 의해 획득된, 상기 표시된 이미지의 상기 공간적 위치에서 상기 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계를 포함한다.
제1 측면 내지 제1 측면의 제4 가능 구현 방식을 참조하여, 제5 가능 구현 방식에서, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 가지는 재초점 영역을 결정하는 단계 이후 및 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하기 위하여, 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계 이전에, 상기 방법은
상기 재초점 영역의 재초점 정보를 결정하는 단계를 더 포함하고,
이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하기 위하여 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계는,
합성(synthesis)에 의해 상기 재초점 처리된 이미지를 얻기 위하여, 상기 재초점 정보를 토대로 상기 재초점 영역 내의 상기 이미지에 대해 재초점 처리를 수행하고, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계를 포함한다.
제1 측면의 제5 가능 구현 방식에 따르면, 제6 가능 구현 방식에서, 상기 사용자 입력을 획득한 후에, 상기 방법은,
상기 사용자 입력에 따라, 상기 사용자에 의해 선택되는 상기 재초점 영역을 식별하는 데 사용되는 그래픽 객체를 생성하고, 상기 그래픽 객체를 표시하는 단계를 더 포함하고, 상기 그래픽 객체는 포인트, 라인(line), 원, 타원 또는 다각형을 포함하며,
이에 따라, 상기 재초점 영역의 재초점 정보를 결정하는 단계는,
상기 그래픽 객체가 포인트이면, 상기 포인트를 포함하는 심도 구간에 대한 정보 및/또는 상기 포인트를 포함하는 이미지 픽셀 구간(pixel interval)에 대한 정보를 미리 정의된 심도 구간 값에 따라 상기 재초점 정보로 사용하는 단계; 또는
상기 그래픽 객체가 라인이면, 상기 라인에 대응하는 심도 구간 정보 및/또는 상기 라인에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
상기 그래픽 객체가 원이면, 상기 원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
상기 그래픽 객체가 타원이면, 상기 타원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 타원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
상기 그래픽 객체가 다각형이면, 상기 다각형에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 다각형에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계를 포함한다.
제1 측면 내지 제1 측면의 제6 가능 구현 방식을 참조하여, 제7 가능 구현 방식에서, 상기 사용자 입력을 획득한 후에, 상기 방법은
상기 사용자에 입력에 따라 표시 정보를 결정하는 단계를 더 포함하고, 상기 표시 정보는 상기 재초점 처리된 이미지의 분기 중심(divergence center) 및/또는 표시 순서를 포함하며,
이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는, 구체적으로,
상기 분기 중심으로부터 시작하여 내부에서 외부로 또는 외부에서 내부로, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계; 또는, 상기 표시 순서에 따라 상기 재초점 처리된 이미지를 상기 표시 장치에 순차적으로 또는 대화식으로(interactively), 또는 동시에 표시하는 단계를 포함한다.
제1 측면의 제5 가능 구현 방식에 따르면 제8 가능 구현 방식에서, 상기 재초점 영역의 재초점 정보를 결정하는 단계는,
각 재조첨 영역에서 풍경(scenery)의 심도 구간 정보 및/또는 픽셀 구간 정보를 산출하고, 상기 심도 구간 정보 및/또는 상기 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계를 포함하고, 상기 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 상기 픽셀 구간 정보는 픽셀 좌표 정보, 강도(intensity) 정보, 색(color) 정보, 그리고 초점 정보 중 적어도 하나의 타입을 포함한다.
제1 측면의 제9 가능 구현 방식에서, 상기 재초점 영역의 재초점 정보를 결정하는 단계는,
상기 사용자 입력을 사용자 입력 케이스 세트(case set)에 매칭하고, 상기 사용자 입력에 따라, 상기 표시된 이미지에서 심도 구간 정보 및/또는 픽셀 구간 정보를 상기 재초점 정보로 결정하는 단계를 포함하고, 상기 심도 구간 정보 및/또는 픽셀 구간 정보는 상기 사용자 입력에 대응한다.
제1 측면의 제6 또는 제7 가능 구현 방식을 참조하여 제10 가능 구현 방식에서, 상기 재초점 영역의 재초점 정보를 결정하는 단계 이후에, 상기 방법은
상기 대응하는 심도 구간 정보, 상기 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도(depth-of-field) 정보를 상기 표시 장치에 표시하는 단계를 더 포함한다.
제1 측면의 제5 가능 구현 방식에 따르면, 제11 가능 구현 방식에서,
합성에 의해 상기 재초점 처리된 이미지를 얻기 위하여, 상기 재초점 정보를 토대로 상기 재초점 영역 내의 상기 이미지에 대해 재초점 처리를 수행하는 단계는,
재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를, 합성에 의해, 얻기 위하여, 상기 재초점 정보를 토대로, 상기 표시된 이미지에 대응하는 데이터를 처리하는 단계를 포함하고,
이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는, 재초점이 다중 심도면에서 동시에 수행되는 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행되는 다중 이미지를 표시하는 단계를 포함한다.
제1 측면의 제6 가능 구현 방식에 따르면, 제12 가능 구현 방식에서, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는,
상기 재초점 영역의 분기 중심에 대응하는 재초점 처리된 이미지부터 시작하는 미리 설정된 시퀀스(sequence)에 따라, 순차적으로 상기 재초점 처리된 이미지를 모두 표시하는 단계를 포함한다.
제1 측면의 제6 가능 구현 방식에 따르면, 제13 가능 구현 방식에서, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는,
미리 정의된 정보에 따라 상기 재초점 처리된 이미지를 표시하는 단계를 포함하고, 상기 미리 정의된 정보는 상기 미리 정의된 분기 중심, 상기 표시 순서, 그리고 상기 표시된 그래픽 객체를 포함한다.
제1 측면에 따르면, 본 발명의 실시 예는 다중 심도 구간 재초점 장치를 제공하며, 상기 장치는
이미지를 표시 장치에 표시하도록 구성되는 표시 모듈; 및
사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하도록 구성되는 처리 모듈
을 포함하고, 상기 적어도 2개의 불연속 심도 구간의 각각의 심도 구간은 적어도 하나의 심도면으로 이루어지고, 각각의 심도면은 적어도 하나의 초점 픽셀을 포함하며, 동일 심도면에 포함되는 초점 픽셀에 대응하는 물점의 심도는 동일하며,
상기 처리 모듈은 추가로, 상기 표시 장치에 재초점 처리된 이미지를 표시하기 위하여 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하도록 구성되고, 상기 재초점 처리된 이미지는 상기 표시된 이미지에서 상기 재초점 영역을 제외한 영역에 비해 시각적으로 구별가능한 선명도 차이를 가지며,
상기 표시 모듈은 추가로. 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하도록 구성된다.
제2 측면의 제1 가능 구현 방식에서, 상기 표시 모듈은 구체적으로,
임의의 심도면에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하도록 구성되거나, 또는
임의의 심도 구간 내에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하도록 구성된다.
제2 측면의 제2 가능 구현 방식에서, 상기 처리 모듈은 구체적으로,
사용자에 의하여 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩의 입력을 획득하고, 상기 적어도 2회의 싱글 포인트 슬라이딩에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -, 또는,
다수의 손가락을 사용하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 분기 다중포인트 슬라이딩을 획득하고, 각 회의 슬라이딩이 멈출 때 각 손가락이 위치되는 위치를 정점 또는 측면으로 사용하여 폐쇄된 그래픽 영역을 구성하며, 상기 다수의 손가락을 사용하여 상기 적어도 2회의 분기 다중포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하여 적어도 2개의 불연속 심도 구간들을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 각 폐쇄된 그래픽 영역은 하나의 심도 구간에 대응함 -, 또는,
트레일 또는 폐쇄된 기하학적 그래픽을 획득하고, 상기 트레일 또는 폐쇄된 기하학적 그래픽을 상기 표시된 이미지의 다른 위치로 이동시키고, 원래 위치 및 상기 트레일 또는 상기 폐쇄 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 그리고 상기 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -, 또는,
적어도 2개의 포인트를 선택하기 위하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑을 획득하고, 하나 이상의 미리 정의된 심도 구간 값에 따라 상기 포인트를 포함하는 적어도 2개의 불연속 심도 구간들을 상기 재초점 영역으로 결정하도록 구성되고 - 상기 포인트 각각은 하나의 심도 구간에 대응함 -, 상기 트레일 또는 폐쇄된 기하학적 그래픽은 다수 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치스크린상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려진다.
제2 측면의 제3 가능 구현 방식에서, 상기 처리 모듈은,
사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자에 의하여 장치에 대해 수행되는 자세 동작을 검출하고, 상기 그래픽 객체를 사용하여 상기 자세 동작이 지나가는 경로를 마킹하고, 상기 그래픽 객체를 사용하여 마킹된 상기 경로를 상기 재초점 영역으로 사용하며, 상기 사용자가 상기 물리적 버튼 또는 상기 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 반복하도록 구성되거나, 또는
상기 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거시킬 경우 상기 그래픽 객체의 현재 위치를 상기 재초점 영역으로 사용하도록 구성되어, 상기 사용자가 다음 재초점 영역을 선택하기 위해 상기 전술한 동작들을 반복하도록 된, 자세 센서부를 포함하고,
상기 자세 센서부는 구체적으로,
상기 사용자에 의하여 상기 장치에 대해 수행되는 옮김 동작을 획득하고, 상기 장치의 옮긴 거리를 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키며, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하도록 구성되거나, 또는,
상기 사용자에 의해 상기 장치에 대해 수행되는 기울기 동작을 획득하고, 상기 장치의 경사각을 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하도록 구성된다.
제2 측면의 제4 가능 구현 방식에 따르면, 상기 처리 모듈은,
상기 표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하고, 상기 추적에 의해 획득되며 상기 사용자의 손이 이동하는 상기 트레일에 따라 상기 그래픽 객체를 이동시키고, 상기 표시된 이미지에서의 영역으로서 상기 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나, 또는,
사용자가 손바닥을 미는 동작을 모니터링하고, 상기 손바닥을 미는 동작의 움직임 경로를 상기 표시된 이미지에서의 공간적 위치에 매핑시키고, 상기 매핑에 의해 획득된, 상기 표시된 이미지의 상기 공간적 위치에서 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간들을 상기 재초점 영역으로 결정하도록 구성되는, 액션 추적부를 포함한다.
제2 측면 내지 제4 가능 구현 방식을 참조하여, 제5 가능 구현 방식에서, 상기 처리 모듈은 추가로,
상기 재초점 영역의 재초점 정보를 결정하고, 합성에 의해 재초점 처리된 이미지를 얻기 위하여 상기 재초점 정보에 따라 상기 재초점 영역 내의 상기 이미지에 대하여 재초점 처리를 수행하도록 구성되며,
상기 표시 모듈은 추가로, 상기 표시 장치에 상기 재초점 영역을 표시하도록 구성된다.
제2 측면의 제5 가능 구현 방식에 따르면, 제6 가능 구현 방식에서, 상기 처리 모듈은 추가로,
상기 사용자 입력에 따라, 상기 사용자에 의해 선택되는 상기 재초점 영역을 식별하는 데 사용되는 그래픽 객체를 생성하고, 상기 그래픽 객체를 표시하도록 구성되고, 상기 그래픽 객체는 포인트, 라인, 원, 타원 또는 다각형을 포함하며,
상기 처리 모듈은 구체적으로,
상기 그래픽 객체가 포인트이면, 상기 포인트를 포함하는 심도 구간에 대한 정보 및/또는 상기 포인트를 포함하는 이미지 픽셀 구간에 대한 정보를 미리 정의된 심도 구간 값에 따라 상기 재초점 정보로 사용하도록 구성되거나, 또는
상기 그래픽 객체가 라인이면, 상기 라인에 대응하는 심도 구간 정보 및/또는 상기 라인에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나, 또는,
상기 그래픽 객체가 원이면, 상기 원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나 또는,
상기 그래픽 객체가 타원이면, 상기 타원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 타원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나, 또는,
상기 그래픽 객체가 다각형이면, 상기 다각형에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 다각형에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성된다.
제2 측면 내지 제2 측면의 제6 가능 구현 방식을 참조하여, 제7 가능 구현 방식에서, 상기 처리 모듈은 추가로, 상기 사용자의 입력에 따라 표시 정보를 결정하도록 구성되며, 상기 표시 정보는 상기 재초점 처리된 이미지의 분기 중심 및/또는 표시 순서를 포함하며,
상기 표시 장치는 구체적으로, 상기 분기 중심으로부터 시작하여 내부에서 외부로 또는 외부에서 내부로, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하도록 구성되거나, 또는, 상기 표시 순서에 따라 상기 재초점 처리된 이미지를 상기 표시 장치에 순차적으로 또는 대화식으로, 또는 동시에 표시하도록 구성된다.
제2 측면의 제4 가능 구현 방식에 따르면, 제8 가능 구현 방식에서, 상기 처리 모듈은, 각 재조첨 영역에서 풍경의 심도 구간 정보 및/또는 픽셀 구간 정보를 산출하고, 상기 심도 구간 정보 및/또는 상기 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되는 산출부를 더 포함하고, 상기 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 상기 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보, 그리고 초점 정보 중 적어도 하나의 타입을 포함한다.
제2 측면의 제9 가능 구현 방식에서, 상기 처리 모듈은 추가로,
상기 사용자 입력을 사용자 입력 케이스 세트에 매칭하고, 상기 사용자 입력에 따라, 상기 표시된 이미지에서 심도 구간 정보 및/또는 픽셀 구간 정보를 상기 재초점 정보로 결정하도록 구성되고, 상기 심도 구간 정보 및/또는 픽셀 구간 정보는 상기 사용자 입력에 대응한다.
제2 측면의 제5 또는 제6 가능 구현 방식을 참조하여, 제10 가능 구현 방식에서, 상기 표시 모듈은 추가로, 상기 대응하는 심도 구간 정보, 상기 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도 정보를 상기 표시 장치에 표시하도록 구성된다.
제2 측면의 제4 가능 구현 방식에 따르면, 제11 가능 구현 방식에서, 상기 처리 모듈은 구체적으로, 재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를, 합성에 의해, 얻기 위하여, 상기 재초점 정보를 토대로, 상기 표시된 이미지에 대응하는 데이터를 처리하도록 구성되고,
이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 것은, 재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를 표시하는 것을 포함한다.
제2 측면의 제4 가능 구현 방식에 따르면, 제12 가능 구현 방식에서, 상기 표시 모듈은 구체적으로,
상기 재초점 영역의 분기 중심에 대응하는 재초점 처리된 이미지부터 시작하는 미리 설정된 시퀀스에 따라, 순차적으로 상기 재초점 처리된 이미지를 모두 표시하도록 구성된다.
제2 측면의 제4 가능 구현 방식에 따르면, 제13 가능 구현 방식에서, 상기 표시 모듈은 구체적으로,
미리 정의된 정보에 따라 상기 재초점 처리된 이미지를 표시하도록 구성되고, 상기 미리 정의된 정보는 상기 미리 정의된 분기 중심, 상기 표시 순서, 그리고 상기 표시된 그래픽 객체를 포함한다.
제3 측면에 따르면, 본 발명의 실시 예는 전자 장치를 제공하며, 전자 장치는 적어도 하나의 프로세서, 메모리 컨트롤러, 주변 장비 인터페이스, 및 입력/출력 시스템을 포함하고, 상기 입력/출력 시스템은 적어도 하나의 표시 장치와 사용자 입력 장치에 연결되어 있으며, 제15항 내지 제28항 중 어느 한 항에 따른 상기 다중 심도 구간 재초점 장치를 더 포함한다.
제3 측면의 제1 가능 구현 방식에서, 상기 사용자 입력 장치는 터치스크린, 터치패드, 자세 센서, 및/또는 동작 추적 모듈이다.
제3 측면의 제2 가능 구현 방식에서, 상기 표시 장치는 재초점 인터랙션(interaction) 수행 전 또는 재초점 처리시, 이미지와 그래픽 객체를 표시하도록 구성된다.
본 발명의 실시 예에서 제공되는 재초점 방법, 장치 그리고 전자 장치에 따르면, 사용자 입력이 획득되고, 표시된 이미지에서 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역이 결정되고, 재초점 처리된 이미지를표시 장치에 표시하기 위하여, 재초점 영역 내의 이미지에 대해 재초점 처리가 수행되며, 재초점 처리된 이미지는 표시된 이미지에서 재초점 영역을 제외한 영역에 비하여 시각적으로 구별 가능한 선명도 차이를 가진다.
도 1은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 1의 흐름도이다.
도 2a는 본 발명에 따른 사용자 제스처(gesture)의 실시 예1의 개략도이다.
도 2b는 본 발명에 따른 사용자 제스처의 실시 예2의 개략도이다.
도 2c는 본 발명에 따른 사용자 제스처의 실시 예3의 개략도이다.
도 2d는 본 발명에 따른 사용자 제스처의 실시 예4의 개략도이다.
도 2e는 본 발명에 따른 사용자 제스처의 실시 예5의 개략도이다.
도 2f는 본 발명에 따른 사용자 제스처의 실시 예6의 개략도이다.
도 2g는 본 발명에 따른 사용자 제스처의 실시 예7의 개략도이다.
도 2h는 본 발명에 따른 사용자 제스처의 실시 예8의 개략도이다.
도 2i는 본 발명에 따른 사용자 제스처의 실시 예9의 개략도이다.
도 3은 본 발명에 따른 실시 예5의 흐름도이다.
도 4는 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예1의 개략적인 구조도이다.
도 5는 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예2의 개략적인 구조도이다.
도 6은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예3의 개략적인 구조도이다.
도 7은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예4의 개략적인 구조도이다.
본 발명의 실시 예들의 목적, 기술적 해결 방안 그리고 효과를 보다 명확하게 하기 위하여, 이하에 본 발명의 실시 예에서의 첨부도면을 참조하여 본 발명의 실시예의 기술적 해결방안을 명확하고 완전하게 설명한다. 명백히, 설명하는 실시예는 본 발명의 실시 예의 전부가 아니라 일부이다. 당업자가 본 발명의 실시 예에 기초하여 창의적인 노력 없이 얻은 모든 다른 실시 예는 본 발명의 보호 범위에 속한다.
본 발명의 실시 예에서 제공되는 다중 심도 구간 재초점 방법은 다음과 같은 시나리오에 적용될 수 있다. 시나리오는 촬상(imaging) 모듈을 가지는 장치에 대하여, 장치의 표시 모듈이 실시간으로 시나리오 이미지를 표시하고, 사용자가 본 발명에서 제공되는 다중 심도 구간 재초점 방법을 사용하여 장치를 통해 쌍방향 촬영 제어(interactive shooting control)를 수행하거나; 또는 프로젝터와 같이, 재초점 가능한 데이터를 수신하거나 저장하는 장치에 대하여, 사용자가 본 발명에서 제공되는 다중 심도 구간 재초점 방법을 사용하여 장치의 표시 모듈에 표시된 이미지에 대한 쌍방향 브라우징(interactive browsing)을 수행하는 것을 포함한다. 본 발명의 실시 예에서 언급되는 이미지는, 라이트필드 카메라(light-field camera)에 의해 획득되는 원래(original) 라이트필드 데이터에 의해 구성되는 이미지를 포함할 수 있으며, 연산(calculation) 처리가 수행된 후에 임의의 심도에서 재초점 처리된 이미지일 수 있으며, 전체 심도의 이미지일 수 있으며, 컴퓨터 수행 합성(computer performing synthesis)에 의하여 획득되는 가상 이미지일 수 있다.
도 1은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 1의 흐름도이다. 본 실시 예에서 방법은 다중 심도 구간 재초점 장치에 의해 실행되며, 장치는 일반적으로 하드웨어 및/또는 소프트웨어에 의해 구현되며, 전자 장치에 구성될 수 있다. 도 1에 도시된 바와 같이, 본 실시 예에서 제공되는 다중 심도 구간 재초점 방법은 다음과 같은 단계들을 포함한다.
단계 101: 표시 장치에 이미지를 표시한다.
구체적으로, 표시된 이미지는 심도면에 초점을 맞춘 이미지일 수 있으며, 또는 전체적으로 초점을 맞춘 이미지(fully focused image)일 수 있으며, 심도는 카메라에서 촬상 소자(imaging element)의 촬상면(imaging plane)과 풍경(scenery) 사이의 거리를 나타낸다. 표시된 이미지는 특정 알고리즘을 사용하여 라이트 필드 카메라로부터 수집된 데이터를 처리하여 얻어지는 이미지일 수 있음을 주목해야 한다. 라이트 필드 카메라의 주 렌즈와 이미지 센서 사이에 마이크로렌즈 어레이가 있으며, 각 마이크로 렌즈 어레이는 이미지 센서에 의해 기록되는 하나의 요소 이미지(element image)를 형성하며, 다중 요소 이미지는 하나의 이미지 어레이를 구성한다.
표시 장치에 이미지를 표시하는 단계는 임의의 심도면에 초점이 맞춰진 이미지를 표시 장치에 표시하는 단계; 또는 임의의 심도 구간내에 초점이 맞춰진 이미지를 표시 장치에 표시하는 단계를 포함한다.
단계(102): 사용자 입력을 획득하고, 표시된 이미지에서 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하고, 적어도 2개의 불연속 심도 구간에서 각 심도 구간은 적어도 하나의 심도면으로 이루어지고, 각 심도면은 적어도 하나의 초점 픽셀을 포함하며, 동일 심도면에 포함되는 초점 픽셀에 대응하는 물점(object point)들의 심도가 동일하다.
구체적으로, 사용자 입력은 사용자와 표시된 이미지 사이의 인터랙션 동작(operation of interaction)일 수 있으며, 또는 예를 들어, 명령어를 입력하는 사용자 정의 입력 방법일 수 있으며, 본 실시 예는 이에 한정되지 않는다. 전술한 사용자와 표시된 이미지 사이의 인터랙션 동작은 사용자에 의해 터치 스크린 상에서 수행되는 싱글 포인트 태핑(tapping), 다중 포인트 태핑, 싱글 포인트 슬라이딩, 또는 다중 포인트 슬라이딩의 입력일 수 있다. 다중 심도 구간 재초점 장치는 표시된 이미지에서 사용자의 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정할 수 있다.
단계(103): 표시 장치에 재초점 처리된 이미지를 표시하기 위하여, 재초점 영역내의 이미지에 대해 재초점 처리를 수행하며, 재초점 처리된 이미지는 표시된 이미지에서 재초점 영역을 제외한 영역에 비하여 시각적으로 구별 가능한 선명도(definition) 차이를 가진다.
구체적으로, 재초점 정보는 심도 구간 정보일 수 있으며, 또는 픽셀 구간 정보일 수 있으며, 또는 심도 구간 정보 및 픽셀 구간 정보를 모두 포함할 수 있다. 심도 구간 정보는 적어도 하나의 심도면을 포함하며, 심도 구간은 하나 이상의 연속하는 심도면에 의해 구성될 수 있으며; 픽셀 구간 정보는 픽셀 좌표 정보, 강도(intensity) 정보, 색 정보, 및 초점 정보 중 임의 하나 또는 여러 타입의 정보를 포함한다.
사용자에 의해 터치스크린 상에서 수행되는 싱글 포인트 태핑, 다중 포인트 태핑, 싱글 포인트 슬라이딩 또는 다중 포인트 슬라이딩의 입력을 획득한 다음에, 다중 심도 구간 재초점 장치는 재초점 영역의 재초점 정보를 결정하기 위하여, 재초점 영역의 초점 픽셀 좌표에 따라, 재초점 영역에서 초점 픽셀에 대응하는 원래 데이터를 처리할 수 있으며, 재초점 정보는 재초점 영역에서 초점 픽셀에 대응하는 물점의 심도, 재초점 영역에서 초점 픽셀의 시차(parallax), 재초점 영역에서 초점 픽셀에 대한 점상 강도 분포 함수(point spread function), 재초점 영역에서 초점 픽셀의 플레어 반경(flare radius), 또는 재초점 영역의 좌표 정보를 포함할 수 있다. 처리될 이미지들의 타입이 다르고 구현 방법이 다르기 때문에, 요구되는 재초점 정보 또한 다르다는 것을 주목해야 한다. 요구되는 재초점 정보는 전술한 재초점 정보 중의 한 타입일 수 있으며, 또는 전술한 재초점 정보의 임의 조합일 수 있다.
더욱이, 합성에 의해 획득되는 재초점 처리된 이미지는 이미지에 대해 재초점 동작을 수행하여 획득될 수 있으며, 또는 이미지에 대해 융합 슬라이싱 동작(fusion splicing operation)을 수행하여 획득될 수 있으며, 또는 이미지에 대해 재초점 및 융합 슬라이딩 동작 모두를 수행하여 획득될 수 있으며, 본 실시 예는 이것에 한정되지 않는다.
단계(104): 표시 장치에 재초점 처리된 이미지를 표시한다.
표시되는 재초점 처리된 이미지는 하나의 재초점 영역 내 모든 초점 픽셀들이 동시에 재초점 처리되는 것을 표시하는 이미지일 수 있으며, 또는 재초점 영역내 초점 픽셀들이 분기 중심(divergence center)으로부터 외부로 순차적으로 재초점 처리되는 것을 표시하는 이미지일 수 있으며, 또는 적어도 2개의 심도 구간을 포함하고, 가까운 심도, 중간 심도, 먼 심도, 심도 구간과 같은 것의 시퀀스에서 가까운 것으로부터 먼 것으로 또는 먼 것으로부터 가까운 것으로 순차적으로 표시되는 재초점 처리된 이미지일 수 있다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 사용자 입력이 획득되고, 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역이 표시된 이미지에서 사용자 입력에 따라 결정되고; 표시 장치에 재초점 처리된 이미지를 표시하기 위하여 재초점 영역 내에서 이미지에 대해 재초점 처리가 수행되며, 재초점 처리된 이미지는 표시된 이미지에서 재초점 영역을 제외한 영역에 비하여 시각적으로 구별 가능한 선명도 차이를 가지며, 이에 따라 다중 심도 구간 재초점을 구현한다.
도 1에 도시된 실시 예를 토대로, 본 실시 예에서, 단계(102)는 구체적으로, 도 2a에 도시된 바와 같이, 사용자에 의하여 터치 스크린상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩의 입력을 획득하고, 적어도 2개의 싱글 포인트에 대응하는 적어도 2개의 불연속 심도 구간을 결정하며, 그리고 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하는 단계 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -; 또는 다수 손가락을 이용하여 사용자에 의해 터치 스크린상에서 수행되는 적어도 2회의 분산 다중 포인트 슬라이딩을 획득하고, 도 2b, 도 2c, 도 2d, 도 2e, 도 2f, 및 도 2g에 도시된 바와 같이, 각 회의 슬라이딩 멈출 때 각 손가락이 위치되는 위치를 정점(vertex) 또는 측면(side)으로 사용하여 폐쇄된 그래픽 영역(closed graphic area)을 구성하며, 다수 손가락을 이용하여 적어도 2회의 분산 다중 포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하는 적어도 2개의 불연속 심도 구간을 결정하고, 그리고 적어도 2개의 불연속 심도 구간을 초점 영역으로 결정하는 단계 - 각 그래픽 영역은 하나의 심도 구간에 대응함 -; 또는 트레일(trail) 또는 폐쇄된 기하학적 그래픽(closed geometric graphic)을 획득하고, 도 2h에 도시된 바와 같이, 트레일 또는 폐쇄된 기하학적 그래픽을 표시된 이미지의 다른 위치로 이동시키고, 원래 위치 및 트레일 또는 폐쇄된 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 그리고, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하는 단계 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -; 또는 도 2i에 도시된 바와 같이, 적어도 2개의 포인트를 선택하기 위하여, 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑을 획득하고, 하나 이상의 미리 정의된 심도 값에 따라 포인트를 포함하는 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하는 단계 - 포인트 각각은 하나의 심도 구간에 대응함 -을 포함하며, 트레일 또는 폐쇄된 기하학적 그래픽은 다수의 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치스크린 상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려진다.
실제 애플리케이션 프로세스에서, 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 선택하기 위하여, 사용자는 하나의 손가락을 사용하여 터치스크린 상에서 순차적으로 다수 횟수의 싱글 포인트 태핑 또는 다수 횟수의 싱글 포인트 슬라이딩을 수행하며, 각 회의 싱글 포인트 태핑 또는 싱글 포인트 슬라이딩이 수행되는 경우 하나의 심도 구간을 포함하는 재초점 영역이 선택된다. 재초점 정보는 구체적으로, 각 심도 구간에서 가장 가까운 심도면(a nearest depth plane) 및 가장 먼 심도면(farthest depth plane) 그리고 모든 심도 구간이 선택되는 시퀀스일 수 있다. 사용자가 처음으로 싱글 포인트 태핑 또는 싱글 포인트 슬라이딩을 수행하는 경우, 재초점이 제1 선택된 심도 구간 내에서 수행된다. 사용자가 두 번째로 싱글 포인트 태핑 또는 싱글 포인트 슬라이딩을 수행하는 경우, 재초점이 제2 선택된 심도 구간 내에서 수행되며, 제1 심도 구간이 재초점 처리된 상태로 유지된다. 사용자가 다수 횟수의 싱글 포인트 태핑 또는 다수회의 싱글 포인트 슬라이딩을 수행하는 경우, 재초점이 적어도 2개의 불연속 심도 구간 내에서 수행된 이미지가 표시 스크린에 언제나 표시되거나; 또는 사용자에 의해 수행되는 모든 태핑 또는 슬라이딩 액션이 종료된 후에, 재초점이 모든 선택된 심도 구간 내에서 동시에 수행된 이미지가 표시될 수 있거나; 또는 재초점이 선택 순서에 따라 순차적으로 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 심도 구간을 포함하는 재초점 처리된 이미지가 형성되거나; 또는 재초점 처리가 심도 구간의 심도에 따라 가까운 것으로부터 먼 것으로 또는 먼 것으로부터 가까운 것으로 순차적으로 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 불연속 심도 구간을 포함하는 재초점 처리된 이미지가 형성된다.
사용자는 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 선택하기 위하여, 터치스크린 상에서 다중 포인트 태핑 또는 다중 포인트 슬라이딩을 동시에 수행한다. 각 손가락은 하나의 심도 구간을 포함하는 재초점 영역을 선택하며, 손가락의 슬라이딩 방향은 동일할 수 있거나 또는 다를 수 있다. 다중 재초점 영역은 부분적으로 또는 전체적으로 오버랩(overlap)될 수 있으며 또는 오버랩되지 않을 수 있다. 재초점 정보는 구체적으로 각 심도 구간에서 가장 가까운 심도면 및 가장 먼 심도면 그리고 모든 심도 구간이 선택되는 시퀀스일 수 있다. 표시되는 동안, 재초점이 모든 선택된 심도 구간내에서 동시에 수행되는 이미지가 표시될 수 있거나; 또는 재초점이 선택 순서에 따라 순차적으로 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 심도 구간을 포함하는 재초점 처리된 이미지가 형성되거나; 또는 재초점 처리가 심도 구간의 심도에 따라 가까운 것으로부터 먼 것으로 또는 먼 것으로부터 가까운 것으로 순차적으로 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 불연속 심도 구간을 포함하는 재초점 처리된 이미지가 형성된다.
사용자가 다수 손가락을 이용하여 다수 횟수의 분기 다중 포인트 슬라이딩을 수행하는 경우, 각 회마다 각 손가락을 사용하여 하나의 폐쇄된 기하학적 그래픽 영역, 예를 들어, 원형 영역 또는 다각형 영역이 그래픽의 정점 또는 측면으로 선택될 수 있다. 폐쇄된 기하학적 그래픽 영역은 하나의 심도 구간에 대응한다. 전술한 액션을 반복하여, 사용자는 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 선택할 수 있다. 재초점 정보는 각 심도 구간에서 가장 가까운 심도면 및 가장 먼 심도면, 기하학적 중심, 각 폐쇄된 기하학적 그래픽의 도심(centroid) 및 경계, 그리고 모든 심도 구간이 선택되는 시퀀스일 수 있다. 사용자가 처음으로 다수 손가락을 이용하여 분기 다중포인트 슬라이딩을 수행하는 경우, 재초점이 제1 선택된 심도 구간 내에서 수행되고, 사용자가 두 번째로 분기 다중 포인트 슬라이딩을 수행하는 경우, 재초점이 제2 선택된 심도 구간 내에서 수행되며, 제1 심도 구간이 재초점 처리된 상태로 유지된다. 사용자가 다수 손가락을 이용하여 다수 횟수의 다중 포인트 슬라이딩을 수행하는 경우, 재초점이 적어도 2개의 불연속 심도 구간 내에서 수행된 이미지가 표시 스크린에 언제나 표시되거나; 또는 사용자가 다수 손가락을 사용하여 모든 분기 다중 포인트 슬라이딩을 수행한 후에, 재초점이 모든 선택된 심도 구간 내에서 동시에 수행된 이미지가 표시될 수 있거나; 또는 재초점이 선택 순서에 따라 순차적으로 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 심도 구간을 포함하는 재초점 처리된 이미지가 형성되거나; 또는 재초점 처리가 심도 구간의 심도에 따라 가까운 것으로부터 먼 것으로 또는 먼 것으로부터 가까운 것으로 순차적으로, 선택된 심도 구간 내에서 수행되고, 최종적으로 적어도 2개의 불연속 심도 구간을 포함하는 재초점 처리된 이미지가 형성된다.
사용자가 다수 손가락 또는 하나의 손가락을 이용하여 다중 포인트 슬라이딩 또는 싱글 포인트 슬라이딩을 수행하는 경우, 트레일(trail)이 그려질 수 있으며 또는 폐쇄된 기하학적 그래픽이 그려질 수 있다. 그 다음에, 하나의 손가락을 사용하여 싱글 포인트 드래깅(dragging)을 수행하는 것에 의해, 트레일 또는 폐쇄된 기하학적 그래픽이 이미지에서 다른 위치로 이동된다. 전술한 액션은 트레일에 대해 또는 폐쇄된 기하학적 그래픽에 의해 포함되는 영역에서 재초점 동작을 구현할 수 있으며, 재초점 정보는 가장 가까운 심도면, 가장 먼 심도면, 싱글 포인트 드래깅의 경로, 그리고 폐쇄된 기하학적 그래픽의 도심(centroid), 기하학적 중심, 및 경계 중의 하나일 수 있다. 사용자가 트레일 또는 폐쇄된 기하학적 그래픽을 드래그(drag)하는 경우, 드래깅이 완료된 후에 이미지가 표시될 수 있으며, 이미지는 재초점이 트레일 또는 폐쇄된 기하학적 그래픽이 드래그 되는 경로에 의하여 커버되는 모든 영역 내에서 동시에 수행되는 이미지이거나; 또는 적어도 2개의 심도 구간을 포함하는 재초점 처리된 이미지가, 드래깅 동안 또는 드래깅 후에, 드래깅 경로에 따라 순차적으로 표시될 수 있거나: 또는 적어도 2개의 불연속 심도 구간을 포함하는 재초점 처리된 이미지가, 드래깅이 완료된 후에 심도 구간의 심도 순서에 따라 가까운 것으로부터 먼 것으로, 먼 것으로부터 가까운 것으로 순차적으로 표시될 수 있다.
사용자는 하나의 손가락을 사용하여 싱글 포인트 태핑을 수행하여 하나의 포인트를 선택하고, 그 다음에 미리 정의된 심도 구간 값 또는 사용자 정의된 심도 구간 값에 따라, 선택된 포인트를 포함하는 하나의 심도 구간을 선택한다. 사용자는 전술한 액션을 반복하거나 또는 다수 손가락을 이용한 동시적인 태핑을 수행하여, 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 선택할 수 있으며, 심도 구간 값은 심도 구간의 가장 가까운 심도면의 심도 및 심도 구간의 가장 먼 심도면의 심도일 수 있으며, 하나의 손가락을 이용하여 싱글 포인트 태핑을 수행하는 것에 의해 사용자에 의하여 선택된 포인트는 심도 구간의 임의 위치에 위치될 수 있으며, 재초점 정보는 싱글 포인트 태핑을 수행하는 것에 의해 사용자에 의해 선택된 포인트의 좌표일 수 있다.
더욱이, 사용자 입력이 터치스크린 상에서 획득된 후에, 사용자 입력에 대응하는 심도 구간 정보 또는 사용자 입력에 대응하는 픽셀 구간 정보 또는 두 개 모두가 사용자 입력 케이스 세트에 매칭되며 재초점 정보로 사용된다. 사용자 입력 과 사용자 입력 케이스 세트가 매칭되지 않으면, 대응하는 재초점 동작이 수행되지 않으며, 예를 들어, 프롬프트 텍스트(prompt text)를 표시하거나 또는 사운드 또는 진동을 이용하여 사용자에게 프롬프트 하거나; 또는 미리 설정된 시간 간격이 경과 된 후에, 사용자 입력이 다시 모니터링 되고, 전술한 프로세스가 반복되며, 본 실시 예는 이것에 한정되지 않는다.
사용자 입력은 사용자와 표시된 이미지 사이의 인터랙션 동작일 수 있으며, 또는 사용자에 의해 표시 장치에 대해 수행되는 자세 동작일 수 있고, 또는 표시 장치에 의해 모니터링 되는 사용자 액션일 수 있으며, 사용자 입력이 획득된 후에, 획득된 사용자 입력은 재초점 정보를 얻기 위하여 사용자 입력 집합과 매칭된다. 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 심도 구간은 하나 이상의 연속하는 심도면으로 이루어질 수 있으며; 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보 및 초점 정보 중 하나 또는 여러 타입의 정보를 포함한다.
재초점 영역은 폐쇄된 기하학적 그래픽 영역의 심도 구간에 대응하는 모든 영역일 수 있으며; 또는 폐쇄된 기하학적 그래픽 영역에서 선택된 심도 구간에 대응하는 영역에서, 폐쇄된 기하학적 그래픽에 의해 포함되는 서브영역일 수 있음을 주목해야 한다.
터치스크린은 다수 손가락 민감 터치스크린(multi-finger sensitive touchscreen)일 수 있으며, 또는 표시 장치에 연결된 다수 손가락 민감 터치패드일 수 있으며, 본 실시 예는 이것에 한정되지 않는다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 다중 심도 구간 재초점 장치가 사용자 손가락과 터치스크린 사이의 접촉(contact)을 검출하는 경우, 접촉량(quantity of contacts) 및 접촉 위치가 결정된다. 그 다음에 사용자 손가락이 이동하는지가 검출된다. 사용자 손가락이 이동하지 않으면, 선택된 재초점 영역에 대응하는 재초점 정보가 산출된다. 사용자 손가락이 이동하면, 이동 속도, 이동 방향, 이동 가속도, 그리고 이동 경로가 검출되고 추적되며, 이동 종료 여부가 결정되고, 이동이 종료되면, 접촉 및 이동의 조합에 대응하거나 또는 일련의 제스처(series of gestures)에 대응하는 재초점 정보가 산출되고, 또는 이동이 종료되지 않으면, 이동이 종료될 때까지 이동 경로의 검출이 계속된다. 최종적으로, 재초점 동작 또는 이미지 융합 슬라이싱 동작 또는 두 동작 모두가 연산에 의해 얻어지는 재초점 정보에 따라 각 이미지에 대해 수행되며, 재초점에 의해 얻어지는 사진(picture)이 표시 장치에 표시된다.
사용자가 재초점 모드를 사용할지를 선택할 수 있음을 주목해야 한다. 재초점 모드가 사용되면, 다중 심도 구간 재초점 장치는 사용자 입력에 따라 사진에 대해 대응하는 재초점 동작을 수행할 수 있으며, 사용자에 의해 수행되는 액션이 다중 심도 구간 재초점 장치에 의해 구별될 수 있는 액션에 속하지 않으면, 다중 심도 구간 재초점 장치는 예를 들어, 프롬프트 텍스트를 표시하고, 프롬프팅(prompting)을 위해 음성을 사용하거나 또는 진동을 사용하는 특정 방식으로 사용자에게 프롬프트 한다. 재초점 모드가 사용되지 않으면, 사용자에 의해 수행되는 액션은 다중 심도 구간 장치에 의해 구별될 수 있는 액션에 속할지라도 무시되며, 다중 심도 구간 장치는 다른 동작의 정상적인 사용에 영향을 주지 않고 이미지에 대해 재초점 동작을 수행하지 않는다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 표시된 이미지에 대해 사용자에 의해 인터랙티브 입력(interactive input)이 수행되고; 사용자 입력에 따라 재초점 영역이 결정되며; 그 다음에 재초점 영역 따라 재초점 정보가 결정되며; 합성에 의해 다중 심도 구간 재초점 처리된 이미지를 얻기 위하여, 표시된 이미지에 대응하는 데이터가 재초점 정보를 토대로 처리되며, 이에 따라 다중 심도 구간 재초점을 구현한다. 또한, 사용자는 다중 포인트 입력 방식으로 재초점 영역을 정할 수 있으며, 재초점이 동시에 수행되는 다중 심도 구간을 선택하고 표시할 수 있다.
도 1에 도시된 실시 예를 토대로, 본 실시 예에서, 단계(S102)는 구체적으로, 사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 표시 장치에 대응하는 그래픽 객체를 표시하고, 사용자에 의해 장치에 대해 수행되는 자세 동작을 검출하며, 그래픽 객체를 사용하여 자세 동작이 지나가는 경로를 마킹하고, 그래픽 객체를 사용하여 마킹된 경로를 이용하여 재초점 영역을 획득하고, 그리고 사용자 다시 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 전술한 액션을 반복하는 단계; 또는 그래픽 객체를 표시 장치에 표시하고, 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거(trigger)하는 경우, 그래픽 객체의 현재 위치를 사용하여 재초점 영역을 획득하며, 그리고 다음 재초점 영역을 선택하기 위하여 사용자에 의해 전술한 액션들을 반복하는 단계를 포함하며, 그래픽 객체는 사용자에 의해 장치에 대해 수행되는 자세 동작에 따라 대응하는 물리적 움직임을 수행한다.
사용자에 의해 장치에 대해 수행되는 자세 동작을 검출하는 것은, 사용자에 의해 장치에 대해 수행되는 옮김(translation) 동작을 획득하고, 장치의 옮긴 거리(translation distance)를 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 공간적 위치에서의 시나리오를 재초점 처리하는 단계; 또는 사용자에 의해 장치에 대해 수행되는 기울기(tilting) 동작을 획득하고, 장치의 경사각을 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 공간적 위치에서의 시나리오를 재초점 처리하는 단계를 포함한다.
자세 센서는 장치의 현재 완료된 3차원 자세(currently-complete 3D posture)를 재구성하기 위하여, 회전, 디플렉션(deflection), 또는 축 방향 움직임(axial motion)과 같은 장치의 액션 동안에, 장치의 방향, 방위각(azimuth), 가속도, 각 가속도 또는 이것들의 임의 조합을 검출할 수 있다. 예를 들어, 사용자가 장치를 앞으로 회전시키거나 장치를 사용자에게 가깝게 당기는 경우, 자세 센서는 장치의 현재 자세를 감지하고 현재 자세를 사용자 입력 케이스 세트에 매칭한다. 현재 자세와 사용자 입력 케이스 세트가 매칭되면, 이에 따라 가까운 거리의 시나리오의 재초점 처리된 이미지가 표시된다. 사용자가 장치를 뒤로 회전시키거나 장치를 멀리 미는 경우에, 자세 센서는 장치의 현재 위치를 감지하고 현재 위치를 사용자 입력 케이스 세트에 매칭한다. 현재 자세와 사용자 입력 케이스 세트가 매칭되면, 이에 따라 원격 시나리오의 재초점 처리된 이미지가 표시된다. 장치의 현재 이동 자세와 사용자 입력 케이스 세트가 매칭되지 않으면, 대응하는 재초점 동작이 수행되지 않으며, 예를 들어, 프롬프트 텍스트를 표시하거나 또는 사운드 또는 진동을 사용하여 사용자에게 프롬프트 하거나 또는, 미리 설정된 시간 간격이 경과 된 후에, 장치의 자세가 다시 모니터링 되고 전술한 프로세스가 반복된다.
구체적으로, 사용자는 장치를 앞으로(forward) 옮기는(translate) 경우, 이미지에서 배경(background) 또는 전경(foreground)이 재초점 처리되거나; 또는 사용자가 장치를 뒤로(backward) 옮기는 경우, 이미지에서 전경이나 배경이 재초점 처리된다. 다르게는(Alternatively), 사용자가 장치를 왼쪽으로 옮기는 경우, 이미지의 좌측 상의 객체 또는 이미지의 우측 상의 객체가 재초점 처리되거나; 또는 사용자가 장치를 오른쪽으로 옮기는 경우, 이미지의 우측 상의 객체 또는 이미지의 좌측 상의 객체가 재초점 처리된다. 장치의 왼쪽으로의 옮김(translation) 또는 오른쪽으로의 옮김에 대한 거리가 비례 관계에 따라 이미지에서 시나리오의 공간적 위치에 매핑될 수 있다. 공간적 위치가 적어도 2개의 불연속 심도 구간에 대응하며, X-Y 좌표 및/또는 심도 정보를 포함한다.
다르게는, 사용자는 장치를 앞으로 기울이며, 즉, 장치의 상부 가장자리(edge)가 앞이고 장치의 하부 가장자리가 뒤이고, 이미지에서 배경이나 전경이 재초점 처리되거나; 또는 사용자가 장치를 뒤로 기울이며, 즉, 장치의 상부 가장자리가 뒤이고 장치의 하부 가장자리가 앞이고, 이미지에서 전경이나 배경이 재초점 처리된다. 다르게는, 사용자는 장치를 좌측으로 기울이며, 즉, 장치의 좌측 가장자리가 앞이고 장치의 우측 가장자리가 뒤이고, 이미지의 좌측 상의 객체 또는 이미지의 우측 상의 객체가 재초점 처리되거나; 또는 사용자는 장치를 우측으로 기울이며, 즉, 장치의 우측 가장자리가 앞이고 장치의 좌측 가장자리가 뒤이며, 이미지의 우측 상의 객체 또는 이미지의 좌측 상의 객체가 재초점 처리된다. 기울기(tilting)는 단지 회전을 포함할 수 있으며, 또는 옮김(translation) 및 회전 모두를 포함할 수 있으며; 회전의 중심축은 이동 전화를 통하여 지나가는 가상 회전 축일 수 있으며, 또는 이동 전화 외부의 가상 회전 축일 수 있다. 예를 들어, 사용자의 손목 관절은 유지하고, 손바닥은 위로 하고, 손바닥을 좌우로 스윙한다. 장치의 경사각은 비례 관계에 따라 사진에서 시나리오의 공간적 위치에 매핑되고, 공간적 위치는 적어도 2개의 불연속 심도 구간에 대응하며, X-Y 좌표 및/또는 심도 정보를 포함한다.
다르게는, 사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체가 표시 장치에 표시되고, 이에 따라 그래픽 객체의 위치가 장치의 자세와 함께 변한다. 예를 들어, 사용자가 버튼을 터치하고 유지하는 경우, 원형 포인트가 표시 장치에 표시된다. 사용자가 장치의 자세를 변경할 수 있도록 장치를 조작하는 경우, 원형 포인트는 해당하는 물리적 움직임을 시뮬레이션하고, 재초점 영역을 선택하기 위하여 곡선과 같은 그래픽 객체를 사용하여 페인트붓(paintbrush) 처럼 경로를 마킹한다. 다르게는, 그래픽 객체가 표시 장치에 표시되고, 그래픽 객체는 장치의 자세 변화에 따라 대응하는 물리적 움직임을 수행한다. 그리고 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거 하는 경우, 그래픽 객체의 현재 위치에서 이미지 영역이 재초점 영역으로 선택된다. 옮긴 거리 및 회전 각도를 포함하는 장치의 자세 변화는 비례 관계에 따라 사진에서 시나리오의 공간적 위치에 매핑되고, 공간적 위치는 적어도 2개의 불연속 심도 구간에 대응하며, X-Y 좌표 및/또는 심도 정보를 포함한다.
사용자가 연속하는(continuous) 재초점 영역의 섹션(section)을 형성하기를 원하면, 기능을 지원하는 미리 설정된 버튼이 터치되고 유지될 수 있으며, 연속하는 재초점 영역의 섹션을 선택하기 위하여, 자세 센서를 가지는 장치가 동시에 회전되고 이동되며, 연속하는 재초점 영역은 적어도 2개의 불연속 심도 구간을 포함한다.
더욱이, 자세 센서는 자이로스코프(gyroscope), 가속도계, 자력계, 중력 센서 등을 포함할 수 있다. 전술한 자이로스코프는 장치의 디플렉션 및 기울기 동안에 각속도를 측정하며, 전술한 가속도계는 장치의 가속도의 크기 및 방향을 측정할 수 있으며, 전술한 자력계는 자계의 강도 및 방향을 측정할 수 있으며, 전술한 중력 센서는 무게(weight)의 중력 및 직교 방향에서 구성 요소 힘의 크기를 감지하여 수평 방향을 결정한다. 본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 자세 센서는 장치의 현재 움직임 자세를 획득하기 위하여, 각 방향에서 장치의 움직임 속도(motion rate), 움직임 방향, 가속도, 각 가속도, 중력 가속도, 또는 이들의 조합을 검출하며, 이에 따라 적어도 2개의 불연속 심도 구간을 포함하고 사용자에 의해 선택되는 재초점 영역을 결정한다.
위에 기술된 바로부터, 본 발명의 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 사용자에 의해 장치에 대해 수행하는 자세 동작을 검출하여, 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역이 결정되고, 그 다음에 재초점 정보가 결정되며; 그리고 합성에 의해 재초점 처리된 이미지를 얻고 재초점 처리된 이미지를 표시하기 위하여, 이미지에 대응하는 데이터가 처리되며, 이에 따라 다중 심도 구간 재초점을 구현함을 알 수 있다.
도 1에 도시된 실시 예를 토대로, 본 실시 예에서, 단계(S102)는 구체적으로,
표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하고, 추적에 의해 얻어지는 사용자의 손이 이동하는 트레일에 따라 그래픽 객체를 이동시키고, 표시된 이미지의 영역으로서 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 적어도 2개의 불연속 심도 구간을 결정하고, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하는 단계; 또는, 사용자가 손바닥을 미는 액션을 모니터링하고, 손바닥을 미는 액션의 움직임 경로를 표시된 이미지의 공간적 위치에 매핑하고, 매핑에 의해 획득된, 표시된 이미지의 공간적 위치에서 적어도 2개의 불연속 심도 구간을 결정하고, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하는 단계를 포함한다.
그래픽 객체가 표시 장치에 표시되고, 특정 공간적 위치에서 사용자 손이 이동하는 트레일이 추적되고, 추적에 의해 얻어지는 사용자의 손이 이동하는 트레일에 따라 그래픽 객체가 이동되며, 그래픽 객체의 이동 트레일에 의해 커버되는 표시된 이미지에서 적어도 2개의 불연속 심도 구간이 결정되고, 적어도 2개의 불연속 심도 구간이 재초점 영역으로 결정되며, 특정 공간적 영역을 벗어나는 손 이동은 유효하지 않은 이동으로 간주되고, 그래픽 객체의 위치를 변경하지 않으며; 또는 사용자가 특정 공간적 영역에서 손바닥을 미는 액션이 모니터링 되고, 손바닥을 미는 액션의 움직임 경로가 표시된 이미지에서 공간적 위치에 매핑되고, 매핑에 의해 획득되는 표시된 이미지에서 적어도 2개의 불연속 심도 구간이 결정되고, 적어도 2개의 불연속 심도 구간이 재초점 영역으로 결정되며, 특정 공간적 영역을 벗어나는 영역에서 손바닥을 미는 액션은 매핑이 수행되지 않는 유효하지 않은 액션으로 간주됨을 주목해야 한다.
구체적으로, 액션 추적 모듈이 사용자의 현재 액션을 수집하고 추적하며, 선택되는 적어도 하나의 재초점 영역을 결정하기 위하여 수집된 사용자 액션을 사용자 입력 케이스 세트에 매칭할 수 있다. 사용자 액션과 사용자 입력 케이스 세트가 매칭되지 않으면, 대응하는 재초점 동작은 수행되지 않으며, 예를 들어, 프롬프트 텍스트를 표시하거나 또는 사운드 또는 진동을 이용하여 사용자에게 프롬프트 하거나; 또는 미리 설정된 시간 간격이 경과 된 후에, 사용자 입력이 다시 모니터링 되고, 전술한 프로세스가 반복된다.
실현 가능한 구현 방식에서, 액션 추적 모듈은 카메라, 적외선 움직임 감지 장치(infrared motion sensing device) 등일 수 있다. 액션 추적 모듈은 동작 또는 명령(instruction)을 실행할 수 있으며, 동작 또는 명령은 사용자 액션을 수집하고 추적하는 데 관련된다. 사용자 액션은 손가락, 손바닥, 안구 또는 머리(head)를 사용하여, 액션 추적 모듈에 관해 수행되는 공간을 가로지르는 움직임일 수 있다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 액션 추적 모듈은 사용자 액션을 모니터링 하고 구별하며, 사용자 액션이 구별될 수 있으면 대응하는 재초점 동작이 수행되거나, 또는 사용자 액션이 구별될 수 없으면 미리 설정된 시간이 경과 된 후에 사용자 액션이 다시 모니터링 되고 전술한 프로세스가 반복된다.
예를 들어, 그래픽 객체가 표시 장치에 표시되고, 사용자가 장치를 흔들고, 그래픽 객체가 사용자의 흔들기(waving) 액션을 추적하고, 페인트붓처럼 그래픽 객체가 지나가는 영역을 재초점 영역으로 선택한다. 예를 들어, 사용자가 다중 폐쇄 된 원을 형성하기 위해 흔들면, 다중 폐쇄된 원이 표시 장치에 표시되고 선택된 폐쇄된 원을 재초점 영역으로 나타낸다. 다른 예를 들면, 사용자가 손을 이용하여 트레일을 그리면, 그래픽 객체가 사용자의 손의 액션을 추적하고, 페인트붓처럼 표시 스크린에 대응하는 트레일을 그리며, 여기서 트레일이 지나가는 영역이 재초점 영역이다. 사용자의 손의 움직임 경로가, 수학적 관계에 따라, X-Y 좌표 및/또는 심도 정보를 포함하는, 이미지에서 시나리오의 공간적 위치에 매핑된다.
다르게는, 사용자가 손을 앞으로 밀면 전경이 재초점 처리되고, 사용자가 손을 뒤로 밀면 배경이 재초점 처리되며, 사용자가 왼쪽으로 흔들면 좌측의 객체가 재초점 처리되고, 또는 사용자가 오른쪽으로 흔들면 우측의 객체가 재초점 처리된다. 사용자의 손의 움직임 경로가, 수학적 관계에 따라, X-Y 좌표 및/또는 심도 정보를 포함하는, 이미지에서 시나리오의 공간적 위치에 매핑된다.
인터랙티브 입력이 사용자에 의해 표시되는 이미지에 대해 수행되고; 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역이 사용자 액션 검출에 의해 결정되고, 그 다음에 재초점 정보가 결정되며; 합성에 의해 재초점 처리된 이미지를 얻고 재초점 처리된 이미지를 표시하기 위하여, 이미지에 대응하는 데이터가 처리되며, 이에 따라 다중 심도 구간 재초점을 구현한다.
도 3은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 5의 흐름도이다. 본 실시 예에서 방법은 다중 심도 구간 재초점 장치에 의해 실행되며, 장치는 일반적으로 하드웨어 및/또는 소프트웨어에 의해 구현되며, 전자 장치에 구성될 수 있다. 도 3에 도시된 바와 같이, 본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에서, 도 1에 도시된 실시 예를 토대로, 본 실시 예에서 제공되는 방법은 다음의 단계들을 포함한다.
단계(201): 이미지를 표시 장치에 표시한다.
단계(202) : 사용자 입력을 획득하고, 표시된 이미지에서 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정한다.
본 단계에서, 사용자에 의해 선택되는 재초점 영역을 구별하기 위해 사용되는 그래픽 객체는 사용자 입력에 따라 생성될 수 있으며 그리고 표시되고, 그래픽 객체는 포인트, 라인, 원, 타원 또는 다각형을 포함한다.
단계(203): 재초점 영역의 재초점 정보를 결정한다.
단계(202)에 대응하여, 그래픽 객체가 포인트이면, 포인트를 포함하는 심도 구간에 대한 정보 또는 포인트를 포함하는 이미지 픽셀 구간에 대한 정보 또는 두 정보 모두가 미리 정의된 심도 구간 값에 따라 재초점 정보로 사용되거나; 또는, 그래픽 객체가 라인이면, 라인에 대응하는 심도 구간 정보 또는 라인에 대응하는 픽셀 구간 정보 또는 두 정보 모두가 재초점 정보로 사용되거나; 또는, 그래픽 객체가 원이면, 원에 포함되는 영역에 대응하는 심도 구간 정보 또는 원에 포함되는 영역에 대응하는 픽셀 구간 정보 또는 두 정보 모두가 재초점 정보로 사용되거나; 또는, 그래픽 객체가 타원이면, 타원에 포함되는 영역에 대응하는 심도 구간 정보 또는 타원에 포함되는 영역에 대응하는 픽셀 구간 정보 또는 두 정보 모두가 재초점 정보로 사용되거나; 또는, 그래픽 객체가 다각형이면, 다각형에 포함되는 영역에 대응하는 심도 구간 정보 또는 다각형에 포함되는 영역에 대응하는 픽셀 구간 정보 또는 두 정보 모두가 재초점 정보로 사용된다.
본 단계에서, 각 재조첨 영역에서 풍경(scenery)의 심도 구간 정보 및/또는 픽셀 구간 정보가 또한 산출되고 재초점 정보로 사용될 수 있으며, 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보, 그리고 초점 정보 중 임의 하나 또는 여러 타입의 정보를 포함한다.
선택적으로, 대응하는 심도 구간 정보, 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도(depth-of-field) 정보가 또한 표시 장치에 표시될 수 있다.
단계(204): 사용자 입력에 따라 표시 정보를 결정하고, 표시 정보는 재초점 처리된 이미지의 분기 중심 및/또는 표시 순서를 포함한다.
본 실시 예에서, 단계(203)와 단계(204)의 시퀀스는 한정되지 않는다. 실제 애플리케이션 프로세스에서, 표시 정보는 먼저 사용자 입력에 따라 결정될 수 있으며, 그 다음에 재초점 정보가 사용자 입력에 따라 결정되거나; 또는 재초점 정보가 먼저 사용자 입력에 따라 결정될 수 있으며, 그 다음에 표시 정보가 사용자 입력에 따라 결정되며, 본 실시 예는 이것에 한정되지 않는다.
분기 중심은 사용자 입력에 따라 선택되는 영역에서의 포인트일 수 있으며, 또는 트레일의 시작 포인트 일 수 있으며, 또는 터치 스크린이 탭 되는 경우 선택되는 미리 설정된 범위의 포인트 일 수 있다. 분기 중심은 선택적일 수 있으며, 또는 미리 정의될 수 있는 것으로 결정된다. 표시 순서는 사용자 입력에 따라 선택되는 순서일 수 있으며, 예를 들어, 가까운 것에서부터 먼 것으로 또는 먼 것에서부터 가까운 것으로와 같은 심도면의 심도 순서일 수 있다. 표시 순서는 선택적일 수 있으며, 미리 정의된 표시 순서는 표시 순서로서 사용될 수 있는 것이 결정된다.
단계(205): 합성에 의해 재초점 처리된 이미지를 얻기 위하여, 재초점 정보를 토대로, 재초점 영역 내의 이미지에 대해 재초점 처리를 수행한다.
구체적으로, 실제 애플리케이션에서, 합성에 의해 재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중이미지를 얻기 위하여, 재초점 정보를 토대로, 표시된 이미지에 대응하는 데이터가 처리될 수 있으며; 그리고 이에 따라 재초점 처리된 이미지를 표시 장치에 표시하는 것은, 재초점이 다중 심도면에서 동시에 수행되는 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행되는 다중 이미지를 표시하는 것을 포함한다.
단계(206): 분기 중심으로부터 시작하여 내부에서 외부로 또는 외부에서 내부로, 재초점 처리된 이미지를 표시 장치에 표시하거나; 또는 표시 순서에 따라 재초점 처리된 이미지를 표시 장치에 순차적으로 또는 대화식으로(interactively), 또는 동시에 표시한다.
표시 장치가 재초점 처리된 이미지를 표시하는 경우, 모든 재초점 처리된 이미지가 재초점 영역의 분기 중심에 대응하는 재초점 처리된 이미지부터 시작하여 미리 설정된 시퀀스에 따라 순차적으로 표시될 수 있으며; 또는 재초점 처리된 이미지가 미리 정의된 정보에 따라 표시되며, 미리 정의된 정보는 미리 정의된 분기 중심, 표시 순서, 그리고 표시되는 그래픽 객체를 포함하며, 본 실시 예는 이러한 것에 한정되지 않는다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 사용자 입력이 획득된 후에, 분기 중심 또는 표시 순서 또는 두 개 모두가 결정되어, 재초점 처리된 이미지가 특정 방식으로 표시되도록 한다.
본 실시 예에서 제공되는 다중 심도 구간 재초점 방법에 따라, 인터랙티브 입력이 사용자에 의해 표시된 이미지에 대해 수행되며; 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역이 사용자 입력에 따라 결정되고; 합성에 의해 재초점 처리된 이미지를 얻고 재초점 처리된 이미지를 표시하기 위하여, 이미지에 대응하는 데이터가 처리되며, 이에 따라 다중 심도 구간 재초점을 구현한다.
도 4는 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 1의 개략적인 구조도이다. 도 4에 도시된 바와 같이, 본 실시 예에서 제공되는 다중 심도 구간 재초점 장치는 표시 모듈(11) 및 처리 모듈(12)을 포함한다.
표시 모듈(11)은 이미지 및 재초점 처리된 이미지를 표시 장치에 표시하도록 구성된다.
처리 모듈(12)은 사용자 입력을 획득하고, 표시된 이미지에서 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하도록 구성되거나; 또는 재초점 처리된 이미지를 표시 장치에 표시하기 위하여, 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하도록 구성되며, 적어도 2개의 불연속 심도 구간에서 각각의 심도 구간은 적어도 하나의 심도면으로 이루어지고, 각 심도면은 적어도 하나의 초점 픽셀을 포함하고, 동일한 심도면에 포함되는 초점 픽셀들에 대응하는 물점들의 심도는 동일하며, 재초점 처리된 이미지는 표시된 이미지에서 재초점 영역을 제외한 영역에 비해 시각적으로 구별 가능한 선명도 차이를 가진다.
표시 모듈(11)은 구체적으로, 임의의 심도면에 초점이 맞춰진 이미지를 표시 장치에 표시하도록 구성되거나; 또는 임의의 심도 구간 내에 초점이 맞춰진 이미지를 표시 장치에 표시하도록 구성된다. 표시되는 재초점 처리된 이미지는 재초점 영역내 모든 초점 픽셀들이 동시에 재초점 처리되는 것을 표시하는 이미지일 수 있으며; 또는 재초점 영역 내 초점 픽셀이 분기 중심으로부터 외부로 순차적으로 재초점 처리되는 것을 표시하는 이미지일 수 있으며, 액션의 시작 포인트는 표시 정보의 분기 중심이며; 또는 적어도 2개의 불연속 심도 구간을 포함하고, 적어도 2개의 심도 구간 내에서 가장 가까운 심도, 중간 심도, 가장 먼 심도 그리고 심도 구간 같은 것의 시퀀스에서 가까운 것으로부터 먼 것으로 또는 먼 것으로부터 가까운 것으로, 순차적으로 표시되는 재초점 처리된 이미지일 수 있다.
본 실시 예에서 다중 심도 구간 재초점 장치는 도 1에 도시된 방법 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 다중 심도 구간 재초점 장치의 구현 원리 및 기술적 효과는 방법 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
전술한 실시 예를 토대로, 본 실시 예에서 제공되는 다중 심도 구간 재초점 장치에서, 구체적으로, 처리 모듈(12)은 추가로, 사용자에 의하여 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩 입력을 획득하고, 적어도 2회의 싱글 포인트 슬라이딩에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성되거나 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -; 또는 다수의 손가락을 사용하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 분기 다중포인트 슬라이딩을 획득하고, 각 회의 슬라이딩이 멈출 때 각 손가락이 위치되는 위치를 정점 또는 측면으로 사용하여 폐쇄된 그래픽 영역을 구성하며, 다수의 손가락을 사용하여 적어도 2회의 분기 다중포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 그리고 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성되거나 - 각 폐쇄된 그래픽 영역은 하나의 심도 구간에 대응함 -; 또는 트레일 또는 폐쇄된 기하학적 그래픽을 획득하고, 트레일 또는 폐쇄된 기하학적 그래픽을 표시된 이미지의 다른 위치로 이동시키고, 원래 위치 및 트레일 또는 폐쇄 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성되거나 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -; 또는, 적어도 2개의 포인트를 선택하기 위하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑을 획득하고, 하나 이상의 미리 정의된 심도 구간 값에 따라 포인트를 포함하는 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성될 수 있으며 - 포인트 각각은 하나의 심도 구간에 대응함 -, 트레일 또는 폐쇄된 기하학적 그래픽은, 다수의 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치스크린상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려진다.
터치스크린 상에서 사용자 입력을 획득한 후에, 처리 모듈(12)은 사용자 입력에 대응하는 심도 구간 정보 및/또는 사용자 입력에 대응하는 픽셀 구간 정보를 사용자 입력 케이스 세트에 매칭하고, 심도 구간 정보 및/또는 픽셀 구간 정보를 재초점 정보로 사용한다. 사용자 입력과 사용자 입력 케이스 세트가 매칭되지 않으면, 대응하는 재초점 동작이 수행되지 않으며, 예를 들어, 프롬프트 텍스트를 표시하거나 또는 사운드 또는 진동을 이용하여 사용자에게 프롬프트 하거나; 또는 미리 설정된 시간 간격이 경과 된 후에, 사용자 입력이 다시 모니터링 되고, 전술한 프로세스가 반복되며, 본 실시 예는 이것에 한정되지 않는다.
처리 모듈(12)에 의해 획득되는 사용자 입력은 사용자와 표시된 이미지 사이의 인터랙션 동작일 수 있으며, 또는 사용자에 의해 표시 장치에서 수행되는 자세 동작일 수 있고, 또는 표시 장치에 의해 모니터링 되는 사용자 액션일 수 있으며, 사용자 입력이 획득된 후에, 획득된 사용자 입력은 재초점 정보를 얻기 위하여 사용자 입력 세트와 매칭됨을 주목해야 된다. 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 심도 구간은 하나 이상의 연속하는 심도면으로 이루어질 수 있으며; 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보, 그리고 초점 정보 중 임의 하나 또는 여러 타입의 정보를 포함한다.
재초점 영역은 폐쇄된 기하학적 그래픽 영역의 심도 구간에 대응하는 모든 영역일 수 있으며 또는 폐쇄된 기하학적 그래픽 영역에서 선택되는 심도 구간에 대응하는 영역에서, 폐쇄된 기하학적 그래픽에 의해 포함되는 서브영역일 수 있음을 주목해야 한다.
본 실시 예에서 다중 심도 구간 재초점 장치는 전술한 방법 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 다중 심도 구간 재초점 장치의 구현 원리 및 기술적 효과는 전술한 방법 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
도 5는 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 2의 개략적인 구조도이다. 도 5에 도시된 바와 같이, 전술한 실시 예를 토대로, 본 실시 예에서 제공되는 다중 심도 구간 재초점 장치에서, 전술한 처리 모듈(12)은 자세 센서부(21)를 더 포함할 수 있으며, 자세 센서부(12)는 사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체를 표시 장치에 표시하고, 사용자에 의하여 장치에 대해 수행되는 자세 동작을 검출하고, 그래픽 객체를 사용하여 자세 동작이 지나가는 경로를 마킹하고, 그래픽 객체를 사용하여 마킹된 경로를 사용하여 재초점 영역을 획득하며, 사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 전술한 액션들을 반복하도록 구성되거나; 또는 그래픽 객체를 표시 장치에 표시하고, 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거시킬 경우, 그래픽 객체의 현재 위치를 사용하여 재초점 영역을 획득하도록 구성되며, 사용자는 다음 재초점 영역을 선택하기 위하여 전술한 액션들을 반복한다.
자세 센서부(21)는 구체적으로, 사용자에 의하여 장치에 대해 수행되는 옮김 동작을 획득하고, 장치의 옮긴 거리를 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키며, 그리고 공간적 위치에서의 시나리오를 재초점 처리하도록 구성되거나; 또는 사용자에 의해 장치에 대해 수행되는 기울기 동작을 획득하고, 장치의 경사각을 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 그리고 공간적 위치에서의 시나리오를 재초점 처리하도록 구성된다.
실제 애플리케이션 프로세스에서, 자세 센서부(21)는 장치의 현재 완료된 3차원 자세를 재구성하기 위하여, 회전, 디플렉션, 또는 축 방향 움직임과 같은 장치의 액션 동안에, 장치의 방향, 방위각, 가속도, 각 가속도 또는 이것들의 임의 조합을 검출할 수 있다.
예를 들어, 사용자가 장치를 앞으로 회전시키거나 장치를 사용자에게 가깝게 당기는 경우, 자세 센서는 장치의 현재 자세를 감지하고 현재 자세를 사용자 입력 케이스 세트에 매칭한다. 현재 자세와 사용자 입력 케이스 세트가 매칭되면, 이에 따라 가까운 거리에서의 시나리오의 재초점 처리된 이미지가 표시된다. 사용자가 장치를 뒤로 회전시키거나 장치를 멀리 미는 경우에, 자세 센서부(21)는 장치의 현재 위치를 감지하고 현재 위치를 사용자 입력 케이스 세트에 매칭한다. 현재 자세 와 사용자 입력 케이스 세트가 매칭되면, 이에 따라 원격 시나리오의 재초점 처리된 이미지가 표시된다. 장치의 현재 이동 자세와 사용자 입력 케이스 세트가 매칭되지 않으면, 해당하는 재초점 동작이 수행되지 않으며, 예를 들어, 프롬프트 텍스트를 표시하거나 또는 사운드 또는 진동을 사용하여 사용자에게 프롬프트 하거나, 또는 미리 설정된 시간 간격이 경과 된 후에, 장치의 자세가 다시 모니터링 되고 전술한 프로세스가 반복된다.
본 실시 예에서 다중 심도 구간 재초점 장치는 전술한 방법 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 다중 심도 구간 재초점 장치의 구현 원리 및 기술적 효과는 전술한 방법 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
도 6은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 3의 개략적인 구조도이다. 도 6에 도시된 바와 같이, 전술한 실시 예를 토대로, 본 실시 예에서 제공되는 다중 심도 구간 재초점 장치에서, 전술한 처리 모듈(12)은 액션 추적부(22)를 더 포함할 수 있으며, 액션 추적부(22)는 표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하며, 추적에 의하여 획득되며 사용자의 손이 이동하는 트레일에 따라 그래픽 객체를 이동시키고, 표시된 이미지의 영역으로서 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 적어도 2개의 불연속 심도 구간을 결정하며, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성되거나; 또는 사용자가 손바닥을 미는 동작을 모니터링 하고, 손바닥을 미는 동작의 움직임 경로를 표시된 이미지의 공간적 위치에 매핑시키며, 매핑에 의해 획득된, 표시된 이미지의 공간적 위치에서 적어도 2개의 불연속 심도 구간을 결정하고, 적어도 2개의 불연속 심도 구간을 재초점 영역으로 결정하도록 구성된다.
그래픽 객체가 표시 장치에 표시되고, 특정 공간적 위치에서 사용자 손이 이동하는 트레일이 추적되고, 추적에 의해 얻어지는 사용자의 손이 이동하는 트레일에 따라 그래픽 객체가 이동되며, 그래픽 객체의 이동 트레일에 의해 커버되는 표시된 이미지에서 적어도 2개의 불연속 심도 구간이 결정되고, 적어도 2개의 불연속 심도 구간이 재초점 영역으로 결정되며, 특정 공간적 영역을 벗어나는 이동은 유효하지 않은 이동으로 간주되고, 그래픽 객체의 위치를 변경하지 않으며; 또는 사용자가 특정 공간적 영역에서 손바닥을 미는 액션이 모니터링 되고, 손바닥을 미는 액션의 움직임 경로가 표시된 이미지에서 공간적 위치에 매핑되고, 매핑에 의해 획득되는 표시된 이미지에서 적어도 2개의 불연속 심도 구간이 결정되고, 적어도 2개의 불연속 심도 구간이 재초점 영역으로 결정되며, 특정 공간적 영역을 벗어나는 영역에서 손바닥을 미는 액션은 매핑이 수행되지 않는 유효하지 않은 액션으로 간주됨을 주목해야 한다.
구체적으로, 액션 추적부(22)가 사용자의 현재 액션을 수집하고 추적하며, 선택되는 적어도 하나의 재초점 영역을 결정하기 위하여 수집된 사용자 액션을 사용자 입력 케이스 세트에 매칭한다. 사용자 액션과 사용자 입력 케이스 세트가 매칭되지 않으면, 해당하는 재초점 동작은 수행되지 않으며, 예를 들어, 프롬프트 텍스트를 표시하거나 또는 사운드 또는 진동을 이용하여 사용자에게 프롬프트 하거나; 또는 미리 설정된 시간 간격이 경과 된 후에, 사용자 입력이 다시 모니터링 되고, 전술한 프로세스가 반복된다.
실현 가능한 구현 방식에서, 액션 추적 모듈은 카메라, 적외선 움직임 감지 장치 등일 수 있다. 액션 추적 모듈은 동작 또는 명령을 실행할 수 있으며, 동작 또는 명령은 사용자 액션을 수집하고 추적하는 데 관련된다. 사용자 액션은 손가락, 손바닥, 안구 또는 머리(head)를 사용하여 액션 추적 모듈에 관해 수행되는 공간을 가로지르는 움직임일 수 있다.
본 실시 예에서 다중 심도 구간 재초점 장치는 전술한 방법 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 다중 심도 구간 재초점 장치의 구현 원리 및 기술적 효과는 전술한 방법 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
도 7은 본 발명에 따른 다중 심도 구간 재초점 방법의 실시 예 4의 개략적인 구조도이다. 도 7에 도시된 바와 같이, 전술한 실시 예를 토대로, 본 실시 예에서 제공되는 다중 심도 구간 재초점 장치에서, 전술한 처리 모듈(12)은 추가로, 사용자 입력에 따라, 사용자에 의해 선택되는 재초점 영역을 구별하기 위해 사용되는 그래픽 객체를 생성하고, 그래픽 객체를 표시할 수 있으며, 그래픽 객체는 포인트, 라인, 원, 타원, 또는 다각형을 포함한다.
그래픽 객체가 포인트이면, 처리 모듈(12)은 포인트를 포함하는 심도 구간에 대한 정보 및/또는 포인트를 포함하는 이미지 픽셀 구간에 대한 정보를 미리 정의된 심도 구간 값에 따라 재초점 정보로 사용할 수 있으며; 또는 그래픽 객체가 라인이면, 처리 모듈(12)은 라인에 대응하는 심도 구간 정보 및/또는 라인에 대응하는 픽셀 구간 정보를 재초점 정보로 사용할 수 있으며; 또는 그래픽 객체가 원이면, 처리 모듈(12)은 원을 포함하는 영역에 대응하는 심도 구간 정보 및/또는 원을 포함하는 영역에 대응하는 픽셀 구간 정보를 재초점 정보로 사용할 수 있으며; 또는 그래픽 객체가 타원이면, 처리 모듈(12)은 타원을 포함하는 영역에 대응하는 심도 구간 정보 및/또는 타원을 포함하는 영역에 대응하는 픽셀 구간 정보를 재초점 정보로 사용할 수 있으며; 또는 그래픽 객체가 다각형이면, 처리 모듈(12)은 다각형을 포함하는 영역에 대응하는 심도 구간 정보 및/또는 다각형을 포함하는 영역에 대응하는 픽셀 구간 정보를 재초점 정보로 사용할 수 있다.
처리 모듈(12)은 산출부(23)를 더 포함할 수 있으며, 산출부(23)는 각 초점 영역에서 풍경의 심도 구간 정보 및/또는 픽셀 구간 정보를 산출하고, 심도 구간 정보 및/또는 픽셀 구간 정보를 재초점 정보로 사용하도록 구성되며, 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보, 그리고 초점 정보 중 임의 하나 또는 여러 타입의 정보를 포함한다.
표시 모듈(11)은 추가로 대응하는 심도 구간 정보, 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도 정보를 표시하도록 구성될 수 있다.
본 실시 예에서 다중 심도 구간 재초점 장치는 전술한 방법 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 다중 심도 구간 재초점 장치의 구현 원리 및 기술적 효과는 전술한 방법 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
본 실시 예에서 제공되는 전자 장치는 적어도 하나의 프로세서, 메모리 컨트롤러, 주변 장비 인터페이스 그리고 입력/출력 시스템을 포함할 수 있으며, 전술한 실시 예들의 임의 하나에 따른 다중 심도 구간 재초점 장치를 더 포함할 수 있다. 입력/출력 시스템은 적어도 하나의 표시 장치 및 사용자 입력 장치에 연결된다.
사용자 입력 장치는 터치스크린, 터치패드, 자세 센서 및/또는 액션 추적 모듈일 수 있으며, 전술한 표시 장치는 재초점 인터랙션 전에 또는 재초점 프로세스에서, 이미지 및 그래픽 객체를 표시하도록 구성될 수 있다.
본 실시 예에서 제공되는 전자 장치는 임의 실시 예의 기술적 해결 방안을 실행하도록 구성될 수 있으며, 전자 장치의 구현 원리 및 기술적 효과는 임의 실시 예의 것들과 유사하며, 여기서는 상세한 설명을 생략한다.
당업자라면 방법 실시 예들의 모든 또는 일부 단계들이 프로그램 명령 관련 하드웨어에 의하여 구현될 수 있음을 이해할 수 있다. 프로그램은 컴퓨터로 판독가능한 저장 매체에 저장될 수 있다. 프로그램이 실행되면, 방법 실시 예들의 단계들이 수행된다. 전술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광학 디스크 등과 같이, 프로그램 코드를 저장할 수 있는 어떠한 매체도 포함한다.
최종적으로, 전술한 실시 예들은 본 발명을 한정하기보다는 단지 본 발명의 기술적 해결 방안을 기술하기 위하여 의도된 것임을 주목해야 한다. 본 발명이 전술한 실시 예들을 참조로 하여 구체적으로 기술되어 있다 하더라도, 당업자는 전술한 실시 예들에 기술된 기술적 해결 방안을 변경할 수 있으며, 또는 그 기술적 해결 방안 모두 또는 일부에 대한 균등물 대체를 할 수 있으며, 이러한 변경 및 대체는 해당하는 기술적 해결 방안의 필수 요소가 본 발명의 실시 예들의 기술적 해결 방안의 보호 범위로부터 벗어나지 않도록 해야 한다.

Claims (31)

  1. 이미지를 표시 장치에 표시하는 단계;
    사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간(interval)을 포함하는 재초점 영역(refocus area)을 결정하는 단계;
    재초점 처리된 이미지(refocused image)를 상기 표시 장치에 표시하기 위하여, 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계; 및
    상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계
    를 포함하고,
    상기 적어도 2개의 불연속 심도 구간에서 각각의 심도 구간은 적어도 하나의 심도면(depth plane)으로 이루어지고, 각 심도면은 적어도 하나의 초점 픽셀을 포함하고, 동일한 심도면에 포함되는 초점 픽셀들에 대응하는 물점(object point)들의 심도는 동일하며,
    상기 재초점 처리된 이미지는, 상기 표시된 이미지에서 상기 재초점 영역을 제외한 영역에 비해 시각적으로 구별 가능한 선명도 차이(definition difference)를 가지는, 다중 심도 구간 재초점 방법.
  2. 제1항에 있어서,
    상기 이미지를 표시 장치에 표시하는 단계는,
    임의의 심도면에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하는 단계; 또는
    임의의 심도 구간 내에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  3. 제1항에 있어서,
    상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
    사용자에 의하여 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩 입력을 획득하고, 상기 적어도 2회의 싱글 포인트 슬라이딩에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -; 또는
    다수의 손가락을 사용하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 분기(divergent) 다중포인트 슬라이딩을 획득하고, 각 회의 슬라이딩이 멈출 때 각 손가락이 위치되는 위치를 정점(vertex) 또는 측면(side)으로 사용하여 폐쇄된 그래픽 영역(closed graphic area)을 구성하며, 상기 다수의 손가락을 사용하여 상기 적어도 2회의 분기 다중포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하여 적어도 2개의 불연속 심도 구간을 결정하고, 그리고 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 각 폐쇄된 그래픽 영역은 하나의 심도 구간에 대응함 -; 또는,
    트레일(trail) 또는 폐쇄된 기하학적 그래픽(closed geometric graphic)을 획득하고, 상기 트레일 또는 폐쇄된 기하학적 그래픽을 상기 표시된 이미지의 다른 위치로 이동시키고, 원래 위치(original position) 및 상기 트레일 또는 상기 폐쇄 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 상기 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -; 또는,
    적어도 2개의 포인트를 선택하기 위하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑(tapping)을 획득하고, 하나 이상의 미리 정의된 심도 구간 값에 따라 상기 포인트를 포함하는 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계 - 상기 포인트 각각은 하나의 심도 구간에 대응함 -
    를 포함하고,
    상기 트레일 또는 폐쇄된 기하학적 그래픽은, 다수의 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치 스크린상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려지는,
    다중 심도 구간 재초점 방법.
  4. 제1항에 있어서
    상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
    사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자에 의하여 장치에 대해 수행되는 자세(posture) 동작을 검출하고, 상기 그래픽 객체를 사용하여 상기 자세 동작이 지나가는 경로를 마킹(marking)하고, 상기 그래픽 객체를 사용하여 마킹된 상기 경로를 사용하여 상기 재초점 영역을 획득하며, 상기 사용자가 상기 물리적 버튼 또는 상기 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 반복하는 단계; 또는
    상기 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거시킬 경우, 상기 그래픽 객체의 현재 위치를 사용하여 상기 재초점 영역을 획득하며, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 상기 사용자에 의하여 반복하는 단계
    를 포함하고,
    상기 그래픽 객체는 상기 사용자에 의하여 장치에 대해 수행되는 자세 동작에 따라 대응하는 물리적 움직임을 수행하며,
    상기 사용자에 의해 장치에 대해 수행되는 자세 동작을 검출하는 것은,
    상기 사용자에 의하여 상기 장치에 대해 수행되는 옮김 동작(translation operation)을 획득하고, 상기 장치의 옮긴 거리(translation distance)를 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키며, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하는 단계; 또는,
    상기 사용자에 의해 상기 장치에 대해 수행되는 기울기(tilting) 동작을 획득하고, 상기 장치의 경사각(tilt angle)을 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  5. 제1항에 있어서
    상기 사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 포함하는 재초점 영역을 결정하는 단계는,
    상기 표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하며, 상기 추적에 의하여 획득되며 상기 사용자의 손이 이동하는 상기 트레일에 따라 상기 그래픽 객체를 이동시키고, 상기 표시된 이미지의 영역으로서 상기 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 상기 적어도 2개의 불연속 심도 구간을 결정하며, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계; 또는,
    사용자가 손바닥(palm)을 미는 동작을 모니터링하고, 상기 손바닥을 미는 동작의 움직임(motion) 경로를 상기 표시된 이미지의 공간적 위치에 매핑시키며, 상기 매핑에 의해 획득된, 상기 표시된 이미지의 상기 공간적 위치에서 상기 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서
    상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간을 가지는 재초점 영역을 결정하는 단계 이후 및 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하기 위하여, 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계 이전에,
    상기 재초점 영역의 재초점 정보를 결정하는 단계
    를 더 포함하고,
    이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하기 위하여 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하는 단계는,
    합성(synthesis)에 의해 상기 재초점 처리된 이미지를 얻기 위하여, 상기 재초점 정보를 토대로 상기 재초점 영역 내의 상기 이미지에 대해 재초점 처리를 수행하고, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  7. 제6항에 있어서,
    상기 사용자 입력을 획득한 후에,
    상기 사용자 입력에 따라, 상기 사용자에 의해 선택되는 상기 재초점 영역을 식별하는 데 사용되는 그래픽 객체를 생성하고, 상기 그래픽 객체를 표시하는 단계
    를 더 포함하고,
    상기 그래픽 객체는 포인트, 라인(line), 원, 타원 또는 다각형을 포함하며,
    이에 따라, 상기 재초점 영역의 재초점 정보를 결정하는 단계는,
    상기 그래픽 객체가 포인트이면, 상기 포인트를 포함하는 심도 구간에 대한 정보 및/또는 상기 포인트를 포함하는 이미지 픽셀 구간(pixel interval)에 대한 정보를 미리 정의된 심도 구간 값에 따라 상기 재초점 정보로 사용하는 단계; 또는
    상기 그래픽 객체가 라인이면, 상기 라인에 대응하는 심도 구간 정보 및/또는 상기 라인에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
    상기 그래픽 객체가 원이면, 상기 원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
    상기 그래픽 객체가 타원이면, 상기 타원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 타원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계; 또는,
    상기 그래픽 객체가 다각형이면, 상기 다각형에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 다각형에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 사용자 입력을 획득한 후에,
    상기 사용자에 입력에 따라 표시 정보를 결정하는 단계
    를 더 포함하고,
    상기 표시 정보는 상기 재초점 처리된 이미지의 분기 중심(divergence center) 및/또는 표시 순서를 포함하며,
    이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는, 구체적으로,
    상기 분기 중심으로부터 시작하여 내부에서 외부로 또는 외부에서 내부로, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계; 또는,
    상기 표시 순서에 따라 상기 재초점 처리된 이미지를 상기 표시 장치에 순차적으로 또는 대화식으로(interactively), 또는 동시에 표시하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  9. 제6항에 있어서,
    상기 재초점 영역의 재초점 정보를 결정하는 단계는,
    각 재조첨 영역에서 풍경(scenery)의 심도 구간 정보 및/또는 픽셀 구간 정보를 산출하고, 상기 심도 구간 정보 및/또는 상기 픽셀 구간 정보를 상기 재초점 정보로 사용하는 단계
    를 포함하고,
    상기 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 상기 픽셀 구간 정보는 픽셀 좌표 정보, 강도(intensity) 정보, 색(color) 정보, 그리고 초점 정보 중 적어도 하나의 타입을 포함하는, 다중 심도 구간 재초점 방법.
  10. 제1항에 있어서
    상기 재초점 영역의 재초점 정보를 결정하는 단계는,
    상기 사용자 입력을 사용자 입력 케이스 세트(case set)에 매칭하고, 상기 사용자 입력에 따라, 상기 표시된 이미지에서 심도 구간 정보 및/또는 픽셀 구간 정보를 상기 재초점 정보로 결정하는 단계
    를 포함하고,
    상기 심도 구간 정보 및/또는 픽셀 구간 정보는 상기 사용자 입력에 대응하는, 다중 심도 구간 재초점 방법.
  11. 제7항 또는 제8항에 있어서
    상기 재초점 영역의 재초점 정보를 결정하는 단계 이후에,
    상기 대응하는 심도 구간 정보, 상기 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도(depth-of-field) 정보를 상기 표시 장치에 표시하는 단계
    를 더 포함하는, 다중 심도 구간 재초점 방법.
  12. 제6항에 있어서,
    합성에 의해 상기 재초점 처리된 이미지를 얻기 위하여, 상기 재초점 정보를 토대로 상기 재초점 영역 내의 상기 이미지에 대해 재초점 처리를 수행하는 단계는,
    재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를, 합성에 의해, 얻기 위하여, 상기 재초점 정보를 토대로, 상기 표시된 이미지에 대응하는 데이터를 처리하는 단계
    를 포함하고,
    이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는,
    재초점이 다중 심도면들에서 동시에 수행되는 하나의 이미지 또는 재초점이 다중 심도면들에서 동시에 수행되는 다중 이미지를 표시하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  13. 제7항에 있어서,
    상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는,
    상기 재초점 영역의 분기 중심에 대응하는 재초점 처리된 이미지부터 시작하는 미리 설정된 시퀀스(sequence)에 따라, 순차적으로 상기 재초점 처리된 이미지를 모두 표시하는 단계
    를 포함하는, 다중 심도 구간 재초점 방법.
  14. 제7항에 있어서,
    상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 단계는,
    미리 정의된 정보에 따라 상기 재초점 처리된 이미지를 표시하는 단계
    를 포함하고,
    상기 미리 정의된 정보는 상기 미리 정의된 분기 중심, 상기 표시 순서, 그리고 상기 표시된 그래픽 객체를 포함하는, 다중 심도 구간 재초점 방법.
  15. 이미지를 표시 장치에 표시하도록 구성되는 표시 모듈; 및
    사용자 입력을 획득하고, 상기 표시된 이미지에서 상기 사용자 입력에 따라 적어도 2개의 불연속 심도 구간(interval)을 포함하는 재초점 영역을 결정하도록 구성되는 처리 모듈
    을 포함하고,
    상기 적어도 2개의 불연속 심도 구간의 각각의 심도 구간은 적어도 하나의 심도면으로 이루어지고, 각각의 심도면은 적어도 하나의 초점 픽셀을 포함하며, 동일 심도면에 포함되는 초점 픽셀에 대응하는 물점의 심도는 동일하며,
    상기 처리 모듈은 추가로, 상기 표시 장치에 재초점 처리된 이미지를 표시하기 위하여 상기 재초점 영역 내의 이미지에 대해 재초점 처리를 수행하도록 구성되고, 상기 재초점 처리된 이미지는 상기 표시된 이미지에서 상기 재초점 영역을 제외한 영역에 비해 시각적으로 구별가능한 선명도 차이를 가지며,
    상기 표시 모듈은 추가로. 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  16. 제15항에 있어서,
    상기 표시 모듈은 구체적으로,
    임의의 심도면에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하도록 구성되거나, 또는
    임의의 심도 구간 내에 초점이 맞춰진 이미지를 상기 표시 장치에 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  17. 제15항에 있어서,
    상기 처리 모듈은 구체적으로,
    사용자에 의하여 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 슬라이딩의 입력을 획득하고, 상기 적어도 2회의 싱글 포인트 슬라이딩에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 싱글 포인트 슬라이딩의 각 회는 하나의 심도 구간에 대응함 -, 또는,
    다수의 손가락을 사용하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 분기 다중포인트 슬라이딩을 획득하고, 각 회의 슬라이딩이 멈출 때 각 손가락이 위치되는 위치를 정점 또는 측면으로 사용하여 폐쇄된 그래픽 영역을 구성하며, 상기 다수의 손가락을 사용하여 상기 적어도 2회의 분기 다중포인트 슬라이딩을 수행하여 구성되는 적어도 2개의 그래픽 영역에 대응하여 적어도 2개의 불연속 심도 구간들을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 각 폐쇄된 그래픽 영역은 하나의 심도 구간에 대응함 -, 또는,
    트레일 또는 폐쇄된 기하학적 그래픽을 획득하고, 상기 트레일 또는 폐쇄된 기하학적 그래픽을 상기 표시된 이미지의 다른 위치로 이동시키고, 원래 위치 및 상기 트레일 또는 상기 폐쇄 기하학적 그래픽의 이동된 위치에 대응하여 적어도 2개의 불연속 심도 구간을 결정하며, 그리고 상기 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나 - 각 트레일 또는 각 폐쇄된 기하학적 그래픽은 하나의 심도 구간에 대응함 -, 또는,
    적어도 2개의 포인트를 선택하기 위하여 사용자에 의해 터치스크린 상에서 수행되는 적어도 2회의 싱글 포인트 태핑을 획득하고, 하나 이상의 미리 정의된 심도 구간 값에 따라 상기 포인트를 포함하는 적어도 2개의 불연속 심도 구간들을 상기 재초점 영역으로 결정하도록 구성되고 - 상기 포인트 각각은 하나의 심도 구간에 대응함 -,
    상기 트레일 또는 폐쇄된 기하학적 그래픽은 다수 손가락을 사용하여 터치스크린 상에서 다중포인트 슬라이딩을 수행하거나, 하나의 손가락을 사용하여 터치스크린상에서 싱글 포인트 슬라이딩을 수행하는 것에 의해 사용자에 의하여 그려지는, 다중 심도 구간 재초점 장치.
  18. 제15항에 있어서
    상기 처리 모듈은,
    사용자가 물리적 버튼 또는 그래픽 버튼을 터치하고 유지하는 경우, 대응하는 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자에 의하여 장치에 대해 수행되는 자세 동작을 검출하고, 상기 그래픽 객체를 사용하여 상기 자세 동작이 지나가는 경로를 마킹하고, 상기 그래픽 객체를 사용하여 마킹된 상기 경로를 상기 재초점 영역으로 사용하며, 상기 사용자가 상기 물리적 버튼 또는 상기 그래픽 버튼을 터치하고 유지하는 경우, 다음 재초점 영역을 선택하기 위하여 상기 전술한 동작들을 반복하도록 구성되거나, 또는
    상기 그래픽 객체를 상기 표시 장치에 표시하고, 상기 사용자가 물리적 버튼 또는 그래픽 버튼을 트리거시킬 경우 상기 그래픽 객체의 현재 위치를 상기 재초점 영역으로 사용하도록 구성되어, 상기 사용자가 다음 재초점 영역을 선택하기 위해 상기 전술한 동작들을 반복하도록 된, 자세 센서부
    를 포함하고,
    상기 자세 센서부는 구체적으로,
    상기 사용자에 의하여 상기 장치에 대해 수행되는 옮김 동작을 획득하고, 상기 장치의 옮긴 거리를 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키며, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하도록 구성되거나, 또는,
    상기 사용자에 의해 상기 장치에 대해 수행되는 기울기 동작을 획득하고, 상기 장치의 경사각을 상기 표시된 이미지에서 시나리오의 공간적 위치에 매핑시키고, 그리고 상기 공간적 위치에서의 상기 시나리오를 재초점 처리하도록 구성되는, 다중 심도 구간 재초점 장치.
  19. 제15항에 있어서,
    상기 처리 모듈은,
    상기 표시 장치에 그래픽 객체를 표시하고, 사용자의 손이 이동하는 트레일을 추적하고, 상기 추적에 의해 획득되며 상기 사용자의 손이 이동하는 상기 트레일에 따라 상기 그래픽 객체를 이동시키고, 상기 표시된 이미지에서의 영역으로서 상기 그래픽 객체의 이동 트레일에 의해 커버되는 영역에서 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간을 상기 재초점 영역으로 결정하도록 구성되거나, 또는,
    사용자가 손바닥을 미는 동작을 모니터링하고, 상기 손바닥을 미는 동작의 움직임 경로를 상기 표시된 이미지에서의 공간적 위치에 매핑시키고, 상기 매핑에 의해 획득된, 상기 표시된 이미지의 상기 공간적 위치에서 적어도 2개의 불연속 심도 구간을 결정하고, 상기 적어도 2개의 불연속 심도 구간들을 상기 재초점 영역으로 결정하도록 구성되는, 액션 추적부
    를 포함하는, 다중 심도 구간 재초점 장치.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 처리 모듈은 추가로,
    상기 재초점 영역의 재초점 정보를 결정하고, 합성에 의해 재초점 처리된 이미지를 얻기 위하여 상기 재초점 정보에 따라 상기 재초점 영역 내의 상기 이미지에 대하여 재초점 처리를 수행하도록 구성되며,
    상기 표시 모듈은 추가로, 상기 표시 장치에 상기 재초점 영역을 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  21. 제20항에 있어서,
    상기 처리 모듈은 추가로,
    상기 사용자 입력에 따라, 상기 사용자에 의해 선택되는 상기 재초점 영역을 식별하는 데 사용되는 그래픽 객체를 생성하고, 상기 그래픽 객체를 표시하도록 구성되고,
    상기 그래픽 객체는 포인트, 라인, 원, 타원 또는 다각형을 포함하며,
    상기 처리 모듈은 구체적으로,
    상기 그래픽 객체가 포인트이면, 상기 포인트를 포함하는 심도 구간에 대한 정보 및/또는 상기 포인트를 포함하는 이미지 픽셀 구간에 대한 정보를 미리 정의된 심도 구간 값에 따라 상기 재초점 정보로 사용하도록 구성되거나, 또는
    상기 그래픽 객체가 라인이면, 상기 라인에 대응하는 심도 구간 정보 및/또는 상기 라인에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나, 또는,
    상기 그래픽 객체가 원이면, 상기 원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나 또는,
    상기 그래픽 객체가 타원이면, 상기 타원에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 타원에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되거나, 또는,
    상기 그래픽 객체가 다각형이면, 상기 다각형에 포함되는 영역에 대응하는 심도 구간 정보 및/또는 상기 다각형에 포함되는 영역에 대응하는 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되는, 다중 심도 구간 재초점 장치.
  22. 제15항 내지 제21항 중 어느 한 항에 있어서,
    상기 처리 모듈은 추가로, 상기 사용자의 입력에 따라 표시 정보를 결정하도록 구성되며, 상기 표시 정보는 상기 재초점 처리된 이미지의 분기 중심 및/또는 표시 순서를 포함하며,
    상기 표시 장치는 구체적으로,
    상기 분기 중심으로부터 시작하여 내부에서 외부로 또는 외부에서 내부로, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하도록 구성되거나, 또는,
    상기 표시 순서에 따라 상기 재초점 처리된 이미지를 상기 표시 장치에 순차적으로 또는 대화식으로, 또는 동시에 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  23. 제20항에 있어서,
    상기 처리 모듈은,
    각 재조첨 영역에서 풍경의 심도 구간 정보 및/또는 픽셀 구간 정보를 산출하고, 상기 심도 구간 정보 및/또는 상기 픽셀 구간 정보를 상기 재초점 정보로 사용하도록 구성되는 산출부
    를 더 포함하고,
    상기 심도 구간 정보는 적어도 하나의 심도면을 포함하고, 상기 픽셀 구간 정보는 픽셀 좌표 정보, 강도 정보, 색 정보, 그리고 초점 정보 중 적어도 하나의 타입을 포함하는, 다중 심도 구간 재초점 장치.
  24. 제15항에 있어서
    상기 처리 모듈은 추가로,
    상기 사용자 입력을 사용자 입력 케이스 세트에 매칭하고, 상기 사용자 입력에 따라, 상기 표시된 이미지에서 심도 구간 정보 및/또는 픽셀 구간 정보를 상기 재초점 정보로 결정하도록 구성되고,
    상기 심도 구간 정보 및/또는 픽셀 구간 정보는 상기 사용자 입력에 대응하는, 다중 심도 구간 재초점 장치.
  25. 제21항 또는 제22항에 있어서
    상기 표시 모듈은 추가로,
    상기 대응하는 심도 구간 정보, 상기 대응하는 픽셀 구간 정보, 그리고 대응하는 피사계 심도 정보를 상기 표시 장치에 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  26. 제20항에 있어서,
    상기 처리 모듈은 구체적으로,
    재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를, 합성에 의해, 얻기 위하여, 상기 재초점 정보를 토대로, 상기 표시된 이미지에 대응하는 데이터를 처리하도록 구성되고,
    이에 따라, 상기 재초점 처리된 이미지를 상기 표시 장치에 표시하는 것은,
    재초점이 다중 심도면에서 동시에 수행된 하나의 이미지 또는 재초점이 다중 심도면에서 동시에 수행된 다중 이미지를 표시하는 것을 포함하는, 다중 심도 구간 재초점 장치.
  27. 제21항에 있어서,
    상기 표시 모듈은 구체적으로,
    상기 재초점 영역의 분기 중심에 대응하는 재초점 처리된 이미지부터 시작하는 미리 설정된 시퀀스에 따라, 순차적으로 상기 재초점 처리된 이미지를 모두 표시하도록 구성되는, 다중 심도 구간 재초점 장치.
  28. 제21항에 있어서,
    상기 표시 모듈은 구체적으로,
    미리 정의된 정보에 따라 상기 재초점 처리된 이미지를 표시하도록 구성되고,
    상기 미리 정의된 정보는 상기 미리 정의된 분기 중심, 상기 표시 순서, 그리고 상기 표시된 그래픽 객체를 포함하는, 다중 심도 구간 재초점 장치.
  29. 적어도 하나의 프로세서,
    메모리 컨트롤러,
    주변 장비 인터페이스, 및
    입력/출력 시스템
    을 포함하고,
    상기 입력/출력 시스템은 적어도 하나의 표시 장치와 사용자 입력 장치에 연결되어 있으며,
    제15항 내지 제28항 중 어느 한 항에 따른 상기 다중 심도 구간 재초점 장치를 더 포함하는, 전자 장치.
  30. 제29항에 있어서
    상기 사용자 입력 장치는 터치스크린, 터치패드, 자세 센서, 및/또는 동작 추적 모듈인, 전자 장치.
  31. 제30항에 있어서
    상기 표시 장치는 재초점 인터랙션(interaction) 수행 전 또는 재초점 처리시, 이미지와 그래픽 객체를 표시하도록 구성되는, 전자 장치.
KR1020167000950A 2013-07-10 2014-06-17 다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치 KR20160019548A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310288099.5 2013-07-10
CN201310288099.5A CN104281397B (zh) 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备
PCT/CN2014/080053 WO2015003544A1 (zh) 2013-07-10 2014-06-17 多深度区间的重聚焦方法、装置及电子设备

Publications (1)

Publication Number Publication Date
KR20160019548A true KR20160019548A (ko) 2016-02-19

Family

ID=52256322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000950A KR20160019548A (ko) 2013-07-10 2014-06-17 다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치

Country Status (6)

Country Link
US (1) US10203837B2 (ko)
EP (1) EP3021206B1 (ko)
JP (1) JP6369842B2 (ko)
KR (1) KR20160019548A (ko)
CN (1) CN104281397B (ko)
WO (1) WO2015003544A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
CN105335950B (zh) * 2014-05-28 2019-02-12 华为技术有限公司 图像处理方法和图像处理装置
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
EP3151534A1 (en) 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
JP6752681B2 (ja) * 2016-10-19 2020-09-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体
WO2018096775A1 (ja) * 2016-11-28 2018-05-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN107783704B (zh) * 2017-09-27 2021-07-23 北京小米移动软件有限公司 图片效果的调整方法、装置及终端
CN108063894B (zh) * 2017-12-22 2020-05-12 维沃移动通信有限公司 一种视频处理方法及移动终端
CN108600623B (zh) * 2018-04-20 2020-07-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262169A (ja) * 2001-02-27 2002-09-13 Sony Corp 撮像装置および方法
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
KR101373333B1 (ko) 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
JP5849389B2 (ja) * 2010-11-04 2016-01-27 株式会社リコー 撮像装置および撮像方法
US20120120277A1 (en) 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
JP5451665B2 (ja) * 2011-02-21 2014-03-26 株式会社デンソーアイティーラボラトリ 文字入力装置、文字入力方法、及びプログラム
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5497708B2 (ja) * 2011-08-31 2014-05-21 楽天株式会社 携帯型電子機器、携帯型電子機器の制御方法、プログラム、及び情報記憶媒体
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
US20130070060A1 (en) * 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP5848561B2 (ja) 2011-09-20 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
EP2761534B1 (en) * 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP2013088579A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置

Also Published As

Publication number Publication date
CN104281397A (zh) 2015-01-14
WO2015003544A1 (zh) 2015-01-15
EP3021206B1 (en) 2020-02-05
CN104281397B (zh) 2018-08-14
US20160117077A1 (en) 2016-04-28
EP3021206A4 (en) 2016-06-29
JP2016525747A (ja) 2016-08-25
US10203837B2 (en) 2019-02-12
EP3021206A1 (en) 2016-05-18
JP6369842B2 (ja) 2018-08-08

Similar Documents

Publication Publication Date Title
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
US10674142B2 (en) Optimized object scanning using sensor fusion
JP6348211B2 (ja) コンピュータ装置の遠隔制御
KR102551198B1 (ko) 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
US8388146B2 (en) Anamorphic projection device
CN110926334B (zh) 测量方法、装置、电子设备及存储介质
KR101196291B1 (ko) 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
Yoo et al. 3D remote interface for smart displays
KR20180045668A (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
KR101743888B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR20160055407A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20140055987A (ko) 영상 표시 제어 방법
WO2014008438A1 (en) Systems and methods for tracking user postures and motions to control display of and navigate panoramas
Prima et al. A Pointing Device for 3D Interactive Spherical Displays
KR101455745B1 (ko) 양안 시차가 문제되는 투명 디스플레이에서의 선택을 가능하게 하는 양안의 커서
US20230377259A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
Takahashi et al. A Perspective-Corrected Stylus Pen for 3D Interaction
KR20160002620U (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
Rasakatla et al. Optical flow based head tracking for camera mouse, immersive 3D and gaming
KR20160013501A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160080107A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20160017020A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment