KR102004990B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102004990B1
KR102004990B1 KR1020140057448A KR20140057448A KR102004990B1 KR 102004990 B1 KR102004990 B1 KR 102004990B1 KR 1020140057448 A KR1020140057448 A KR 1020140057448A KR 20140057448 A KR20140057448 A KR 20140057448A KR 102004990 B1 KR102004990 B1 KR 102004990B1
Authority
KR
South Korea
Prior art keywords
image
user
gaze
unit
photographing
Prior art date
Application number
KR1020140057448A
Other languages
English (en)
Other versions
KR20150130187A (ko
Inventor
김홍일
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140057448A priority Critical patent/KR102004990B1/ko
Priority to US14/711,001 priority patent/US9632579B2/en
Publication of KR20150130187A publication Critical patent/KR20150130187A/ko
Application granted granted Critical
Publication of KR102004990B1 publication Critical patent/KR102004990B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/08—Animation software package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

기재된 실시예는 피사체를 포함하는 영상을 촬영하는 제1촬영부; 상기 제1촬영부에 의해 촬영된 상기 영상을 표시하는 표시부; 사용자의 안구를 촬영하는 제2촬영부;상기 제2촬영부에 의해 촬영된 상기 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성하는 시선맵 생성부; 및 상기 생성된 시선맵 및 상기 촬영된 영상을 이용하여 동영상을 생성하는 영상 처리부를 포함하는 영상 처리 장치 가 제공될 수 있다.

Description

영상 처리 장치 및 방법{DEVICE AND METHOD OF PROCESSING IMAGES}
기재된 실시예는 영상 촬영시 시간의 흐름에 따라 사용자가 실제로 보았던 장면을 재현할 수 있는 영상 처리 장치 및 방법에 관한 것이다.
카메라 또는 캠코더 등의 영상 촬영 장치가 전문 소비자들에게뿐만 아니라 일반 소비자들에게까지 널리 보급되었다. 최근에는 디지털 기술의 발전으로 인하여 디지털 영상 촬영 장치가 보급되었다. 특히, 디지털 영상 촬영 장치는 스마트폰 또는 태블릿 등과 같은 휴대용 단말기에 포함되어 보급되고 있다. 디지털 영상 촬영 장치에 의해 촬영된 영상은 디지털 영상의 형식을 가질 수 있다.
디지털 영상은 목적에 따라 다양한 방법으로 처리될 수 있다. 디지털 영상 촬영 장치를 이용하여 촬영된 디지털 영상은 과거에 필름을 이용하여 촬영된 영상에 비해 훨씬 용이하게 편집되거나 처리될 수 있다. 예를 들어, 영상의 품질을 향상시키기 위해 디지털 영상이 처리될 수 있다. 또한, 디지털 영상이 처리됨으로써 디지털 영상에 포함된 노이즈가 제거될 수 있다.
디지털 영상을 처리하는 기술은 계속하여 발전하고 있다. 디지털 영상을 처리함으로써 디지털 영상의 품질을 향상시키는 기술 이외에도, 디지털 영상으로부터 유용한 정보를 검출하는 기술 또는 디지털 영상으로부터 변환된 유용한 영상을 획득하는 기술 등이 개발되고 있다. 예를 들어, 사람의 안구를 촬영함으로써 획득된 영상을 이용하여 사람의 시선이 향하는 방향 또는 시선이 향하는 위치가 검출될 수 있다.
기재된 실시예에 따르면 영상 촬영시 시간의 흐름에 따라 사용자가 실제로 보았던 장면을 재현할 수 있는 영상 처리 장치 및 방법이 제공될 수 있다.
또한, 동영상 촬영시 사용자가 주시했던 객체를 상기 동영상 내에서 강조시킬 수 있는 영상 처리 장치 및 방법이 제공될 수 있다.
본 발명은, 일 실시예에 따른 피사체를 포함하는 영상을 촬영하는 제1촬영부; 상기 제1촬영부에 의해 촬영된 상기 영상을 표시하는 표시부; 사용자의 안구를 촬영하는 제2촬영부; 상기 제2촬영부에 의해 촬영된 상기 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성하는 시선맵 생성부; 및 상기 생성된 시선맵 및 상기 촬영된 영상을 이용하여 동영상을 생성하는 영상 처리부를 포함할 수 있다.
일 실시예에 따른 상기 제1 촬영부에서 촬영되는 영상은 프리뷰 영상이고, 상기 영상 처리부는 상기 소정 시간 간격으로 상기 생성된 시선맵 및 상기 촬영된 프리뷰 영상을 이용하여 동영상을 생성 할 수 있다.
일 실시예에 따른 상기 시선맵 생성부는 상기 안구 영상을 처리함으로써 특정한 시간 간격 동안의 상기 사용자의 시선이 향하는 위치의 변화를 검출하고, 상기 검출된 상기 위치의 변화를 이용하여 상기 시선맵을 생성 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하고, 상기 촬영된 영상에서 상기 독출된 사용자의 시선이 향하는 위치에 따라, 상기 촬영된영상이 확대, 축소 또는 이동하는 애니메이션 효과를 제공하는 동영상을 생성 할 수 있다.
일 실시예에 따른 상기 제1 촬영부는 정지 영상 촬영 신호가 입력되기 전까지 프리뷰 영상을 촬영하고, 상기 상기 정지 영상 촬영 신호가 입력되면 정지 영상을 촬영하여 저장부에 저장 할 수 있다.
일 실시예에 따른 상기 제2촬영부는 상기 정지 영상 촬영 신호가 입력되기 전까지 상기 사용자의 안구를 연속적으로 촬영 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하고, 상기 저장된 정지 영상에서 상기 독출된 사용자의 시선이 향하는 위치를 중심으로 한 영역을 크라핑(cropping)하여 복수의 크라핑된 영상을 생성 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 상기 생성된 복수의 크라핑된 영상을 병합함으로써 상기 동영상을 생성 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 제1문턱값 이상의 시간 동안 상기 사용자의 시선이 향하는 위치가 제2문턱값 이하의 범위 내에서 이동한 경우 상기 사용자의 시선이 향하는 위치를 중심으로 상기 저장된 정지 영상을 확대한 후 상기 확대된 정지 영상을 크라핑 할 수 있다.
일 실시예에 따른 상기 사용자의 시선이 향하는 위치는 상기 저장된 정지 영상에 포함된 상기 피사체의 일부분에 대응하고, 상기 영상 처리부는 상기 저장된 정지 영상의 전체 크기에 대한 상기 피사체의 전체 크기의 비율을 이용하여 산출된 배율로 상기 저장된 정지 영상을 확대 할 수 있다.
일 실시예에 따른 상기 제1 촬영부는 동영상을 촬영하여 저장부에 저장하고, 상기 표시부는 상기 제1 촬영부에 의해 촬영된 동영상의 프리뷰 영상을 표시하며, 상기 영상 처리부는 상기 생성된 시선맵을 이용하여 상기 저장된 동영상을 편집 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서의 상기 사용자의 시선이 향하는 위치를 독출하고, 상기 영상 처리부는 상기 저장된 동영상에 포함된 각각의 프레임에 대응하는 시점에서의 상기 독출된 시선이 향하는 위치를 중심으로 한 영역을 크라핑 할 수 있다.
일 실시예에 따른 상기 영상 처리부는 상기 복수의 크라핑된 프레임을 병합하여 크라핑된 동영상을 생성 할 수 있다.
일 실시예에 따른 상기 영상처리부는 상기 저장부에 상기 크라핑된 동영상만을 저장 할 수 있다.
일 실시예에 따른 상기 영상 처리부는, 상기 시선맵에 기초하여 상기 저장된 동영상의 프레임별 중요도를 결정하고, 상기 저장된 동영상의 재생 또는 편집을 위한 사용자 인터페이스 제공시에, 상기 결정된 중요도에 기초하여 상기 저장된 동영상의 재생속도를 조절하거나 또는 적어도 하나의 프레임을 강조 표시 할 수 있다.
본 발명은 일 실시예에 따른 제1 촬영부에 의해 피사체를 포함하는 영상을 촬영하는 단계; 상기 촬영된 영상을 표시부에 표시하는 단계; 제2 촬영부에 의해 사용자의 안구를 촬영하는 단계; 상기 촬영된 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성하는 단계; 및 상기 생성된 시선맵 및 상기 촬영된 영상을 이용하여 동영상을 생성하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 제1 촬영부에서 촬영되는 영상은 프리뷰 영상이고, 상기 동영상을 생성하는 단계는 상기 소정 시간 간격으로 상기 생성된 시선맵 및 상기 촬영된 프리뷰 영상을 이용하여 동영상을 생성 할 수 있다.
일 실시예에 따른 상기 동영상을 생성하는 단계는, 상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하는 단계; 및 상기 촬영된 영상에서 상기 각각의 시점마다 상기 시점에 대응하는 상기 사용자의 시선이 향하는 위치를 중심으로 한 영역을 크라핑함으로써 복수의 크라핑된 영상을 생성하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 상기 동영상을 생성하는 단계는, 상기 생성된 복수의 크라핑된 영상을 병합함으로써 상기 동영상을 생성하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 영상을 촬영하는 단계는, 정지 영상 촬영 신호가 입력되기 전까지 프리뷰 영상을 촬영하는 단계; 및 상기 상기 정지 영상 촬영 신호가 입력되면 정지 영상을 촬영하여 저장부에 저장하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 사용자의 시선이 향하는 위치는 상기 저장된 정지 영상에 포함된 상기 피사체의 일부분에 대응하고, 상기 복수의 크라핑된 영상을 생성하는 단계는, 제1문턱값 이상의 시간 동안 상기 사용자의 시선이 향하는 위치가 제2문턱값 이하의 범위 내에서 이동한 경우 상기 저장된 정지 영상의 전체 크기에 대한 상기 피사체의 전체 크기의 비율을 이용하여 산출된 배율로 상기 저장된 정지 영상을 확대하는 단계; 및 상기 확대된 정지 영상을 크라핑하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 영상을 촬영하는 단계는 동영상을 촬영하여 저장부에 저장하는 단계를 포함하고, 상기 영상을 표시하는 단계는 상기 상기 제1 촬영부에 의해 촬영된 동영상의 프리뷰 영상을 표시하는 단계를 포함하고, 상기 동영상을 생성하는 단계는 상기 생성된 시선맵을 이용하여 상기 저장된 동영상을 편집 할 수 있다.
일 실시예에 따른 상기 저장된 동영상을 편집하는 단계는, 상기 시선맵으로부터 각각의 시점에서의 상기 사용자의 시선이 향하는 위치를 독출하는 단계; 및 상기 저장된 동영상에 포함된 각각의 프레임에서 상기 프레임에 대응하는 시점에서의 상기 독출된 위치를 중심으로 한 영역을 크라핑하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 동영상을 편집하는 단계는, 상기 복수의 크라핑된 프레임을 프레임을 병함하여 크라핑된 동영상을 생성하는 단계; 및 상기 저장부에 상기 크라핑된 동영상만을 저장하는 단계를 포함 할 수 있다.
일 실시예에 따른 상기 동영상을 편집하는 단계는, 상기 시선맵에 기초하여 상기 저장된 동영상의 프레임별 중요도를 결정하는 단계; 및 상기 저장된 동영상의 재생 또는 편집을 위한 사용자 인터페이스 제공시에, 상기 결정된 중요도에 기초하여 상기 저장된 동영상의 재생속도를 조절하거나 또는 적어도 하나의 프레임을 강조 표시 할 수 있다.
또한, 일 실시예에 따른 영상 처리 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
기재된 실시예에 따르면 영상 촬영시 시간의 흐름에 따라 사용자가 실제로 보았던 장면이 재현될 수 있다.
또한, 동영상 촬영시 사용자가 주시했던 객체가 상기 동영상 내에서 강조될 수 있다.
도 1은 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 영상을 촬영하는 도중 특정 시점에서의 사용자의 시선을 나타내는 참고도이다.
도 3은 영상을 촬영하는 도중 다른 시점에서의 사용자의 시선을 나타내는 참고도이다.
도 4는 영상을 촬영하는 도중 또 다른 시점에서의 사용자의 시선을 나타내는 참고도이다.
도 5는 영상을 촬영하는 도중 또 다른 시점에서의 사용자의 시선을 나타내는 참고도이다.
도 6은 시선맵(gaze map)을 이용하여 영상을 처리하는 방법을 설명하기 위한 참고도이다.
도 7은 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 다른 참고도이다.
도 8은 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 또 다른 참고도이다.
도 9는 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 또 다른 참고도이다.
도 10은 다른 실시예에 따라 영상을 촬용하는 도중 사용자의 시선을 나타내는 참고도이다.
도 11은 시선맵을 이용하여 영상을 처리하는 다른 방법을 설명하기 위한 참고도이다.
도 12는 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 13은 다른 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 13을 참조하여 실시예에 따른 영상 처리 장치(100) 및 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 도 1에 도시된 영상 처리 장치(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라, 스마트폰 또는 웨어러블 디바이스를 포함할 수 있다. 물론 이러한 구성에 한정되는 것은 아니며 렌즈 및 촬상소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 카메라 모듈을 탑재한 장치가 모두 포함될 수 있다.
도 1을 참조하면, 영상 처리 장치(100)는 제1촬영부(110), 표시부(120), 저장부(130), 제2촬영부(140) 및 제어부(170)를 포함할 수 있다. 또한, 제어부(170)는 시선맵 생성부(150) 및 영상 처리부(160)를 포함할 수 있다.
제1촬영부(110)는 영상을 촬영할 수 있다. 제1촬영부(110)에 의해 촬영된 영상에는 적어도 하나 이상의 피사체가 포함될 수 있다. 제1촬영부(110)는 피사체를 촬영할 수 있는 카메라 또는 기타 촬영 장치를 포함할 수 있다. 제1촬영부(110)는 카메라 렌즈를 포함할 수 있다. 사용자는 제1촬영부(110)에 포함된 카메라 렌즈가 피사체를 향하게 함으로써 피사체를 촬영할 수 있다. 이하, 제1 촬영부(110)에서 촬영되는 영상은 정지 영상, 동영상 또는 프리뷰 영상일 수 있다.
표시부(120)는 제1촬영부(110)에 의해 촬영된 영상을 표시할 수 있다. 예를들어 제1 촬영부에 의해 촬영된 프리뷰 영상, 정지 영상, 동영상을 표시할 수 있다. 표시부(120)는 표시 장치를 포함할 수 있다. 표시부(120)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 표시부(120)는, 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 표시부(120)는 터치스크린을 포함할 수 있다.
표시부(120)는 영상 처리 장치(100) 내에서 제1촬영부(110)가 배치된 부분의 반대쪽에 배치될 수 있다. 예를 들어, 사용자의 얼굴은 영상 처리 장치(100)를 중심으로 하여 피사체가 위치한 방향의 반대 방향에 위치할 수 있다. 제1촬영부(110)가 피사체를 향하는 경우, 표시부(120)는 사용자의 얼굴을 향할 수 있다. 사용자는 표시부(120)를 통해 제1촬영부(110)에 의해 촬영되었거나 촬영되고 있는 영상을 확인할 수 있다.
저장부(130)는 제1촬영부(110)에 의해 촬영된 영상을 저장할 수 있다. 예를 들면, 사용자가 정지 영상을 촬영하고자 할 때, 제1촬영부(110)는 피사체를 포함하는 프리뷰 영상을 계속하여 촬영할 수 있다. 제1촬영부(110)에 의해 촬영된 프리뷰 영상은 표시부(120)에 표시될 수 있다. 여기서 프리뷰 영상은 제1 촬영부(110)에서 촬영된 영상을 표시부(110)에서 빠르게 표시하기위해 낮은 해상도로 샘플링된 영상일 수 있다. 사용자는 표시부(120)를 통해, 촬영하고자 하는 피사체가 영상 내에 제대로 포함되어 있는지 여부를 확인할 수 있다.
이 때, 사용자의 시선은 표시부(120) 상에서 피사체가 표시되어 있는 지점을 향할 수 있다. 촬영하고자 하는 피사체가 영상 내에 제대로 포함되어 있는 경우, 사용자는 미리 정해진 액션을 수행할 수 있다. 예를 들어, 사용자가 버튼을 누르거나 아이콘을 터치하는 경우, 제1 촬영부(110)는 정지 영상을 촬영하고, 촬영된 정지 영상은 저장부(130)에 저장될 수 있다.
또한, 사용자가 동영상을 촬영하고자 할 때, 제1촬영부(110)는 프리뷰 영상을 계속 촬영할수 있다. 제1촬영부(110)에 의해 촬영된 프리뷰 영상은 실시간으로 표시부(120)에 표시될 수 있다. 사용자는 표시부(120)를 통해 촬영하고자 하는 피사체가 영상 내에 제대로 포함되어 있는지 여부를 확인할 수 있다.
촬영하고자 하는 피사체가 영상 내에 제대로 포함되어 있는 경우, 사용자는 미리 정해진 액션을 수행할 수 있다. 예를 들어, 사용자가 버튼을 누르거나 아이콘을 터치하는 경우, 제1촬영부(110)는 동영상 촬영을 시작할 수 있다. 또한 표시부(120)에는 촬영되는 동영상의 프리뷰 영상이 실시간으로 표시될 수 있다.. 현재 표시부(120)에 촬영되는 동영상의 프리뷰 영상이 표시되는 동안, 사용자의 시선은 표시부(120) 상에서 피사체가 표시되어 있는 지점을 향할 수 있다.
따라서, 제1 촬영부(110)에의해 동영상이 촬여되고 있는 동안에 피사체가 움직이거나 영상 처리 장치(100)가 움직임으로써 표시부(120)에 표시된 영상 내에서 피사체의 위치가 변경된 경우, 사용자의 시선이 향하는 위치는 변경된 피사체의 위치에 따라 변경될 수 있다. 사용자가 연속적인 영상의 동영상으로서의 저장을 종료하고자 하는 경우, 사용자는 미리 정해진 액션을 수행할 수 있다. 예를 들어, 사용자가 버튼을 누르거나 아이콘을 터치하는 경우, 제1촬영부(110)에 의한 동영상 촬영이 종료 될 수 있다. 촬영된 동영상은 소정의 영상처리를 거쳐 저장부(130)에 저장될 수 있다.
제2촬영부(140)는 상기 표시부(120)를 바라보는 사용자의 안구를 촬영할 수 있다. 사용자가 표시부(120)를 통해 제1촬영부(110)에 의해 촬영되고 있는 영상을 확인하고 있는 동안, 제2촬영부(140)는 표시부(120)를 바라보는 사용자의 안구를 연속적으로 촬영할 수 있다. 제2촬영부(140)는 카메라, 적외선 카메라, 또는 기타 촬영장치를 포함할 수 있다. 제2촬영부(140)가 적외선 카메라를 포함하는 경우, 제2촬영부(140)는 적외선 발광 소자를 더 포함할 수 있다.
사용자가 정지 영상을 촬영하고자 할 때, 먼저 제1촬영부(110)는 피사체를 포함하는 프리뷰 영상을 계속하여 촬영할 수 있다. 제1촬영부(110)에 의해 촬영된 프리뷰 영상은 표시부(120)에 표시될 수 있다. 사용자의 액션에 따라(예컨대, 촬영신호 입력에 따라) 정지 영상을 촬영하여 저장부(130)에 저장되기 전에, 사용자는 표시부(120)를 통해 촬영하고자 하는 피사체가 영상 내에 제대로 포함되어 있는지 여부를 확인할 수 있다.
이 때, 사용자의 시선은 표시부(120) 상에서 피사체가 표시되어 있는 지점을 향할 수 있다. 제2촬영부(140)는 저장부(130)가 사용자의 액션에 따라 영상을 정지 영상으로서 저장하기 전에 표시부(120)를 바라보는 사용자의 안구를 촬영할 수 있다. 다시 말해서, 사용자가 영상을 정지 영상으로서 저장하기 위한 액션을 수행하기 전에, 사용자가 표시부(120)를 통해 영상의 구도를 확인하고 있는 동안 제2촬영부(140)는 사용자의 안구를 연속적으로 촬영할 수 있다. 사용자가 정지 영상을 촬영하기 위한 액션을 수행하는 경우, 제2촬영부(140)는 사용자의 안구의 촬영을 종료할 수 있다.
또한, 사용자가 동영상을 촬영할 때, 제1촬영부(110)에 의해 촬영된 영상의 프리뷰 영상이 계속해서 표시부(120)에 표시될 수 있다. 현재 표시부(120)에 표시되고 있는 프리뷰 영상이 동영상으로서 촬영되고 있는 동안, 사용자의 시선은 표시부(120) 상에서 피사체가 표시되어 있는 지점을 향할 수 있다. 제2촬영부(140)는 상기 동영상이 촬영되고 있는 동안 사용자의 안구를 연속적으로 촬영할 수 있다. 사용자가 연속적인 동영상 촬영을 종료하기 위한 액션을 수행하는 경우, 제2촬영부(140)는 사용자의 안구의 촬영을 종료할 수 있다.
제어부(170)는 영상 처리 장치(100) 의 전반적인 동작을 제어한다. 즉, 제어부(170)는 제1촬영부(110), 표시부(120), 저장부(130) 및 제2촬영부(140)의 동작을 제어할 수 있다. 여기서, 제어부(170)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 제어부(170)는 후술하는 시선맵 생성부(150) 및 영상 처리부(160)를 포함할 수 있다.
시선맵 생성부(150)는 제2촬영부(140)에 의해 촬영된 사용자의 안구 영상을 이용하여, 시간의 흐름에 따른 상기 표시부(120) 상에서 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성할 수 있다. 사용자가 표시부(120)를 통해 제1촬영부(110)에 의해 촬영되고 있는 영상을 확인하고 있는 동안, 사용자의 시선은 표시부(120) 상의 지점을 향할 수 있다. 사용자가 상기 영상을 확인하고 있는 동안, 사용자의 시선은 표시부(120) 상의 하나의 지점만을 계속하여 향할 수도 있고, 시간의 흐름에 따라 사용자의 시선이 향하는 지점이 바뀔 수도 있다.
시선맵 생성부(150)는 제2촬영부(140)에 의해 촬영된 사용자의 안구 영상을 처리함으로써, 표시부(120) 상에서 사용자의 시선이 향하는 위치를 검출할 수 있다. 또한, 시선맵 생성부(150)는 특정한 시간 간격 동안의 사용자의 시선이 향하는 위치의 변화를 검출할 수 있다. 시선맵 생성부(150)는 상기 검출 결과를 이용하여 시선맵을 생성할 수 있다. 시선맵은 시간의 흐름에 따른 사용자의 시선이 향하는 위치에 대한 정보를 포함할 수 있다.
도 2는 영상을 촬영하는 도중 특정 시점에서의 사용자의 시선을 나타내는 참고도이다. 표시부(120)에는 도 2에 나타난 바와 같이 사람 및 배경이 포함된 영상이 표시될 수 있다. 사용자는 표시부(120)의 좌측 상단을 바라볼 수 있다. 도 2를 참조하면, 표시부(120) 상에서 사용자의 시선이 향하는 위치가 파선으로 이루어진 원으로 표시되어 있다.
도 3은 영상을 촬영하는 도중 다른 시점에서의 사용자의 시선을 나타내는 참고도이다. 사용자는 도 2에 나타난 실시예에서와 같이 처음에는 표시부(120)의 좌측 상단을 바라보았다가, 잠시 후 표시부(120)의 우측 상단을 바라볼 수 있다. 도 3을 참조하면, 표시부(120) 상에서 사용자의 시선이 향하는 위치가 파선으로 이루어진 원으로 표시되어 있다.
도 4는 영상을 촬영하는 도중 또 다른 시점에서의 사용자의 시선을 나타내는 참고도이다. 사용자는 도 3에 나타난 실시예에서와 같이 표시부(120)의 우측 상단을 바라보았다가, 잠시 후 표시부(120)의 우측 하단을 바라볼 수 있다. 도 4를 참조하면, 표시부(120) 상에서 사용자의 시선이 향하는 위치가 파선으로 이루어진 원으로 표시되어 있다.
도 5는 영상을 촬영하는 도중 또 다른 시점에서의 사용자의 시선을 나타내는 참고도이다. 사용자는 도 4에 나타난 실시예에서와 같이 표시부(120)의 우측 하단을 바라보았다가, 잠시 후 표시부(120)의 좌측 하단을 바라볼 수 있다. 도 5를 참조하면, 표시부(120) 상에서 사용자의 시선이 향하는 위치가 파선으로 이루어진 원으로 표시되어 있다.
영상 처리부(160)는 생성된 시선맵 및 저장된 정지 영상을 이용하여 동영상을 생성할 수 있다. 영상 처리부(160)는 시선맵으로부터 시간의 흐름에 따라 각각의 시점에서 사용자의 시선이 향하는 위치를 독출할 수 있다. 영상 처리부(160)는 저장된 정지 영상에서 사용자의 시선이 향하는 위치(이하 '시선 위치'라 부르기로 한다)를 중심으로 한 영역을 크라핑(cropping)할 수 있다. 영상 처리부(160)는 시선맵에 포함된 각각의 시점마다 하나씩의 크라핑된 영상을 생성할 수 있다. 다시 말해서, 영상 처리부(160)는 각각의 시점마다 상기 시점에 대응하는 시선 위치를 이용하여 상기 저장된 정지 영상을 크라핑함으로써 복수의 크라핑된 영상을 생성할 수 있다. 또한 생성된 복수의 크라핑된 영상을 병합하여 동영상을 생성할 수 있다. 여기서, 생성되는 동영상은 섬네일 동영상 또는 슬라이드 쇼 영상일 수 있다.
또는 영상 처리부(160)는 촬영된 동영상을 생성된 시선맵을 이용하여 처리할 수도 있다. 예를 들면, 시선 위치를 이용하여 정지 영상을 크라핑 하듯이 촬영된 동영상의 프레임 각각을 시선 위치를 이용하여 크라핑 함으로써, 크라핑된 동영상을 생성할 수 있다.도 6은 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 참고도이다. 특정 시점에서 사용자는 표시부(120)의 좌측 상단을 바라볼 수 있다. 도 6을 참조하면, 시선 위치가 파선으로 이루어진 원으로 표시되어 있다. 영상 처리부(160)는 시선 위치를 중심으로 한 영역을 크라핑할 수 있다. 도 6을 참조하면, 시선 위치를 중심으로 한 영역이, 파선으로 이루어진 사각형으로 표시되어 있다. 영상 처리부(160)는 저장된 정지 영상에서 상기 파선으로 이루어진 사각형 부분을 크라핑할 수 있다.
또는
도 7은 시선맵을 이용하여 촬영된 영상을 처리하는 방법을 설명하기 위한 다른 참고도이다. 사용자는 도 6에 나타난 실시예에서와 같이 표시부(120)의 좌측 상단을 바라보았다가, 잠시 후 표시부(120)의 우측 상단을 바라볼 수 있다. 도 7을 참조하면, 시선 위치가 파선으로 이루어진 원으로 표시되어 있다. 영상 처리부(160)는 시선 위치를 중심으로 한 영역을 크라핑할 수 있다. 도 7을 참조하면, 시선 위치를 중심으로 한 영역이, 파선으로 이루어진 사각형으로 표시되어 있다. 영상 처리부(160)는 저장된 정지 영상에서 상기 파선으로 이루어진 사각형 부분을 크라핑할 수 있다.
도 8은 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 또 다른 참고도이다. 사용자는 도 7에 나타난 실시예에서와 같이 표시부(120)의 우측 상단을 바라보았다가, 잠시 후 표시부(120)의 우측 하단을 바라볼 수 있다. 도 8을 참조하면, 시선 위치가 파선으로 이루어진 원으로 표시되어 있다. 영상 처리부(160)는 시선 위치를 중심으로 한 영역을 크라핑할 수 있다. 도 8을 참조하면, 시선 위치를 중심으로 한 영역이, 파선으로 이루어진 사각형으로 표시되어 있다. 영상 처리부(160)는 저장된 정지 영상에서 상기 파선으로 이루어진 사각형 부분을 크라핑할 수 있다.
도 9는 시선맵을 이용하여 영상을 처리하는 방법을 설명하기 위한 또 다른 참고도이다. 사용자는 도 8에 나타난 실시예에서와 같이 표시부(120)의 우측 하단을 바라보았다가, 잠시 후 표시부(120)의 좌측 하단을 바라볼 수 있다. 도 9를 참조하면, 시선 위치가 파선으로 이루어진 원으로 표시되어 있다. 영상 처리부(160)는 시선 위치를 중심으로 한 영역을 크라핑할 수 있다. 도 9를 참조하면, 시선 위치를 중심으로 한 영역이, 파선으로 이루어진 사각형으로 표시되어 있다. 영상 처리부(160)는 저장된 정지 영상에서 상기 파선으로 이루어진 사각형 부분을 크라핑할 수 있다.
영상 처리부(160)는 생성된 복수의 크라핑된 영상을 이용하여 동영상을 생성할 수 있다. 영상 처리부(160)는 생성된 복수의 크라핑된 영상을 병합할 수 있다. 예를 들어, 상기 생성된 동영상은 움직이는 썸네일(thumbnail)일 수 있다.
생성된 동영상은 각각의 시점에 대응하는 크라핑된 영상을 포함할 수 있다. 예를 들어, 영상 처리부(160)는 도 6 내지 도 9에 나타난 실시예에서 생성된 4개의 크라핑된 영상을 포함하는 동영상을 생성할 수 있다. 생성된 동영상을 재생하는 경우, 시간의 흐름에 따라 상기 4개의 크라핑된 영상이 연속적으로 표시될 수 있다.
특정 시점에 대응하는 크라핑된 영상은 상기 특정 시점에서의 시선 위치를 중심으로 한 영역을 포함하므로, 생성된 동영상을 재생하는 경우 시간의 흐름에 따라 사용자가 실제로 보았던 장면이 재현될 수 있다.
만약 미리 정해진 문턱값 이상의 시간 동안 시선 위치가 미리 정해진 문턱값 이하의 범위 내에서 이동한 경우, 사용자가 상기 시선 위치를 주의깊게 바라보았다고 해석될 수 있다. 영상 처리부(160)는 미리 정해진 문턱값 이상의 시간 동안 시선 위치가 미리 정해진 문턱값 이하의 범위 내에서 이동한 경우 상기 시선 위치를 중심으로 저장된 정지 영상을 확대한 후 시선 위치를 중심으로 크라핑할 수 있다. 이로써, 사용자가 주시했던 객체가 동영상 내에서 강조될 수 있다.
영상 처리부(160)는 시선 위치를 중심으로 정해진 배율로 저장된 정지 영상을 확대한 후 크라핑할 수 있다. 다른 실시예에 따르면, 만약에 시선 위치가 특정 피사체의 일부분에 대응하는 경우, 영상 처리부(160)는 크라핑될 영역 내에 상기 특정 피사체의 전체 부분이 꽉 차도록 저장된 정지 영상을 확대한 후 크라핑할 수 있다. 예를 들면, 영상 처리부(160)는 영상에서 시선 위치의 빈도 및 응시(gaze) 시간을 분석하여 영상에 포함된 피사체를 분할(object segementation)하고, 분석된 시선위치의 빈도 및 응시 시간에 따라 분할된 피사체 중 소정 피사체를 포함한 영역이 확대되도록 크라핑 할 수 있다. 다른 예로 영상에 포함된 피사체를 먼저 분할하고, 각 분할된 피사체에 대한 시선 위치의 빈도 및 응시 시간을 이용하여 영상의 소정 부분이 확대되도록 크라핑 할 수 있다.
따라서, 저장된 정지 영상의 전체 크기에 대한 상기 특정 피사체의 전체 크기의 비율이 상대적으로 더 작은 경우 상기 비율이 상대적으로 더 큰 경우에 비해 상기 저장된 정지 영상이 더 높은 배율로 확대될 수 있다. 영상 처리부(160)는 저장된 정지 영상의 전체 크기에 대한 상기 특정 피사체의 전체 크기의 비율을 이용하여 배율을 산출하고, 상기 산출된 배율로 저장된 정지 영상을 확대할 수 있다.
예를 들어, 표시부(120)에는 사람 및 배경이 포함된 프리뷰 영상이 표시될 수 있다. 사용자는 사람의 얼굴 부분을 미리 정해진 문턱값 이상의 시간 동안 계속하여 바라볼 수 있다. 도 10을 참조하면, 시선 위치가 파선으로 이루어진 원으로 표시되어 있다. 따라서 영상 처리부(160)는 영상의 피사체를 분할 하고(예컨데, 도10의 사람과 배경을 분할) 원으로 표시된 시선 위치를 기초로 소정 피사체 영역(예를 들면, 도 10의 사람의 전신이 포함된 영역)이 확되되어 표시되도록 영상을 크라핑할 수 있다. 여기서 소정 피사체 영역의 확대 정도는 시선위치의 빈도 및 응시 시간에 따라 결정될 수 있다. 한편, 도 11은 상술한 바에 따라 크라핑될 영역 내에 사람의 전신이 포함된 영역이 확대되어 크라핑된 결과를 나타낸다.
다른 실시예에 따르면, 영상 처리부(160)는 생성된 시선맵을 이용하여, 저장된 동영상을 처리할 수 있다. 영상 처리부(160)는 시선맵으로부터 각각의 시점에서의 시선 위치를 독출할 수 있다. 영상 처리부(160)는 저장된 동영상에 포함된 각각의 프레임에서 상기 프레임에 대응하는 시점에서의 시선 위치를 중심으로 한 영역을 크라핑할 수 있다.
예를 들어, 저장된 동영상은 4개의 프레임을 포함할 수 있고, 상기 4개의 프레임은 순서대로 각각 도 6 내지 도 9에 대응할 수 있다. 영상 처리부(160)는 첫번째 프레임에서 도 6의 파선으로 이루어진 사각형 부분을 크라핑할 수 있다. 또한, 영상 처리부(160)는 두번째 프레임에서 도 7의 파선으로 이루어진 사각형 부분을 크라핑할 수 있다. 또한, 영상 처리부(160)는 세번째 프레임에서 도 8의 파선으로 이루어진 사각형 부분을 크라핑할 수 있다. 또한, 영상 처리부(160)는 네번째 프레임에서 도 9의 파선으로 이루어진 사각형 부분을 크라핑할 수 있다.
또한, 만약 미리 정해진 문턱값 이상의 시간 동안 시선 위치가 미리 정해진 문턱값 이하의 범위에서만 이동한 경우, 영상 처리부(160)는 상기 시선 위치를 중심으로 저장된 동영상에 포함된 프레임을 확대한 후 시선 위치를 중심으로 크라핑할 수 있다. 이로써, 사용자가 주시했던 객체가 동영상 내에서 강조될 수 있다.
특정 시점에 대응하는 크라핑된 프레임은 상기 특정 시점에서의 시선 위치를 중심으로 한 영역을 포함하므로, 영상 처리부(160)에 의해 처리된 동영상을 재생하는 경우 시간의 흐름에 따라 사용자가 실제로 보았던 장면이 재현될 수 있다.
또 다른 실시예에 따른 영상 처리 방법은 제1촬영부(110)에서 동영상 촬영 시에 시선 위치를 중심으로 소정 영역만을 추적하여 촬영 할 수 있다. 예컨대, 영상 처리 장치(100)가 동영상 촬영시에는, 복수의 영상을 촬영하고 촬영된 영상을 각각 하나의 프레임으로써, 동영상 압축 표준에 따른 영상 부호화를 수행하여 저장부에 저장한다. 이때, 일 실시예에 따른 영상 처리 방법은 촬영된 복수의 영상에서 시선 위치를 추적하고, 추적된 시선 위치를 중심으로 소정 영역을 크라핑한다. 그리고, 각 영상에서 크라핑된 영역만을 부호화하여 저장부(130)에 저장할 수 있다. 이 경우 크라핑된 동영상만이 저장부(130)에 저장되므로 저장 용량 측면에서 이점을 가질수 있고, 사용자에게 새로운 형태의 동영상을 제공할 수도 있다.
또 다른 실시예에 따른 영상 처리 방법은 시선 정보를 동영상 편집 및 재생시에도 활용할 수 있다. 예를 들면, 영상 처리 장치(100)에서 동영상 편집 및 재생시에 시선 정보가 많이 없던 부분은 빠르게 플레이 혹은 잘라내고 플레이 할 수도 있다.
이하, 도 12 및 도 13을 참조하여 일 실시예에 따른 영상 처리 방법이 수행되는 과정을 설명한다. 도 12 및 도 13에는, 도1에 도시된 영상 처리 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도1에 도시된 영상처리장치(100) 관하여 이상에서 기술된 내용은 도 112 및 도13에 도시된 방법에도 적용됨은 자명하다.
도 12는 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 12를 참조하면,
단계 S100에서, 제1촬영부(110)는 피사체를 포함하는 프리뷰 영상을 촬영할 수 있다.
단계 S110에서, 영상 처리 장치(100)는 촬영된 프리뷰 영상을 표시부(120)에 표시할 수 있다.
단계 S120에서, 영상 처리 장치(100)는 표시되는 프리뷰 영상을 바라보는 사용자의 안구를 촬영 할 수 있다.
단계 S130에서, 영상 처리 장치(100)는 정지영상 촬영 신호 입력여부를 판단할 수 있다. 여기서, 정지영상 촬영 신호는 사용자가 정지 영상을 촬영하기 위한 액션으로써, 영상 처리 장치(100)의 셔터 버튼을 누르거나 아이콘을 선핵하는 신호일 수 있다.
정지영상 촬영 신호가 입력되기 전까지 영상 처리 장치(100)는 단계 S100 내지 S130단계를 반복수행함으로써, 사용자가 촬영하기를 원하는 피사체가 표시부(120)의 소정 위치에 표시되는지 확인할 수 있다. 또한, 제2촬영부(120)는 정지 영상 촬영 신호가 입력되기 전까지 사용자의 안구를 연속적으로 촬영할 수 있다.
정지영상 촬영 신호가 입력되는경우 단계 S140에서 시선맵 생성부(150)는 는 상기 촬영된 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성할 수 있다. 여기서, 시선맵 생성부(150)는 안구 영상을 처리함으로써 특정한 시간 간격 동안 사용자의 시선이 향하는 위치의 변화를 검출하고, 검출된 위치의 변화를 이용하여 시선맵을 생성할 수 있다.
한편, 본 실시예에서 시선맵은 반드시 정지영상 촬영 신호 입력 이후에 생성되는 것으로 한정되는 것은 아니며, 예컨대 영상 처리 장치(100)가 정지영상 촬영모드 진입시 시선맵이 초기화 되며, 단계 S100 내지 S130 단계가 반복되는 동안 시선맵 정보를 갱신함으로써, 시선맵이 완성될 수도 있다.
단계 S150에서는 정지 영상 촬영신호 입력에 기초하여 제1촬영부(110)는 정지 영상을 촬영하고, 영상 처리 장치(100) 촬영된 정지 영상을 저장부에 저장할 수 있다.
단계 S160에서 영상 처리부(160)는 생성된 시선맵 및 저장된 정지 영상을 이용하여 동영상을 생성할 수 있다. 여기서 동영상은 썸네일 동영상 또는 슬라이드 쇼 영상일 수 있다.
예를 들면, 영상 처리부(160)는 시선맵의 특정 시간 간격마다 사용자의 시선이 향하는 위치를 독출하고, 독출된 사용자의 시선이 향하는 위치에 따라 저장된 정지영상이 확대, 축소 또는 이동하는 애니메이션 효과를 제공하는 동영상을 생성할 수 있다.
또 다른 예로, 영상 처리부(160)는 시선맵의 특정 시간 간격마다 사용자의 시선이 향하는 위치를 독출하고, 각각의 시점별로 저장된 영상에서 독출된 사용자의 시선이 향하는 위치를 중심으로 하는 소정 영역을 크라핑(cropping)하여 복수의 크라핑된 영상을 생성할 수 있다. 따라서, 영상 처리부(160)는 복수의 크라핑된 영상을 병합함으로써 동영상을 생성할 수 있다.
도 13은 다른 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
먼저, 단계 S200에서 영상 처리 장치(100)는 동영상 촬영 시작 신호가 입력되었는지 판단한다. 여기서 동영상 촬영 시작 신호는 셔터 버튼을 누르거나 아이콘을 선핵하는 신호일 수 있다.
만약, 동영상 촬영 시작 신호가 입력되지 않는 다면, 제1 촬영부는 프리뷰 영상을 촬영하여 표시부(120)에 표시한다.
단계 S210에서, 동영상 촬영 시작 신호가 입력되면, 제1촬영부(110)는 피사체를 포함하는 동영상을 촬영할 수 있다. 여기서, 촬영되는 동영상은 소정 길이의 동영상을 구성하기 위한 하나의 프레임을 의미할 수 있다.
단계 S220에서, 영상 처리 장치(100)는 촬영된 동영상의 프리뷰 영상을 표시부(120)에 표시할 수 있다. 여기서 촬영된 동영상의 프리뷰 영상은 촬영되는 동영상을 사용자가 실시간으로 확인할 수 있도록 저 해상도로 처리된 영상을 의미할 수 있다.
단계 S230에서, 제2촬영부(120)는 사용자의 안구를 촬영할 수 있다. 즉, 제1 촬영부에 의해서 동영상이 촬영되는동안 제2촬영부(120)는 사용자의 안구를 촬영할 수 있다.
단계 S240에서, 영상 처리 장치(100)는 동영상 촬영 종료 신호의 입력여부를 판단할 수 있다. 여기서, 동영상 촬영 종료 신호는 눌려진 셔터 버튼을 릴리즈 하거나, 아이콘을 선핵하는 신호일 수 있다.
따라서, 동영상 촬영 종료 신호가 입력될 때 까지 영상 처리 장치(100)는 단계 S210 내지 S240단계를 반복수행함으로써, 동영상 촬영상 촬영시 표시부(120)를 바라보는 사용자의 안구를 일정 시간 간격으로 촬영할 수 있다.
단계 S250에서, 영상 처리 장치(100)는 상기 촬영된 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성할 수 있다. 여기서, 시선맵 생성부(150)는 안구 영상을 처리함으로써 특정한 시간 간격 동안 사용자의 시선이 향하는 위치의 변화를 검출하고, 검출된 위치의 변화를 이용하여 시선맵을 생성할 수 있다.
한편, 본 실시예에서 시선맵은 반드시 동영상 촬영 종료 신호 입력 이후에 생성되는 것으로 한정되는 것은 아니며, 예컨대 영상 처리 장치(100)가 동영상 촬영모드 진입시 시선맵이 초기화 되며, 동영상 촬영중에 단계 S200 내지 S240 단계가 반복되는 동안 시선맵을 갱신함으로써, 시선맵이 완성될 수도 있다.
단계 S260에서 영상 처리부(160)는 촬영된 동영상을 저장부(130)에 저장할 수 있다. 다른 예로 영상 처리부(160)는 촬영된 동영상 대신에, 시선맵에 기초하여 촬영된 동영상의 각각의 프레임에서 사용자의 시선이 향하는 위치를 독출하고, 프레임 별로 사용자의 시선이 향하는 위치를 중심으로 하는 소정 영역이 크라핑된 크라핑 동영상만을 저장부(130)에 저장할 수도 있다.
단계 270에서 영상 처리부(160)는 생성된 시선맵을 이용하여 상기 저장된 동영상을 편집할 수 있다.
예를 들면, 시선맵으로부터 각각의 시점에서 사용자의 시선이 향하는 위치를 독출하고, 저장된 동영상에 포함된 각각의 프레임에서 독출된 시선이 향하는 위치를 중심으로 하는 영역을 크라핑 할 수 있다.
또한, 영상 처리부(160)는 복수의 크라핑된 프레임을 병합하여 크라핑된 동영상을 생성할 수 있다. 크라핑된 동영상은 썸네일 동영상으로 이용될 수 있다.
또 다른 예로, 영상 처리부(160)는 저장된 동영상의 재생 또는 편집을 위한 사용자 인터페이스를 제공할 수 있으며, 이때 시선맵에 기초하여 프레임별 중요도를 결정하고, 결정된 중요도에 기초하여 동영상의 재생속도를 조절하거나 또는 적어도 하나의 프레임을 강조 표시할 수 있다. 예컨대, 영상 처리부(160)는 시선맵에 기초하여 촬영된 동영상에서 시선 정보가 많이 독출되는 프레임들은 느리게 재생하거나 별도의 하이라이팅 표시를 수행할 수도 있다. 또는 시선 정보가 있는 프레임들 또는 영역들을 확대 및 크라핑 하여 전체 동영상 시간을 변경하지 않는 범위 내에서 실제 플레이 되는 동영상이 시선의 움직임에 따라 보여질 수 있도록 편집하여 제공할 수도 있다.
이상에서 설명된 실시예에 따르면, 영상 촬영시 시간의 흐름에 따라 사용자가 실제로 보았던 장면이 재현될 수 있다. 또한, 동영상 촬영시 사용자가 주시했던 객체가 상기 동영상 내에서 강조될 수 있다.
한편, 도 12 및 도 13에서는 정지영상 또는 동영상 촬영시에 사용자 시선에 따라 편집된 동영상을 생성하는 실시예에 대해서 상술하였지만, 반드시 이러한 구성에 한정되는 것은 아니다.
예를 들면, 도 14는 또 다른 실시예에 따른 영상 처리 방법이 수행되는 과정을 나타내는 순서도이다.
도 14를 참조하면,
단계 S300에서 제1촬영부(110)는 피사체를 포함하는 영상을 촬영할 수 있다. 여기서 촬영되는 영상은 프리뷰 영상을 수 있다.
단계 S310에서, 영상 처리 장치(100)는 촬영된 영상을 표시부(120)에 표시할 수 있다.
단계 S320에서, 영상 처리 장치(100)의 제2 촬영부(140)는 표시부를 바라보는 사용자의 안구를 촬영 할 수 있다.
단계 S330에서, 영상 처리 장치(100)는 소정 조건이 완료되었는지 판단하여 단계 S300 내지 S320의 동작을 반복하거나, 또는 단계 340 및 단계 S350으로 진행하여 시선맵 및 촬영된 영상을 이용하여 동영상을 생성할 수 있다. 여기서, 소정 조건은 미리 정해진 시간 또는 사용자 동작에 기초한 신호입력 일 수 있다.
예를 들면, 제1 촬영부(110)에서 촬영된 영상이 프리뷰 영상인 경우 소정 시간동안 촬영 된 프리뷰 영상에 대해 시선맵을 생성하고, 시선맵에 기초하여 동영상을 생성할 수 있다. 즉, 사용자의 촬영 조작 버튼 입력이 없이 영상 처리 장치(100)에 표시되는 프리뷰 영상을 소정 시간 이상 보기만 해도, 시선맵에 기초한 동영상이 생성되어 저장부(130)에 저장될 수 있다. 또는 제1 촬영부(110)의 전원 OFF등으로 인해 영상 촬영이 종료되는 시점에서 시선맵에 기초한 동영상이 생성되어 저장부(130)에 저장될 수 있다.
다른 예로, 제1 촬영부(110)에서 촬영된 프리뷰 영상에 대해 정지영상 촬영 또는 동영상 촬영이 아닌 별도의 조작신호를 입력함으로써, 촬영된 프리뷰 영상을 이용하여 시선맵에 기초한 동영상이 생성되도록 할 수도 있다.
소정 조건을 만족하는 경우, 단계 S340에서 시선맵 생성부(150)는 는 상기 촬영된 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성할 수 있다. 여기서, 시선맵 생성부(150)는 안구 영상을 처리함으로써 특정한 시간 간격 동안 사용자의 시선이 향하는 위치의 변화를 검출하고, 검출된 위치의 변화를 이용하여 시선맵을 생성할 수 있다.
한편, 단계 340에서는 촬영된 영상이 표시부(120)에 표시되는 것을 전제하였지만, 표시부(120)가 투명 디스플레이로 구현되는 경우에는 시선맵 생성부(150)는 사용자가 표시부(120)를 통과하여 바라보는 시선방향을 검출하고, 검출된 시선방향이 제1 촬영부(110)에서 촬영된 영상에서의 사용자의 시선 이 향하는 위치에 대한 정보로 변환하여 시선맵을 생성할 수도 있다. 따라서, 촬영되는 프리뷰 영상이 표시부(120)에 반드시 표시될 필요도 없다.
한편, 본 실시예에서 시선맵은 반드시 소정 조건 만족 이후에 생성되는 것으로 한정되는 것은 아니며, 예컨대 영상 처리 장치(100)가 영상 촬영모드 진입시 시선맵이 초기화 되며, 단계 S300 내지 S330 단계가 반복되는 동안 시선맵 정보를 갱신함으로써, 시선맵이 완성될 수도 있다.
단계 S350에서 영상 처리부(160)는 생성된 시선맵 및 촬영된 영상을 이용하여 동영상을 생성할 수 있다. 여기서 동영상은 썸네일 동영상 또는 슬라이드 쇼 영상일 수 있다.
예를 들면, 영상 처리부(160)는 시선맵의 특정 시간 간격마다 사용자의 시선이 향하는 위치를 독출하고, 독출된 사용자의 시선이 향하는 위치에 따라 저장된 영상이 확대, 축소 또는 이동하는 애니메이션 효과를 제공하는 동영상을 생성할 수 있다.
또 다른 예로, 영상 처리부(160)는 시선맵의 특정 시간 간격마다 사용자의 시선이 향하는 위치를 독출하고, 각각의 시점별로 촬영된 영상에서 독출된 사용자의 시선이 향하는 위치를 중심으로 하는 소정 영역을 크라핑(cropping)하여 복수의 크라핑된 영상을 생성할 수 있다. 따라서, 영상 처리부(160)는 복수의 크라핑된 영상을 병합함으로써 동영상을 생성할 수 있다.
이상에서 설명된 실시예에 따르면, 영상 촬영만으로도 사용자 시선에 기초한 썸네일 영상 또는 편집 영상이 자동적으로 생성될 수 있다. 나아가 사용자가 추후 촬영된 정지 영상 또는 동영상을 재생/편집시에 실제 촬영 당시 사용자의 시간적 시선 경험을 재생산하여 보여 재생할 수 있다. 따라서 사용자에게 높은 만족감을 줄 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 영상 처리 장치
110: 제1촬영부
120: 표시부
130: 저장부
140: 제2촬영부
150: 시선맵 생성부
160: 영상 처리부
170: 제어부

Claims (26)

  1. 피사체를 포함하는 영상을 촬영하는 제1촬영부;
    상기 제1촬영부에 의해 촬영된 상기 영상을 표시하는 표시부;
    사용자의 안구를 촬영하는 제2촬영부;
    상기 제2촬영부에 의해 촬영된 상기 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성하는 시선맵 생성부; 및
    상기 생성된 시선맵 및 상기 촬영된 영상을 이용하여 동영상을 생성하는 영상 처리부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 촬영부에서 촬영되는 영상은 프리뷰 영상이고,
    상기 영상 처리부는 소정 시간 간격으로 상기 생성된 시선맵 및 상기 촬영된 프리뷰 영상을 이용하여 동영상을 생성하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 시선맵 생성부는 상기 안구 영상을 처리함으로써 특정한 시간 간격 동안의 상기 사용자의 시선이 향하는 위치의 변화를 검출하고, 상기 검출된 상기 위치의 변화를 이용하여 상기 시선맵을 생성하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하고,
    상기 촬영된 영상에서 상기 독출된 사용자의 시선이 향하는 위치에 따라, 상기 촬영된영상이 확대, 축소 또는 이동하는 애니메이션 효과를 제공하는 동영상을 생성하는 영상처리 장치.
  5. 제1항에 있어서,
    상기 제1 촬영부는 정지 영상 촬영 신호가 입력되기 전까지 프리뷰 영상을 촬영하고, 상기 정지 영상 촬영 신호가 입력되면 정지 영상을 촬영하여 저장부에 저장하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 제2촬영부는 상기 정지 영상 촬영 신호가 입력되기 전까지 상기 사용자의 안구를 연속적으로 촬영하는 영상 처리 장치.
  7. 제5항에 있어서,
    상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하고, 상기 저장된 정지 영상에서 상기 독출된 사용자의 시선이 향하는 위치를 중심으로 한 영역을 크라핑(cropping)하여 복수의 크라핑된 정지 영상을 생성하는 영상 처리장치.
  8. 제7항에 있어서,
    상기 영상 처리부는 상기 생성된 복수의 크라핑된 정지 영상을 병합함으로써 상기 동영상을 생성하는 영상 처리 장치.
  9. 제5항에 있어서,
    상기 영상 처리부는 제1문턱값 이상의 시간 동안 상기 사용자의 시선이 향하는 위치가 제2문턱값 이하의 범위 내에서 이동한 경우 상기 사용자의 시선이 향하는 위치를 중심으로 상기 저장된 정지 영상을 확대한 후 상기 확대된 정지 영상을 크라핑하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 사용자의 시선이 향하는 위치는 상기 저장된 정지 영상에 포함된 상기 피사체의 일부분에 대응하고,
    상기 영상 처리부는 상기 저장된 정지 영상의 전체 크기에 대한 상기 피사체의 전체 크기의 비율을 이용하여 산출된 배율로 상기 저장된 정지 영상을 확대하는 영상 처리 장치.
  11. 제1항에 있어서,
    상기 제1 촬영부는 동영상을 촬영하여 저장부에 저장하고,
    상기 표시부는 상기 제1 촬영부에 의해 촬영된 동영상의 프리뷰 영상을 표시하며,
    상기 영상 처리부는 상기 생성된 시선맵을 이용하여 상기 저장된 동영상을 편집하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 영상 처리부는 상기 시선맵으로부터 각각의 시점에서의 상기 사용자의 시선이 향하는 위치를 독출하고, 상기 영상 처리부는 상기 저장된 동영상에 포함된 각각의 프레임에 대응하는 시점에서의 상기 독출된 시선이 향하는 위치를 중심으로 상기 프레임의 한 영역을 크라핑하여, 복수의 크라핑된 프레임을 생성하는 영상 처리 장치.
  13. 제12항에 있어서,
    상기 영상 처리부는 상기 복수의 크라핑된 프레임을 병합하여 크라핑된 동영상을 생성하는 영상 처리 장치.
  14. 제13항에 있어서, 상기 영상처리부는
    상기 저장부에 상기 크라핑된 동영상만을 저장하는 영상 처리 장치.
  15. 제 11항에 있어서, 상기 영상 처리부는,
    상기 시선맵에 기초하여 상기 저장된 동영상의 프레임별 중요도를 결정하고,
    상기 저장된 동영상의 재생 또는 편집을 위한 사용자 인터페이스 제공시에, 상기 결정된 중요도에 기초하여 상기 저장된 동영상의 재생속도를 조절하거나 또는 적어도 하나의 프레임을 강조 표시하는 영상 처리 장치.
  16. 제1 촬영부에 의해 피사체를 포함하는 영상을 촬영하는 단계;
    상기 촬영된 영상을 표시부에 표시하는 단계;
    제2 촬영부에 의해 사용자의 안구를 촬영하는 단계;
    상기 촬영된 사용자의 안구 영상을 이용하여 시간의 흐름에 따른 상기 표시부 상에서 상기 사용자의 시선이 향하는 위치에 대한 정보를 포함하는 시선맵(gaze map)을 생성하는 단계; 및
    상기 생성된 시선맵 및 상기 촬영된 영상을 이용하여 동영상을 생성하는 단계를 포함하는 영상 처리 방법.
  17. 제 16항에 있어서,
    상기 제1 촬영부에서 촬영되는 영상은 프리뷰 영상이고,
    상기 동영상을 생성하는 단계는 소정 시간 간격으로 상기 생성된 시선맵 및 상기 촬영된 프리뷰 영상을 이용하여 동영상을 생성하는 단계를 포함하는 영상 처리 방법.
  18. 제16항에 있어서,
    상기 동영상을 생성하는 단계는,
    상기 시선맵으로부터 각각의 시점에서 상기 사용자의 시선이 향하는 위치를 독출하는 단계; 및
    상기 촬영된 영상에서 상기 각각의 시점마다 상기 시점에 대응하는 상기 사용자의 시선이 향하는 위치를 중심으로 한 영역을 크라핑함으로써 복수의 크라핑된 정지 영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 동영상을 생성하는 단계는,
    상기 생성된 복수의 크라핑된 정지 영상을 병합함으로써 상기 동영상을 생성하는 단계
    를 포함하는 영상 처리 방법.
  20. 제19항에 있어서,
    상기 영상을 촬영하는 단계는,
    정지 영상 촬영 신호가 입력되기 전까지 프리뷰 영상을 촬영하는 단계; 및
    상기 정지 영상 촬영 신호가 입력되면 정지 영상을 촬영하여 저장부에 저장하는 단계를 포함하는 영상 처리 방법.
  21. 제20항에 있어서,
    상기 사용자의 시선이 향하는 위치는 상기 저장된 정지 영상에 포함된 상기 피사체의 일부분에 대응하고,
    상기 복수의 크라핑된 정지 영상을 생성하는 단계는,
    제1문턱값 이상의 시간 동안 상기 사용자의 시선이 향하는 위치가 제2문턱값 이하의 범위 내에서 이동한 경우 상기 저장된 정지 영상의 전체 크기에 대한 상기 피사체의 전체 크기의 비율을 이용하여 산출된 배율로 상기 저장된 정지 영상을 확대하는 단계; 및
    상기 확대된 정지 영상을 크라핑하는 단계
    를 포함하는 영상 처리 방법.
  22. 제 16항에 있어서,
    상기 영상을 촬영하는 단계는 동영상을 촬영하여 저장부에 저장하는 단계를 포함하고,
    상기 영상을 표시하는 단계는 상기 제1 촬영부에 의해 촬영된 동영상의 프리뷰 영상을 표시하는 단계를 포함하고,
    상기 동영상을 생성하는 단계는 상기 생성된 시선맵을 이용하여 상기 저장된 동영상을 편집하는 단계를 포함하는 영상 처리 방법.
  23. 제22항에 있어서,
    상기 저장된 동영상을 편집하는 단계는,
    상기 시선맵으로부터 각각의 시점에서의 상기 사용자의 시선이 향하는 위치를 독출하는 단계; 및
    상기 저장된 동영상에 포함된 각각의 프레임에서 상기 프레임에 대응하는 시점에서의 상기 독출된 위치를 중심으로 상기 프레임의 한 영역을 크라핑하여, 복수의 크라핑된 프레임을 생성하는 단계
    를 포함하는 영상 처리 방법.
  24. 제23항에 있어서,
    상기 동영상을 편집하는 단계는,
    상기 복수의 크라핑된 프레임을 프레임을 병함하여 크라핑된 동영상을 생성하는 단계; 및
    상기 저장부에 상기 크라핑된 동영상만을 저장하는 단계
    를 포함하는 영상 처리 방법.
  25. 제 22항에 있어서, 상기 동영상을 편집하는 단계는,
    상기 시선맵에 기초하여 상기 저장된 동영상의 프레임별 중요도를 결정하는 단계; 및

    상기 저장된 동영상의 재생 또는 편집을 위한 사용자 인터페이스 제공시에, 상기 결정된 중요도에 기초하여 상기 저장된 동영상의 재생속도를 조절하거나 또는 적어도 하나의 프레임을 강조 표시하는 영상 처리 방법.
  26. 제16항 내지 제25항 중 어느 한 항의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140057448A 2014-05-13 2014-05-13 영상 처리 장치 및 방법 KR102004990B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140057448A KR102004990B1 (ko) 2014-05-13 2014-05-13 영상 처리 장치 및 방법
US14/711,001 US9632579B2 (en) 2014-05-13 2015-05-13 Device and method of processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057448A KR102004990B1 (ko) 2014-05-13 2014-05-13 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150130187A KR20150130187A (ko) 2015-11-23
KR102004990B1 true KR102004990B1 (ko) 2019-07-29

Family

ID=54538763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057448A KR102004990B1 (ko) 2014-05-13 2014-05-13 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9632579B2 (ko)
KR (1) KR102004990B1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372289B2 (en) * 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108674045A (zh) * 2018-03-30 2018-10-19 合肥海闻自动化设备有限公司 一种多介质通用的智能化打印方法和系统
JP7336266B2 (ja) * 2019-06-04 2023-08-31 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
WO2021083515A1 (en) * 2019-10-30 2021-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Processing an input video stream to determine cropping region
US11520456B2 (en) * 2020-09-25 2022-12-06 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
KR20220053876A (ko) * 2020-10-23 2022-05-02 강성철 다초점 영상 재생 장치 및 방법
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12112009B2 (en) 2021-04-13 2024-10-08 Apple Inc. Methods for providing an immersive experience in an environment
CN117980962A (zh) 2021-09-23 2024-05-03 苹果公司 用于内容应用的设备、方法和图形用户界面
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259785B2 (en) 2003-04-28 2007-08-21 Hewlett-Packard Development Company, L.P. Digital imaging method and apparatus using eye-tracking control
US8775975B2 (en) * 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
US7930199B1 (en) * 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
KR20080011789A (ko) * 2006-07-31 2008-02-11 삼성전자주식회사 최적의 정지영상을 포착하는 영상기록장치 및 그 방법
US8355595B2 (en) * 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
KR101351487B1 (ko) 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8684529B2 (en) * 2011-04-28 2014-04-01 Carl Zeiss Meditec, Inc. Systems and methods for improved visual field testing
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
AU2011253980B2 (en) * 2011-12-12 2014-05-29 Canon Kabushiki Kaisha Method, apparatus and system for identifying distracting elements in an image
KR20130123629A (ko) * 2012-05-03 2013-11-13 주식회사 어니언텍 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment

Also Published As

Publication number Publication date
US20150332091A1 (en) 2015-11-19
US9632579B2 (en) 2017-04-25
KR20150130187A (ko) 2015-11-23

Similar Documents

Publication Publication Date Title
KR102004990B1 (ko) 영상 처리 장치 및 방법
US9813607B2 (en) Method and apparatus for image capture targeting
US20130222633A1 (en) Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP5107806B2 (ja) 画像処理装置
US8836763B2 (en) Imaging apparatus and control method therefor, and 3D information obtaining system
JP2011040876A (ja) カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP5526233B2 (ja) 立体視用画像撮影装置およびその制御方法
JP2010252046A (ja) 撮像装置
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
JP6323022B2 (ja) 画像処理装置
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP2009272840A (ja) 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法
JP2013123153A (ja) 画像処理装置、その制御方法およびプログラム
JP2011239021A (ja) 動画像生成装置、撮像装置および動画像生成プログラム
WO2019000715A1 (zh) 图像处理方法及其系统
JP7353821B2 (ja) 画像処理装置、その制御方法、プログラム
JP5563037B2 (ja) 画像処理装置
JP6289591B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5782548B2 (ja) 画像処理装置および画像処理方法
JP6270784B2 (ja) 画像処理装置および画像処理方法
JP5613285B2 (ja) 撮像装置、撮像方法、表示装置および表示方法
JP2018125887A (ja) 電子機器
JP5901328B2 (ja) 画像合成方法及び画像合成装置
JP6318547B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5628992B2 (ja) カメラ、カメラの制御方法、表示制御装置、および表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant