KR20230033368A - 경로 기반의 대상 트래킹 방법 및 장치 - Google Patents

경로 기반의 대상 트래킹 방법 및 장치 Download PDF

Info

Publication number
KR20230033368A
KR20230033368A KR1020210116257A KR20210116257A KR20230033368A KR 20230033368 A KR20230033368 A KR 20230033368A KR 1020210116257 A KR1020210116257 A KR 1020210116257A KR 20210116257 A KR20210116257 A KR 20210116257A KR 20230033368 A KR20230033368 A KR 20230033368A
Authority
KR
South Korea
Prior art keywords
tracking
mode
camera
face
processor
Prior art date
Application number
KR1020210116257A
Other languages
English (en)
Inventor
김종민
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020210116257A priority Critical patent/KR20230033368A/ko
Priority to US17/898,742 priority patent/US20230077662A1/en
Publication of KR20230033368A publication Critical patent/KR20230033368A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

경로 기반의 대상 트래킹 방법 및 장치를 개시한다. 일실시예에 따른 대상 트래킹 방법은 대상 트래킹 장치가 포함하는 카메라를 통해 입력된 영상을 대상 트래킹 장치가 포함하는 디스플레이를 통해 표시하는 단계, 디스플레이를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정하는 단계 및 대상 트래킹 장치가 포함하는 구동부를 통해 카메라의 회전을 제어하여 둘 이상의 포인트에 따라 결정되는 경로를 트래킹하는 단계를 포함할 수 있다.

Description

경로 기반의 대상 트래킹 방법 및 장치{METHOD AND APPARATUS FOR TRACKING TARGET BASED ON PATH}
아래의 설명은 경로 기반의 대상 트래킹 방법 및 장치에 관한 것이다.
모터와 센서가 장착된 짐벌(Gimbal)은 디지털 카메라가 축을 따라 부드럽게 회전 할 수 있게 해주는 장치로, 3축 짐벌이 가장 보편적인 유형이다. 짐벌은 틸트, 패닝, 롤링을 하는 동안 카메라를 안정시키고 이동 중에도 부드럽고 매끄러운 영상을 촬영하는 데 도움을 줄 수 있다.
[선행기술문헌]
한국등록특허 제10-1967720호
사람의 얼굴을 등록하고, 등록된 얼굴이 인식되는 경우 인식된 얼굴을 트래킹할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
등록된 얼굴과 미등록된 얼굴을 구분하여 표시하고, 미등록된 얼굴을 바로 등록할 수 있는 기능을 제공할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
복수의 얼굴을 등록하여 복수 명을 동시에 트래킹할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
등록된 얼굴들에 우선순위를 설정하여 설정된 우선순위에 따라 대상을 트래킹할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
짐벌의 트래킹 민감도를 설정하여 민감도에 따라 카메라의 회전 민감도를 조절할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
복수의 인식 엔진을 이용하여 얼굴 외 주변 영역(일례로, 사람의 어깨선이나 사물)까지 인식함으로써, 트래킹 대상의 얼굴이 보이지 않더라도 트래킹을 유지할 수 있고, 사용자가 선택한 사물을 트래킹 할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
복수 포인트에 따른 경로를 설정하고, 설정된 경로에 따라 촬영이 이루어지도록 카메라의 회전을 자동으로 조절할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
설정된 경로에 따라 촬영이 이루어지는 경우에 경로 진행 상태를 표시할 수 있는 사용자 인터페이스를 제공할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
사용자의 헤드 방향이나 사용자의 시선에 따른 가상 좌표계의 특정 위치를 트래킹할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
다양한 모드별 우선순위에 따라 대상을 트래킹 할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
트리거 버튼을 이용하여 짐벌 제어 모드를 빠르게 설정 및 활성화 또는 비활성화할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
가로 모드와 세로 모드를 모두 제공할 수 있는 대상 트래킹 방법 및 장치를 제공한다.
적어도 하나의 프로세서를 포함하는 대상 트래킹 장치의 대상 트래킹 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 상기 대상 트래킹 장치가 포함하는 카메라를 통해 입력된 영상을 상기 대상 트래킹 장치가 포함하는 디스플레이를 통해 표시하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 디스플레이를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 대상 트래킹 장치가 포함하는 구동부를 통해 상기 카메라의 회전을 제어하여 상기 둘 이상의 포인트에 따라 결정되는 경로를 트래킹하는 단계를 포함하는 대상 트래킹 방법을 제공한다.
일측에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 둘 이상의 포인트를 나타내는 식별자와 상기 둘 이상의 포인트에 대한 경로 진행 정보를 표시하는 표식을 상기 디스플레이를 통해 표시중인 영상에 더 표시하는 단계를 더 포함할 수 있다.
다른 측면에 따르면, 상기 표식은 이미 이동한 경로를 표시하기 위한 제1 표식, 현재 이동중인 경로를 표시하기 위한 제2 표식 및 미진입 경로를 표시하기 위한 제3 표식 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 촬영 시간을 설정하기 위한 촬영 시간 설정 기능을 제공하는 단계를 더 포함하고, 상기 트래킹하는 단계는, 상기 촬영 시간 설정 기능을 통해 설정된 촬영 시간 동안 상기 경로를 이동하도록 상기 카메라의 회전을 제어하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 경로의 반복 트래킹 여부를 설정하기 위한 반복 설정 기능을 제공하는 단계를 더 포함하고, 상기 트래킹하는 단계는, 상기 반복 설정 기능을 통해 상기 경로를 반복하여 트래킹하는 것으로 설정된 경우, 상기 경로를 반복하여 트래킹하도록 상기 카메라의 회전을 제어하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 트래킹하는 단계는, 상기 경로를 트래킹하는 도중 상기 입력된 영상에서 등록된 얼굴이 등장하는 경우, 상기 경로의 트래킹을 종료하고 상기 등록된 얼굴을 트래킹하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 사용자가 소지한 단말기기가 포함하는 자이로센서의 움직임에 기반하여 상기 단말기기에서 생성되는 정보를 수신하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 수신된 정보에 따라 상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 사용자의 헤드 방향을 트래킹하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 수신된 정보는, 상기 단말기기의 가상 좌표계에서 상기 자이로센서의 움직임에 기반하여 설정된 목표 가상 좌표에 대한 정보를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 입력된 영상에서 사용자의 시선 방향을 인식하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 인식된 시선 방향에 따라 상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 사용자의 헤드 방향을 트래킹하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 입력된 영상을 분석하여 인식된 사람의 얼굴을 등록하고, 등록된 얼굴을 트래킹하는 페이스 트래킹 모드 및 인식되는 사용자의 헤드 방향을 트래킹하는 헤드 트래킹 모드를 제공하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 헤드 트래킹 모드에 따라 상기 헤드 방향을 트래킹하는 동안 상기 입력된 영상에 상기 등록된 얼굴이 등장하는 경우, 상기 헤드 트래킹 모드를 비활성화하고, 상기 페이스 트래킹 모드에 따라 상기 등록된 얼굴을 트래킹하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 장치는 트리거 버튼을 포함하고, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 트리거 버튼이 눌려질 때마다 복수의 짐벌 제어 모드를 순차적으로 선택하여 설정하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 트리거 버튼이 눌려진 상태로 홀드되는 경우, 상기 복수의 짐벌 제어 모드 중 현재 설정된 짐벌 제어 모드를 활성화하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 구동부는 팬 축, 롤 축 및 틸트 축을 포함하고, 상기 복수의 짐벌 제어 모드는, (1) 상기 팬 축을 제외하고 상기 롤 축 및 상기 틸트 축을 잠그는 팬 모드, (2) 상기 팬 축 및 상기 틸트 축을 제외하고 상기 롤 축을 잠그는 팔로우 모드, (3) 상기 팬 축, 상기 롤 축 및 상기 틸트 축이 모두 동작 가능한 FPV(First Person View) 모드, (4) 상기 팬 축, 상기 롤 축 및 상기 틸트 축을 모두 잠그는 락 모드 및 (5) 상기 트리거 버튼이 홀드된 상태에서 어떠한 짐벌 제어 모드도 활성화하지 않는 넌 모드 중 적어도 둘 이상의 짐벌 제어 모드를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 적어도 하나의 프로세서에 의해, 상기 활성화된 짐벌 제어 모드에 대한 정보를 상기 디스플레이를 통해 더 표시하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 대상 트래킹 방법은 상기 카메라의 모드가 가로 모드에서 세로 모드로 변경됨에 따라 상기 구동부가 포함하는 롤 축 모터를 90도 회전시켜 고정시킴으로써 상기 카메라의 모드를 세로 모드로 변경하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 구동부는 팬 축 모터, 롤 축 모터 및 틸트 축 모터를 포함하고, 상기 롤 축 모터는, 상기 대상 트래킹 장치의 정면을 바라본 상태를 기준으로 가로 모드에서 상기 카메라의 좌측에 배치된 상기 틸트 축 모터가 상기 카메라의 아래 방향에 위치하도록, 시계 반대 방향으로 회전하는 것을 특징으로 할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서; 영상을 입력받는 카메라; 입력받은 영상을 표시하는 디스플레이; 및 상기 카메라를 회전시키는 구동부를 포함하고, 상기 적어도 하나의 프로세서에 의해, 상기 카메라를 통해 입력된 영상을 상기 디스플레이를 통해 표시하고, 상기 디스플레이를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정하고, 상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 둘 이상의 포인트에 따라 결정되는 경로를 트래킹하는 것을 특징으로 하는 대상 트래킹 장치를 제공한다.
사람의 얼굴을 등록하고, 등록된 얼굴이 인식되는 경우 인식된 얼굴을 트래킹할 수 있다.
등록된 얼굴과 미등록된 얼굴을 구분하여 표시하고, 미등록된 얼굴을 바로 등록할 수 있는 기능을 제공할 수 있다.
복수의 얼굴을 등록하여 복수 명을 동시에 트래킹할 수 있다.
등록된 얼굴들에 우선순위를 설정하여 설정된 우선순위에 따라 대상을 트래킹할 수 있다.
짐벌의 트래킹 민감도를 설정하여 민감도에 따라 카메라의 회전 민감도를 조절할 수 있다.
복수의 인식 엔진을 이용하여 얼굴 외 주변 영역(일례로, 사람의 어깨선이나 사물)까지 인식함으로써, 트래킹 대상의 얼굴이 보이지 않더라도 트래킹을 유지할 수 있고, 사용자가 선택한 사물을 트래킹할 수 있다.
복수 포인트에 따른 경로를 설정하고, 설정된 경로에 따라 촬영이 이루어지도록 카메라의 회전을 자동으로 조절할 수 있다.
설정된 경로에 따라 촬영이 이루어지는 경우에 경로 진행 상태를 표시할 수 있는 사용자 인터페이스를 제공할 수 있다.
사용자의 헤드 방향이나 사용자의 시선에 따른 가상 좌표계의 특정 위치를 트래킹할 수 있다.
다양한 모드별 우선순위에 따라 대상을 트래킹할 수 있다.
트리거 버튼을 이용하여 짐벌 제어 모드를 빠르게 설정 및 활성화 또는 비활성화할 수 있다.
가로 모드와 세로 모드를 모두 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 대상 트래킹 장치의 내부 구성의 예를 도시한 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 대상 트래킹 장치의 구현 예를 도시한 도면들이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 얼굴 추적 기능의 예를 도시한 도면들이다.
도 7은 본 발명의 일실시예에 따른 멀티 트래킹 모드의 예를 도시한 도면이다.
도 8 및 도 9는 본 발명의 일실시예에 있어서, 멀티 트래킹 모드를 종료하는 예를 도시한 도면들이다.
도 10 내지 도 13은 본 발명의 일실시예에 있어서, 사람의 얼굴을 등록하는 예를 도시한 도면들이다.
도 14 및 도 15는 본 발명의 일실시예에 있어서, 복수의 얼굴을 등록하는 예를 도시한 도면이다.
도 16은 본 발명의 일실시예에 있어서, 얼굴 식별자 모드에서 트래킹 대상을 변경하는 예를 도시한 도면이다.
도 17 및 도 18은 본 발명의 일실시예에 있어서, 얼굴 식별자 모드를 종료하는 예를 도시한 도면들이다.
도 19 및 도 20은 본 발명의 일실시예에 있어서, AI 트래킹 모드의 예를 도시한 도면들이다.
도 21 및 도 22는 본 발명의 일실시예에 따른 액티브 트래킹 모드의 예를 도시한 도면들이다.
도 23은 본 발명의 일실시예에 있어서, 짐벌 민감도를 설정하는 예를 도시한 도면이다.
도 24 내지 도 29는 본 발명의 일실시예에 있어서, 경로를 지정하는 예를 도시한 도면들이다.
도 30 및 도 31은 본 발명의 일실시예에 있어서, 네 개의 포인트에 대한 모션 촬영의 예를 도시한 도면들이다.
도 32 내지 도 34는 본 발명의 일실시예에 있어서, 사용자의 시선에 따라 카메라를 제어하는 방법의 예를 도시한 도면이다.
도 35는 본 발명의 일실시예에 있어서, 사용자의 머리 방향에 따라 카메라를 제어하는 방법의 예를 도시한 도면이다.
도 36은 본 발명의 일실시예에 있어서, 트리거를 통해 활성화된 모드에 대한 정보를 표시하는 예를 도시한 도면이다.
도 37은 본 발명의 일실시예에 따른 대상 트래킹 장치의 가로 모드 및 세로 모드의 예를 도시한 도면이다.
도 38은 본 발명의 일실시예에 따른 대상 트래킹 방법의 예를 도시한 흐름도이다.
도 39은 본 발명의 일실시예에 따른 대상 트래킹 방법의 다른 예를 도시한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 대상 트래킹 장치는 적어도 하나의 컴퓨터 장치를 포함할 수 있으며, 본 발명의 실시예들에 따른 대상 트래킹 방법은 대상 트래킹 장치가 포함하는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 대상 트래킹 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 대상 트래킹 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 컴퓨터 장치(Computer device, 100)는 도 1에 도시된 바와 같이, 메모리(Memory, 110), 프로세서(Processor, 120), 통신 인터페이스(Communication interface, 130) 그리고 입출력 인터페이스(I/O interface, 140)를 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(Network, 160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(100)의 메모리(110)에 로딩될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(130)는 네트워크(160)를 통해 컴퓨터 장치(100)가 다른 장치와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 장치(100)의 통신 인터페이스(130)를 통해 컴퓨터 장치(100)로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 장치(100)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(140)는 입출력 장치(I/O device, 150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 장치(100)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(100)는 도 1의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(100)는 상술한 입출력 장치(150) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 2는 본 발명의 일실시예에 따른 대상 트래킹 장치의 내부 구성의 예를 도시한 도면이다. 본 실시예에 따른 대상 트래킹 장치(200)는 촬영부(210), 구동부(220), 입출력부(230), 제어부(240) 및 전원부(250)를 포함할 수 있다.
촬영부(210)는 영상을 캡쳐 및/또는 생성할 수 있다. 일례로, 촬영부(210)가 포함하는 카메라의 하드웨어 사양은 표 1과 같이 사용될 수 있으나 이는 하나의 예시일 뿐, 촬영부(210)가 포함하는 카메라의 하드웨어 사양이 표 1과 같이 한정되는 것은 아니다. 또한, 촬영부(210)는 표 1의 SD 카드와 같은 저장소를 자체적으로 구비하여 생성된 영상을 저장할 수 있다. 실시예에 따라 영상의 저장소는 대상 트래킹 장치(200)가 포함할 수 있는 별도의 저장소에 저장될 수도 있다.
카메라 센서 1/2.3” CMOS / 12.3M (IMX477)
렌즈 FOV: 133° F2.8
최대 이미지 크기 4,056 x 3,040
동영상 해상도 [ NTSC ]
4K @60,30fps
2.7K @60,30fps
1920 × 1080p @120,60,30fps
[PAL]
4K @50,25,24fps
2.7K @50,25,24fps
1920 × 1080p @100,50,25,24fps
사진 비율 16:9 / 4:3 / 1:1
사진 파일형식 JPEG, RAW
동영상 파일 형식 MOV, MP4
화각 133.9도
지원 SD 카드 microSD 카드(최대 512GB)
오디오 출력 48 KHz AAC
구동부(220)는 촬영부(210)가 포함하는 카메라를 회전(틸팅(tilting), 패닝(panning) 및 롤링(rolling))시킬 수 있다. 촬영부(210)의 틸팅(tilting), 패닝(panning) 및 롤링(rolling)을 위한 구동부(220)의 짐벌 축의 예는 아래 표 2와 같이 사용될 수 있으나 이에 한정되는 것은 아니다. 일례로, 짐벌 축의 팬, 틸트, 롤의 각도는 표 2의 범위보다 크거나 작을 수도 있다. 보다 구체적인 예로, 패닝 작동 범위를 [-55° ~ +255°]로 설정할 수도 있다.
짐벌 축 [-50° ~ +250°] / (300° 적용)
틸트 [-50° ~ +130°] / (180° 적용)
[-120° ~ +120°] / (240° 적용)
입출력부(230)는 촬영부(210)를 통해 캡쳐 및/또는 생성된 영상을 출력하기 위한 디스플레이를 포함할 수 있다. 또한, 입출력부(230)는 저장소에 저장된 영상을 디스플레이를 통해 출력할 수도 있다. 여기서 저장소는 이미 설명한 바와 같이 촬영부(210)가 포함하는 저장소 및/또는 대상 트래킹 장치(200)가 포함할 수 있는 별도의 저장소에 대응할 수 있다. 입출력부(230)는 아래 표 3과 같이 LCD(Liquid Crystal Display)를 사용하여 구현될 수 있으나 디스플레이의 종류나 크기가 이에 한정되는 것은 아니다.
LCD 화면 크기 2인치
화질 480 × 360
또한, 입출력부(230)는 사용자의 입력을 수신하기 위한 구성요소를 더 포함할 수 있다. 일례로, 입출력부(230)가 포함하는 디스플레이는 터치스크린 형태로 구현될 수 있다. 또한, 입출력부(230)는 적어도 하나의 버튼 및/또는 조이스틱을 포함할 수 있다.제어부(240)는 촬영부(210), 구동부(220), 입출력부(230)의 동작을 제어할 수 있다. 제어부(240)는 일례로, 앞서 설명한 프로세서(120)를 포함할 수 있으며, 메모리(110)에 저장된 컴퓨터 프로그램의 제어 및/또는 입출력부(230)를 통해 수신되는 사용자의 입력에 따라 촬영부(210), 구동부(220), 입출력부(230)의 동작을 제어할 수 있다.
전원부(250)는 촬영부(210), 구동부(220), 입출력부(230) 및 제어부(240)로 전원을 공급할 수 있다. 전원부(250)는 아래 표 4에 나타난 배터리를 포함할 수 있으나 이에 한정되는 것은 아니다. 일례로, 전원부(250)에 포함되는 배터리의 하드웨어 사양이 변경되거나 또는 유선 연결에 의한 전원 공급이 배제되는 것은 아니다.
배터리 유형 리튬이온
용량 2,000mAh
전압 3.7V
대상 트래킹 장치(200)는 촬영부(210)를 통해 캡쳐된 영상에서 사람의 얼굴을 인식하여 등록할 수 있다. 이 경우, 등록된 사람의 얼굴에 대해서는 얼굴 식별자(face ID)가 부여될 수 있다. 이 경우, 대상 트래킹 장치(200)는 촬영부(210)를 통해 캡쳐된 영상에 나타나는 사람의 얼굴을 등록된 얼굴과 미등록된 얼굴로 구분하여 입출력부(230)가 포함하는 디스플레이에 표시할 수 있다. 일례로, 등록된 얼굴에는 숫자를 표시하고, 미등록된 얼굴에는 "+" 기호를 표시하여 사용자가 미등록된 얼굴을 등록할 수 있는 사용자 인터페이스를 제공할 수 있다.실시예에 따라 대상 트래킹 장치(200)는 통신부(미도시)를 더 포함할 수 있다. 통신부는 다른 장치와의 통신을 위해 사용될 수 있으며, 와이파이(WiFi)를 사용할 수 있으나 이에 한정되는 것은 아니다. 일례로, 블루투스나 5G 등과 같은 다른 무선 통신이 다른 장치와의 통신을 위해 사용될 수도 있다.
도 3 및 도 4는 본 발명의 일실시예에 따른 대상 트래킹 장치의 구현 예를 도시한 도면들이다.
대상 트래킹 장치(200)는 도 3에 도시된 바와 같이, 카메라(310), 디스플레이(320), 조그(330), 트리거(340) 및 두 개의 버튼(350 및 360)을 나타내고 있다. 카메라(310)는 도 2를 통해 설명한 촬영부(210)에 포함될 수 있으며, 디스플레이(320)는 입출력부(230)가 포함하는 디스플레이로서 터치스크린일 수 있다. 조그(330), 트리거(340) 및 두 개의 버튼(350 및 360)과 같은 물리적인 키(key)의 사양은 일례로, 아래 표 5와 같이 그 기능이 정의될 수 있으나 이에 한정되는 것은 아니다. 표 5에서 R은 제1 버튼(350), M은 제2 버튼(360)에 대응할 수 있다.
구분 전원 Off 프리뷰 화면 녹화 중 메뉴 진입
Short Key Long Key Short Key Long Key Short Key Long Key Short Key
R 촬영 시작 사진 모드에서만 동작.
연사 모드 촬영 시작
촬영
종료
M 전원 On 사진, 동영상모드 전환 전원 Off 촬영
종료 후 전원 Off
프리뷰
화면 이동
조그 조그 상, 하, 좌, 우 조작에 따른 짐벌 4방향 이동
트리거 Hold 트리거 짐벌 제어 설정에 따른 설정 짐벌 모드 동작
트리거 짐벌 제어모드 5가지
1. Pan
2. Fallow
3. FPV
4. Lock *Default
5. None
트리거
2회
카메라
중앙복귀
카메라
중앙복귀
트리거3회 카메라 셀피 /
정면모드 전환
카메라 셀피 / 정면모드 전환
트리거+ R 녹화 중 스틸 사진
촬영
트리거+ M 사진모드 시: 일반 사진 → 파노라마 순으로 상세 모드 변경
(연사 및 HDR 사진 촬영)
동영상모드 시: 일반 동영상 → 슬로우모션 → 하이퍼랩스 → 타임랩스 순으로 상세모드 변경
상기 모드는 Loop 변경 됨.
트리거
+ 조그
Zoom In
트리거+ 조그 Zoom Out
트리거
+ 조그
트리거+ 조그
또한, 대상 트래킹 장치(200)는 도 4에 도시된 바와 같이 대상 트래킹 장치(200) 내부에 배터리(410)를 포함할 수 있다. 여기서 배터리(410)는 앞서 도 2를 통해 설명한 전원부(250)에 포함될 수 있다.도 5 및 도 6은 본 발명의 일실시예에 따른 페이스 트래킹 모드의 예를 도시한 도면들이다.
페이스 트래킹 모드가 작동하면 항시 얼굴 탐지 기능이 작동될 수 있다. 일례로, 촬영부(210)의 카메라(310)를 통해 영상이 캡쳐되면, 대상 트래킹 장치(200)의 제어부(240)는 캡쳐된 영상에서 사람의 얼굴을 인식할 수 있으며, 사람의 얼굴이 인식된 위치에 표식을 표시할 수 있다. 일례로, 도 5는 카메라(310)를 통해 캡쳐된 영상을 입출력부(230)의 디스플레이(320)를 통해 표시한 제1 화면(510)으로서, 인식된 사람의 얼굴 위치에 제1 표식(520) 및 제2 표식(530)을 표시한 예를 나타내고 있다. 이때, 사용자는 제1 표식(520) 및/또는 제2 표식(530)을 선택(일례로, 터치스크린 환경에서 제1 표식(520) 및/또는 제2 표식(530)이 표시된 영역을 손가락으로 탭(tab))하는 경우, 선택된 표식에 대응하는 사람의 얼굴이 트래킹 대상으로서 선정될 수 있다.
도 6은 제1 화면(510)에서 사용자가 제1 표식(520)을 선택함에 따라 변경된 제2 화면(610)을 나타내고 있다. 이때, 제1 표식(520)은 제3 표식(620)과 같이 제1 표식(520) 및 제2 표식(530)과는 구별되도록 변경될 수 있으며, 제3 표식(620)에 대응하는 사람의 얼굴이 트래킹 대상으로 선정될 수 있다. 일례로, 트래킹 대상이 아닌 사람의 얼굴에 대한 표식은 하얀 색의 사각 상자로, 트래킹 대상으로 선정된 사람의 얼굴에 대한 표식은 붉은 색의 사각 상자로 표시될 수 있다. 이는 하나의 예시일 뿐, 트래킹 대상이 아닌 사람의 얼굴에 대한 표식과 트래킹 대상으로 선정된 사람의 얼굴에 대한 표식을 서로 구별하여 표시할 수 있는 방법이라면 제한 없이 사용될 수 있다. 트래킹 대상이 선정되면, 대상 트래킹 장치(200)는 제어부(240)를 통해 구동부(220)를 제어하여 촬영부(210)의 카메라(310)를 회전시키면서 트래킹 대상이 카메라(310)에서 캡쳐되는 영상에 포함되도록 트래킹 대상을 추적할 수 있다. 한편, 페이스 트래킹 모드가 활성화됨에 따라 제2 화면(610)에는 점선박스(630)의 "Face Tracking"와 같이 페이스 트래킹 모드가 활성화 되었음을 나타내는 정보가 표시될 수 있다. 이때, 실시예에 따라 점선박스(630)를 통해 표시된 정보는 일정 시간(일례로, 1.5초) 이후에 표시가 해제될 수도 있다.
도 7은 본 발명의 일실시예에 따른 멀티 트래킹 모드의 예를 도시한 도면이다. 도 7은 제2 화면(610)에서 사용자가 제2 표식(530)을 선택함에 따라 변경된 제3 화면(710)을 나타내고 있다. 이때, 제2 표식(530)은 제4 표식(720)과 같이 제1 표식(520) 및 제2 표식(530)과는 구별되도록 변경될 수 있으며, 제3 표식(620) 및 제4 표식(720)에 대응하는 사람들의 얼굴들이 멀티 트래킹 대상으로 선정될 수 있다. 다시 말해, 페이스 트래킹 모드가 멀티 트래킹 모드로 변경될 수 있다. 이 경우, 대상 트래킹 장치(200)는 제어부(240)를 통해 구동부(220)를 제어하여 촬영부(210)의 카메라(310)를 회전시키면서 복수의 트래킹 대상이 모두 카메라(310)에서 캡쳐되는 영상에 포함되도록 트래킹 대상을 추적할 수 있다. 멀티 트래킹 대상은 셋 이상이 될 수도 있다. 또한, 제3 화면(710)에서와 같이, 멀티 버튼(730)이 제3 화면(710)에 표시될 수 있다. 멀티 버튼(730)은 현재 멀티 트래킹 모드가 진행 중임을 나타내기 위해 사용될 수도 있고, 멀티 트래킹 모드를 종료하기 위해 사용될 수도 있다.
도 8 및 도 9는 본 발명의 일실시예에 있어서, 멀티 트래킹 모드를 종료하는 예를 도시한 도면들이다.
도 8은 제3 화면(710)에서 사용자가 제4 표식(720)을 선택함에 따라 변경된 제4 화면(810)을 나타내고 있다. 이때, 제4 표식(720)에 대한 사람의 얼굴은 트래킹 대상에서 제외됨에 따라 다시 기존의 제2 표식(530)으로 되돌아갈 수 있고, 멀티 버튼(730)의 표시가 제거되면서 멀티 트래킹 모드가 종료될 수 있다. 다시 말해, 멀티 트래킹 모드가 다시 페이스 트래킹 모드로 변경될 수 있다. 만약, 셋 이상의 멀티 트래킹 대상이 존재한다면, 하나의 대상을 멀티 트래킹 대상에서 제외하더라도 멀티 트래킹 대상이 유지될 수 있다.
도 9는 제3 화면(710)에서 사용자가 멀티 버튼(730)을 선택함에 따라 변경된 제5 화면(910)을 나타내고 있다. 이때, 모든 대상이 한 번에 트래킹 대상에서 제외되면서 멀티 트래킹 모드가 종료될 수 있다. 또한, 제3 화면(710)에 나타난 제3 표식(620) 및 제4 표식(720)이 제5 화면(910)에서는 제1 표식(520) 및 제2 표식(530)으로 변경되었음을 나타내고 있다. 이는 모든 대상이 트래킹 대상에서 제외되었음을 의미할 수 있다.
만약, 제2 화면(610) 또는 제4 화면(810)에서 사용자가 제3 표식(620)을 선택하는 경우, 제3 표식(620)은 제1 표식(520)으로 변경되면서 페이스 트래킹 대상이 해제될 수 있다. 이 경우에도 제1 화면(510)에서와 같이 얼굴 탐지 기능은 지속적으로 동작하면서 제1 표식(520)과 제2 표식(530)을 표시할 수 있다.
한편, 대상 트래킹 장치(200)는 사람의 얼굴을 식별하여 식별된 대상을 트래킹할 수도 있다. 앞서 도 5 내지 도 9의 실시예들에서는 사람의 얼굴이라는 것만을 인식한 반면, 이후의 도 10 내지 도 13의 실시예들에서는 사람의 얼굴을 등록하여 등록된 사람을 식별하고, 식별된 대상을 트래킹하는 예를 설명한다.
도 10 내지 도 13은 본 발명의 일실시예에 있어서, 사람의 얼굴을 등록하는 예를 도시한 도면들이다.
사용자 인터페이스를 통해 얼굴 식별자 모드가 활성화되는 경우, 화면에 등장하는 미등록된 사람의 얼굴을 등록하기 위한 기능이 사용자에게 제공될 수 있다. 도 10의 화면(1010)에서는 미등록된 사람의 얼굴에 대해 해당 사람의 얼굴을 등록하기 위한 제1 얼굴 등록 표식(1020)이 표시된 예를 나타내고 있다. 이때, 사용자가 제1 얼굴 등록 표식(1020)을 선택(일례로, 제1 얼굴 등록 표식(1020)의 영역을 손가락으로 탭)하는 경우, 해당 사람의 얼굴이 등록될 수 있다. 도 10의 화면(1010)에서 "Face ID"(1030)는 현재 얼굴 식별자 모드가 활성화되어 있음을 나타낼 수 있다.
도 11의 화면(1110)은 제1 얼굴 등록 표식(1020)에 의해 표시된 얼굴을 등록할 것인지 여부를 사용자에게 묻기 위한 사용자 인터페이스의 예를 나타내고 있다. 만약, 사용자로부터 수락이 입력되는 경우, 해당 사람의 얼굴이 등록될 수 있다. 도 12의 화면(1210)은 해당 사람의 얼굴의 등록이 완료되었음을 나타내고 있다.
도 13의 화면(1310)은 해당 사람의 얼굴이 등록됨에 따라 제1 등록 얼굴 표식(1320)을 통해 등록된 사람의 얼굴을 표시하는 예를 나타내고 있다. 이때, 제1 등록 얼굴 표식(1320)에 나타난 숫자 1은 해당 사람의 얼굴이 첫 번째로 등록된 사람의 얼굴임을 나타낼 수 있다.
대상 트래킹 장치(200)는 얼굴 식별자 모드에서 등록된 사람의 얼굴이 화면에 등장하면 자동으로 등록된 사람의 얼굴을 트래킹할 수 있다.
도 14 및 도 15는 본 발명의 일실시예에 있어서, 복수의 얼굴을 등록하는 예를 도시한 도면이다.
도 14의 화면(1410)은 도 13의 화면(1310)에서 영상의 녹화 중에 미등록된 얼굴의 새로운 사람이 화면(1410)에 등장한 예를 나타내고 있다. 이 경우 도 14의 화면(1410)에 나타난 바와 같이 새로운 사람의 얼굴에는 제2 얼굴 등록 표식(1420)이 표시될 수 있다. 만약, 사용자는 제2 얼굴 등록 표식(1420)을 선택하여 해당 사람의 얼굴을 등록할 수 있다. 실시예에 따라 셋 이상의 얼굴을 등록할 수 있다.
도 15의 화면(1510)은 도 14의 화면(1410)에서 사용자가 제2 얼굴 등록 표식(1420)을 선택하여 해당 사람의 얼굴을 등록함에 따라 제2 얼굴 등록 표식(1420)이 제2 등록 얼굴 표식(1520)으로 변경된 예를 나타내고 있다. 여기서 제2 등록 얼굴 표식(1520)에 나타난 숫자 2는 해당 사람의 얼굴이 두 번째로 등록된 사람의 얼굴임을 나타낼 수 있다.
대상 트래킹 장치(200)는 얼굴 식별자 모드에서 둘 이상의 등록된 사람의 얼굴이 화면에 등장하면 등록 우선순위가 높은 하나의 대상을 트래킹할 수 있다. 일례로, 도 15의 실시예에서는 먼저 등록된 숫자 1에 해당하는 사람의 얼굴(우선순위 1번의 대상)을 트래킹할 수 있다. 이때, 숫자 2에 해당하는 사람의 얼굴(우선순위 2번의 대상)에 표시되는 제2 등록 얼굴 표식(1520)은 제1 등록 얼굴 표식(1320)과는 구별되어 표시될 수 있다. 여기서 구별은 색상, 모양 등을 다르게 표시하는 것을 의미할 수 있다. 다만, 우선순위 3번 대상을 트래킹하는 도중에 우선순위 1번 대상이 인식되어도 대상 트래킹 장치(200)는 우선순위 3번 대상을 지속적으로 트래킹할 수 있다. 이 경우, 사용자는 우선순위 1번에 대한 등록 얼굴 표식을 선택(일례로, 더블 탭(double tab))하여 트래킹 대상을 변경할 수도 있다.
도 16은 본 발명의 일실시예에 있어서, 얼굴 식별자 모드에서 트래킹 대상을 변경하는 예를 도시한 도면이다. 도 16의 화면(1610)은 도 15의 화면(1510)에서 사용자가 제2 등록 얼굴 표식(1520)을 선택함에 따라 트래킹 대상이 우선순위 1번 대상에서 우선순위 2번 대상으로 변경된 예를 나타내고 있다. 이 경우, 트래킹 대상이 변경됨에 따라 대상 트래킹 장치(200)는 우선순위 2번 대상으로 트래킹하기 위해 제어부(240)의 제어에 따라 구동부(220)를 통해 카메라(310)를 회전시킬 수 있다.
도 17 및 도 18은 본 발명의 일실시예에 있어서, 얼굴 식별자 모드를 종료하는 예를 도시한 도면들이다.
도 17은 사용자가 도 13의 화면(1310)에서 제1 등록 얼굴 표식(1320)을 선택(일례로, 탭)하거나 또는 "Face ID"(1030)를 선택하여 얼굴 식별자 모드를 종료한 경우의 화면(1710)을 나타내고 있다. 이때, "Face ID"(1030)의 표시와 제1 등록 얼굴 표식(1320)의 표시는 제거될 수 있다.
도 18은 사용자가 도 13의 화면(1310)에서 제1 등록 얼굴 표식(1320)을 선택(일례로, 탭)하거나 또는 "Face ID"(1030)를 선택하여 얼굴 식별자 모드를 종료하였고, AI 트래킹 모드가 활성화되어 있는 경우의 화면(1810)을 나타내고 있다. 이때, "Face ID"(1030)의 표시는 제거될 수 있으며, 제1 등록 얼굴 표식(1320)은 AI 트래킹 표식(1820)으로 변경될 수 있다. AI 트래킹 모드에 대해서는 이후 더욱 자세히 설명한다.
도 19 및 도 20은 본 발명의 일실시예에 있어서, AI 트래킹 모드의 예를 도시한 도면들이다.
AI 트래킹 모드에서는 복수의 인식 엔진이 사용될 수 있다. 하나는 얼굴 인식 엔진일 수 있으며, 다른 하나는 객체 인식 엔진일 수 있다. 프리뷰 상태에서는 얼굴 인식 엔진을 통해 항시 얼굴 탐지 기능이 작동될 수 있으며, 얼굴이 인식되면 인식된 얼굴을 표시할 수 있다. 일례로, 흰색의 사각 테두리를 표시할 수 있으나 이에 한정되는 것은 아니다. 이때, 표시되는 표식은 인식된 얼굴뿐만 아니라 인식된 얼굴에 대응하는 사람의 어깨 영역까지 표시할 수 있다. 이때, 특정 얼굴에 대한 표식이 선택되면 AI 트래킹이 동작할 수 있으며, 이 경우 얼굴 인식 엔진은 멈추고 객체 인식 엔진이 동작되어 특정 얼굴에 대응하는 객체를 추적할 수 있다. 따라서 화면 속 사람이 얼굴을 돌려서 해당 사람의 얼굴이 보이지 않더라도 또는 화면 속에 다른 얼굴이 존재하더라도 대상 트래킹 장치(200)는 해당 객체를 지속적으로 트래킹할 수 있게 된다.
도 19의 화면(1910)은 인식된 얼굴에 대해 어깨 영역까지 제1 표식(1920) 및 제2 표식(1930)을 표시한 예를 나타내고 있다. 얼굴뿐만 아니라 어깨 영역까지 표식들(1920 및 1930)을 표시하는 것은 추후 얼굴 인식 엔진이 아닌 객체 인식 엔진을 통해 대상을 추적하기 위함이다.
도 20의 화면(2010)은 도 19의 화면(1910)에서 사용자가 제1 표식(1920)을 선택(일례로, 탭)함에 따라 제1 표식(1920)이 제3 표식(2020)으로 변경되면서 제3 표식(2020)이 가리키는 객체를 트래킹하는 예를 나타내고 있다. 이 경우, 이미 설명한 바와 같이 얼굴 인식 엔진이 아닌 객체 인식 엔진을 통해 이미 지정된 객체를 추적하기 때문에 화면 속 사람이 얼굴을 돌려서 해당 사람의 얼굴이 보이지 않더라도 또는 화면 속에 다른 얼굴이 존재하더라도 대상 트래킹 장치(200)는 해당 객체를 지속적으로 트래킹 할 수 있게 된다. 한편, AI 트래킹을 위한 표식 "AI Tracking"(2030)은 AI 트래킹이 시작되고 일정 시간(일례로, 1.5) 후, 표시가 해제될 수 있다.
사용자가 도 20의 화면(2010)에서 제3 표식(2020)을 선택(일례로, 탭)하는 경우, AI 트래킹은 해제되어 도 20의 화면(2010)은 다시 도 19의 화면(1910)과 같이 변경될 수 있다. 이러한 AI 트래킹은 전방모드와 셀피모드 모두를 지원할 수 있다.
도 21 및 도 22는 본 발명의 일실시예에 따른 액티브 트래킹 모드의 예를 도시한 도면들이다.
도 21의 화면(2110)은 인식된 얼굴에 대해 어깨 영역까지 제1 표식(2120) 및 제2 표식(2130)을 표시한 예를 나타내고 있다. 이미 설명한 바와 같이, 얼굴뿐만 아니라 어깨 영역까지 표식들(1920 및 1930)을 표시하는 것은 AI 트래킹 모드가 활성화되는 경우, 얼굴 인식 엔진이 아닌 객체 인식 엔진을 통해 대상을 추적하기 위함이다. 또한, 도 21의 화면(2110)은 얼굴 인식이 실패한 대상(2140)과 사물들(2150 및 2160)을 더 나타내고 있다.
이 경우, 사용자는 얼굴 인식이 실패한 대상(2140)이나 제1 사물(2150), 또는 제2 사물(2160)을 선택(일례로, 제2 사물(2160)이 표시된 영역을 더블 탭)하여 액티브 트래킹 모드를 활성화시킬 수 있다.
도 22의 화면(2210)은 사용자가 도 21의 화면(2110)에서 제2 사물(2160)을 선택함에 따라 액티브 트래킹 모드가 활성화된 예를 나타내고 있다. 이 경우 대상 트래킹 장치(200)는 얼굴 인식 엔진을 멈추고 객체 인식 엔진을 동작시켜 사용자에 의해 선택된 제2 사물(2160)에 대한 객체 인식을 통해 제2 사물(2160)을 트래킹할 수 있다. 도 22의 화면(2210)에서는 제2 사물(2160)에 대한 표식(2220)이 설정된 예를 나타내고 있다. 한편, 액티브 트래킹 모드가 활성화됨에 따라 화면(2210)에는 점선박스(2230)의 "Active Tracking"와 같이 액티브 트래킹 모드가 활성화 되었음을 나타내는 정보가 표시될 수 있다. 이때, 실시예에 따라 점선박스(2230)를 통해 표시된 정보는 일정 시간(일례로, 1.5초) 이후에 표시가 해제될 수도 있다.
한편, 실시예에 따라 대상 트래킹 장치(200)는 짐벌의 민감도를 설정할 수 있다. 도 23은 본 발명의 일실시예에 있어서, 짐벌 민감도를 설정하는 예를 도시한 도면이다. 도 23의 설정 화면(2310)에서는 짐벌 민감도를 높음(1°), 중간(3°) 및 낮음(5°)의 세 단계 중 하나로 설정하는 예를 나타내고 있다. 여기서 "높음"은 트래킹 대상이 화면의 중심에서 1° 벗어날 때마다 대상 트래킹 장치(200)가 카메라(310)를 회전시켜 트래킹 대상을 화면의 중심에 표시되도록 트래킹하는 것을 의미할 수 있다. 이와 유사하게 "중간"은 트래킹 대상이 화면의 중심에서 3° 벗어날 때마다, "낮음"은 트래킹 대상이 화면의 중심에서 5° 벗어날 때마다 대상 트래킹 장치(200)가 카메라(310)를 회전시켜 트래킹 대상을 화면의 중심에 표시되도록 트래킹하는 것을 각각 의미할 수 있다. 예를 들어, 짐벌 민감도가 "낮음"으로 설정된 경우, 트래킹 대상이 화면의 중심에서 5° 미만으로 벗어난 경우, 대상 트래킹 장치(200)는 카메라(310)를 회전시키지 않고 대기할 수 있다. 짐벌 민감도의 단계의 개수나 각 단계별 각도의 크기는 실시예에 따라 다양하게 정의될 수 있음을 쉽게 이해할 수 있을 것이다.
한편, 실시예에 따라 대상 트래킹 장치(200)는 둘 이상의 포인트에 따른 경로에 따라 영상을 촬영 및/또는 녹화하는 것이 가능하다. 예를 들어, 포인트 A, B, C, D를 설정하는 경우, 대상 트래킹 장치(200)는 A → B → C → D의 순서로 영상을 촬영 및/또는 녹화하도록 구동부(220)를 통해 촬영부(210)의 카메라(310)를 회전시킬 수 있다. 또한 실시예에 따라 대상 트래킹 장치(200)는 둘 이상의 포인트에 따른 경로를 반복하여 촬영 및/또는 녹화할 수도 있다. 일례로, 포인트 A, B를 설정하는 경우, 대상 트래킹 장치(200)는 "A → B → A → B …"를 지속적으로 반복하여 촬영 및/또는 녹화할 수 있다.
도 24 내지 도 29는 본 발명의 일실시예에 있어서, 경로를 지정하는 예를 도시한 도면들이다.
도 24의 화면(2410)은 모션 설정을 위한 화면의 예를 나타내고 있다. 이때, 모션 설정 화면에서는 촬영 시간 표시 영역(2420)과 영상 길이 표시 영역(2430)을 표시한 예를 나타내고 있다. 먼저 촬영할 시간(Duration)을 설정하면, 각 비디오 설정값(배속 및/또는 인터벌)에 따라 영상의 길이가 자동으로 계산되어 표시될 수 있다. 일례로, 사용자는 촬영 시간 표시 영역(2420)을 선택하여 촬영 시간을 설정할 수 있다. 사용자가 확인 버튼(2440)을 선택하면 모션 촬영이 진행될 수 있다.
도 25의 화면(2510)은 현재 화면의 중심 부분의 위치를 첫 번째 포인트 "A"로 설정한 예를 나타내고 있으며, 도 26의 화면(2610)은 두 번째 포인트 "B"를 설정한 예를 나타내고 있다. 일례로, 사용자는 "A" 포인트 위치에서 확인 버튼(일례로, 도 3을 통해 설명한 트리거(340) 및 두 개의 버튼(350 및 360) 중에서 미리 정의되어 있는 어느 하나)을 눌러 "A" 포인트를 설정한 후, 조그(일례로, 도 3을 통해 설명한 조그(330))를 사용하여 "B" 포인트 위치로 카메라(310)의 방향을 이동(카메라(310)의 회전을 통해 카메라(310)의 방향을 이동)시킨 후 다시 확인 버튼을 눌러 "B" 포인트를 설정할 수 있다. 이 경우, "B" 포인트는 도 26의 화면(2610)에서의 중심 부분의 위치에 대응할 수 있다. 다른 예로, 사용자는 화면(2510 및 2610)의 "+" 버튼(2520)을 눌러 포인트를 설정할 수도 있다. 종료 버튼(2530)은 경로를 이용한 모션 촬영 기능을 종료하기 위한 사용자 인터페이스일 수 있으며, "X" 버튼(2540)은 설정된 포인트를 설정 해제하기 위한 사용자 인터페이스일 수 있다. 반복 버튼(2580)에 대해서는 이후 더욱 자세히 설명한다.
한편, 화면(2510 및 2610)에서 두 개의 점선들(2550 및 2560)과 포인트를 나타내는 점선 원들(2570 및 2620)은 발명의 이해를 돕기 위해 도면상에 표시한 것일 뿐, 실제 화면에는 표시되지 않을 수 있다.
"A" 포인트와 "B" 포인트가 설정되면, 대상 트래킹 장치(200)는 설정된 촬영 시간 동안 카메라(310)의 방향을 "A" 포인트에서 "B" 포인트로 이동시키며 영상의 녹화를 진행할 수 있다.
도 27의 화면(2710)은 "A" 포인트에서 "B" 포인트로의 모션 촬영에 따른 녹화가 시작된 예를 나타내고 있으며, 도 28의 화면(2810)은 미리 설정된 촬영 시간인 3분에 맞게 "B" 포인트의 위치로 이동되는 예를 나타내고 있다. 대상 트래킹 장치(200)는 "A" 포인트와 "B" 포인트간의 이동 거리를 계산하고, 이동 거리에 따른 이동 각도를 계산한 후, 이동 각도와 촬영 시간을 통해 단위 시간 동안의 카메라(310)의 회전 각도를 계산할 수 있다. 따라서, 단위 시간마다 계산된 회전 각도만큼 카메라(310)를 회전시킴으로써, 촬영 시간 동안 "A" 포인트에서 "B" 포인트로의 모션 촬영을 완료할 수 있게 된다.
또한, 사용자는 반복 버튼(2580)과 같은 사용자 인터페이스를 이용하여 "A" 포인트와 "B" 포인트간의 구간 영상을 반복하여 녹화할 수도 있다. 이 경우, 대상 트래킹 장치(200)는 "A" 포인트와 "B" 포인트간의 구간을 무한 반복하거나 사용자에 의해 기설정된 반복 횟수만큼 반복하여 "A" 포인트와 "B" 포인트간의 구간 영상을 녹화할 수 있다. 도 29의 화면(2910)은 "A" 포인트에서 "B" 포인트로 이동한 후, 다시 "B" 포인트에서 "A" 포인트로 이동 중인 예를 나타내고 있다.
한편, 다른 실시예에서 대상 트래킹 장치(200)는 셋 이상의 포인트를 설정하여 셋 이상의 포인트에 의해 설정된 경로에 대한 모션 촬영을 진행할 수도 있다.
도 30 및 도 31은 본 발명의 일실시예에 있어서, 네 개의 포인트에 대한 모션 촬영의 예를 도시한 도면들이다.
도 30의 화면(3010)은 사용자가 "A" 포인트(3020), "B" 포인트(3030), "C" 포인트(3040) 및 "D" 포인트(3050)의 네 개의 포인트를 설정한 예를 나타내고 있다. 이때, "A" 포인트(3020)와 "B" 포인트(3030)는 화면 밖의 영역에 존재한다고 가정한다. 이 경우, 대상 트래킹 장치(200)는 "A" 포인트(3020), "B" 포인트(3030), "C" 포인트(3040) 및 "D" 포인트(3050)의 네 개의 포인트의 구간에 따른 경로에 따라 카메라(310)의 방향을 이동시키면서 카메라(310)를 통해 영상을 녹화하도록 제어할 수 있다. 도 31의 화면(3110)은 대상 트래킹 장치(200)가 "A" 포인트(3020)부터 "B" 포인트(3030)와 "C" 포인트(3040)를 거쳐 "D" 포인트(3050)를 향해 카메라(310)를 회전시키면서 이동하는 예를 나타내고 있다. 이때, 제1 표식(3120)은 이미 이동한 경로를, 제2 표식(3130)은 현재 이동중인 경로를, 제3 표식(3140)은 미진입 경로를 각각 의미할 수 있다. 다시 말해, 현재 대상 트래킹 장치(200)의 카메라(310)는 "B" 포인트(3030)를 지나 "C" 포인트(3040)를 향해 이동 중임을 쉽게 파악할 수 있다.
포인트들(3020, 3030, 3040 및 3050)을 나타내는 점선 원들은 발명의 이해를 돕기 위해 표시한 것일 뿐, 실제 디스플레이(320)상에는 표시되지 않을 수도 있다. 또는 대상 트래킹 장치(200)의 사용자의 이해를 돕기 위해 디스플레이(320)상에 각 포인트들(3020, 3030, 3040 및 3050)을 위한 표식을 표시할 수도 있다. 이 경우, 각 포인트들(3020, 3030, 3040 및 3050)을 위한 표식이 점선 원으로 한정되는 것은 아니다.
한편, 또 다른 실시예에서 대상 트래킹 장치(200)는 헤드 트래킹 모드를 제공할 수 있다. 헤드 트래킹 모드는 사용자의 시선 또는 사용자의 머리 방향을 따라 카메라(310)를 제어하기 위한 기능을 제공할 수 있다.
종래 카메라는 사용자가 사진을 찍고자 하는 방향을 설정하고 이에 맞게 촬영 스위치(버튼)를 눌러 사용해 왔었다. 더불어, 유무선 통신망을 활용하여 스마트폰으로 사진기 촬영 및 동영상 시작과 멈춤을 조절할 수 있는 등 좀 더 사용자가 편리하게 사진기를 조절할 수 있는 기능으로 성장을 하고 있다. 그리고 짐벌 기능이 포함된 카메라의 등장으로 카메라의 흔들림을 기구적으로 잡아줌과 동시에 다양한 각도로 카메라 렌즈부가 회전될 수 있도록 조절도 가능한 기기까지 확대되고 있다. 이와 같이 종래의 카메라라고 함은 사용자가 사진촬영 또는 동영상 녹화를 하기 위해서는 그 기능에 맞게 스위치(버튼)를 입력을 하고 그 입력 신호에 따라 기기가 작동이 되어 지고, 카메라가 사진 촬영 또는 동영상 녹화를 하고자 하는 방향을 직접 사용자가 입력신호를 수동적으로 전달 하여야만 기기가 움직이고 기능이 작동되는 현 기술은 다양한 경우의 예로 한계를 보여주고 있다. 일례로, 입력신호를 여러 번 조작하는 과정에서 입력 오류가 발생될 수 있고, 스위치(버튼)를 물리적으로 한번 눌러야 되는데 2번 입력이 되는 경우와 눌렀는데 기구적 결함으로 입력신호가 전달이 안 되는 경우 등 다양한 입력 오류가 빈번히 발생할 수 있다. 그리고 카메라 렌즈부를 이동을 시키거나 짐벌 장치에 고정되어 있는 카메라 회전 및 작동하는 것에 있어서도 동일한 입력 오류 및 수동 스위치(버튼) 작동으로 기기에 입력신호를 전달하여만 하고, 사용자가 사진촬영 또는 동영상 녹화를 하기 위한 장면을 설정함에 있어서 수동적으로 그 방향을 고정을 해야 되고 피사체의 이동이나, 카메라 기기의 이동이 필요할 시 사용자가 일일이 렌즈의 방향을 재설정하고 고정시켜야 하는 등 다양한 불편함이 있다.
이에 따라, 센서 및 블루투스 또는 와이파이(Wi-Fi) 통신을 이용하여 두 손을 자유롭게 내가 바라보는 시선으로 카메라 이동을 시키면서 촬영을 할 수 있고 시선 처리 및 여러 가지 상황에 따라 촬영 모드가 변경되고 떨림까지 보정해준다면 개인촬영, 방송촬영, 1인 크리에이터 등 많은 분야에 획기적인 촬영장비로 활용될 수 있는 기술이 될 수 있다.
한편, 짐벌 카메라 또는 짐벌 기능을 가진 카메라 보조 액세서리 제품의 경우 사용자가 사진 촬영 또는 동영상 녹화 기능을 하고자 할 때 정확히 촬영 하고자 하는 방향과 기기의 방향을 일체화시켜 기기의 스위치(버튼) 등으로 입력신호를 전달하거나, 유무선을 활용하여 입력신호를 전달해야 기기가 작동이 되었다. 이는, 스위치(버튼)의 물리적 스위치 누르는 과정에서 오류가 발생할 수도 있고, 카메라 방향을 설정하기 위해서는 사용자가 일일이 원하는 방향에 따라 기기를 움직여서 다시 고정시켜야 하는 불편함이 존재하였다. 특히, 기기를 사용자 정면에 둔 상태로 1인 셀프 촬영을 할 때는 카메라 방향을 사용자가 원하는 방향대로 기기에 입력신호를 동일하게 줘야 하고 이러한 행위를 사용자가 카메라 방향을 바꿀 때마다 수정 입력신호를 입력을 해야 하기 때문에 최근 1인 미디어 시장의 확대하는 환경 속에서 사용자의 불편함이 존재하고 있다.
그리고, VR(Virtual Reality) 기기를 통해 이미 촬영된 영상이나 컨텐츠를 머리의 시선 각도에 따라서 화면 이동시키는 기술은 이미 있으나 이는 VR 컨텐츠 소모를 위한 기술이다. 기존 카메라들은 대부분 고정으로 촬영하거나 사물과 특정 이동 물체를 추적 촬영 등의 기술로 이루어져 있다.
본 실시예에 따른 대상 트래킹 장치(200)는 촬영자가 바라보는 시선이나 움직임/상황에 맞추어 카메라(310)를 이동시키면서 촬영을 할 수 있다. 촬영 시 인체의 머리 각도/시선 각도에 따라 카메라, 앵글 등이 실시간으로 촬영자의 시선에 맞추어 구동될 수 있으며, 촬영 기능을 움직임이나 영상의 상태에 따라 변경해주고, 이를 통한 스마트 촬영(Smart shooting 또는 자동 촬영(Auto Filming) 기능을 제공할 수 있다.
대상 트래킹 장치(200)는 짐벌의 안정화(Stabilization)과 모터의 이동 기술, 그리고 자이로센서의 움직임 측정, 블루투스 또는 와이파이 등의 무선 통신을 통한 움직임 데이터 통신, 움직임의 강도나 속도 방향과 촬영하는 위치, 공간을 판단하여 시선의 포인트와 센서, 짐벌의 거리 등의 계산을 통해 촬영자 시선에 따른 위치를 트래킹하여 촬영을 할 수 있다.
이에 여행을 하거나 나의 일상을 찍거나 특정 상황에서 내가 바라보는 시선에 맞춰 떨림이나 진동 없이 고퀄리티의 영상 촬영기법으로 카메라 각도가 이동하면서 촬영할 수 있다.
대상 트래킹 장치(200)는 센서 및 블루투스 또는 와이파이 통신을 이용하여 자이로센서의 움직임에 따라 가상 좌표계를 설정하고 그에 따른 목표 가상 좌표를 트래킹하기 위해 짐벌의 운동 방정식을 모델링하여 짐벌의 각 축(팬, 틸트, 롤) 모터 속도 명령을 짐벌의 구동 모터에 입력함으로써, 사용자가 소지하고 있는 자이로센서가 들어간 임의의 신호기의 움직임에 따라 카메라(310)를 회전시킬 수 있다. 또는, 대상 트래킹 장치(200)는 이미지 분석을 통해 사용자의 시선에 따른 목표 가상 좌표를 설정할 수도 있다.
사용자가 소지한 단말기기(일례로, 헤드 트래커)와 대상 트래킹 장치(200)가 같은 방향으로 피사체를 바라보고 있다면 단말기기의 움직임에 따른 신호에 따라 정방향으로 카메라(310)가 회전할 수 있다. 또한, 만약 사용자가 소지한 단말기기와 대상 트래킹 장치(200)가 마주보는 상황이라면 단말기기의 움직임의 반대 방향으로 카메라(310)가 회전할 수 있다.
더불어, 대상 트래킹 장치(200)에는 자이로센서와 함께 음성인식 센서도 함께 구비될 수 있어, 사용자가 음성으로 사용자의 위치를 기준으로 방향성을 안내함에 따라 대상 트래킹 장치(200)의 카메라(310)가 회전될 수도 있다.
이를 위해, 대상 트래킹 장치(200)는 사용자가 소지한 단말기기와 통신할 수 있다. 여기서, 사용자가 소지한 단말기기는 자이로센서 및 음성인식 입력이 가능한 마이크를 구비한 휴대기기일 수 있다. 이러한 단말기기는 사용자의 머리 방향에 대한 보다 정확한 측정을 위해 사용자의 귀나 머리에 착용하는 형태로 구현될 수도 있다. 자이로센서는 물체의 움직임에 따른 각 속도를 측정할 수 있는 장치로서, 기울기나 주변 환경에 상관없이 사용자의 움직임 좌표 값을 정확하게 측정할 수 있기 때문에 공중 모션을 정교하게 파악할 수 있다. 대상 트래킹 장치(200)는 이러한 단말기기의 움직임에 따라 감지된 신호를 수신하고, 수신된 신호에 기반하여 카메라(310)의 회전을 제어함으로써, 사용자의 헤드를 트래킹할 수 있다. 다른 예로, 대상 트래킹 장치(200)는 사용자와 마주보고 있는 경우, 카메라(310)를 통해 인식되는 사용자의 시선에 따른 가상 좌표계의 목표 가상 좌표를 인식함으로써 카메라(310)의 회전을 제어할 수도 있다. 또 다른 예로, 사용자가 소지한 단말기기는 구비된 마이크를 통해 방향과 이동 위치의 절대값을 음성으로 입력받아 대상 트래킹 장치(200)로 전달하고, 대상 트래킹 장치(200)는 전달된 정보에 기반하여 카메라(310)의 회전을 제어할 수 있다.
도 32 내지 도 34는 본 발명의 일실시예에 있어서, 사용자의 시선에 따라 카메라를 제어하는 방법의 예를 도시한 도면이다.
도 32는 사용자(3210)가 사용자(3210)의 오른쪽을 바라보는 것을 인식함에 따라 대상 트래킹 장치(200)가 대상 트래킹 장치(200)의 왼쪽으로 카메라(310)를 회전시키는 예를 나타내고 있다. 이와 유사하게 도 33은 사용자(3210)가 사용자(3210)의 왼쪽을 바라보는 것을 인식함에 따라 대상 트래킹 장치(200)가 대상 트래킹 장치(200)의 오른쪽으로 카메라(310)를 회전시키는 예를 나타내고 있다. 이때, 사용자(3210)의 시선은 앞서 설명한 바와 같이 사용자(3210)가 소지한 단말기기로부터의 정보에 기반하여 가상 좌표계(3220)의 목표 가상 좌표로서 얻어질 수 있다. 목표 가상 좌표는 사용자(3210)가 소지한 단말기기 또는 대상 트래킹 장치(200)에 의해 얻어질 수 있다. 또한, 도 34는 사용자(3210)가 대상 트래킹 장치(200)를 바라봄에 따라 대상 트래킹 장치(200) 역시 사용자(3210)를 트래킹하도록 카메라(310)를 회전시키는 예를 나타내고 있다.
도 35는 본 발명의 일실시예에 있어서, 사용자의 머리 방향에 따라 카메라를 제어하는 방법의 예를 도시한 도면이다. 도 35는 사용자(3210)와 대상 트래킹 장치(200)가 동일한 방향을 바라보는 상황에서 사용자(3210)가 소지한 단말기기를 통해 얻어지는 정보에 기반하여 사용자(3210)가 바라보는 방향과 동일한 방향을 바라보도록 대상 트래킹 장치(200)가 카메라(310)를 회전시키는 예를 나타내고 있다.
이러한 헤드 트래킹 모드(시선 또는 헤드 방향을 추적하는 트래킹 모드)와 앞서 설명한 얼굴 추적 기능(얼굴 등록을 이용한 트래킹 모드)이 동시에 활성화되어 있는 경우, 대상 트래킹 장치(200)는 헤드 트래킹의 작동 중에도 얼굴 추적 기능에 우선순위를 부여하여 얼굴 추적 기능에 따라 대상 트래킹 장치(200)의 카메라(310)를 제어할 수 있다. 일례로, 헤드 트래킹 모드를 통해 카메라(310)의 회전을 제어하는 도중, 화면에 등록된 얼굴이 등장하는 경우, 우선순위가 부여된 얼굴 추적 기능에 따라 등록된 얼굴을 추적할 수 있다.
한편, 또 다른 실시예에 있어서 대상 트래킹 장치(200)는 트리거(340)를 이용하여 짐벌 제어 모드를 전환할 수 있다. 일례로, 트리거(340)가 눌릴 때마다 대상 트래킹 장치(200)는 팬(Pan) 모드, 팔로우(Fllow) 모드, FPV(First Person View) 모드, 락(Lock) 모드 및 넌(None) 모드가 순차적으로 설정될 수 있다. 이때, 특정 모드에서 트리거(340)가 눌린 상태로 홀드(hold)되면, 설정된 모드가 활성화될 수 있다. 보다 구체적인 예로, 사용자가 트리거(340)를 눌러서 팬 모드를 설정한 후, 트리거(340)를 누른 상태로 홀드하면, 팬 모드가 활성화될 수 있다.
이때, 활성화된 모드에 대한 정보는 화면상에 표시될 수 있다.
도 36은 본 발명의 일실시예에 있어서, 트리거를 통해 활성화된 모드에 대한 정보를 표시하는 예를 도시한 도면이다. 도 36의 화면(3610)에는 트리거(340)를 눌러서 팬 모드가 활성화되었음을 나타내기 위한 정보가 점선박스(3620)와 같이 표시된 예를 나타내고 있다. 이때, 점선박스(3620)에 표시된 정보는 일정 시간(일례로, 1.5초) 후 표시가 해제되도록 구현될 수도 있다.
팬 모드는 팬 축을 제외하고 롤, 틸트 축을 잠그는 모드일 수 있다. 일례로 팬 모드의 경우, 본체 쪽 좌우 회전을 위한 모터 축(팬 축)은 트래킹 대상의 이동방향에 따라 부드럽게 이동하여 따라가고, 나머지 모터 축(롤 축 및 틸트 축)은 떨림 보정을 하면서 수평 및 수직 등의 카메라 방향을 유지할 수 있다.
팔로우 모드는 팬, 틸트 축을 제외하고 롤 축을 잠그는 모드일 수 있다. 일례로 팔로우 모드의 경우, 본체 쪽 좌우 회전 모터 축(팬 축) 및 카메라 렌즈 좌측의 상하 회전 모터 축(틸트 축)은 대상의 이동방향에 따라 부드럽게 이동하여 따라가고, 카메라 뒤쪽 수평 회전 모터 축(롤 축)은 떨림 보정을 하면서 카메라 수평을 유지할 수 있다.
FPV 모드는 팬, 롤, 틸트 모든 축이 모두 동작할 수 있는 모드일 수 있다. 일례로 FPV 모드의 경우, 팬 축, 롤 축 및 틸트 축의 3개의 축이 트래킹 대상의 이동방향에 따라 떨림 보정을 하면서 부드럽게 따라갈 수 있다.
락 모드는 팬, 롤, 틸트 모든 축을 모두 잠그는 모드일 수 있다. 일례로 락 모드의 경우, 팬 축, 롤 축 및 틸트 축의 3개의 축이 떨림 보정을 하면서 좌우, 상하, 수평을 유지할 수 있다.
넌 모드는 트리거 버튼을 홀드한 상태에서 어떠한 짐벌 제어 모드도 활성화하지 않는 모드일 수 있다.
한편, 또 다른 실시예에 있어서 대상 트래킹 장치(200)는 세로 모드를 제공할 수 있다.
도 37은 본 발명의 일실시예에 따른 대상 트래킹 장치의 가로 모드 및 세로 모드의 예를 도시한 도면이다. 가로 모드에서 세로 모드로 전환 시에는 자동으로 팔로우 모드로 변경될 수 있다. 실시예에 따라 세로 모드에서는 일부 모드가 지원되지 않을 수도 있다. 가로 모드에서 세로 모드로 전환 시 롤 축 모터가 시계 반대 방향으로 90° 회전하며 잠길 수 있고, 틸트 축 모터가 카메라 아래 방향으로 위치하게 된다. 또한, 화면 비율이 가로에서 세로로 변경(일례로, 9:16에서 16:9로 변경)될 수 있다.
도 38은 본 발명의 일실시예에 따른 대상 트래킹 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 대상 트래킹 방법은 도 2를 통해 설명한 대상 트래킹 장치(200)의 제어부(240)에 의해 수행될 수 있다. 이러한 제어부(240)는 도 1을 통해 설명한 프로세서(120)에 대응할 수 있다. 일례로, 대상 트래킹 장치(200)에 포함된 컴퓨터 장치(100)의 프로세서(120)는 메모리(110)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(120)는 대상 트래킹 장치(200)의 컴퓨터 장치(100)에 저장된 코드가 제공하는 제어 명령에 따라 대상 트래킹 장치(200)가 도 38의 방법이 포함하는 단계들(3810 내지 3890)을 수행하도록 대상 트래킹 장치(200)를 제어할 수 있다.
단계(3810)에서 제어부(240)는 대상 트래킹 장치(200)가 포함하는 카메라(310)를 통해 입력된 영상을 분석하여 사람의 얼굴을 인식할 수 있다. 영상에서 사람의 얼굴을 인식하는 방법은 별도로 한정되지 않는다. 일례로, 영상에서 사람의 얼굴을 인식하는 방법은 기계 학습(Machine Learning), 딥 러닝(Deep learning) 등과 같은 이미 잘 알려진 다양한 기술들 중 적어도 하나를 통해 구현될 수 있다.
단계(3820)에서 제어부(240)는 입력된 영상을 대상 트래킹 장치(200)가 포함하는 디스플레이(320)를 통해 표시할 수 있다.
단계(3830)에서 제어부(240)는 인식된 얼굴이 등록된 얼굴인지 여부를 결정할 수 있다. 일례로, 대상 트래킹 장치(200)의 저장소에는 등록된 얼굴의 이미지가 등록된 얼굴의 식별자(일례로, 등록된 순서에 따른 숫자 또는 별도로 지정된 텍스트)와 함께 저장될 수 있다. 이 경우, 제어부(240)는 저장소에 저장된 얼굴의 이미지와 영상에서 인식된 얼굴을 비교함으로써, 인식된 얼굴이 등록된 얼굴인지 여부를 결정할 수 있다.
단계(3840)에서 제어부(240)는 디스플레이(320)를 통해 표시된 얼굴과 대응하여 인식된 얼굴이 등록된 얼굴인지 여부를 나타내는 표식을 더 표시할 수 있다. 일례로, 도 10에서는 미등록된 얼굴에 대해 제1 얼굴 등록 표식(1020)을 통해 미등록된 사람의 얼굴을 표시하는 예를, 도 13에서는 등록된 얼굴에 대해 제1 등록 얼굴 표식(1320)을 통해 등록된 사람의 얼굴을 표시하는 예를 각각 설명한 바 있다. 이때, 제1 등록 얼굴 표식(1320)에는 해당 등록된 얼굴에 대한 식별자로서 해당 얼굴이 등록된 순서에 대한 정보를 표시할 수 있음을 설명한 바 있다. 실시예에 따라 식별자로서 별도로 지정된 텍스트가 사용될 수도 있다. 이때, 텍스트는 사용자에 의해 입력될 수 있다.
단계(3850)에서 제어부(240)는 인식된 얼굴이 등록된 얼굴이 아닌 경우, 인식된 얼굴을 등록하기 위한 사용자 인터페이스를 제공할 수 있다. 일례로, 앞서 도 10의 제1 얼굴 등록 표식(1020) 및 도 14의 제2 얼굴 등록 표식(1420)과 같이 인식된 얼굴의 등록을 위한 사용자 인터페이스를 제공하는 예를 설명한 바 있다.
단계(3860)에서 제어부(240)는 사용자 인터페이스를 통해 인식된 얼굴의 등록 요청이 수신되는 경우, 인식된 얼굴을 등록할 수 있다. 이미 설명한 바와 같이 제어부(240)는 대상 트래킹 장치(200)가 포함할 수 있는 저장소에 인식된 얼굴에 대한 이미지를 식별자와 연계하여 저장할 수 있다.
단계(3870)에서 제어부(240)는 대상 트래킹 장치가 포함하는 구동부(220)를 통해 카메라(310)의 회전을 제어하여 인식된 얼굴을 트래킹할 수 있다. 일례로, 제어부(240)는 구동부(220)가 포함하는 팬 축 모터, 롤 축 모터 및 틸트 축 모터 중 적어도 하나를 제어하여 카메라(310)의 회전을 제어할 수 있다.
실시예에 따라 입력된 영상에서 복수의 얼굴들이 인식될 수도 있다. 이 경우, 제어부(240)는 단계(3830)에서 복수의 얼굴들 각각이 등록된 얼굴인지 여부를 결정할 수 있다. 이 경우, 등록된 얼굴들에 대해 우선순위가 부여될 수 있다. 일례로, 제어부(240)는 단계(3870)에서 인식된 복수의 얼굴들 중 둘 이상이 등록된 얼굴들인 경우, 먼저 등록된 얼굴에 우선순위를 부여하여 먼저 등록된 얼굴을 트래킹할 수 있다. 이때, 제어부(3870)는 우선순위가 부여되지 않은 얼굴이 선택되는 경우, 먼저 등록된 얼굴과 선택된 얼굴을 동시에 트래킹(멀티 트래킹)할 수 있다. 여기서, 얼굴의 선택은 사용자의 입력에 따라 이루어질 수 있다. 다른 예로, 제어부(240)는 단계(3870)에서 인식된 복수의 얼굴들 중 둘 이상이 등록된 얼굴들이고, 사용자가 둘 이상의 등록된 얼굴들 중 어느 하나를 선택하는 경우, 선택된 얼굴에 우선순위를 동적으로 부여하여 선택된 얼굴을 트래킹할 수 있다. 일례로, 제어부(240)는 두 개의 등록된 얼굴들을 동시에 트래킹하는 경우, 두 개의 등록된 얼굴들 사이의 중심점 위치를 트래킹함으로써, 두 개의 등록된 얼굴들을 동시에 트래킹할 수 있다. 만약, 세 명 이상의 등록된 얼굴들이 인식된 경우에는 가장 좌측의 등록된 얼굴과 가중 우측의 등록된 얼굴 사이의 중심점 위치를 트래킹함으로써, 셋 이상의 등록된 얼굴들을 동시에 트래킹할 수 있다.
다른 실시예로, 제어부(240)는 단계(3870)에서 인식된 복수의 얼굴들 중 둘 이상이 등록된 얼굴들인 경우, 별다른 우선순위 없이 둘 이상의 등록된 얼굴들을 동시에 트래킹할 수도 있다.
단계(3880)에서 제어부(240)는 트래킹 중인 얼굴에 대한 선택이 입력되는 경우, 선택된 얼굴에 대한 트래킹을 해제할 수 있다. 일례로, 앞서 도 7 및 도 8에서는 사용자가 특정 사용자의 얼굴에 대한 표식의 영역을 선택(일례로, 탭)하여 해당 사용자에 대한 트래킹을 해제하는 예를 설명한 바 있다.
단계(3890)에서 제어부(240)는 카메라의 회전을 트리거링하기 위한 각도의 값을 포함하는 민감도의 설정을 위한 설정 기능을 제공할 수 있다. 여기서, 각도의 값은 트래킹 중인 대상이 화면의 중심에서 벗어난 각도의 값을 포함할 수 있다. 이 경우, 제어부(240)는 단계(3870)에서 설정 기능을 통해 설정된 민감도에 따라 카메라의 회전을 제어할 수 있다. 예를 들어, 각도의 값이 3°이고, 트래킹 중인 대상이 화면의 중심에서 3°이상 벗어난 경우, 제어부(240)는 트래킹 중인 대상이 화면의 중심에 표시되도록 카메라의 회전을 제어할 수 있다. 실시예에 따라 단계(3890)는 단계(3810) 이전이나 단계(3810) 내지 단계(3880)의 사이에 포함될 수도 있다.
도 39은 본 발명의 일실시예에 따른 대상 트래킹 방법의 다른 예를 도시한 흐름도이다. 본 실시예에 따른 대상 트래킹 방법은 도 2를 통해 설명한 대상 트래킹 장치(200)의 제어부(240)에 의해 수행될 수 있다. 이러한 제어부(240)는 도 1을 통해 설명한 프로세서(120)에 대응할 수 있다. 일례로, 대상 트래킹 장치(200)에 포함된 컴퓨터 장치(100)의 프로세서(120)는 메모리(110)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(120)는 대상 트래킹 장치(200)의 컴퓨터 장치(100)에 저장된 코드가 제공하는 제어 명령에 따라 대상 트래킹 장치(200)가 도 39의 방법이 포함하는 단계들(3910 내지 3960)을 수행하도록 대상 트래킹 장치(200)를 제어할 수 있다.
단계(3910)에서 제어부(240)는 대상 트래킹 장치(200)가 포함하는 카메라(310)를 통해 입력된 영상을 대상 트래킹 장치(310)가 포함하는 디스플레이(320)를 통해 표시할 수 있다.
단계(3920)에서 제어부(240)는 디스플레이(320)를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정할 수 있다. 일례로, 도 25 내지 도 31을 통해 복수의 포인트들을 설정하는 과정에 대해 설명한 바 있다.
단계(3930)에서 제어부(240)는 대상 트래킹 장치(200)가 포함하는 구동부(220)를 통해 카메라(310)의 회전을 제어하여 둘 이상의 포인트에 따라 결정되는 경로를 트래킹할 수 있다.
실시예에 따라 제어부(240)는 촬영 시간을 설정하기 위한 촬영 시간 설정 기능을 제공할 수 있다. 이 경우, 제어부(240)는 단계(3930)에서 촬영 시간 설정 기능을 통해 설정된 촬영 시간 동안 경로를 이동하도록 카메라의 회전을 제어할 수 있다. 앞서 도 24를 통해 촬영 시간을 설정할 수 있음을 설명하였으며, 먼저 촬영할 시간(Duration)을 설정하면, 각 비디오 설정값(배속 및/또는 인터벌)에 따라 영상의 길이가 자동으로 계산될 수 있음을 설명한 바 있다.
다른 실시예에서 제어부(240)는 경로의 반복 트래킹 여부를 설정하기 위한 반복 설정 기능을 제공할 수 있다. 이 경우, 제어부(240)는 단계(3930)에서 반복 설정 기능을 통해 경로를 반복하여 트래킹하는 것으로 설정된 경우, 경로를 반복하여 트래킹하도록 카메라의 회전을 제어할 수 있다. 경로의 반복은 SD 카드의 용량이 꽉 차거나 별도의 제어 입력이 입력될 때까지 진행될 수도 있고, 또는 기설정된 반복 횟수만큼 반복될 수도 있다.
또 다른 실시예에서 제어부(240)는 경로를 트래킹하는 도중 입력된 영상에서 등록된 얼굴이 등장하는 경우, 경로의 트래킹을 종료하고 등록된 얼굴을 트래킹할 수 있다. 얼굴을 트래킹하는 페이스 트래킹 모드에 대해서는 이미 자세히 설명한 바 있다. 이 경우, 페이스 트래킹 모드가 경로 트래킹 모드에 대해 우선순위를 가질 수 있다.
단계(3940)에서 제어부(240)는 둘 이상의 포인트를 나타내는 식별자와 둘 이상의 포인트에 대한 경로 진행 정보를 표시하는 표식을 디스플레이(320)를 통해 표시중인 영상에 더 표시할 수 있다. 여기서 표식은 이미 이동한 경로를 표시하기 위한 제1 표식, 현재 이동중인 경로를 표시하기 위한 제2 표식 및 미진입 경로를 표시하기 위한 제3 표식 중 적어도 하나를 포함할 수 있다. 이러한 표식에 대한 예시를 앞서 도 31을 통해 설명한 바 있다.
단계(3950)에서 제어부(240)는 사용자가 소지한 단말기기가 포함하는 자이로센서의 움직임에 기반하여 단말기기에서 생성되는 정보를 수신할 수 있다. 단말기기는 사용자가 소지한 스마트폰과 같은 기기일 수도 있으나 보다 정확한 헤드 방향에 대한 정보를 얻기 위해 사용자의 귀나 머리 등에 착용되는 형태의 기기로 구현될 수 있다.
단계(3960)에서 제어부(240)는 수신된 정보에 따라 구동부(220)를 통해 카메라(310)의 회전을 제어하여 사용자의 헤드 방향을 트래킹할 수 있다. 여기서 수신된 정보는, 단말기기의 가상 좌표계에서 자이로센서의 움직임에 기반하여 설정된 목표 가상 좌표에 대한 정보를 포함할 수 있다. 이 경우, 제어부(240)는 목표 가상 좌표를 트래킹함으로써 사용자의 헤드 방향을 트래킹할 수 있다.
실시예에 따라 제어부(240)는 단계(3950)에서 입력된 영상으로부터 사용자의 시선 방향을 인식할 수 있으며, 단계(3960)에서 인식된 시선 방향에 따라 구동부를 통해 카메라의 회전을 제어하여 사용자의 헤드 방향을 트래킹할 수 있다.
한편, 제어부(240)는 입력된 영상을 분석하여 인식된 사람의 얼굴을 등록하고, 등록된 얼굴을 트래킹하는 페이스 트래킹 모드 및 인식되는 사용자의 헤드 방향을 트래킹하는 헤드 트래킹 모드를 제공할 수 있다. 이때, 제어부(240)는 헤드 트래킹 모드에 따라 헤드 방향을 트래킹하는 동안 입력된 영상에 등록된 얼굴이 등장하는 경우, 헤드 트래킹 모드를 비활성화하고, 페이스 트래킹 모드에 따라 등록된 얼굴을 트래킹할 수 있다. 다시 말해, 페이스 트래킹 모드가 헤드 트래킹 모드에 대해 우선순위를 가질 수 있다.
또한, 이미 설명한 바와 같이 대상 트래킹 장치(200)는 트리거 버튼(일례로, 도 3을 통해 설명한 트리거(340))을 포함할 수 있다. 이 경우, 제어부(240)는 트리거 버튼이 눌려질 때마다 복수의 짐벌 제어 모드를 순차적으로 선택하여 설정할 수 있다. 이미 설명한 바와 같이, 구동부(200)는 팬 축, 롤 축 및 틸트 축을 포함할 수 있으며, 복수의 짐벌 제어 모드는, (1) 상기 팬 축을 제외하고 상기 롤 축 및 상기 틸트 축을 잠그는 팬 모드, (2) 상기 팬 축 및 상기 틸트 축을 제외하고 상기 롤 축을 잠그는 팔로우 모드, (3) 상기 팬 축, 상기 롤 축 및 상기 틸트 축이 모두 동작 가능한 FPV(First Person View) 모드, (4) 상기 팬 축, 상기 롤 축 및 상기 틸트 축을 모두 잠그는 락 모드 및 (5) 상기 트리거 버튼이 홀드된 상태에서 어떠한 짐벌 제어 모드도 활성화하지 않는 넌 모드 중 적어도 둘 이상의 짐벌 제어 모드를 포함할 수 있다.
또한, 대상 트래킹 장치(200)는 트리거 버튼의 홀드를 통해 활성화된 짐벌 제어 모드에 대한 정보를 디스플레이(320)를 통해 더 표시할 수 있다.
또한, 대상 트래킹 장치(200)는 카메라(310)의 모드가 가로 모드에서 세로 모드로 변경됨에 따라 구동부(220)가 포함하는 롤 축 모터를 90도 회전시켜 고정시킴으로써 카메라(310)의 모드를 세로 모드로 변경할 수 있다. 이때, 구동부(220)는 팬 축 모터, 롤 축 모터 및 틸트 축 모터를 포함할 수 있다. 이 경우, 롤 축 모터는, 대상 트래킹 장치(200)의 정면을 바라본 상태를 기준으로 가로 모드에서 카메라(310)의 좌측에 배치된 틸트 축 모터가 카메라(310)의 아래 방향에 위치하도록, 시계 반대 방향으로 회전할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 사람의 얼굴을 등록하고, 등록된 얼굴이 인식되는 경우 인식된 얼굴을 트래킹할 수 있다. 또한, 등록된 얼굴과 미등록된 얼굴을 구분하여 표시하고, 미등록된 얼굴을 바로 등록할 수 있는 기능을 제공할 수 있다. 또한, 복수의 얼굴을 등록하여 복수 명을 동시에 트래킹할 수 있다. 또한, 등록된 얼굴들에 우선순위를 설정하여 설정된 우선순위에 따라 대상을 트래킹할 수 있다. 또한, 짐벌의 트래킹 민감도를 설정하여 민감도에 따라 카메라의 회전 민감도를 조절할 수 있다. 또한, 복수의 인식 엔진을 이용하여 얼굴 외 주변 영역(일례로, 사람의 어깨선이나 사물)까지 인식함으로써, 트래킹 대상의 얼굴이 보이지 않더라도 트래킹을 유지할 수 있고, 사용자가 선택한 사물을 트래킹할 수 있다. 또한, 복수 포인트에 따른 경로를 설정하고, 설정된 경로에 따라 촬영이 이루어지도록 카메라의 회전을 자동으로 조절할 수 있다. 또한, 설정된 경로에 따라 촬영이 이루어지는 경우에 경로 진행 상태를 표시할 수 있는 사용자 인터페이스를 제공할 수 있다. 또한, 사용자의 헤드 방향이나 사용자의 시선에 따른 가상 좌표계의 특정 위치를 트래킹할 수 있다. 또한, 다양한 모드별 우선순위에 따라 대상을 트래킹할 수 있다. 또한, 트리거 버튼을 이용하여 짐벌 제어 모드를 빠르게 설정 및 활성화 또는 비활성화할 수 있다. 또한, 가로 모드와 세로 모드를 모두 제공할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 적어도 하나의 프로세서를 포함하는 대상 트래킹 장치의 대상 트래킹 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 대상 트래킹 장치가 포함하는 카메라를 통해 입력된 영상을 상기 대상 트래킹 장치가 포함하는 디스플레이를 통해 표시하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 디스플레이를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 대상 트래킹 장치가 포함하는 구동부를 통해 상기 카메라의 회전을 제어하여 상기 둘 이상의 포인트에 따라 결정되는 경로를 트래킹하는 단계
    를 포함하는 대상 트래킹 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 둘 이상의 포인트를 나타내는 식별자와 상기 둘 이상의 포인트에 대한 경로 진행 정보를 표시하는 표식을 상기 디스플레이를 통해 표시중인 영상에 더 표시하는 단계
    를 더 포함하는 대상 트래킹 방법.
  3. 제2항에 있어서,
    상기 표식은 이미 이동한 경로를 표시하기 위한 제1 표식, 현재 이동중인 경로를 표시하기 위한 제2 표식 및 미진입 경로를 표시하기 위한 제3 표식 중 적어도 하나를 포함하는 것을 특징으로 하는 대상 트래킹 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 촬영 시간을 설정하기 위한 촬영 시간 설정 기능을 제공하는 단계
    를 더 포함하고,
    상기 트래킹하는 단계는,
    상기 촬영 시간 설정 기능을 통해 설정된 촬영 시간 동안 상기 경로를 이동하도록 상기 카메라의 회전을 제어하는 것을 특징으로 하는 대상 트래킹 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 경로의 반복 트래킹 여부를 설정하기 위한 반복 설정 기능을 제공하는 단계
    를 더 포함하고,
    상기 트래킹하는 단계는,
    상기 반복 설정 기능을 통해 상기 경로를 반복하여 트래킹하는 것으로 설정된 경우, 상기 경로를 반복하여 트래킹하도록 상기 카메라의 회전을 제어하는 것을 특징으로 하는 대상 트래킹 방법.
  6. 제1항에 있어서,
    상기 트래킹하는 단계는,
    상기 경로를 트래킹하는 도중 상기 입력된 영상에서 등록된 얼굴이 등장하는 경우, 상기 경로의 트래킹을 종료하고 상기 등록된 얼굴을 트래킹하는 것을 특징으로 하는 대상 트래킹 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 사용자가 소지한 단말기기가 포함하는 자이로센서의 움직임에 기반하여 상기 단말기기에서 생성되는 정보를 수신하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 수신된 정보에 따라 상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 사용자의 헤드 방향을 트래킹하는 단계
    를 더 포함하는 대상 트래킹 방법.
  8. 제7항에 있어서,
    상기 수신된 정보는, 상기 단말기기의 가상 좌표계에서 상기 자이로센서의 움직임에 기반하여 설정된 목표 가상 좌표에 대한 정보를 포함하는 것을 특징으로 하는 대상 트래킹 방법.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 입력된 영상에서 사용자의 시선 방향을 인식하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 인식된 시선 방향에 따라 상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 사용자의 헤드 방향을 트래킹하는 단계
    를 더 포함하는 대상 트래킹 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 입력된 영상을 분석하여 인식된 사람의 얼굴을 등록하고, 등록된 얼굴을 트래킹하는 페이스 트래킹 모드 및 인식되는 사용자의 헤드 방향을 트래킹하는 헤드 트래킹 모드를 제공하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 헤드 트래킹 모드에 따라 상기 헤드 방향을 트래킹하는 동안 상기 입력된 영상에 상기 등록된 얼굴이 등장하는 경우, 상기 헤드 트래킹 모드를 비활성화하고, 상기 페이스 트래킹 모드에 따라 상기 등록된 얼굴을 트래킹하는 단계
    를 더 포함하는 대상 트래킹 방법.
  11. 제1항에 있어서,
    상기 대상 트래킹 장치는 트리거 버튼을 포함하고,
    상기 적어도 하나의 프로세서에 의해, 상기 트리거 버튼이 눌려질 때마다 복수의 짐벌 제어 모드를 순차적으로 선택하여 설정하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 트리거 버튼이 눌려진 상태로 홀드되는 경우, 상기 복수의 짐벌 제어 모드 중 현재 설정된 짐벌 제어 모드를 활성화하는 단계
    를 더 포함하는 대상 트래킹 방법.
  12. 제11항에 있어서,
    상기 구동부는 팬 축, 롤 축 및 틸트 축을 포함하고,
    상기 복수의 짐벌 제어 모드는, (1) 상기 팬 축을 제외하고 상기 롤 축 및 상기 틸트 축을 잠그는 팬 모드, (2) 상기 팬 축 및 상기 틸트 축을 제외하고 상기 롤 축을 잠그는 팔로우 모드, (3) 상기 팬 축, 상기 롤 축 및 상기 틸트 축이 모두 동작 가능한 FPV(First Person View) 모드, (4) 상기 팬 축, 상기 롤 축 및 상기 틸트 축을 모두 잠그는 락 모드 및 (5) 상기 트리거 버튼이 홀드된 상태에서 어떠한 짐벌 제어 모드도 활성화하지 않는 넌 모드 중 적어도 둘 이상의 짐벌 제어 모드를 포함하는 것을 특징으로 하는 대상 트래킹 방법.
  13. 제11항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 활성화된 짐벌 제어 모드에 대한 정보를 상기 디스플레이를 통해 더 표시하는 단계
    를 더 포함하는 대상 트래킹 방법.
  14. 제1항에 있어서,
    상기 적어도 하나의 프로세서에 의해, 상기 카메라의 모드가 가로 모드에서 세로 모드로 변경됨에 따라 상기 구동부가 포함하는 롤 축 모터를 90도 회전시켜 고정시킴으로써 상기 카메라의 모드를 세로 모드로 변경하는 단계
    를 더 포함하는 대상 트래킹 방법.
  15. 제14항에 있어서,
    상기 구동부는 팬 축 모터, 롤 축 모터 및 틸트 축 모터를 포함하고,
    상기 롤 축 모터는, 상기 대상 트래킹 장치의 정면을 바라본 상태를 기준으로 가로 모드에서 상기 카메라의 좌측에 배치된 상기 틸트 축 모터가 상기 카메라의 아래 방향에 위치하도록, 시계 반대 방향으로 회전하는 것
    을 특징으로 하는 대상 트래킹 방법.
  16. 컴퓨터 장치와 결합되어 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  17. 제1항 내지 제15항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  18. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서;
    영상을 입력받는 카메라;
    입력받은 영상을 표시하는 디스플레이; 및
    상기 카메라를 회전시키는 구동부
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    상기 카메라를 통해 입력된 영상을 상기 디스플레이를 통해 표시하고,
    상기 디스플레이를 통해 표시된 영상에 기반하여 둘 이상의 포인트를 설정하고,
    상기 구동부를 통해 상기 카메라의 회전을 제어하여 상기 둘 이상의 포인트에 따라 결정되는 경로를 트래킹하는 것
    을 특징으로 하는 대상 트래킹 장치.
  19. 제18항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    촬영 시간을 설정하기 위한 촬영 시간 설정 기능을 제공하고,
    상기 경로를 트래킹하기 위해, 상기 적어도 하나의 프로세서에 의해,
    상기 촬영 시간 설정 기능을 통해 설정된 촬영 시간 동안 상기 경로를 이동하도록 상기 카메라의 회전을 제어하는 것
    을 특징으로 하는 대상 트래킹 장치.
  20. 제18항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 경로의 반복 트래킹 여부를 설정하기 위한 반복 설정 기능을 제공하고,
    상기 경로를 트래킹하기 위해, 상기 적어도 하나의 프로세서에 의해,
    상기 반복 설정 기능을 통해 상기 경로를 반복하여 트래킹하는 것으로 설정된 경우, 상기 경로를 반복하여 트래킹하도록 상기 카메라의 회전을 제어하는 것
    을 특징으로 하는 대상 트래킹 장치.
KR1020210116257A 2021-09-01 2021-09-01 경로 기반의 대상 트래킹 방법 및 장치 KR20230033368A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210116257A KR20230033368A (ko) 2021-09-01 2021-09-01 경로 기반의 대상 트래킹 방법 및 장치
US17/898,742 US20230077662A1 (en) 2021-09-01 2022-08-30 Target tracking method and apparatus based on path

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210116257A KR20230033368A (ko) 2021-09-01 2021-09-01 경로 기반의 대상 트래킹 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230033368A true KR20230033368A (ko) 2023-03-08

Family

ID=85479673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210116257A KR20230033368A (ko) 2021-09-01 2021-09-01 경로 기반의 대상 트래킹 방법 및 장치

Country Status (2)

Country Link
US (1) US20230077662A1 (ko)
KR (1) KR20230033368A (ko)

Also Published As

Publication number Publication date
US20230077662A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
EP3145170B1 (en) Method and apparatus for controlling positioning of camera device, camera device and terminal device
JP2013247508A (ja) 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
KR20150124371A (ko) 이미지 표시 방법, 장치, 프로그램 및 기록매체
US10447926B1 (en) Motion estimation based video compression and encoding
US20190197666A1 (en) Receiving and displaying sensor data on a substantially spherical surface of a display device
US10165186B1 (en) Motion estimation based video stabilization for panoramic video from multi-camera capture device
CN113645410B (zh) 图像采集方法、设备及机器可读存储介质
CN106534649A (zh) 双旋转摄像头的构图方法、装置和移动终端
WO2018192094A1 (zh) 场景展示方法及装置
CN113424515A (zh) 信息处理设备、信息处理方法和程序
US20160344946A1 (en) Screen System
WO2022061535A1 (zh) 手持云台控制方法、手持云台、系统及可读存储介质
CN108398845A (zh) 投影设备控制方法和投影设备控制装置
JP2014062932A (ja) 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体
KR20230033368A (ko) 경로 기반의 대상 트래킹 방법 및 장치
KR20230033367A (ko) 짐벌 카메라를 이용한 대상 트래킹 방법 및 장치
JP2014039166A (ja) 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ
US11190696B2 (en) Electronic device capable of remotely controlling image capture apparatus and control method for same
WO2022041013A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2015012550A (ja) 撮像装置および撮像システム
JP6756103B2 (ja) 電子機器、表示システム、表示装置、撮像装置、表示制御方法及びプログラム
WO2021146908A1 (zh) 云台及其控制方法
KR100928723B1 (ko) 실제환경과 중첩되도록 영상을 보여주기 위한 뷰어시스템및 이를 이용한 영상출력방법
JP2005333628A (ja) カメラ制御装置およびこれを用いた監視カメラシステム

Legal Events

Date Code Title Description
A201 Request for examination