KR20150027137A - 카메라 파라미터의 컨텍스트 기반 조절 - Google Patents

카메라 파라미터의 컨텍스트 기반 조절 Download PDF

Info

Publication number
KR20150027137A
KR20150027137A KR1020147036563A KR20147036563A KR20150027137A KR 20150027137 A KR20150027137 A KR 20150027137A KR 1020147036563 A KR1020147036563 A KR 1020147036563A KR 20147036563 A KR20147036563 A KR 20147036563A KR 20150027137 A KR20150027137 A KR 20150027137A
Authority
KR
South Korea
Prior art keywords
camera
depth
depth camera
tracking
parameters
Prior art date
Application number
KR1020147036563A
Other languages
English (en)
Other versions
KR101643496B1 (ko
Inventor
게르솜 쿠틀리로프
샤하르 플레시먼
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20150027137A publication Critical patent/KR20150027137A/ko
Application granted granted Critical
Publication of KR101643496B1 publication Critical patent/KR101643496B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

이미지 장면 내의 엘리먼트에 기초하여 카메라의 파라미터를 조절하는 시스템 및 방법이 기재된다. 카메라가 이미지를 캡쳐하는 프레임 레이트는 관심 오브젝트가 카메라의 시야 내에 나타나는지에 기초하여 조절되어 카메라의 전력 소비를 개선할 수 있다. 노광 시간은 카메라로부터 오브젝트의 거리에 기초하여 설정되어 획득된 카메라 데이터의 품질을 개선할 수 있다.

Description

카메라 파라미터의 컨텍스트 기반 조절{CONTEXT-DRIVEN ADJUSTMENT OF CAMERA PARAMETERS}
관련 출원의 상호 참조
본 출원은 2012년 7월 31일에 제출된 미국 특허 출원 13/563,516에 대한 우선권을 주장하며, 이는 전체로서 참고로 여기에 포함된다.
깊이 카메라는 인터랙티브(interactive) 높은 프레임 레이트에서 그 환경의 깊이 이미지를 획득한다. 깊이 이미지는 카메라의 시야 내의 오브젝트와 카메라 자체 사이의 거리의 픽셀 측정(pixelwise measurements)을 제공한다. 깊이 카메라는 컴퓨터 비전의 일반적인 시야 내의 많은 문제점을 해결하는데 사용된다. 특히, 카메라는 사람의 이동 및 그의 손과 손가락의 이동의 트랙킹(tracking)과 같은 HMI(human-machine interface) 문제에 적용된다. 또한, 깊이 카메라는 예를 들어 감시 산업(surveillance industry)에 대한 컴포넌트로서 배치되어 사람을 트랙킹하고 금지 영역으로의 액세스를 모니터링한다.
실제로, 최근에 전자 장치와의 사용자 상호작용을 위한 제스쳐 제어의 애플리케이션에서 상당한 진보가 이루어져 왔다. 깊이 카메라에 의해 캡쳐된 제스쳐는, 예를 들어 가정 자동화를 위해 텔레비전을 제어하거나 태블릿, 퍼스널 컴퓨터 및 모바일 폰과의 사용자 인터페이스를 가능하게 하는 데 사용될 수 있다. 이들 카메라에서 사용되는 핵심 기술이 계속 개선되고 그 비용이 감소함에 따라, 제스쳐 제어는 전자 장치와의 인간 상호작용을 돕는 데 계속해서 중요한 역할을 할 것이다.
장면의 콘텐츠에 기초하여 깊이 카메라의 파라미터를 조절하는 시스템의 예가 도면에 도시된다. 예 및 도면은 제한적이기보다 설명하기 위한 것이다.
도 1은 일부 실시예에 따라 손/손가락의 트랙킹을 통해 원격 장치의 제어를 나타내는 개략도.
도 2a 및 2b는 일부 실시예에 따라 트랙킹될 수 있는 손 제스쳐의 예의 그래픽 도해.
도 3은 일부 실시예에 따라 카메라의 파라미터를 조절하는데 사용되는 시스템의 예시적인 컴포넌트를 나타내는 개략도.
도 4는 일부 실시예에 따라 카메라 파라미터를 조절하는데 사용되는 시스템의 예시적인 컴포넌트를 나타내는 개략도.
도 5는 일부 실시예에 따라 깊이 카메라 오브젝트 트랙킹을 위한 예시적인 프로세스를 나타내는 흐름도.
도 6은 일부 실시예에 따라 카메라의 파라미터를 조절하는 예시적인 프로세스를 나타내는 흐름도.
많은 기술 중에서, 깊이 카메라의 성능은 카메라의 파라미터 중의 일부를 조절함으로써 최적화될 수 있다. 그러나, 이들 파라미터에 기초한 최적의 성능은 변하고 이미지 장면(imaged scene) 내의 엘리먼트에 의존한다. 예를 들어, HMI 애플리케이션으로의 깊이 카메라의 적용가능성 때문에, 랩탑, 태블릿 및 스마트폰 등의 모바일 플랫폼에 대한 제스쳐 제어 인터페이스로서 깊이 카메라를 이용하는 것은 당연하다. 모바일 플랫폼의 제한된 전력 공급 때문에, 시스템 소비 전력은 주요 관심사이다. 이 경우, 깊이 카메라에 의해 얻어진 깊이 데이터의 품질과 카메라의 소비 전력 간의 직접적인 트레이드오프가 존재한다. 깊이 카메라의 데이터에 기초하여 트랙킹된 오브젝트의 정확도와 이들 장치에 의해 소비된 전력 간의 최적의 밸런스를 얻는 것은 카메라의 파라미터의 주의 깊은 튜닝을 요구한다.
본 발명은 이미지 장면의 콘텐츠에 기초하여 카메라의 파라미터를 설정하여 데이터의 전체 품질 및 시스템의 성능을 개선하는 기술을 설명한다. 위에서 도입된 예의 소비 전력의 경우, 카메라의 시야 내에 오브젝트가 없으면, 카메라의 프레임 레이트가 크게 감소하여, 결국 카메라의 소비 전력을 감소시킬 수 있다. 관심 오브젝트가 카메라의 시야 내에 나타나면, 오브젝트를 정확하고 강건하게 트랙킹하는데 요구되는 최대 카메라 프레임 레이트(full camera frame rate)가 회복(restore)될 수 있다. 이 방식으로, 카메라의 파라미터가 장면 콘텐츠에 기초하여 조절되어 전체 시스템 성능을 개선한다.
본 발명은 특히 카메라가 주 입력 캡쳐 장치로서 사용되는 예에 관련된다. 이 경우의 목적은 카메라가 보는 장면을 해석하는 것, 즉, (가능하면) 오브젝트를 검출 및 확인하고, 이러한 오브젝트를 트랙킹하고, 가능하게는 그것들의 위치와 발음(articulation)을 더 정확하게 이해하기 위하여 오브젝트에 모델을 적용하고 관련될 때 이러한 오브젝트의 이동을 해석하는 것이다. 본 발명의 핵심에서, 장면을 해석하고 알고리즘을 이용하여 관심 오브젝트를 검출하고 트랙킹하는 트랙킹 모듈은 시스템에 통합되어 카메라의 파라미터를 조절하는데 사용될 수 있다.
이하, 본 발명의 다양한 형태 및 예를 설명한다. 다음의 설명은 이들 예의 철저한 이해 및 설명을 위해 특정한 세부사항을 제공한다. 그러나, 당업자는 본 발명이 이들 세부사항 중 많은 것이 없이도 실행될 수 있음을 이해할 것이다. 추가적으로, 일부 공지된 구조 또는 기능은 관련 설명을 불필요하게 모호하게 하는 것을 피하기 위하여 상세히 도시되거나 설명되지 않을 수 있다.
이하에 제시되는 설명에 사용되는 용어는 기술의 특정 구체적 예의 상세한 설명과 결합하여 사용되더라도 가장 넓은 타당한 방식으로 해석되도록 의도된다. 소정의 용어가 이하에서 강조될 수 있지만, 임의의 제한된 방식으로 해석되도록 의도된 임의의 용어는 본 설명 부분에서 명백히 및 구체적으로 정의될 것이다.
깊이 카메라는 깊이 이미지를 캡쳐하는 카메라이다. 흔히, 깊이 카메라는 초당 다수의 프레임에서(프레임 레이트)에서 깊이 이미지들의 시퀀스(a sequence of depth images)를 캡쳐한다. 각각의 깊이 이미지는 픽셀별 깊이 데이터(per-pixel depth data)를 포함할 수 있고, 즉, 획득된 깊이 이미지 내의 각각의 픽셀은 이미지 장면 내의 오브젝트의 관련 세그먼트와 카메라 간의 거리를 나타내는 값을 갖는다. 깊이 카메라는 때때로 3차원 카메라라 한다.
깊이 카메라는 다른 컴포넌트 중에서 깊이 이미지 센서, 광학 렌즈 및 조명원(illumination source)을 포함할 수 있다. 깊이 이미지 센서는 몇 개의 상이한 센서 기술 중의 하나에 의존할 수 있다. 이들 센서 기술 중에는, TOF(time-of-flight)(스캐닝 TOF 또는 어레이 TOF를 포함), 구조 광(structured light), 레이저 스페클 패턴(laser speckle pattern) 기술, 스테레오스코픽 카메라(stereoscopic camera), 액티브 스테레오스코픽 센서(active stereoscopic sensor) 및 음영으로부터의 형상화(shape-from-shading) 기술이 있다. 이들 기술의 대부분은 자신의 조명원을 제공하는 액티브 센서 시스템에 의존한다. 반대로, 스테레오스코픽 카메라 등의 패시브 센서 시스템은 자신의 조명원을 제공하지 않고, 대신, 주변 환경 광에 의존한다. 깊이 데이터에 더하여, 깊이 카메라는 또한 종래의 칼라 카메라와 유사하게 칼라 데이터를 생성할 수 있고, 칼라 데이터는 깊이 데이터와 결합하여 처리될 수 있다.
TOF(time-of-flight) 센서는 깊이 이미지를 계산하기 위하여 TOF(time-of-flight) 원리를 이용한다. TOF(time-of-flight) 원리에 따르면, 입사 광 신호(s) 및 기준 신호(g), 즉, 오브젝트로부터 반사된 입사 광 신호의 상관은 다음과 같이 정의된다.
Figure pct00001
예를 들어, g가 이상적인 사인 신호이고, fm이 변조 주파수이고, a가 입사 광 신호의 진폭이고, b가 상관 바이어스(correlation bias)이고,
Figure pct00002
이 (오브젝트 거리에 대응하는) 위상 시프트이면, 상관은 다음과 같이 주어진다:
Figure pct00003
상이한 오프셋을 갖는 4개의 순차적 위상 이미지를 이용하면:
Figure pct00004
신호의 위상 시프트, 세기 및 진폭은 다음에 의해 결정된다:
Figure pct00005
실제로, 입력 신호는 사인 신호와 다를 수 있다. 예를 들어, 입력은 직사각형 신호일 수 있다. 그러면, 대응하는 위상 시프트, 세기 및 진폭은 상술한 이상적인 수학식과 다를 수 있다.
구조화된 광 카메라(structured light camera)의 경우, 광의 패턴(일반적으로, 그리드 패턴 또는 스트라이프 패턴)이 장면 상에 투영될 수 있다. 패턴은 장면 내에 존재하는 오브젝트에 의해 변형된다. 변형된 패턴은 깊이 이미지 센서에 의해 캡쳐될 수 있고 깊이 이미지는 이 데이터로부터 계산될 수 있다.
몇 개의 파라미터는 액티브 센서 시스템에서 노출 시간(integration time), 프레임 레이트 및 조명 세기 등의 카메라에 의해 생성되는 깊이 데이터의 품질에 영향을 준다. 노광 시간이라고도 알려져 있는 노출 시간은 센서 픽셀 어레이 상에 입사되는 광의 양을 제어한다. 예를 들어, TOF 카메라 시스템에서, 오브젝트가 센서 픽셀 어레이에 근접하면, 긴 노출 시간이 셔터를 통해 너무 많은 광을 통과시킬 수 있고 어레이 픽셀은 과포화(over-saturated)될 수 있다. 반면에, 오브젝트가 센서 픽셀 어레이로부터 멀리 떨어져 있으면, 오브젝트로부터 반사되는 불충분한 복귀광(returning light)이 높은 잡음 레벨을 갖는 픽셀 깊이 값을 산출할 수 있다.
이미지 프로세싱 (또는 다른) 알고리즘에 의해 후속으로 처리될 수 있는 환경에 관한 데이터를 얻는 컨텍스트에서, 깊이 카메라에 의해 생성된 데이터는 "2D"(2차원) 또는 "RGB"(red, green, blue) 카메라로도 알려진 종래의 카메라에 의해 생성된 데이터보다 몇 개의 이점을 갖는다. 깊이 데이터는 전경(foreground)으로부터 배경(background)을 분할(segment)하는 문제를 크게 간략화시키고, 조명 조건의 변화에 일반적으로 강건하고, 폐색(occlusion)을 해석하는데 효율적으로 사용될 수 있다. 예를 들어, 깊이 카메라를 이용하여 사용자의 손 및 손가락을 실시간으로 확인하고 강건하게 트랙킹할 수 있다. 사용자의 손 및 손가락의 위치에 대한 지식은 결국 가상 "3D" 터치 스크린 및 자연스럽고 직관적인 사용자 인터페이스를 가능하게 하는데 사용될 수 있다. 손 및 손가락의 이동은 컴퓨터, 태블릿, 모바일 폰, 핸드헬드 게임 콘솔(handheld gaming consoles) 및 자동차의 대쉬보드 제어를 포함한 다양하고 상이한 시스템, 장치 및/또는 전자 장치와의 사용자 상호작용을 작동시킬 수 있다. 또한, 이 인터페이스에 의해 가능한 애플리케이션 및 상호작용은 생산성 툴 및 게임 뿐만 아니라 엔터테인먼트 시스템 제어(미디어 센터 등), 증강 현실(augmented reality) 및 사람과 전자 장치 간의 통신/상호작용의 많은 다른 형태를 포함할 수 있다.
도 1은 깊이 카메라가 사용될 수 있는 예시적인 애플리케이션을 나타낸다. 사용자(110)는 자신의 손 및 손가락(130)의 이동에 의해 원격 외부 장치(140)를 제어한다. 사용자는 깊이 카메라를 포함하는 장치(120)를 한손으로 잡고 트랙킹 모듈은 깊이 카메라에 의해 생성된 깊이 이미지로부터 자신의 손가락의 이동을 확인 및 트랙킹하고 그 이동을 처리하여 외부 장치(140)에 대한 명령으로 변환하고 명령을 외부 장치(140)로 송신한다.
도 2a 및 2b는 검출, 트랙킹 및 인식될 수 있는 이동의 예로서 일련의 손 제스쳐를 나타낸다. 도 2b에 도시된 예의 일부는 손가락의 이동을 나타내는 일련의 중첩 화살표를 포함하여 의미있고 인식가능한 신호 또는 제스쳐를 생성한다. 물론, 사용자의 신체의 다른 부분 또는 다른 오브젝트로부터 다른 제스쳐 또는 신호가 검출될 수 있다. 다른 예에서, 사용자 이동의 다수의 오브젝트로부터의 제스쳐 또는 신호, 예를 들어, 동시에 2 이상의 손가락의 이동이 검출, 트랙킹, 인식 및 실행될 수 있다. 물론, 트랙킹은 손 및 손가락 이외에 신체의 다른 부분 또는 다른 오브젝트에 대하여 실행될 수 있다.
깊이 카메라의 파라미터를 조절하여 성능을 최적화하는 예시적인 컴포넌트를 나타내는 개략도인 도 3을 이제 참조한다. 일 실시예에 따르면, 카메라(310)는 USB 포트를 통해 컴퓨터(370)에 접속되거나 일부 다른 방식을 통해, 무선 또는 유선으로 컴퓨터에 결합된 독립 장치이다. 컴퓨터(370)는 트랙킹 모듈(320), 파라미터 조절 모듈(330), 제스쳐 인식 모듈(340) 및 애플리케이션 소프트웨어(350)를 포함할 수 있다. 일반성의 손실 없이, 컴퓨터는 예를 들어 랩탑, 태블릿, 또는 스마트폰일 수 있다.
카메라(310)는 오브젝트(들)의 깊이 데이터를 생성하는데 사용되는 깊이 이미지 센서(315)를 포함할 수 있다. 카메라(310)는 오브젝트(305)가 나타날 수 있는 장면을 모니터한다. 이들 오브젝트 중의 하나 이상을 트랙킹하는 것이 바람직할 수 있다. 일 실시예에서, 사용자의 손 및 손가락을 트랙킹하는 것이 바람직할 수 있다. 카메라(310)는 트랙킹 모듈(320)로 전송되는 깊이 이미지들의 시퀀스를 캡쳐한다. 2010년 6월 16일에 제출되고 발명의 명칭이 "METHOD AND SYSTEM FOR MODELING SUBJECTS FROM A DEPTH MAP"인 미국 특허 출원 12/817,102는 트랙킹 모듈(320)에 의해 수행될 수 있는 깊이 카메라를 이용하여 인간 모습을 트랙킹하는 방법을 기술하며 이는 전체로서 여기에 포함된다.
트랙킹 모듈(320)은 카메라(310)에 의해 획득된 데이터를 처리하여 카메라의 시야 내의 오브젝트를 확인 및 트랙킹한다. 이 트랙킹의 결과에 기초하여, 트랙킹된 오브젝트에 대하여 얻어진 데이터의 품질을 최대화하기 위하여, 카메라의 파라미터가 조절된다. 이들 파라미터는 그 중에서도 노출 시간, 조명 전력, 프레임 레이트 및 카메라의 유효 범위를 포함할 수 있다.
예를 들어, 특정 오브젝트에 관한 정보를 캡쳐하는 알고리즘을 실행함으로써 관심 오브젝트가 트랙킹 모듈(320)에 의해 검출되면, 카메라의 노출 시간은 카메라로부터의 오브젝트의 거리에 따라 설정될 수 있다. 오브젝트가 카메라에 근접함에 따라, 노출 시간이 감소하여 센서의 과포화를 방지하고, 오브젝트가 카메라로부터 멀어짐에 따라, 관심 오브젝트에 대응하는 픽셀에 대하여 더 정확한 값을 얻기 위하여 노출 시간이 증가한다. 이 방식으로, 관심 오브젝트에 대응하는 데이터의 품질이 최대화되고, 이는 결국 알고리즘에 의해 더 정확하고 강건한 트랙킹을 가능하게 한다. 그 다음에, 트랙킹 결과는, 카메라 기반 트랙킹 시스템의 성능을 최대화하도록 설계된 피드백 루프에서, 다시 카메라 파라미터를 조절하는데 사용된다. 노출 시간은 애드혹 기반(ad-hoc basis)으로 조절될 수 있다.
대안으로, TOF(time-of-flight) 카메라에 대하여, (상술한 바와 같이) 깊이 이미지 센서에 의해 계산된 진폭 값은 깊이 카메라가 양호한 품질의 데이터를 캡쳐하도록 하는 범위 내에서 노출 시간을 유지시키는데 사용될 수 있다. 진폭 값은 이미지 장면 내의 오브젝트로부터 반사된 후 이미지 센서로 복귀하는 광자의 총 수에 실질적으로 대응한다. 따라서, 카메라에 더 근접한 오브젝트는 더 높은 진폭 값에 대응하고 카메라로부터 더 먼 오브젝트는 더 낮은 진폭 값을 산출한다. 그러므로, 카메라의 파라미터, 특히, 노출 시간 및 조명 전력을 조절함으로써 달성될 수 있는 고정 범위 내에 관심 오브젝트에 대응하는 진폭 값을 유지하는 것이 효과적이다.
프레임 레이트는 고정된 기간 동안 카메라에 의해 캡쳐된 프레임 또는 이미지의 수이다. 이는 일반적으로 초당 프레임으로 측정된다. 더 높은 프레임 레이트가 더 많은 데이터 샘플을 유발하기 때문에, 일반적으로 트랙킹 알고리즘에 의해 수행되는 트랙킹의 품질과 프레임 레이트 사이에는 비례비(proportional ratio)가 존재한다. 즉, 프레임 레이트가 증가함에 따라, 트랙킹의 품질이 개선된다. 또한, 더 높은 프레임 레이트는 사용자가 경험하는 시스템의 레이턴시를 낮춘다. 반면에, 더 높은 프레임 레이트는 또한 증가된 계산 때문에, 그리고 액티브 센서 시스템의 경우, 조명원에 의해 요구되는 증가된 전력 때문에 더 높은 소비 전력을 요구한다. 일 실시예에서, 프레임 레이트는 남은 배터리 전력의 양에 기초하여 동적으로 조절된다.
다른 실시예에서, 트랙킹 모듈은 카메라의 시야 내의 오브젝트를 검출하는데 사용될 수 있다. 관심 오브젝트가 존재하지 않으면, 전력을 절약하기 위하여 프레임 레이트는 크게 감소할 수 있다. 예를 들어, 프레임 레이트는 1 프레임/초로 감소될 수 있다. 프레임 캡쳐마다(각 초에 한번), 트랙킹 모듈은 카메라의 시야 내에 관심 오브젝트가 있는지를 결정하는 데 사용될 수 있다. 이 경우, 프레임 레이트는 증가하여 트랙킹 모듈의 효과를 최대화할 수 있다. 오브젝트가 시야 밖으로 나가면, 전력을 절약하기 위하여 프레임 레이트는 다시 한번 감소한다. 이것은 애드혹 기반으로 수행될 수 있다.
일 실시예에서, 카메라의 시야 내에 다수의 오브젝트가 존재하면, 사용자는 카메라 파라미터를 결정하는데 사용될 오브젝트 중의 하나를 지정할 수 있다. 오브젝트를 트랙킹하는데 사용되는 데이터를 캡쳐하는 깊이 카메라의 능력의 컨텍스트에서, 카메라 파라미터가 조절되어 관심 오브젝트에 대응하는 데이터는 최적의 품질이 되고 이 역할에서 카메라의 성능을 개선할 수 있다. 이 경우의 추가의 향상에 있어서, 카메라는 다수의 사람이 보이는 장면의 감시에 사용될 수 있다. 시스템은 장면 내의 한 사람을 트랙킹하도록 설정될 수 있고, 카메라 파라미터는 자동으로 조절되어 관심있는 사람에 대한 최적의 데이터 결과를 산출할 수 있다.
깊이 카메라의 유효 범위는 유효한 픽셀 값이 얻어지는 카메라 앞의 3차원 공간이다. 이 범위는 카메라 파라미터의 특정 값에 의해 결정된다. 결과적으로, 관심 오브젝트에 대해 얻어진 트랙킹 데이터의 품질을 최대화하기 위하여, 카메라의 범위가 또한 본 발명에 기재된 방법을 통해 조절될 수 있다. 특히, 오브젝트가 유효 범위의 (카메라로부터) 먼 단부에 있으면, 이 범위는 오브젝트를 계속 트랙킹하기 위하여 확장될 수 있다. 예를 들어, 범위는 노출 시간을 길게 하거나 더 많은 조명을 방출함으로써 확장될 수 있고, 어느 경우에도 이미지 센서에 도달하는 입사 신호로부터의 더 많은 광을 초래하고, 따라서, 데이터의 품질을 개선한다. 대안으로 또는 추가적으로, 범위는 초점 거리를 조절함으로써 확장될 수 있다.
여기에 기재된 방법은 종래의 RGB 카메라와 결합될 수 있고, RGB 카메라의 설정은 트랙킹 모듈의 결과에 따라 고정될 수 있다. 특히, RGB 카메라의 초점은 장면 내의 관심 오브젝트로의 거리에 자동으로 적응되어, RGB 카메라의 심도(depth-of-field)를 최적으로 조절할 수 있다. 이 거리는 깊이 센서에 의해 캡쳐되는 깊이 이미지로부터 계산될 수 있고 트랙킹 알고리즘을 이용하여 장면 내의 관심 오브젝트를 검출하고 트랙킹할 수 있다.
트랙킹 모듈(320)은 파라미터 조절 모듈(330)에 트랙킹 정보를 전송하고, 파라미터 조절 모듈(330)은 후속으로 카메라(310)에 적절한 파라미터 조절을 송신하여 캡쳐된 데이터의 품질을 최대화한다. 일 실시예에서, 트랙킹 모듈(320)의 출력은 제스쳐 인식 모듈(340)로 송신될 수 있고, 제스쳐 인식 모듈은 주어진 제스쳐가 수행되었는지를 산출한다. 트랙킹 모듈(320)의 결과 및 제스쳐 인식 모듈(340)의 결과는 둘다 소프트웨어 애플리케이션(350)으로 전송된다. 인터랙티브 소프트웨어 애플리케이션(350)으로, 소정의 제스쳐 및 트랙킹 구성은 디스플레이(360) 상의 렌더링된 이미지를 변경할 수 있다. 사용자는 자신의 동작이 디스플레이(360) 상의 결과에 직접 영향을 주는 것처럼 이 일련의 이벤트(chain-of-events)를 해석한다.
카메라의 파라미터를 설정하는데 사용되는 예시적인 컴포넌트를 나타내는 개략도인 도 4를 이제 참조한다. 일 실시예에 따르면, 카메라(410)는 깊이 이미지 센서(425)를 포함할 수 있다. 카메라(410)는 또한 트랙킹 모듈(430) 및 파라미터 조절 모듈(440)의 기능을 수행하는데 사용되는 내장형 프로세서(420)를 포함할 수 있다. 카메라(410)는 USB 포트를 통해 컴퓨터(450)에 접속되거나 일부 다른 방식을 통해, 유선 또는 무선으로 컴퓨터에 결합될 수 있다. 컴퓨터는 제스쳐 인식 모듈(460) 및 소프트웨어 애플리케이션(470)을 포함할 수 있다.
카메라(410)로부터의 데이터는 예를 들어 발명의 명칭이 "METHOD AND SYSTEM FOR MODELING SUBJECTS FROM A DEPTH MAP"인 미국 특허 출원 12/817,102에 기재된 깊이 카메라를 이용하여 인간 모습을 추적하는 방법을 이용하여 트랙킹 모듈(430)에 의해 처리될 수 있다. 관심 오브젝트가 검출되고 트랙킹될 수 있고, 이 정보는 트랙킹 모듈(430)로부터 파라미터 조절 모듈(440)로 전달될 수 있다. 파라미터 조절 모듈(440)은 계산을 수행하여, 관심 오브젝트에 대응하는 데이터의 최적의 품질을 산출하기 위해 카메라 파라미터가 어떻게 조절되어야 하는지를 결정한다. 후속으로, 파라미터 조절 모듈(440)은 카메라(410)로 파라미터 조절을 전송하고, 카메라(410)는 그에 따라 파라미터를 조절한다. 이들 파라미터는 그 중에서도 노출 시간, 조명 전력, 프레임 레이트, 및 카메라의 유효 범위를 포함할 수 있다.
트랙킹 모듈(430)로부터의 데이터는 또한 컴퓨터(450)로 송신될 수 있다. 일반성의 손실없이, 컴퓨터는 예를 들어 랩탑, 태블릿 또는 스마트폰일 수 있다. 트랙킹 결과는 예를 들어, 2010년 2월 17일에 제출되고 발명의 명칭이 "METHOD AND SYSTEM FOR GESTURE RECOGNITION"인 미국 특허 출원 12/707,340에 기재된 깊이 카메라를 이용하여 제스쳐를 확인하거나 2007년 10월 2일에 제출된 발명의 명칭이 "METHOD AND SYSTEM FOR GESTURE CLASSIFICATION"인 미국 특허 7,970,176에 기재된 깊이 카메라를 이용하여 제스쳐를 확인하는 방법을 이용하여 사용자에 의해 특정 제스쳐가 수행되었는지를 검출하는 제스쳐 인식 모듈(460)에 의해 처리될 수 있다. 양 특허 출원은 전체로서 여기에 포함된다. 제스쳐 인식 모듈(460)의 출력 및 트랙킹 모듈(430)의 출력은 애플리케이션 소프트웨어(470)로 전달될 수 있다. 애플리케이션 소프트웨어(470)는 사용자에게 디스플레이되어야 하는 출력을 계산하여 관련된 디스플레이(480) 상에 디스플레이한다. 인터랙티브 애플리케이션에서, 소정의 제스쳐 및 트랙킹 구성은 일반적으로 디스플레이(480) 상의 렌더링된 이미지를 변경한다. 사용자는 자신의 동작이 디스플레이(480) 상의 결과에 직접 영향을 주는 것처럼 이 일련의 이벤트를 해석한다.
깊이 카메라(310 또는 410)에 의해 생성된 데이터를 이용하여 사용자의 손(들) 및 손가락(들)을 트랙킹하는 트랙킹 모듈(320 또는 430)에 의해 수행된 예시적인 프로세스를 나타내는 도 5를 이제 참조한다. 블록(510)에서, 오브젝트는 배경으로부터 분할 및 분리된다. 이것은 예를 들어 깊이 값을 경계화(thresholding)하거나 이전 프레임으로부터 오브젝트의 윤곽(contour)을 트랙킹하여 현재의 프레임으로부터의 윤곽에 매칭함으로써 수행될 수 있다. 일 실시예에서, 사용자의 손은 깊이 카메라(310 또는 410)로부터 얻어진 깊이 이미지 데이터로부터 확인되고, 손은 배경으로부터 분할된다. 원치않는 잡음 및 배경 데이터는 이 스테이지에서 깊이 이미지로부터 제거된다.
후속으로, 블록(520)에서, 깊이 이미지 데이터 및 연관된 진폭 데이터 및/또는 연관된 RGB 이미지에서 특징이 검출된다. 일 실시예에서, 이들 특징은 손가락의 끝, 손가락의 맨 아래가 손바닥과 만나는 포인트 및 검출될 수 있는 임의의 다른 이미지 데이터일 수 있다. 그 다음에, 블록(520)에서 검출된 특징은 블록(530)에서 이미지 데이터 내의 개별 손가락을 확인하는데 사용된다. 블록(540)에서, 손가락은 이전 프레임 내의 손가락의 위치에 기초하여 현재 프레임에서 트랙킹된다. 이 단계는 블록(520)에서 검출되었을 수 있는 거짓 양성(false-positive) 특징들을 필터링하는 것을 돕는데 중요하다.
블록(550)에서, 손가락의 끝 및 손가락의 관절 중의 일부의 3차원 포인트가 손 골격 모델(hand skeleton model)을 구성하는데 사용될 수 있다. 모델은, 폐색 또는 카메라의 시야 밖에 있는 손의 일부로부터 놓친 특징 때문에, 트랙킹 품질을 더 개선하고 이전 단계에서 검출되지 않은 관절에 위치를 할당하는데 사용될 수 있다. 또한, 운동학적(kinematic) 모델이 블록(550)에서 골격의 일부로서 적용되어 트랙킹 결과를 개선하는 추가의 정보를 추가할 수 있다.
카메라의 파라미터를 조절하는 예시적인 프로세스를 나타내는 흐름도인 도 6을 이제 참조한다. 블록(610)에서, 깊이 카메라는 하나 또는 다수의 관심 오브젝트를 포함할 수 있는 장면을 모니터한다.
불린(Boolean) 상태 변수 "objTracking"는 블록(610)에서 시스템의 현재 상태, 특히, 오브젝트가 카메라에 의해 캡쳐된 데이터의 가장 최근 프레임에서 검출되었는지를 나타내는데 사용될 수 있다. 결정 블록(620)에서, 이 상태 변수 "objTracking"의 값이 평가된다. "참이면, 즉, 관심 오브젝트가 카메라의 시야 내에 현재 있으면(블록(620)-예), 블록(630)에서, 트랙킹 모듈은 카메라에 의해 획득된 데이터를 트랙킹하여 (도 5에 더 상세히 기재되는) 관심 오브젝트의 위치를 찾는다. 프로세스는 블록(660 및 650)으로 계속된다.
블록(660)에서, 트랙킹 데이터는 소프트웨어 애플리케이션으로 전달된다. 그 후, 소프트웨어 애플리케이션은 사용자에게 적절한 응답을 디스플레이할 수 있다.
블록(650)에서, objTracking 상태 변수가 업데이트된다. 관심 오브젝트가 카메라의 시야 내에 있으면, objTracking 상태 변수는 참으로 설정된다. 그렇지 않으면, objTracking 상태 변수가 거짓으로 설정된다.
그 후, 블록(670)에서, 카메라 파라미터는 상태 변수 objTracking에 따라 조절되어 카메라로 전송된다. 예를 들어, objTracking이 참이면, 블록(630)에서 프레임 레이트 파라미터가 상승하여 트랙킹 모듈에 의해 더 높은 정확도를 지원할 수 있다. 또한, 노출 시간이 카메라로부터의 관심 오브젝트의 거리에 따라 조절되어 관심 오브젝트에 대한 카메라에 의해 얻어진 데이터의 품질을 최대화할 수 있다. 조명 전력이 또한 조절되어 카메라로부터의 오브젝트의 거리를 고려하여 소비 전력과 데이터의 요구되는 품질 사이의 밸런스를 맞춘다.
카메라 파라미터의 조절은 애드혹 기반으로 또는 카메라 파라미터의 최적 값을 계산하도록 설계된 알고리즘을 통해 수행될 수 있다. 예를 들어, (상기 설명에 기재된) TOF(time-of-flight) 카메라의 경우, 진폭 값은 복귀하는 (입사) 신호의 강도를 나타낸다. 이 신호 강도는 카메라로부터의 오브젝트의 거리, 재료의 반사율 및 주변 광으로부터의 가능한 효과를 포함하는 몇 개의 인자에 의존한다. 카메라 파라미터는 진폭 신호의 강도에 기초하여 조절될 수 있다. 특히, 소정의 관심 오브젝트에 대하여, 오브젝트에 대응하는 픽셀의 진폭 값은 소정의 범위 내에 있어야 한다. 이들 값의 함수가 수락가능한 범위 아래에 있으면, 노출 시간이 증가하거나 조명 전력이 증가하여 진폭 픽셀 값의 함수가 수락가능한 범위로 복귀한다. 진폭 픽셀 값의 이 함수는 총계이거나 가중 평균이거나 진폭 픽셀 값에 의존하는 일부 다른 함수일 수 있다. 마찬가지로, 관심 오브젝트에 대응하는 진폭 픽셀 값의 함수가 수락가능한 범위보다 높으면, 깊이 픽셀 값의 과포화를 피하기 위하여 노출 시간이 감소하거나 조명 전력이 감소할 수 있다.
일 실시예에서, 블록(650)에서 objTracking 상태 변수를 업데이트할지에 관한 결정은 다수의 프레임마다 한번 적용되거나 매 프레임마다 적용될 수 있다. objTracking 상태 평가 및 카메라 파라미터를 조절할지에 대한 결정은 일부 시스템 오버헤드를 초래하고, 그러므로, 다수의 프레임에 대하여 단 한번만 이 단계를 수행하는 것이 유리하다. 카메라 파라미터가 계산되고 새로운 파라미터가 카메라로 전송되면, 블록(610)에서 새로운 파라미터 값이 적용된다.
관심 오브젝트가 카메라(610)의 시야 내에 현재 나타나지 않으면(블록(620)- 아니오), 블록(640)에서, 초기 검출 모듈은 관심 오브젝트가 이제 제1 시간 동안 카메라의 시야 내에 나타나는지를 결정한다. 초기 검출 모듈이 카메라의 시야 및 범위 내에서 임의의 오브젝트를 검출할 수 있다. 이것은 손 또는 카메라 앞에서 지나가는 임의의 것 등의 특정 관심 오브젝트일 수 있다. 다른 실시예에서, 사용자는 검출될 특정 오브젝트를 정의할 수 있고, 카메라의 시야 내에 다수의 오브젝트가 존재하면, 사용자는 카메라의 파라미터를 조절하기 위하여 다수의 오브젝트 중의 특정 하나 또는 임의의 하나가 사용되어야 한다는 것을 특정할 수 있다.
컨텍스트가 명백히 다르게 요구하지 않는 한, 설명 및 청구범위에서, "포함하다", "포함하는" 등의 단어는 배타적이거나 철저한 의미와 대조적으로 포괄적인 의미(즉, "포함하지만, 제한되지 않는"의 의미)로 해석된다. 여기에 사용되는 바와 같이, 용어 "접속된", "결합된" 또는 그 임의의 변형은 2 이상의 엘리먼트 간의 직접 또는 간접의 임의의 접속 및 결합을 의미한다. 엘리먼트간의 그러한 접속 또는 결합은 물리적, 논리적 또는 그 조합일 수 있다. 추가적으로, 단어 "여기", "상기", "하기" 및 유사한 의미의 단어는 본 출원에서 사용될 때 본 출원의 임의의 특정 부분을 지칭하는 것이 아니라 전체로서의 본 출원을 지칭한다. 컨텍스트가 허용하면, 단수 또는 복수를 이용하는 상기 상세한 설명의 단어는 또한 각각 복수 또는 단수를 포함할 수 있다. 2 이상의 항목의 리스트와 관련하여 단어 "또는"은 리스트 내의 항목의 임의의 것, 리스트 내의 모든 항목 및 리스트 내의 항목의 임의의 조합 등의 단어의 해석을 모두 포함한다.
본 발명의 예의 상기 설명은 상기 개시된 정밀한 형태로 본 발명을 제한하거나 완전한 것으로 의도되지 않는다. 본 발명에 대한 특정한 예는 설명의 목적으로 상술하지만, 당업자가 인식하는 바와 같이 다양한 동등 변형이 본 발명의 범위 내에서 가능하다. 프로세스 또는 블록이 본 출원에서 소정의 순서로 제시되지만, 다른 구현예는 상이한 순서로 수행되는 단계를 포함하는 루틴을 수행하거나 상이한 순서의 블록을 갖는 시스템을 채용할 수 있다. 일부 프로세스 또는 블록이 제거, 이동, 추가, 세분, 조합 및/또는 변경되어 대안적인 조합 또는 서브조합을 제공할 수 있다. 또한, 프로세스 또는 블록이 때때로 연속적으로 수행되는 것으로 도시되지만, 이들 프로세스 또는 블록은 병렬로 수행되거나 구현될 수 있거나 상이한 시간에 수행될 수 있다. 여기에 기재된 임의의 특정 번호는 단지 예이다. 다른 구현예가 다른 값 또는 범위를 채용할 수 있음을 이해할 것이다.
여기에 제공되는 다양한 설명 및 사상은 또한 상술한 시스템 이외의 시스템에 적용될 수 있다. 상술한 다양한 예의 엘리먼트 및 동작은 결합되어 본 발명의 다른 구현예를 제공할 수 있다.
첨부된 제출 논문에 열거될 수 있는 임의의 것을 포함하는 상술한 임의의 특허 및 출원 및 다른 참고문헌은 참고로 여기에 포함된다. 필요하다면, 본 발명의 양태는 변경되어 이러한 참고문헌에 포함되는 시스템, 기능 및 개념을 채용하여 본 발명의 다른 구현예를 제공할 수 있다.
상술한 설명을 고려하여 본 발명에 대한 이들 및 다른 변형이 이루어질 수 있다. 상기 설명은 본 발명의 소정의 예를 설명하고 고려되는 최상의 모드를 설명하지만, 상기에서 얼마나 상세히 설명하든, 본 발명은 많은 방식으로 실행될 수 있다. 시스템의 세부사항은 특정 구현예에서 크게 변경될 수 있지만, 여기에 개시된 본 발명에 의해 여전히 포함된다. 상술한 바와 같이, 본 발명의 소정의 특징 또는 양태를 설명할 때 사용되는 특정 용어는, 용어가 본 명세서에서 재정의되어 그 용어가 관련된 본 발명의 임의의 특정한 특성, 특징 또는 양태로 제한되는 것을 암시하도록 취해지지 않는다. 일반적으로, 다음의 청구범위에서 사용되는 용어는, 상기 상세한 설명 부분이 이러한 용어를 명확하게 정의하지 않는 한, 명세서에 개시된 특정 예로 본 발명을 제한하는 것으로 해석되지 않아야 한다. 따라서, 본 발명의 실제 범위는 개시된 예 뿐만 아니라 청구범위 하에서 본 발명을 실행 또는 구현하는 모든 동등 방식을 포함한다.
본 발명의 소정의 양태가 소정의 청구범위 형태로 이하에서 제시되지만, 출원인은 임의의 수의 청구범위 형태로 본 발명의 다양한 양태를 고려한다. 예를 들어, 본 발명의 단 하나의 양태는 35 U.S.C.§ 112, 제6항 하의 수단 + 기능 청구항으로서 인용되지만, 다른 양태는 수단 + 기능 청구항 또는 컴퓨터 판독가능 매체에서 구현되는 등의 다른 형태로 구현될 수 있다. (35 U.S.C § 112, 제6항 하에서 취급되는 것으로 의도된 임의의 청구범위는 단어 "~을 위한 수단"으로 시작할 것이다.) 따라서, 출원인은 출원을 제출한 후에 추가의 청구범위를 추가할 권한을 보유하여 본 발명의 다른 양태에 대한 그러한 추가적인 청구범위 형태를 추구한다.

Claims (23)

  1. 깊이 카메라(depth camera)를 이용하여 하나 이상의 깊이 이미지를 획득하는 단계;
    상기 하나 이상의 깊이 이미지의 콘텐츠를 분석하는 단계;
    상기 분석에 기초하여 상기 깊이 카메라의 하나 이상의 파라미터를 자동으로 조절하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 하나 이상의 파라미터는 프레임 레이트를 포함하는 방법.
  3. 제2항에 있어서, 상기 프레임 레이트는 또한 깊이 카메라의 이용가능한 전력 자원에 기초하여 조절되는 방법.
  4. 제1항에 있어서, 상기 하나 이상의 파라미터는 노출 시간(integration time)을 포함하고, 상기 분석은 상기 깊이 카메라로부터 관심 오브젝트의 거리를 포함하는 방법.
  5. 제4항에 있어서, 상기 노출 시간은 또한 상기 하나 이상의 깊이 이미지 내의 진폭 픽셀 값들의 함수를 범위 내에 유지하도록 조절되는 방법.
  6. 제1항에 있어서, 상기 하나 이상의 파라미터는 상기 깊이 카메라의 범위를 포함하는 방법.
  7. 제1항에 있어서, RGB(red, green, blue) 카메라의 심도(dept of field) 및 초점을 조절하는 단계를 더 포함하고, 상기 RGB 카메라의 조절은 상기 깊이 카메라의 하나 이상의 파라미터 중의 적어도 일부에 기초하는 방법.
  8. 제1항에 있어서, 사용자 입력이 상기 깊이 카메라의 하나 이상의 파라미터를 조절하기 위한 분석에 사용될 오브젝트를 식별(identify)하는 단계를 더 포함하는 방법.
  9. 제8항에 있어서, 상기 하나 이상의 파라미터는 프레임 레이트를 포함하고, 상기 프레임 레이트는 상기 오브젝트가 상기 카메라의 시야를 떠날 때 감소되는 방법.
  10. 제1항에 있어서, 상기 깊이 카메라는 조명원을 갖는 액티브 센서를 이용하고, 상기 하나 이상의 파라미터는 상기 조명원의 전력 레벨을 포함하고, 또한 상기 전력 레벨은 상기 하나 이상의 이미지 내의 진폭 픽셀 값들의 함수를 범위 내에 유지하도록 조절되는 방법.
  11. 제1항에 있어서, 상기 콘텐츠를 분석하는 단계는 상기 하나 이상의 이미지에서 오브젝트를 검출하고 상기 오브젝트를 트랙킹하는 단계를 포함하는 방법.
  12. 제11항에 있어서, 상기 오브젝트의 검출 및 트랙킹에 기초하여 디스플레이 상에 디스플레이 이미지를 렌더링하는 단계를 더 포함하는 방법.
  13. 제11항에 있어서, 상기 하나 이상의 트랙킹된 오브젝트에 대한 제스쳐 인식을 수행하는 단계를 더 포함하고, 상기 디스플레이 이미지를 렌더링하는 단계는 또한 상기 하나 이상의 트랙킹된 오브젝트의 인식된 제스쳐에 기초하는 방법.
  14. 복수의 깊이 이미지를 획득하도록 구성되는 깊이 카메라;
    상기 복수의 깊이 이미지에서 오브젝트를 검출 및 트랙킹하도록 구성되는 트랙킹 모듈; 및
    상기 오브젝트의 검출 및 트랙킹에 기초하여 하나 이상의 깊이 카메라 파라미터에 대한 조절을 계산하고 상기 조절을 상기 깊이 카메라로 전송하도록 구성되는 파라미터 조절 모듈
    을 포함하는 시스템.
  15. 제14항에 있어서, 디스플레이와, 상기 오브젝트의 검출 및 트랙킹에 기초하여 상기 디스플레이 상에 디스플레이 이미지를 렌더링하도록 구성되는 애플리케이션 소프트웨어 모듈을 더 포함하는 시스템.
  16. 제15항에 있어서, 상기 오브젝트에 의해 제스쳐가 수행되었는지 여부를 결정하도록 구성되는 제스쳐 인식 모듈을 더 포함하고, 상기 애플리케이션 소프트웨어 모듈은 또한 상기 제스쳐 인식 모듈의 결정에 기초하여 상기 디스플레이 이미지를 렌더링하도록 구성되는 시스템.
  17. 제14항에 있어서, 상기 하나 이상의 깊이 카메라 파라미터는 프레임 레이트를 포함하는 시스템.
  18. 제17항에 있어서, 상기 프레임 레이트는 또한 상기 깊이 카메라의 이용가능한 전력 자원에 기초하여 조절되는 시스템.
  19. 제14항에 있어서, 상기 하나 이상의 깊이 카메라 파라미터는 상기 깊이 카메라로부터 상기 오브젝트의 거리에 기초하여 조절되는 노출 시간을 포함하는 시스템.
  20. 제19항에 있어서, 상기 노출 시간은 또한 상기 하나 이상의 깊이 이미지 내의 진폭 픽셀 값들의 함수를 범위 내에 유지하도록 조절되는 시스템.
  21. 제14항에 있어서, 상기 하나 이상의 깊이 카메라 파라미터는 상기 깊이 카메라의 범위를 포함하는 시스템.
  22. 제14항에 있어서, 상기 깊이 카메라는 조명원을 갖는 액티브 센서를 사용하고, 상기 하나 이상의 파라미터는 상기 조명원의 전력 레벨을 포함하고, 또한 상기 전력 레벨은 상기 하나 이상의 이미지 내의 진폭 픽셀 값들의 함수를 범위 내에 유지하도록 조절되는 시스템.
  23. 깊이 카메라를 이용하여 하나 이상의 깊이 이미지를 획득하는 수단;
    상기 하나 이상의 깊이 이미지에서 오브젝트를 검출하고 상기 오브젝트를 트랙킹하는 수단; 및
    상기 검출 및 트랙킹에 기초하여 상기 깊이 카메라의 하나 이상의 파라미터를 조절하는 수단
    을 포함하고,
    상기 하나 이상의 파라미터는 프레임 레이트, 노출 시간 및 상기 깊이 카메라의 범위를 포함하는 시스템.

KR1020147036563A 2012-07-31 2013-07-31 카메라 파라미터의 컨텍스트 기반 조절 KR101643496B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/563,516 US20140037135A1 (en) 2012-07-31 2012-07-31 Context-driven adjustment of camera parameters
US13/563,516 2012-07-31
PCT/US2013/052894 WO2014022490A1 (en) 2012-07-31 2013-07-31 Context-driven adjustment of camera parameters

Publications (2)

Publication Number Publication Date
KR20150027137A true KR20150027137A (ko) 2015-03-11
KR101643496B1 KR101643496B1 (ko) 2016-07-27

Family

ID=50025508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036563A KR101643496B1 (ko) 2012-07-31 2013-07-31 카메라 파라미터의 컨텍스트 기반 조절

Country Status (6)

Country Link
US (1) US20140037135A1 (ko)
EP (1) EP2880863A4 (ko)
JP (1) JP2015526927A (ko)
KR (1) KR101643496B1 (ko)
CN (1) CN104380729B (ko)
WO (1) WO2014022490A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942467B2 (en) 2015-09-09 2018-04-10 Samsung Electronics Co., Ltd. Electronic device and method for adjusting camera exposure
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
WO2020085524A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
WO2023048409A1 (ko) * 2021-09-27 2023-03-30 삼성전자주식회사 카메라를 포함하는 웨어러블 장치 및 그 제어 방법
US11979671B2 (en) 2021-09-27 2024-05-07 Samsung Electronics Co., Ltd. Wearable device including camera and method of controlling the same

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9916009B2 (en) * 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
US10079970B2 (en) 2013-07-16 2018-09-18 Texas Instruments Incorporated Controlling image focus in real-time using gestures and depth sensor data
WO2015136323A1 (en) * 2014-03-11 2015-09-17 Sony Corporation Exposure control using depth information
US9812486B2 (en) * 2014-12-22 2017-11-07 Google Inc. Time-of-flight image sensor and light source driver having simulated distance capability
US9826149B2 (en) 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
JP2017053833A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 補正装置、補正方法および測距装置
US10491810B2 (en) 2016-02-29 2019-11-26 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
CN107124553A (zh) * 2017-05-27 2017-09-01 珠海市魅族科技有限公司 拍摄控制方法及装置、计算机装置和可读存储介质
SE542644C2 (en) 2017-05-30 2020-06-23 Photon Sports Tech Ab Method and camera arrangement for measuring a movement of a person
JP6865110B2 (ja) * 2017-05-31 2021-04-28 Kddi株式会社 オブジェクト追跡方法および装置
CN108605081B (zh) * 2017-07-18 2020-09-01 杭州他若信息科技有限公司 智能目标追踪
JP6934811B2 (ja) * 2017-11-16 2021-09-15 株式会社ミツトヨ 三次元測定装置
US10877238B2 (en) 2018-07-17 2020-12-29 STMicroelectronics (Beijing) R&D Co. Ltd Bokeh control utilizing time-of-flight sensor to estimate distances to an object
JP7158261B2 (ja) * 2018-11-29 2022-10-21 シャープ株式会社 情報処理装置、制御プログラム、記録媒体
US10887169B2 (en) * 2018-12-21 2021-01-05 Here Global B.V. Method and apparatus for regulating resource consumption by one or more sensors of a sensor array
US10917568B2 (en) * 2018-12-28 2021-02-09 Microsoft Technology Licensing, Llc Low-power surface reconstruction
TWI692969B (zh) * 2019-01-15 2020-05-01 沅聖科技股份有限公司 攝像頭自動調焦檢測方法及裝置
US10592753B1 (en) * 2019-03-01 2020-03-17 Microsoft Technology Licensing, Llc Depth camera resource management
CN110032979A (zh) * 2019-04-18 2019-07-19 北京迈格威科技有限公司 Tof传感器的工作频率的控制方法、装置、设备及介质
CN110263522A (zh) * 2019-06-25 2019-09-20 努比亚技术有限公司 人脸识别方法、终端及计算机可读存储介质
CN113228622A (zh) * 2019-09-12 2021-08-06 深圳市汇顶科技股份有限公司 图像采集方法、装置及存储介质
DE102019131988A1 (de) 2019-11-26 2021-05-27 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US11600010B2 (en) * 2020-06-03 2023-03-07 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
US11620966B2 (en) * 2020-08-26 2023-04-04 Htc Corporation Multimedia system, driving method thereof, and non-transitory computer-readable storage medium
US11528407B2 (en) * 2020-12-15 2022-12-13 Stmicroelectronics Sa Methods and devices to identify focal objects
US20220414935A1 (en) * 2021-06-03 2022-12-29 Nec Laboratories America, Inc. Reinforcement-learning based system for camera parameter tuning to improve analytics
US11836301B2 (en) * 2021-08-10 2023-12-05 Qualcomm Incorporated Electronic device for tracking objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849421B2 (en) * 2005-03-19 2010-12-07 Electronics And Telecommunications Research Institute Virtual mouse driving apparatus and method using two-handed gestures
KR20110062484A (ko) * 2009-12-03 2011-06-10 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
US20110262002A1 (en) * 2010-04-26 2011-10-27 Microsoft Corporation Hand-location post-process refinement in a tracking system
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5994844A (en) * 1997-12-12 1999-11-30 Frezzolini Electronics, Inc. Video lighthead with dimmer control and stabilized intensity
US7027083B2 (en) * 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US9325890B2 (en) * 2005-03-25 2016-04-26 Siemens Aktiengesellschaft Method and system to control a camera of a wireless device
US8531396B2 (en) * 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP2007318262A (ja) * 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US7885145B2 (en) * 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8081797B2 (en) * 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
JP5809390B2 (ja) * 2010-02-03 2015-11-10 株式会社リコー 測距・測光装置及び撮像装置
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US9008355B2 (en) * 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US8654152B2 (en) * 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9485495B2 (en) * 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
KR20120031805A (ko) * 2010-09-27 2012-04-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327218A1 (en) * 2011-06-21 2012-12-27 Microsoft Corporation Resource conservation based on a region of interest
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849421B2 (en) * 2005-03-19 2010-12-07 Electronics And Telecommunications Research Institute Virtual mouse driving apparatus and method using two-handed gestures
KR20110062484A (ko) * 2009-12-03 2011-06-10 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
US20110262002A1 (en) * 2010-04-26 2011-10-27 Microsoft Corporation Hand-location post-process refinement in a tracking system
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942467B2 (en) 2015-09-09 2018-04-10 Samsung Electronics Co., Ltd. Electronic device and method for adjusting camera exposure
WO2019045385A1 (ko) * 2017-08-29 2019-03-07 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
KR20190023469A (ko) * 2017-08-29 2019-03-08 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
US11354882B2 (en) 2017-08-29 2022-06-07 Kitten Planet Co., Ltd. Image alignment method and device therefor
WO2020085524A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
WO2023048409A1 (ko) * 2021-09-27 2023-03-30 삼성전자주식회사 카메라를 포함하는 웨어러블 장치 및 그 제어 방법
US11979671B2 (en) 2021-09-27 2024-05-07 Samsung Electronics Co., Ltd. Wearable device including camera and method of controlling the same

Also Published As

Publication number Publication date
JP2015526927A (ja) 2015-09-10
CN104380729A (zh) 2015-02-25
EP2880863A1 (en) 2015-06-10
EP2880863A4 (en) 2016-04-27
US20140037135A1 (en) 2014-02-06
WO2014022490A1 (en) 2014-02-06
KR101643496B1 (ko) 2016-07-27
CN104380729B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
KR101643496B1 (ko) 카메라 파라미터의 컨텍스트 기반 조절
US11778159B2 (en) Augmented reality with motion sensing
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US10437347B2 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN104380338B (zh) 信息处理器以及信息处理方法
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
US20140362188A1 (en) Image processing device, image processing system, and image processing method
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US9268408B2 (en) Operating area determination method and system
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
CN112204961A (zh) 从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计
CN113711587A (zh) 具有无源深度提取的轻型交叉显示设备
CN112005548A (zh) 生成深度信息的方法和支持该方法的电子设备
US11719939B2 (en) Eyewear device dynamic power configuration
KR20210052570A (ko) 분리가능한 왜곡 불일치 결정
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
US20240107256A1 (en) Augmented reality spatial audio experience
US20240077935A1 (en) Virtual interfaces for controlling iot devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant