KR100810844B1 - 깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및기구 - Google Patents

깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및기구 Download PDF

Info

Publication number
KR100810844B1
KR100810844B1 KR1020067014268A KR20067014268A KR100810844B1 KR 100810844 B1 KR100810844 B1 KR 100810844B1 KR 1020067014268 A KR1020067014268 A KR 1020067014268A KR 20067014268 A KR20067014268 A KR 20067014268A KR 100810844 B1 KR100810844 B1 KR 100810844B1
Authority
KR
South Korea
Prior art keywords
image
landscape
capture device
depth
foreground
Prior art date
Application number
KR1020067014268A
Other languages
English (en)
Other versions
KR20070006692A (ko
Inventor
리차드 엘. 막스
Original Assignee
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 가부시키가이샤 소니 컴퓨터 엔터테인먼트
Publication of KR20070006692A publication Critical patent/KR20070006692A/ko
Application granted granted Critical
Publication of KR100810844B1 publication Critical patent/KR100810844B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Focusing (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

화상 캡쳐 장치를 위한 화상 캡쳐 설정을 조정하는 방법이 제공된다. 방법은 풍경을 식별하는 것으로 시작한다. 그 다음에, 풍경의 화상이 캡쳐된다. 방법은 풍경의 화상을 정의하는 데이터로부터 풍경의 깊이 마스크를 생성하는 단계를 포함한다. 그 다음에, 캡쳐된 화상의 전경(前景) 영역과 배경 영역의 어느 하나 또는 양자에서 물체에 대응하는 픽셀 값은 깊이 마스크의 비트 값에 기초하여 조정된다. 화상 캡쳐 장치와 시스템이 제공된다.
화상 캡쳐 장치, 마스크, 비트 값, 조리개, 전경, 배경

Description

깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및 기구 {Method and apparatus for optimizing capture device settings through depth information}
본 발명은 일반적으로 화상 캡쳐 기술과 관련 있으며, 보다 상세하게는 깊이 정보를 통하여 작동되는 조정에 의해 풍경의 캡쳐된 화상을 개선하는 것과 관련이 있다.
카메라 또는 비디오에 기초한 장치 중 하나인, 화상 캡쳐 장치는 일반적으로 풍경의 가장 어두운 부분과 가장 밝은 부분 사이의 차이의 정도인 명암 비율에 한계가 있다. 하나의 예시적인 풍경은 그늘에 있는 사람과 밝은 태양 광선을 갖는 배경을 포함한다. 이 풍경의 배경이 화상 캡쳐 장치에 정확하게 노출된 때, 그림자 진 사람의 얼굴에서 상세한 부분은 거의 또는 전혀 없다.
자동 노출과 자동 게인 특징은 일반적으로 캡쳐 장치에서 선명도(brightness) 레벨을 설정하기 위해 사용된다. 이러한 특징은 전체 풍경과 평균을 특정한 노출 또는 게인(gain) 설정(setting)에 적용하기 위해 사용하는 경향이 있다. 이러한 평균화는 많은 화상과 색상을 갖는 풍경에서는 잘 작동할 수 있으나, 이러한 간략화는 빠르게 풍경을 파괴하여 변화가 없도록 한다.
현재 캡쳐 장치의 제한된 명암 비율을 어드레스 지정하기 위한 하나의 시도 는 배경 조명 특성의 사용을 통한다. 예를 들어, 배경에 태양 광선 등과 같은 밝은 광원이 있는 곳에서는, 배경 조명 보상은 풍경의 중앙을 사용하고 그 지역을 평균으로 이용한다. 이러한 것에 의해, 가장자리의 밝은 태양광선은 빛이 바래지거나 어두워지게 되는 반면에 풍경의 중앙은 밝아지게 된다. 배경 조명 보상이 가지는 결점은 밝아진 물체가 풍경의 중앙에 있어야 한다는 것이다. 게다가, 풍경의 영역은 실제적인 물체 그 자체보다는, 평균을 연산하기 위하여 사용되고, 그것은 다소 인공적인 표시를 야기한다. 게다가, 배경 조명 보상은 풍경의 다른 지역에서 복수의 전경(前景) 화상들이 있는 곳에 해결책을 제공하지 않는다. 부가적으로, 배경 조명 보상과 함께, 전경 물체는 밝아지지만, 그러나 배경에서 상세한 부분이 희생된다. 그러므로, 사용자는 전경의 상세한 부분과 배경의 상세한 부분 사이에서 선택할 필요가 있다. 이러한 결점들 중 일부는 대화식의 엔터테인먼트 어플리케이션(interactive entertainment application)에 사용될 수 있는 비디오 캡쳐 장치로 확대될 수 있다. 예를 들어, 사용자의 화상이 비디오 게임에 결합되는 곳에서, 밝은 광원은 반대로 상기한 바와 같이 표시된 화상이다. 이 반대 효과는 표시하는 저화질의 화상에 더하여 화상의 물체의 트래킹(tracking)을 방지한다.
따라서, 노출/게인 및 전경과 배경 양자를 조정하기 위한 다른 관련된 파라미터들을 구비하고 있는 화상을 생성하기 위한 시스템과 방법을 제공하는 선행 기술의 문제점을 해결할 필요가 있다.
일반적으로 말해서, 본 발명은 깊이 마스크를 통하여 식별되는 전경과 배경 화상과 같은 풍경의 분할의 조정이 가능한 방법과 시스템을 제공하는 것에 의해 이러한 요구를 만족시킨다. 본 발명은 방법, 시스템, 또는 장치를 포함하는 다양한 방법으로 실행될 수 있다는 것은 자명하다. 본 발명의 몇가지 독창적인 있는 실시예는 다음과 같다.
일 실시예로서, 화상 캡쳐 장치를 통하여 캡쳐된 풍경에서 전경 물체와 배경 물체 사이를 구별하는 방법이 제공된다. 본 방법은 광원으로부터 풍경의 물체를 향하여 광선을 방사하는 것으로 시작한다. 본 방법은 광원으로부터 반사된 빛을 위하여 화상 캡쳐 장치의 센서에 접근을 허락하는 조리개 커버를 여는 단계를 포함한다. 그 다음에, 조리개 커버는 미리 정해진 시간 후에 닫히는데, 미리 정해진 시간의 총계는 빛에 의해 여행된 최대 거리에 대응된다. 다음으로, 풍경의 전경 영역에서 물체를 식별하는 깊이 마스크는 미리 정해진 시간 동안에 캡쳐된 빛에 기초하여 생성된다. 그 다음에, 화상 캡쳐 장치 파라미터들은 풍경의 수반하여 대응하는 화상을 캡쳐하는 것에 우선하여 깊이 마스크의 비트 값에 따라 조정된다.
다른 실시예에서, 화상 캡쳐 장치를 위한 화상 캡쳐 설정을 조정하는 방법이 제공된다. 본 방법은 풍경을 식별하는 것으로 시작한다. 그 다음에, 풍경의 화상이 캡쳐된다. 본 방법은 풍경의 화상을 정의하는 데이터로부터 풍경의 깊이 마스크를 생성하는 단계를 포함한다. 그 다음에, 캡쳐된 화상의 전경 영역과 배경 영역의 어느 하나 또는 양자에서 물체에 대응하는 픽셀 값은 깊이 마스크의 비트 값에 기초하여 조정된다.
또 다른 실시예에서, 풍경의 화상을 캡쳐하도록 설정된 화상 캡쳐 장치가 제공된다. 화상 캡쳐 장치는 풍경과 연관된 깊이 마스크를 제공하도록 설정된 깊이 논리를 포함한다. 깊이 마스크는 풍경에서 전경 물체와 배경 물체 사이를 구별하도록 설정되어 있다. 화상 캡쳐 장치는 또한 깊이 마스크의 대응하는 비트 값에 기초한 화상관 연관된 특성을 조정하도록 설정된 화상 캡쳐 논리를 포함한다. 비트 값은 각 픽셀이 전경 물체와 배경 물체 중 어느 하나와 연관되었는지 여부를 판단한다.
또 다른 실시예에서, 시스템은 제공된다. 시스템은 연산 장치와 연산 장치와 통신하는 표시 화면을 포함한다. 표시 화면은 풍경의 화상을 표시하도록 설정되어 있다. 연산 장치와 통신하는 비디오 캡쳐 장치가 포함된다. 비디오 캡쳐 장치는 표시 화면에 프리젠테이션(presentation)하기 위해 풍경 화상 데이터를 연산 장치에 제공한다. 비디오 캡쳐 장치는 깊이 논리와 화상 캡쳐 논리를 포함한다. 깊이 논리는 풍경과 연관된 깊이 마스크를 제공하도록 설정되어 있다. 깊이 마스크는 풍경에서 전경 물체와 배경 물체 사이를 구별하도록 설정되어 있다. 화상 캡쳐 논리는 깊이 마스크의 대응하는 데이터에 기초한 화상 데이터의 각각의 픽셀과 연관된 특성을 조정하도록 설정되어 있다. 깊이 마스크의 데이터는 대응하는 픽셀과 연관된 물체와 비디오 캡쳐 장치 사이의 상대적인 거리를 결정한다.
본 발명의 다른 측면과 장점은 본 발명의 원리의 예를 도시하는 첨부된 도면과 함께 다음의 상세한 설명으로부터 명백해질 것이다.
본 발명 및 그 효과는 첨부된 도면과 함께 상세한 설명을 참조하여 가장 잘 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따라 화상 캡쳐 장치를 통하여 캡쳐되고, 수반하여 표시되는, 전경과 배경 물체를 구비한 풍경을 도시하는 간략화한 개략적인 다이아그램이다.
도 2는 본 발명의 일 실시예에 따라 전경과 배경 물체 사이를 식별하는데 사용되는 깊이 마스크를 생성하는 것을 도시하는 간략화한 개략적인 다이아그램이다.
도 3a와 3b는 본 발명의 일 실시예에 따라 전경 물체를 정의할 수 있는 상세한 부분의 총계를 도시하는 간략화한 개략적인 다이아그램이다.
도 4는 본 발명의 일 실시예에 따라 배경과 전경 화상을 정의하기 위한 생성된 마스크를 통하여 개선된 캡쳐된 화상을 도시하는 간략화한 개략적인 다이아그램이다.
도 5는 본 발명의 일 실시예에 따라 더 효과적으로 사용자를 트랙(track)하기 위하여 마스크 생성을 사용하는 대화식의 엔터테인먼트 시스템을 도시하는 간략화한 개략적인 다이아그램이다.
도 6은 본 발명의 하나의 실시예에 따른 화상 캡쳐 장치의 간략화한 개략적인 다이아그램이다.
도 7은 본 발명의 전경과 배경 화상 사이를 구별하도록 설정된 논리를 포함하는 화상 캡쳐 장치의 또 다른 개략적인 다이아그램이다.
도 8은 본 발명의 하나의 실시예에 따라 화상 캡쳐 장치를 위한 화상 캡쳐 설정을 조정하는 단계를 도시하는 플로우 차트 다이아그램이다.
발명은 풍경의 전경과 배경 물체 사이를 구별하며, 물체가 전경 또는 배경 중 어디에 위치하는지에 기초한 화상 또는 비디오 특성을 순차적으로 조정하는 시스템 및 방법을 개시한다. 선택적으로, 화상 또는 비디오 특성은 물체와 화상 캡쳐 장치 사이의 상대적인 거리에 기초하여 조정된다. 아래의 상세한 설명에서, 다양하고 상세한 설명은 본 발명의 완전한 이해를 위해서 기재된다. 그러나, 본 발명이 이러한 상세한 설명의 전부 또는 일부가 없어도 실시할 수 있다는 것은 그 기술분야에서 통상의 지식을 가지는 자에게는 자명하다. 다른 실시예에서, 잘 알려진 단계는 본 발명을 불필요하게 모호하게 하지 않도록 하기 위해 상세한 설명에서 기술하지 않았다.
본 발명의 실시예는 풍경의 전경과 배경 물체 사이를 선택해야만 하는 것으로부터 사용자를 제거하는 방법과 시스템을 제공한다. 깊이 정보의 사용을 통하여, 풍경은 다른 깊이의 영역으로 분할된다. 게다가, 깊이 정보는 화상의 정확한 윤곽의 해상력을 허용하고, 그것에 의해 예를 들어, 노출/게인/선명도/게인 및 초점과 같은 화상 캡쳐 장치 파라미터들을 제어하기 위한 구체적이고 정확한 메카니즘(mechanism)을 제공한다. 깊이 정보에 기초한 분할은 다른 파라미터 값을 디지털 캡쳐 장치를 위한 다른 픽셀 영역에 할당하는 것을 가능하게 한다. 그러므로, 전경과 배경 양자를 적절하게 조정한 노출/게인을 구비하는 화상은 아래와 같은 실시예를 통하여 작동될 수 있다. 깊이에 기초한 분할은, 아래에서 보다 상세하게 논의되는, 깊이 능력(capability)을 구비한 화상 캡쳐 장치를 통하거나 빠른 시간에 차단 하는 기술을 가진 빛(light) 펄스/플래시를 통하여 형성된, 전경/배경 깊이 마스크를 통하여 캡쳐되며, 양자는 아래에서 보다 상세하게 논의된다.
도 1은 본 발명의 일 실시예에 따라 화상 캡쳐 장치를 통하여 캡쳐되고, 수반하여 표시되는, 전경과 배경 물체를 구비한 풍경을 도시하는 간략화한 개략적인 다이아그램이다. 화상 캡쳐 장치(100)는 전경과 배경 경치(104)에 사람(102)이 있는 풍경의 화상을 캡쳐하도록 설정되어 있다. 풍경의 캡쳐된 화상은 그 다음에 표시 패널(106)에 표시된다. 표시 패널(106)은 디지털 카메라 또는 캠코더인 화상 캡쳐 장치에 부착된 액정 표시 장치(LCD) 패널 등과 같은 표시 패널이다. 선택적으로, 텔레비전 스크린과 같은 표시 패널(106)은, 게임 콘솔과 같은 연산 장치와 결합되어 사용되는 웹캠인 화상 캡쳐 장치(100)로부터 멀리 떨어져 있을 수 있다. 아래에 보다 상세하게 기재하면, 전경 화상(102)과 배경 경치(104)은 전경과 배경 중 어느 하나에 있는 그들의 위치에 상관없이 독립적으로 보상된 그들의 대응하는 화상 또는 비디오 특성을 포함할 수 있다. 도 1에는 하나의 전경 화상(102)이 도시되어 있지만, 복수의 전경 화상이 캡쳐될 수 있음은 자명하다. 복수의 전경 화상 각각에 대한 화상 또는 비디오 특성은 깊이 정보에 기초하여 독립적으로 조정될 수 있다. 여기서에 사용된 바와 같이, 화상 또는 비디오 특성은 선명도, 노출, 게인, 초점 및 화상 표시를 조정할 수 있는 다른 적당한 특성이 될 수 있다. 화상 또는 비디오 특성은 단순히 특성이 될 수도 있고, 여기서 기재된 실시예를 통하여 화상 데이터의 화질을 개선하는 고유의 화상 데이터에 대응할 수도 있다는 것은 자명하다. 게다가, 화상 캡쳐 장치(100)는 디지털 스틸(still) 카메라, 싱글 렌즈 리플렉 스(reflex) 카메라, 웹캠 또는 캠코더와 같은 비디오 캡쳐 장치, 또는 다른 적당한 화상 캡쳐 장치일 수 있다.
도 1의 화상 캡쳐 장치(100)는, 아래에 보다 상세하게 기재한 대로, 전경 또는 배경 영역에서 물체를 식별하기 위해서 마스크를 생성하고 이용할 수 있다. 이 마스크는 전경과 배경 영역에 대한 보상을 위해, 양 영역에서 물체의 상세한 부분을 보여주는 순차적인 표시를 제공하기 위해 사용될 수 있다. 예를 들어, 태양(108)과 같은 풍경의 밝은 광원의 영향을 감소시키기 위한 배경 조명 보상의 사용은, 상세한 부분이 물체(102)와 같은 전경 물체를 정의하도록 야기하는 반면에, 배경 화상은 빛이 바라게 된다. 태양(108)이 표시 패널(016)에 도시되는 동안에, 그것은 예시적인 목적을 위해 보여지고, 태양으로부터 나온 빛에 의해 반대로 영향받기 위해서 풍경은 태양의 실제 화상을 포함할 필요가 없다. 배경 조명 보상없이, 전경 물체는 어두워지고, 결과 표시에서 그들의 대응하는 상세한 부분을 잃게 된다. 아래에 보다 상세하게 기술된 깊이 마스크의 능력으로, 풍경에서 전경, 배경, 배경 물체의 정확한 위치가 결정될 것이다. 이 위치는 대응하는 픽셀 값을 조작하기 위해 풍경의 결과 화상으로 번역되어 결과 화상을 개선한다. 게다가, 화상 캡쳐 장치 설정은, 결과 화상의 화상 또는 비디오 특성에 영향을 미치는 기계적이고 전기적인 설정을 포함하고, 풍경에 대한 최적화된 설정을 제공하기 위해 조정된다.
웹캠과 같은 비디오 캡쳐 장치인 화상 캡쳐 장치(100)에서, 마스크에 의해 제공되는 깊이 정보를 통하여 작동되는 개선된 기능은 화상 표시를 개선하거나 향상시키기 위해서 캡쳐된 비디오의 프레임(frame)에 적용될 수 있다. 예를 들어, 대 화식의 게임 애플리케이션에 수반하여 결합한 물체 또는 사람을 트랙하는데 사용되는 비디오 캡쳐 장치에서, 마스크는 밝은 광원의 존재에서 물체 또는 사람을 트랙킹 할 때, 곤란에 마주치는 것을 막기 위해 적용될 수 있다. 가정 환경에서 양수인에 의해 소유된 EYETOY™과 같은 비디오 게임 애플리케이션에 대하여, 트랙되고 비디오 게임에 결합된 사용자는 창의 정면에 위치하게 된다. 도 4를 참조하여 보다 자세하게 설명하면, 만약 창이 밝은 광원으로부터 창을 통과하도록 빛을 허락한다면, 사용자는 빛이 바래게 되고 창은 캡쳐 장치의 초점이 될 것이다. 만약 사용자가 캡쳐 영역의 중심에 있지 않다면, 배경 조명 보상 기술은 효과적이지 않다는 것은 자명하다.
도 2는 본 발명의 일 실시예에 따라 전경과 배경 물체 사이를 식별하는데 사용되는 깊이 마스크를 생성하는 것을 도시하는 간략화한 개략적인 다이아그램이다. 여기에서 "깊이 마스크"와 "마스크"라는 용어는 서로 바꾸어 사용할 수 있고 복수의 깊이 층을 포함할 수 있다. 예를 들어, 전경과 배경은 2 깊이 층을 나타내지만, 그러나 풍경은 2 깊이 층 이상으로 분할될 수 있다. 화상 캡쳐 장치(100)는 광원(110)을 포함한다. 일 실시예에서, 광원(110)은 전경 물체(114, 116)에 의해 반사되는 빛의 파열 또는 펄스를 방출한다. 이 반사된 빛은 결국 화상 캡쳐 장치(100)의 렌즈(112)의 뒤에 위치하는 센서에 의해 캡쳐된다. 물론, 광원(110)은 일반적으로 카메라에 사용되는 플래시일 수 있다. 풍경에서 정해진 시간 동안에 전경 물체로부터 반사된 빛을 받아들일 수 있는 센서는 화상 캡쳐 장치(100)의 어느 곳에나 위치할 수 있다는 것은 그 기술 분야에서 통상의 지식을 가진 자에게는 자 명하다.
빛의 속도는 잘 알려져 있으며, 도 2의 화상 캡쳐 장치(100)는 광원(110)으로부터 빛의 파열을 펄스(pulse)하고 화상 캡쳐 장치(100)의 조리개를 열어서 전경 물체로부터 반사된 빛을 받아들이도록 설정되어 있다. 조리개는 미리 정해진 시간의 총계 동안 열린 채로 있는다. 미리 정해진 시간의 총계는 설정되어서 광원(100)으로부터 이동하고 화상 캡쳐 장치(100)에 다시 반사된 빛은 정해진 최대 거리의 총계를 이동한다. 화상 캡쳐 장치(100)로부터 최대 거리는 선 117로 도시된다. 그러므로, 선 117을 지난 광원으로부터 반사된 어떤 빛은 화상 캡쳐 장치의 센서에 도달한 이 반사된 빛보다 먼저 조리개가 닫힘으로써 화상 캡쳐 장치에 의해 받아들여지지 않는다. 물론, 광원으로부터 빛의 파열에 의해 생성되지 않은 빛과 같은 주위의 빛은 받아들여진 빛으로부터 제외된다.
빠른 시간 동안에 전경 물체를 결정하기 위해서 다양한 기술이 사용된다. 하나의 기술은 주위의 빛에 존재하지 않는 빛의 주파수를 이용하는 것이다. 선택적으로, 풍경의 화상은 빛을 켜지 않고 사용될 수 있으며, 화상은 광원으로부터 빛과 함께 사용될 수 있다. 광원에 의해 생성된 빛은 광원과 함께 사용된 화상으로부터, 빛을 켜지 않고 사용된 화상과 같은 광원에 의해 생성되지 않은 빛을 제거하는 것에 의해 결정될 수 있다. 다른 선택으로는, 광원으로부터 반사된 빛의 총계는 각 픽셀에 빛이 어느 정도 닿았는지의 경계를 형성하는 것에 의해 주위의 빛과 구별될 수 있다. 그러므로, 경계 미만의 값은 장치로부터 나온 빛으로 고려되지 않고, 경계 이상의 값은 장치의 광원으로부터 나온 것으로 고려된다. 다른 선택은 변조된 광원을 사용하는 것이다. 여기, 광원으로부터 나온 빛은 사인파 같은 변조된 포맷(format)으로 생성된다. 단지 변조의 한 주기의 범위에 의존하여 선택된 주파수는 광원으로부터 모든 범위에 적용되고 장치로 되돌아 간다.
일 실시예에서, 거리의 최대 총계는 화상 캡쳐 장치로부터 약 4미터로 정의된다. 이 데이터로부터, 깊이 마스크는 만들어지고 화상 캡쳐 장치의 메모리에 저장된다. 이 깊이 마스크는 전경과 배경 물체의 화상 또는 비디오 특성에 따라 보상하기 위하여 풍경의 캡쳐된 화상을 동시에 또는 순차적으로 결합하여 사용된다. 광원(110)은 어떤 적당한 빛의 파장 길이를 방사한다는 것은 그 기술 분야에서 통상의 지식을 가진 자에는 자명하다. 일 실시예에서, 광원(110)으로부터 적외선이 방사된다.
다른 실시예에서, 반사된 빛을 통하여 정의되는 깊이 마스크는 2진수 비트 마스크이다. 여기, 제 1 논리 값은 전경 화상과 관련된 마스크에서 위치에 할당되고, 반면에 제 2 논리 값은 배경 화상과 연관된 위치에 할당된다. 그러므로, 디지털 장치인 화상 캡쳐 장치(100)에서, 깊이 마스크와 연관된 화상에 대한 픽셀 데이터는 전경과 배경 화상의 선명도를 조정하기 위해 조작된다. 종래의 카메라인 화상 캡쳐 장치에서, 전경과 배경 화상은 개략적으로 상기한 빛의 파열을 통하여 탐지된다. 전경과 배경 화상의 탐지에 기초하여, 노출, 게인, 선명도, 초점 등의 카메라 설정은 풍경의 사진을 찍기 전에 조정될 것이다. 상기한 바와 같이, 조리개의 크기는 화상 캡쳐 장치에 의해 받아들여지는 빛의 총계를 조작하기 위해 바꿀 수 있다. 물론, 다른 기계적이고 전기적인 설정은 기계적이고 전기적인 설정이 결과 사진 화 질에 영향을 미치도록 조정될 수 있다. 그러므로, 전경과 배경 특성 양자는 전경과 배경 사이에서 고르기보다는 조정될 수 있다.
도 3a와 3b는 본 발명의 일 실시예에 따라 전경 물체를 정의할 수 있는 상세한 부분의 총계를 도시하는 간략화한 개략적인 다이아그램이다. 도 3a는 사각 영역(122)을 통하여 정의되는 전경 물체를 구비하는 표시 화면(120)을 도시하고 있다. 도 3b는 여기 기술한 바와 같이, 전경 화상의 정확한 윤곽을 캡쳐하기 위해서 마스크가 정의되는 전경 물체(124)를 보여준다. 즉, 현재의 자동 초점, 자동 게인, 배경 조명 보상 기술을 가지고, 화상 캡쳐 장치가 목표로 하는 풍경의 중앙은, 일반적으로 지역을 나타내고 정확한 화상의 윤곽을 나타낼 수 없다. 그러므로, 도 3a에 도시된 바와 같이, 사각 영역(122)은 다른 화상 데이터 뿐만 아니라 전경 물체를 포함한다. 게다가, 전경 물체는 화상의 중앙 영역에 있어야만 하거나 자동 초점, 자동 게인, 배경 조명 보상 특성은 작동하지 않을 것이다. 대조적으로, 깊이 마스크는 풍경에서 그것의 위치와 상관없이 어떤 전경 물체를 캡쳐한다. 게다가, 전경 물체는 포함되어 있는 어떤 부가적인 화상 데이터 없이 캡쳐된다. 상기한 바와 같이, 디지털 장치에서, 어떤 전경 물체에 대한 화상 또는 비디오 특성은 픽셀 값을 조정하는 것에 의해 조작될 수 있다. 종래의 필름 카메라에 대해서, 게인, 노출, 초점 및 선명도는 깊이 마스크에 반응하는 기계적 또는 전기적인 조정을 통하여 조작될 수 있다.
도 4는 본 발명의 일 실시예에 따른 배경과 전경 화상을 정의하기 위한 생성된 마스크를 통하여 개선된 캡쳐된 화상을 도시하는 간략화한 개략적인 다이아그램 이다. 여기, 화상 풍경(128)은 참가자(130)가 포함된 대화식의 게이밍(gaming) 애플리케이션을 위한 비디오 캠 또는 웹캠과 같은 화상 캡쳐 장치를 통하여 캡쳐된 풍경일 수 있다. 예시적인 대화식의 게이밍 애플리케이션은 EYETOY™ 대화식의 게임 애플리케이션이다. 여기, 참가자(130)는 웹캠 또는 다른 적당한 비디오 캡쳐 장치의 정면에 서 있다. 참가자(130)의 뒤에 창(132)이 있다. 밝은 빛이 창(132)을 통하여 빛나는 곳에서, 화상 캡쳐 장치에 의해 캡쳐된 참가자(130)의 결과 화상은 어둡게 된다는 것은 자명하다. 사용자를 트랙킹하는 것이 중요한 대화식의 비디오 게임 애플리케이션에서, 밝은 빛이 사용자의 화상을 어둡게 하는 곳에서 트랙킹은 어렵게 될 것이다. 그러므로, 여기 기술된 실시예에 결합된 비디오 캠에서, 사용자는 보다 쉽게 트랙될 수 있을 것이다. 즉, 상기한 바에 의해 생성된 마스크는 픽셀 값을 조작하여 선명도를 낮추도록 사용될 것이다.
도 5는 본 발명의 일 실시예에 따라 더 효과적으로 사용자를 트랙하기 위하여 마스크 생성을 사용하는 대화식의 엔터테인먼트 시스템을 도시하는 간략화한 개략적인 다이아그램이다. 여기, 화상 캡쳐 장치(100)는 사용자의 이미지가 표시 화면(136)에 표시되도록 하기 위해서 사용자(134)의 화상을 캡쳐하도록 설정되어 있다. 화상 캡쳐 장치(100)는 연산 장치(138)와 통신하고, 차례로, 표시 화면(136)과 통신한다. 보여질 수 있는 바와 같이, 사용자(134)의 화상(135)은 표시 화면(136)에 표시된다. 그러므로, 사용자(134)가 움직이면, 이 움직임은 화상 캡쳐 장치(100)를 통하여 캡쳐되고, 엔터테인먼트 애플리케이션과 대화하기 위하여 표시 화면(136)에 표시된다. 상기한 바와 같이, 화상 캡쳐 장치는 창(132)을 통하여 들 어오는 밝은 빛을 보상하도록 설정되어 있다.
도 5에서, 화상 캡쳐 장치(100)은 비디오 캡쳐 장치이다. 여기, 각각의 비디오 프레임과 연관된 픽셀 데이터는 대응하는 깊이 마스크에 따라 조정될 수 있다. 일 실시예에서, 깊이 마스크는 각각의 비디오 프레임을 위해 생성된다. 다른 실시예에서, 깊이 마스크는 프레임의 모든 x 번호를 생성하는데, x는 정수이다. 이 실시예에서 마스크와 연관되지 않은 프레임에 대하여, 마스크와 연관된 가장 이전의 프레임으로부터 화상 또는 비디오 특성은 마스크와 연관되지 않은 프레임에 적용된다. 그러므로, 화상 또는 비디오 특성은 새로운 마스크가 생성될 때까지 프레임의 특정 번호에 대하여 멈추게 될 수도 있다. 여기에 기술된 기능을 위한 과정은 연산 장치(138)의 프로세서에 의해 수행될 수 있다는 것은 것은 그 기술 분야에서 통상의 지식을 가진 자에게는 자명하다. 그러나, 깊이 마스크는 화상 캡쳐 장치(100)에 의해 생성되고 화상 캡쳐 장치의 메모리에 저장된다. 물론, 화상 캡쳐 장치는 깊이 마스크를 생성하고 화상 또는 비디오 특성을 조정하거나 장치 파라미터를 조정하는 기능을 수행하는 마이크로프로세서를 포함할 수 있다.
도 5의 화상 캡쳐 장치(100)는, 도 2에서 참조하여 기재한 기술을 통하여 마스크를 생성할 수 있지만, 화상 캡쳐 장치(100)는 선택적으로 3DV SYSTEM's ZCAM™ 또는 CANESTA™를 통하여 상업적으로 이용할 수 있는 유사한 생산품과 같은 깊이 캡쳐링(capturing) 논리를 포함할 수 있다. 깊이 캡쳐링 논리는 깊이 마스크를 생성하여 여기에서 논의하는 바와 같이 사용하기 위하여 풍경에서 각 픽셀의 깊이 값을 캡쳐하는 화상 센서를 포함한다. 도 5에 하나의 사용자(134)가 도시되어 있지 만, 복수의 사용자가 여기에 기술된 실시예에 포함될 수 있다. 깊이 마스크가 전경과 배경 물체 화상 또는 비디오 특성을 조정할 수 있으므로, 사용자(134)가 화상 캡쳐 장치(100)에서 캡쳐 영역의 중간 또는 어떤 특정한 지역에 위치할 필요가 없다. 도 5에 나타난 하나의 예시적인 시스템은 상기한 EYETOY™ 시스템이라는 것은 자명하다.
도 6은 본 발명의 하나의 실시예에 따른 화상 캡쳐 장치의 간략화한 개략적인 다이아그램이다. 화상 캡쳐 장치(100)는 서로 통신하는 깊이 논리(140), 화상 캡쳐 장치 논리(142) 및 메모리(144) 모두를 포함한다. 여기에 기술한 바와 같이, 깊이 논리(140)는 화상 캡쳐 장치(100)가 깊이 정보의 도움으로 캡쳐된 화상을 개선하기 위해 깊이 마스크를 생성하도록 설정된 회로를 포함한다. 예를 들어, 깊이 논리(140)는 화상 풍경에서 전경과 배경 물체 사이를 구별하기 위해서 마스크를 생성할 수 있고, 이 마스크는 메모리(144)에 저장될 것이다. 그 다음에, 화상 캡쳐 장치 논리(142)에 의해 캡쳐되고 진행된 화상의 대응하는 풍경은 개선될 것이다. 즉, 어떤 화상 또는 비디오 특성은 여기 기술된 바와 같이, 깊이 마스크에 의해 결정되는, 풍경에서 물체가 전경 또는 배경 중 어디에 위치하는가에 따라 조작된다. 일 실시예에서, 깊이 논리(140)는 버튼(141) 또는 어떤 다른 적합한 활성화 메카니즘에 의해 활성화된다. 그러므로, 사용자는 개선된 화상 프리젠테이션(presentation) 또는 능가하는 화상 프리젠테이션을 위한 깊이 논리를 활성화할 수 있는 선택을 갖는다.
도 7은 본 발명의 전경과 배경 화상 사이를 구별하도록 설정된 논리를 포함 하는 화상 캡쳐 장치의 또 다른 개략적인 다이아그램이다. 화상 캡쳐 장치(100)는 CCD(charged coupled device, 152) 뒤에 있는 렌즈(150)를 포함한다. 깊이 논리(140), 마이크로프로세서 유닛(MPU, 148) 및 메모리(144)가 또한 포함된다. 화상 캡쳐 장치(100)는 표시 패널(154)을 포함한다. 도 7에서 화상 캡쳐 장치(100)가 디지털 카메라로 도시되어 있지만, 본 발명은 디지털 카메라에 한정되지 않는다는 것은 그 기술 분야에서 통상의 지식을 가지는 자에는 자명하다. 깊이 논리 모듈(140)은 각 프레임 또는 모든 x번째 프레임의 화상 또는 비디오 특성을 조정하기 위해서 비디오 캡쳐 장치에 포함될 수 있다.
도 8은 본 발명의 하나의 실시예에 따라 화상 캡쳐 장치를 위한 화상 캡쳐 설정을 조정하는 단계를 도시하는 플로우 차트 다이아그램이다. 방법은 풍경이 식별되는 연산(160)으로 시작한다. 여기, 화상 캡쳐 장치는 캡쳐 영역에 의해 정의되는 풍경을 식별하기 위해 사용될 수 있다. 물론, 화상 캡쳐 장치는 비디오 캡쳐 장치가 될 수 있다. 방법은 그 다음으로 전경과 배경 영역의 분할을 위해 풍경의 깊이 마스크가 생성되는 연산(162)으로 진행된다. 일 실시예에서, 깊이 마스크는 도 2를 참조하여 기술한 바와 같이, 특정 거리에 있는 물체로부터 빛의 펄싱(pulsing)과 반사의 캡쳐에 의해 생성된다. 여기서 빛은 적외선이 될 수 있다. 다른 실시예에서, 화상 캡쳐 장치는 각 픽셀에 대하여 깊이 값을 캡쳐할 수 있는 깊이 논리를 포함한다. 상기한 바와 같이 하나의 예시적인 화상 캡쳐 장치는 ZCAM™이다. 방법은 그 다음으로 풍경의 화상이 캡쳐되고, 이 캡쳐된 화상이 깊이 마스크에 대응되는 연산(164)으로 진행된다. ZCAM™ 실시예에서, 연산 162와 164는 동시에 수행된 다는 것은 자명하다. 방법은 그 다음으로 캡쳐된 화상의 전경과 배경 영역의 하나 또는 양자에서 물체의 픽셀 값이 조정되는 연산(166)으로 이동한다. 이 조정은 위에서 정의된 깊이 마스크에 기초한다.
예를 들어, 깊이 마스크는 제 1 비트 값은 전경 물체에 할당되고, 제 2 비트 값은 배경 물체에 할당되는 비트 값을 통하여 정의될 수 있다. 일 실시예에서 그 다음으로 조정은 밝은 광원이 있는 배경 물체의 선명도는 감소키시는 반면에 전경 물체의 선명도를 개선한다. SLR 카메라와 같은 디지털 장치가 아닌 화상 캡쳐 장치에서, 화상 캡쳐 장치 파라미터의 기계적 또는 전기적 조정은 비트 마스크에 의해 식별되는 전경과 배경 물체의 결과로서 만들어질 수 있다. 이러한 기계적 또는 전기적 조정은 특정한 노출 정도에 대응하는 조리개의 크기, 특정한 초점 정도에 대한 렌즈 설정 등을 정의하는 것을 포함할 수 있다. 다른 실시예에서, 픽셀 값은 화상 데이터의 각 픽셀에 태그(tag)된 거리 정보와 같은 이미지 데이터를 포함하는 깊이 정보에 따라 조정될 수 있다. 조리개 크기는 기계적으로 또는 전기적으로 제어될 수 있다는 것은 그 기술 분야에서 통상의 지식을 가진 자에게는 자명하다. 전기적 제어는 칩(chip)에 있는 센서를 통하여 수행될 수 있다. 그러므로, 각 픽셀은 전기적 제어와 개별적으로 조정될 수 있다.
요약하면, 풍경의 분할에 대응하는 깊이 마스크를 생성할 수 있는 화상 캡쳐 장치가 제공된다. 풍경의 배경과 전경 분할(2 층)이라는 용어로 기술하고 있지만, 여기서 기술된 실시예는 풍경의 어떤 복수의 층으로 확대될 수 있다는 것은 자명하다. 깊이 마스크를 통하여, 하나의 화상에 대한 화상 또는 비디오 특성은 풍경에서 물체가 어디에 위치하는지에 상관없이 선택적으로 조정될 수 있다. 게다가, 여기에서 기술된 캡쳐 장치는 대화식의 엔터테인먼트 애플리케이션을 위한 개선된 기능을 할 수 있다. 예를 들어, 비디오 게임 애플리케이션에 대하여, 비디오 게임에 그의 화상을 포함시키도록 트랙된 사용자에서, 상기한 캡쳐 장치는 개선된 사용자의 트랙킹을 할 수 있다. 사용자는 캡쳐 영역에서 어디든 자유롭게 이동할 수 있고, 중앙 영역과 같은 하나의 지역에 제한받지 않는다. 게다가, 사용자가 창을 통하여 들어오는 태양광선과 같은 밝은 광원의 정면에서 움직여도, 사용자 화상의 상세한 부분은 손상되지 않는다. 비디오 캡쳐 장치에 대하여, 끊임없는 조정이 발생하는 것을 피하기 위해서 조정은 프레임의 모든 인터벌(interval)에 적용될 수 있다. 예를 들어, 만약 사용자가 잠시동안 그의 정면에 검은 종이 한장을 들고 있다면, 프레임 인터벌 딜레이(delay)는 사용자가 갑자기 어둡게 변하는 것을 막을 것이다. 또한, 만약 사용자가 화상 캡쳐 장치의 시계(視界)의 필드(field)를 잠시 떠났다가 돌아온다면, 풍경의 조정과 재조정은 회피된다.
상기한 실시예가 EYETOY™ 시스템 캡쳐 장치와 같은 대화식의 엔터테인먼트 입력 장치를 포함하는 다른 시스템에 확장될 수 있다는 것은 자명하다. 예를 들어, 비디오 캡쳐 장치는 회의를 위하여 개선된 비디오 화상을 제공하기 위한 화상회의 시스템에 사용될 수 있다. 여기, 캡쳐 장치는 트랙킹 목적으로 사용되는 것이 아니라, 화상 또는 비디오 특성의 개선이 깊이 정보를 통하여 작동할 수 있도록 사용된다.
본 발명은 컴퓨터 시스템에 저장된 데이터를 포함하는 컴퓨터에 의해 실행되는 다양한 연산을 사용한다. 이러한 연산은 물리적 양의 물리적 조작을 필요로 하는 것이다. 대개, 필수적인 것은 아니지만, 이러한 양은 저장되고, 전달되고, 결합되고, 비교되며, 다른 방법으로 조작할 수 있는 전기적 또는 자기적 신호의 형태를 사용한다. 게다가, 수행되는 조작은 종종 생산, 식별, 결정 또는 비교와 같은 용어로 언급된다.
본 발명의 형상 부분으로 여기에 기재된 연산 중 어느 것도 기계 연산에 유용하다. 본 발명은 또한 이러한 연산을 수행하는 장치 또는 기구와 관련이 있다. 기구는 특히 요구되는 목적을 위하여 구성되거나, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 설정되는 일반적인 목적의 컴퓨터가 될 수 있다. 특히, 다양한 일반적인 목적 기계는 여기에서 개시하고 있는 바에 따라 기록된 컴퓨터 프로그램에 사용되거나, 또는 요구되는 연산을 수행하기 위한 보다 특수화된 기구를 보다 편리하게 구성할 수 있다.
비록 앞서 기재된 발명은 명확한 이해를 목적으로 다소 상세하게 기술되어 있을지라도, 어떤 변화와 변경이 될 수 있다는 것은 명백하다. 따라서, 현재 실시예들은 한정하는 것이 아니라 설명적인 것으로 간주되며, 본 발명은 여기에 주어진 상세한 설명에 제한되는 것은 아니고, 명세서의 범위와 균등범위에서 변경이 가능하다.

Claims (32)

  1. 화상 캡쳐 장치를 통하여 캡쳐된 풍경에서 전경(前景) 물체와 배경(背景) 물체를 구별하는 방법으로,
    광원(light source)으로부터 풍경의 물체를 향하여 광선을 방사하는 단계;
    상기 광원으로부터 반사된 빛을 위한 화상(畵像) 캡쳐 장치의 센서(sensor)에 접근을 허락하는 조리개 커버를 여는 단계;
    빛에 의해 이동된 최대 거리에 대응되는 미리 정해진 시간의 총계로 설정된 시간 후에 상기 조리개 커버를 닫는 단계;
    상기 설정된 시간동안 캡쳐된 빛에 기초한 풍경의 전경 영역에서 물체를 식별하는 깊이 마스크(depth mask)를 생성하는 단계; 및
    풍경의 수반하여 대응하는 화상을 캡쳐하는 것에 우선하여 상기 깊이 마스크의 비트 값에 따라 화상 캡쳐 장치 파라미터들을 조정하는 단계;를 포함하고,
    상기 미리 설정된 시간동안 캡쳐된 빛에 기초한 풍경의 전경 영역에서 물체를 식별하는 깊이 마스크(depth mask)를 생성하는 단계는,
    제 1 비트 값을 가지는 전경 영역에서 물체를 식별하는 단계 및 제 2 비트 값을 가지는 배경 영역에서 물체를 식별하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 깊이 마스크를 화상 캡쳐 장치의 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 광원은 적외선을 방사하도록 설정되어 있는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 화상 캡쳐 장치의 센서에 접근을 허락하는 조리개 커버를 여는 단계는,
    상기 전경 영역에서 상기 물체로부터 반사된 빛을 받아들이는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 삭제
  6. 제 1항에 있어서,
    풍경의 수반하여 대응하는 화상을 캡쳐하는 것에 우선하여 상기 깊이 마스크의 비트 값에 따라 화상 캡쳐 장치 파라미터들을 조정하는 단계는,
    상기 깊이 마스크에 기초한 최적의 빛의 총계를 결정하는 단계; 및
    상기 최적의 빛의 총계를 상기 화상 캡쳐 장치에 허락하기 위해 조리개 커버를 조정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 화상 캡쳐 장치 파라미터들은 초점, 선명도, 노출 및 게인(gain)으로 구성되는 그룹으로부터 선택되는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 광원(light source)으로부터 풍경의 물체를 향하여 광선을 방사하는 단계는,
    상기 광원으로부터 적외선을 펄스(pulse)하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 화상 캡쳐 장치를 위한 화상 캡쳐 설정을 조정하는 방법으로,
    풍경을 식별하는 단계;
    상기 풍경의 화상을 캡쳐하는 단계;
    상기 풍경의 화상을 정의하는 데이터로부터 풍경의 깊이 마스크를 생성하는 단계; 및
    상기 캡쳐된 화상의 전경(前景) 영역과 배경 영역의 어느 하나 또는 양자에서 물체에 대응하는 픽셀 값을 조정하는 단계;를 포함하고,
    상기 깊이 마스크의 비트 값에 기초하여 캡쳐된 화상의 전경(前景) 영역과 배경 영역의 어느 하나 또는 양자에서 물체에 대응하는 픽셀 값을 조정하는 단계는,
    상기 배경 영역과 연관되어 있는 픽셀 값으로부터 상기 전경 영역과 연관되어 있는 픽셀 값을 독립적으로 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 풍경의 화상을 정의하는 데이터로부터 풍경의 깊이 마스크를 생성하는 단계는,
    상기 풍경의 상기 전경과 배경 영역으로 분할하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제 9항에 있어서,
    상기 풍경의 화상을 정의하는 상기 데이터는 거리 정보가 태크(tag)된 각 픽셀의 픽셀 데이터를 포함하는 것을 특징으로 하는 방법.
  12. 삭제
  13. 제9항에 있어서,
    상기 화상 캡쳐 장치는 디지털 카메라, 웹캠(web cam) 또는 캠코더 중 어느 하나인 것을 특징으로 하는 방법.
  14. 제 9항에 있어서,
    조정된 픽셀 값을 구비하는 상기 풍경의 상기 화상의 일부를 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제 14항에 있어서,
    상기 풍경의 상기 화상의 상기 일부는 대화식의 게이밍 애플리케이션에서 사용되는 참가자의 화상인 것을 특징으로 하는 방법.
  16. 제 9항에 있어서,
    상기 캡쳐된 화상의 전경(前景) 영역과 배경 영역의 어느 하나 또는 양자에서 물체에 대응하는 픽셀 값을 조정하는 단계는,
    상기 깊이 마스크의 비트 값에 따라 상기 픽셀 값을 조정하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 풍경의 화상을 공급하도록 설정된 화상 캡쳐 장치로,
    상기 풍경과 연관된 깊이 마스크를 제공하도록 설정되어 있는 깊이 논리(depth logic); 및
    상기 깊이 마스크의 대응하는 비트 값에 기초한 화상과 연관된 특성을 조정하도록 설정된 화상 캡쳐 논리; 를 포함하며,
    상기 깊이 마스크는 상기 풍경에서 전경 물체와 배경 물체 사이를 구별하도록 설정되어 있으며,
    상기 비트 값은 각 픽셀이 상기 전경 물체와 상기 배경 물체 중 하나와 연관되어 있는지 여부를 결정하고,
    상기 화상 캡쳐 논리는 상기 풍경의 화상 데이터의 각각의 픽셀을 조정하도록 더 설정되어 있는 것을 특징으로 하는 화상 캡쳐 장치.
  18. 제 17항에 있어서,
    상기 깊이 마스크는 상기 전경 물체를 나타내도록 할당된 제 1 논리 값(logical value)과 배경 물체를 나타내도록 할당된 제 2 논리 값 구비하는 비트 마스크 인것을 특징으로 하는 화상 캡쳐 장치.
  19. 제 17항에 있어서,
    상기 전경 물체 중 하나로부터 반사된 광신호(light signal)를 수신하도록 설정되어 있으며, 깊이 논리와 통신하는 센서를 더 포함하며,
    상기 광신호의 수신은 상기 전경 물체 중 하나에 대응하는 위치를 나타내는 것을 특징으로 하는 화상 캡쳐 장치.
  20. 삭제
  21. 제 17항에 있어서,
    상기 화상 캡쳐 장치는 비디오 캡쳐 장치인 것을 특징으로 하는 화상 캡쳐 장치.
  22. 제 21항에 있어서,
    상기 깊이 논리는 상기 비디오 캡쳐 장치에 의해 캡쳐된 비디오 프레임(frame)들의 순서(sequence)를 위한 깊이 마스크를 주기적으로 제공하도록 더 설정되어 있는 것을 특징으로 하는 화상 캡쳐 장치.
  23. 제 17항에 있어서,
    상기 특성은 노출, 게인, 초점 및 선명도로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 화상 캡쳐 장치.
  24. 삭제
  25. 연산 장치;
    상기 연산 장치와 통신하고, 풍경의 화상을 표시하도록 설정되어 있는 표시 화면; 및
    상기 연산 장치와 통신하고, 상기 표시 화면에 프리젠테이션(presentation) 하기 위해 풍경 화상 데이터를 상기 연산 장치에 공급하는 비디오 캡쳐 장치; 를 포함하고,
    상기 비디오 캡쳐 장치는
    상기 풍경에서 전경 물체와 배경 물체 사이를 구별하도록 설정되며 상기 풍경과 연관되어 있는 깊이 마스크를 제공하도록 설정되어 있는 깊이 논리, 및 깊이 정보에 기초한 상기 풍경 화상 데이터의 각각의 픽셀과 연관되어 있는 특성을 조정하도록 설정된 화상 캡쳐 논리를 구비하고,
    상기 화상 캡쳐 논리는 상기 풍경 화상 데이터의 각각의 픽셀을 조정하도록 더 설정되어 있는 것을 특징으로 하는 시스템.
  26. 제 25항에 있어서,
    상기 연산 장치는 게임 콘솔(console)인 것을 특징으로 하는 시스템.
  27. 제 25항에 있어서,
    상기 깊이 논리는 상기 비디오 캡쳐 장치에 의해 캡쳐된 비디오 프레임들의 순서를 위한 하나의 깊이 마스크를 주기적으로 제공하도록 더 설정된 것을 특징으로 하는 시스템.
  28. 제 25항에 있어서,
    상기 특성은 노출, 게인, 초점, 선명도로 구성된 상기 그룹으로부터 선택되는 것을 특징으로 하는 시스템.
  29. 제 25항에 있어서,
    상기 비디오 캡쳐 장치는 웹캠(webcam)인 것을 특징으로 하는 시스템.
  30. 제 25항에 있어서,
    상기 풍경 화상 데이터는 거리 정보를 포함하는 각각의 픽셀을 위한 데이터를 정의하는 것을 특징으로 하는 시스템.
  31. 제 26항에 있어서,
    상기 풍경 화상 데이터는 비디오 게임에 대화를 위해 결합된 사람의 화상을 포함하는 것을 특징으로 하는 시스템.
  32. 제 25항에 있어서,
    상기 깊이 정보는 상기 대응하는 픽셀과 연관된 물체와 상기 비디오 캡쳐 장치 사이의 상대적인 거리를 정의하는 깊이 마스크로부터 얻어지는 것을 특징으로 하는 시스템.
KR1020067014268A 2004-01-16 2004-12-17 깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및기구 KR100810844B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/758,817 US7663689B2 (en) 2004-01-16 2004-01-16 Method and apparatus for optimizing capture device settings through depth information
US10/758,817 2004-01-16

Publications (2)

Publication Number Publication Date
KR20070006692A KR20070006692A (ko) 2007-01-11
KR100810844B1 true KR100810844B1 (ko) 2008-03-06

Family

ID=34749580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067014268A KR100810844B1 (ko) 2004-01-16 2004-12-17 깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및기구

Country Status (7)

Country Link
US (2) US7663689B2 (ko)
EP (2) EP1704711B1 (ko)
JP (1) JP4452891B2 (ko)
KR (1) KR100810844B1 (ko)
CN (1) CN1926851B (ko)
TW (1) TWI266248B (ko)
WO (1) WO2005074257A1 (ko)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) * 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
IL162921A0 (en) * 2004-07-08 2005-11-20 Hi Tech Solutions Ltd Character recognition system and method
WO2007043452A1 (ja) * 2005-10-12 2007-04-19 Pioneer Corporation 車載撮影装置及び車載カメラの撮影可動範囲測定方法
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
EP2460569A3 (en) * 2006-05-04 2012-08-29 Sony Computer Entertainment America LLC Scheme for Detecting and Tracking User Manipulation of a Game Controller Body and for Translating Movements Thereof into Inputs and Game Commands
EP2050067A1 (en) * 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
WO2008102296A2 (en) * 2007-02-23 2008-08-28 Koninklijke Philips Electronics N.V. Method for enhancing the depth sensation of an image
US10063848B2 (en) * 2007-08-24 2018-08-28 John G. Posa Perspective altering display system
US8237850B2 (en) * 2007-08-27 2012-08-07 Sanyo Electric Co., Ltd. Electronic camera that adjusts the distance from an optical lens to an imaging surface
JP5210121B2 (ja) * 2007-11-16 2013-06-12 キヤノン株式会社 撮像装置およびその制御方法
EP2232332A1 (en) * 2007-12-05 2010-09-29 Nxp B.V. Flash light compensation system for digital camera system
WO2009073950A1 (en) * 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
US8187097B1 (en) * 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
US8311275B1 (en) * 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
TWI374400B (en) * 2008-06-11 2012-10-11 Vatics Inc Method for auto-exposure control
JP4655238B2 (ja) * 2008-09-19 2011-03-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
ES2346949B1 (es) * 2009-04-20 2011-08-18 Imagsa Technologies S.A. Procedimiento de identificacion de objetos reflectantes sometidos a condiciones de iluminacion variable y sistema para llevar a cabo dicho procedimiento.
US8374454B2 (en) * 2009-07-28 2013-02-12 Eastman Kodak Company Detection of objects using range information
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
US20110044552A1 (en) * 2009-08-24 2011-02-24 Jonathan Yen System and method for enhancement of images in a selected region of interest of a captured image
US20110216160A1 (en) * 2009-09-08 2011-09-08 Jean-Philippe Martin System and method for creating pseudo holographic displays on viewer position aware devices
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
CA2788933C (en) * 2010-02-03 2017-04-25 Visual Sports Systems Collapsible enclosure for playing games on computers and gaming consoles
TWI454140B (zh) * 2010-06-08 2014-09-21 Univ Nat Taiwan 與影片互動之方法與比賽模擬系統
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
JP5175910B2 (ja) * 2010-09-16 2013-04-03 株式会社東芝 画像処理装置、画像処理方法およびプログラム
US8687914B2 (en) * 2010-10-13 2014-04-01 Ability Enterprise Co., Ltd. Method of producing an image
US9628755B2 (en) * 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
CN102479032A (zh) * 2010-11-26 2012-05-30 腾讯科技（深圳）有限公司 一种观看ipad视频时背景的调节方法、系统及ipad视频播放器
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
BR112013016887B1 (pt) * 2011-01-07 2021-12-14 Sony Computer Entertaiment America Llc Método e aparelho para anti-introdução de erro morfológico, e, meio de armazenamento legível por computador não transitório
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
EP2541945A3 (en) * 2011-06-30 2013-08-21 Broadcom Corporation Method and system for utilizing an image sensor pipeline (ISP) for 3D imaging processing utilizing Z-depth information
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
TWI489090B (zh) * 2012-10-31 2015-06-21 Pixart Imaging Inc 偵測系統
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US20140184586A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Depth of field visualization
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9894255B2 (en) 2013-06-17 2018-02-13 Industrial Technology Research Institute Method and system for depth selective segmentation of object
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
KR20150047397A (ko) * 2013-10-24 2015-05-04 삼성전자주식회사 전면 객체 추출을 위한 영상 처리 장치 및 그것의 영상 처리 방법
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
CN103606182B (zh) 2013-11-19 2017-04-26 华为技术有限公司 图像渲染方法及装置
US20150172541A1 (en) * 2013-12-17 2015-06-18 Glen J. Anderson Camera Array Analysis Mechanism
TWI532026B (zh) * 2013-12-18 2016-05-01 原相科技股份有限公司 影像亮度調整方法、物件追蹤方法以及物件追蹤裝置
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
KR101844278B1 (ko) * 2014-01-23 2018-04-02 삼성전자주식회사 관절식 객체의 자세를 추정하기 위한 파라미터 학습 방법 및 관절식 객체의 자세 추정 방법
US9807372B2 (en) 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
CN104853080B (zh) * 2014-02-13 2018-05-11 宏达国际电子股份有限公司 图像处理装置
EP3117598A1 (en) * 2014-03-11 2017-01-18 Sony Corporation Exposure control using depth information
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US9638984B2 (en) * 2015-03-10 2017-05-02 Qualcomm Incorporated Search range extension for depth assisted autofocus
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
US9756256B2 (en) * 2015-05-28 2017-09-05 Intel Corporation Spatially adjustable flash for imaging devices
CN105991939A (zh) * 2015-06-19 2016-10-05 乐视移动智能信息技术（北京）有限公司 图像处理的方法和装置
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US10089964B2 (en) * 2015-12-18 2018-10-02 Intel Corporation Graphics processor logic for encoding increasing or decreasing values
CN105608699B (zh) * 2015-12-25 2019-03-29 联想(北京)有限公司 一种图像处理方法及电子设备
CN105872319B (zh) * 2016-03-29 2018-12-18 深圳迪乐普数码科技有限公司 一种景深测量方法
DE102016119639A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
CN109844825B (zh) * 2016-10-24 2021-09-28 昕诺飞控股有限公司 存在检测系统和方法
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
CN108446705B (zh) * 2017-02-16 2021-03-23 华为技术有限公司 图像处理的方法和设备
CN107071282B (zh) * 2017-04-19 2020-04-24 维沃移动通信有限公司 一种照片的处理方法及移动终端
CN109923856A (zh) * 2017-05-11 2019-06-21 深圳市大疆创新科技有限公司 补光控制装置、系统、方法以及移动设备
CN108024057B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 背景虚化处理方法、装置及设备
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN110209063A (zh) * 2019-05-23 2019-09-06 成都世纪光合作用科技有限公司 一种智能设备控制方法和装置
WO2023047645A1 (ja) * 2021-09-21 2023-03-30 ソニーグループ株式会社 情報処理装置、映像処理方法、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047241A1 (en) 2001-11-27 2003-06-05 Thomson Licensing Sa Special effects video camera

Family Cites Families (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4591842A (en) * 1983-05-26 1986-05-27 Honeywell Inc. Apparatus for controlling the background and foreground colors displayed by raster graphic system
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
JPH07119893B2 (ja) * 1986-09-22 1995-12-20 オリンパス光学工業株式会社 内視鏡光学系
JPH02502680A (ja) 1987-02-04 1990-08-23 メイヨ・ファウンデイション・フォー・メディカル・エデュケイション・アンド・リサーチ ６自由度を有するジョイステック装置
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
EP0449889A4 (en) 1988-12-20 1992-12-02 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
JPH05506112A (ja) 1990-05-01 1993-09-02 ウォング・ラボラトリーズ・インコーポレーテッド ハンドフリー・ハードウエア・キーボード
US5111401A (en) 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) * 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) * 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5790834A (en) * 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5394168A (en) * 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
DE69414153T2 (de) 1993-02-24 1999-06-10 Matsushita Electric Ind Co Ltd Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) * 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) * 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) * 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) * 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JP3869005B2 (ja) 1995-06-22 2007-01-17 ３ディブイ・システムズ・リミテッド テレセントリック立体カメラと方法
WO1997005541A1 (en) 1995-07-26 1997-02-13 King Martin T Reduced keyboard disambiguating system
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5841447A (en) * 1995-08-02 1998-11-24 Evans & Sutherland Computer Corporation System and method for improving pixel update performance
US5611731A (en) * 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
AU1328597A (en) 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
ES2231856T3 (es) 1996-03-05 2005-05-16 Sega Enterprises, Ltd. Controlador y unidad de ampliacion para el controlador.
JP3920348B2 (ja) * 1996-04-02 2007-05-30 コグネックス コーポレイション 平坦な鏡面基板の指標を観察する画像形成装置
US5937081A (en) * 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
JP3752510B2 (ja) * 1996-04-15 2006-03-08 イーストマン コダック カンパニー 画像の自動被写体検出方法
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6310733B1 (en) * 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
JPH10145583A (ja) * 1996-11-14 1998-05-29 Casio Comput Co Ltd 画像処理装置
US5914723A (en) * 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US6252632B1 (en) * 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO1998039790A1 (en) 1997-03-07 1998-09-11 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) * 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
KR100526740B1 (ko) 1997-04-23 2005-11-08 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 디스플레이될 정보의 영역 및 내용물에 의한 비디오 레벨 제어 시스템 및 방법
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
EP1055146B1 (en) 1998-02-08 2003-01-22 3DV Ltd. Large aperture optical image shutter
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) * 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) * 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) * 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) * 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US6256398B1 (en) * 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6765618B1 (en) * 1998-10-19 2004-07-20 Pentax Corporation Subject selection device and in-focus portion indicating device
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) * 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
EP1220547A4 (en) 1999-09-17 2005-09-21 Nature Technology Co Ltd IMAGE ENTRY SYSTEM, IMAGE PROCESSOR AND CAMERA THEREFOR
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
JP3847058B2 (ja) * 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) * 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US20010056477A1 (en) 2000-02-15 2001-12-27 Mcternan Brennan J. Method and system for distributing captured motion data over a network
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) * 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
US6371897B1 (en) * 2000-11-29 2002-04-16 Shun-Tsai Huang Both feet-used arch swinging exerciser
KR100385563B1 (ko) * 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US20020158873A1 (en) 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) * 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) * 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
KR20030009919A (ko) * 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US6956612B2 (en) * 2001-07-31 2005-10-18 Hewlett-Packard Development Company, L.P. User selectable focus regions in an image capturing device
US7084901B2 (en) * 2001-08-01 2006-08-01 Steven Winn Smith Surveillance camera with flicker immunity
US7148922B2 (en) * 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) * 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) * 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
CA2390072C (en) * 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7697700B2 (en) * 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7970147B2 (en) * 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7545926B2 (en) * 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US9393487B2 (en) * 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US20060282873A1 (en) * 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US20070260517A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US8160269B2 (en) * 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20060264260A1 (en) * 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20070261077A1 (en) * 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
KR100467610B1 (ko) * 2002-09-06 2005-01-24 삼성전자주식회사 디지털 화질 개선 방법 및 장치
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US7359547B2 (en) * 2002-09-20 2008-04-15 Nippon Telegraph And Telephone Corporation Pseudo three dimensional image generating apparatus
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) * 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
EP2163286A3 (en) * 2002-10-30 2011-06-29 Nike International Ltd. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) * 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP2004261236A (ja) * 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) * 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) * 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
EP1489596B1 (en) * 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
DE602004020505D1 (de) 2003-10-28 2009-05-20 Welch Allyn Inc Digitales dokumentier-ophthalmoskop
US20050105777A1 (en) * 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7296007B1 (en) * 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) * 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) * 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) * 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7616254B2 (en) * 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US7636645B1 (en) * 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US8159331B2 (en) * 2007-07-17 2012-04-17 Psion Teklogix Inc. Method and system for radiated power control for short range RFID tag reading
US7937243B2 (en) * 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047241A1 (en) 2001-11-27 2003-06-05 Thomson Licensing Sa Special effects video camera

Also Published As

Publication number Publication date
TWI266248B (en) 2006-11-11
JP4452891B2 (ja) 2010-04-21
EP2290949B1 (en) 2019-12-04
KR20070006692A (ko) 2007-01-11
US8085339B2 (en) 2011-12-27
EP1704711A1 (en) 2006-09-27
US7663689B2 (en) 2010-02-16
TW200539055A (en) 2005-12-01
US20050157204A1 (en) 2005-07-21
JP2007518357A (ja) 2007-07-05
CN1926851B (zh) 2011-10-05
WO2005074257A1 (en) 2005-08-11
EP1704711B1 (en) 2019-12-11
US20100097476A1 (en) 2010-04-22
EP2290949A2 (en) 2011-03-02
CN1926851A (zh) 2007-03-07
EP2290949A3 (en) 2013-09-25

Similar Documents

Publication Publication Date Title
KR100810844B1 (ko) 깊이 정보를 통하여 캡쳐 장치 설정을 최적화하는 방법 및기구
EP2321697B1 (en) Spatially adaptive photographic flash unit
JP5108093B2 (ja) 撮像装置及び撮像方法
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
CN107743590B (zh) 用于使用飞行时间传感器来执行曝光估计的方法及设备
US7468778B2 (en) Virtual studio system
US8922673B2 (en) Color correction of digital color image
US11284015B2 (en) Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, and storage medium
EP2128693A1 (en) Spatially Adaptive Photographic Flash Unit
WO2018140152A1 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
CN116918340A (zh) 屏下相机系统和方法
US20130242061A1 (en) Camera module and portable device using the same
JP2003309764A (ja) 画像を示す信号をリアルタイムで処理するための方法
JP4412109B2 (ja) 色バランス調整機能を有する電子カメラ、およびプログラム
JPH1093859A (ja) 画像処理装置及び画像処理方法
WO2003079694A2 (en) Virtual studio system
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
CN113014791A (zh) 图像生成方法及装置
JP2005167376A (ja) カメラ
JP2020107205A (ja) 車両用画像認識装置
CN117278866A (zh) 拍摄处理方法、装置、电子设备及存储介质
CN111901529A (zh) 目标对象拍摄方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140211

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160211

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180209

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 12