KR101560866B1 - 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 - Google Patents

피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 Download PDF

Info

Publication number
KR101560866B1
KR101560866B1 KR1020127030530A KR20127030530A KR101560866B1 KR 101560866 B1 KR101560866 B1 KR 101560866B1 KR 1020127030530 A KR1020127030530 A KR 1020127030530A KR 20127030530 A KR20127030530 A KR 20127030530A KR 101560866 B1 KR101560866 B1 KR 101560866B1
Authority
KR
South Korea
Prior art keywords
individual
face
region
skin color
determining
Prior art date
Application number
KR1020127030530A
Other languages
English (en)
Other versions
KR20130027520A (ko
Inventor
닝 비
잉용 치
칭 저우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130027520A publication Critical patent/KR20130027520A/ko
Application granted granted Critical
Publication of KR101560866B1 publication Critical patent/KR101560866B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

특정한 예시적인 일 실시형태에서, 피부색 영역 및 얼굴 영역에 기초하여 개인의 뷰포인트를 결정하는 방법이 개시된다. 방법은 카메라에 의하여 캡쳐된 이미지에 대응하는 이미지 데이터를 수신하는 단계를 포함하는데, 이미지는 카메라에 커플링된 디바이스에서 디스플레이되는 적어도 하나의 오브젝트를 포함한다. 더 나아가, 방법은 카메라에 커플링된 디바이스의 디스플레이에 대한 개인의 뷰포인트를 결정하는 단계를 포함한다. 개인의 뷰포인트는 개인의 결정된 피부색 영역에 기초하여 개인의 얼굴 영역을 결정함으로써, 그리고 얼굴 영역에 기초하여 개인의 얼굴 로케이션을 추적함으로써 결정될 수도 있다. 디스플레이에 디스플레이된 하나 이상의 오브젝트들은 개인의 결정된 뷰포인트에 응답하여 이동될 수도 있다.

Description

피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기{VIEWPOINT DETECTOR BASED ON SKIN COLOR AREA AND FACE AREA}
본 개시물은 일반적으로 피부색 영역 및 얼굴 영역에 기초하여 뷰포인트를 검출하는데 관련된다.
기술의 발전은 더 작지만 더 강력한 컴퓨팅 디바이스들을 결과적으로 야기해 왔다. 예를 들어, 현재 소형이며 경량이고 사용자에 의하여 용이하게 소지되는, 예컨대 휴대형 무선 전화기들, 개인 휴대정보 단말기들 (PDAs), 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대형 개인용 컴퓨팅 디바이스들이 존재한다. 특히, 휴대형 무선 전화기들, 예컨대 셀룰러 전화기들 및 인터넷 프로토콜 (IP) 전화기들은 무선 네트워크들을 통해서 음성 및 데이터 패킷들을 통신할 수 있다. 더 나아가, 많은 이런 무선 전화기들은 그 내부에 내장된 다른 타입의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 또한 디지털 스틸 카메라, 디지털 비디오 카메라, 및 뷰어의 뷰포인트로부터 보여지는 이미지를 디스플레이하는 디스플레이를 포함할 수 있다. 그러나, 통상적으로 카메라가 겨냥하는 방향에 있는 이미지만이 관찰될 수 있다. 즉, 뷰어는 통상적으로 뷰어가 그/그녀의 뷰포인트를 이동하더라도 동일한 이미지를 본다.
2차원 (2D) 디스플레이 스크린 상에 3차원 (3D) 시각적 효과를 재생성할 때, 뷰어의 두 눈 모두로부터의, 입체적인 비전 (stereoscopic vision) 이 통상적으로 시각적 효과를 생성하기 위한 인자로서 이용된다. 그러나, 또 다른 인자, 즉 뷰어의 로케이션 및/또는 뷰 방향이 3D 시각적 효과를 재생성하는데 이용될 수 있다. 카메라를 갖는 디바이스의 디스플레이에 대한 뷰어의 로케이션 또는 뷰포인트는 해당 디바이스에 있는 카메라를 이용하여 얼굴 추적, 눈 추적에 기초하거나, 또는 얼굴 추적 및 눈 추적 양자의 조합에 의하여 결정될 수 있다. 뷰어의 뷰포인트가 결정되기만 하면, 카메라에 의하여 캡쳐되고 디스플레이 상에 디스플레이된 이미지 내의 오브젝트는, 검출된 뷰어의 뷰포인트에 기초하여 이동될 수도 있다. 뷰어의 로케이션 및 뷰 방향을 적용함으로써, 뷰어의 로케이션에 기초한 상이한 뷰포인트들로부터 멀티미디어 애플리케이션들을 실행하는 시스템이 설계될 수 있다.
특정한 예시적인 실시형태에서는, 피부색 영역 및 얼굴 영역에 기초하여 개인의 뷰포인트를 결정하는 방법이 개시된다. 이 방법은 카메라에 의하여 캡쳐된 이미지에 대응하는 이미지 데이터를 수신하는 단계를 포함한다. 이 방법은 카메라에 커플링된 디바이스의 디스플레이에 대한 개인의 뷰포인트를 결정하는 단계를 더 포함한다. 개인의 뷰포인트는 개인의 결정된 피부색 영역에 기초하여 개인의 얼굴 영역을 결정함으로써, 그리고 얼굴 영역에 기초하여 개인의 얼굴 로케이션을 추적함으로써 결정될 수도 있다. 오브젝트는 개인의 결정된 뷰포인트에 응답하여 이미지 내에서 이동될 수도 있다.
또 다른 특정한 실시형태에서는, 개인의 피부색 영역 및 얼굴 영역에 기초하여 개인의 뷰포인트를 결정하도록 구성되는 장치가 개시된다. 이러한 장치는, 카메라에 의하여 캡쳐된 이미지에 대응하는 이미지 데이터 내에서 개인의 피부색 영역을 검출하도록 구성되는 피부색 검출기를 포함한다. 이러한 장치는 개인의 검출된 피부색 영역에 기초하여 이미지의 얼굴 영역을 검출하도록 구성되는 얼굴 검출기를 더 포함한다. 이러한 장치는 카메라에 커플링된 디바이스의 디스플레이에 대한 개인의 뷰포인트를 검출하도록 구성되는 뷰포인트 검출기를 더 포함한다. 개인의 뷰포인트는 검출된 피부색 영역에 적어도 부분적으로 기초하여 결정될 수도 있으며, 여기서 뷰포인트 검출기는 또한, 검출된 얼굴 영역에 기초하여 개인의 얼굴 로케이션을 추적하도록 구성된다. 하나 이상의 오브젝트들은 개인의 검출된 뷰포인트에 응답하여 이미지 내에서 이동될 수도 있다.
개시된 실시형태들 중 적어도 일부에 의하여 제공되는 하나의 특정한 이점은, 뷰어의 뷰포인트가 검출될 수도 있음으로써, 디스플레이 상의 오브젝트들이 검출된 뷰포인트에 기초하여 이동되어 렌티큘러 (lenticular) 디스플레이 또는 특수 유리들의 필요성 없이 2차원 디스플레이 상에 3차원 시각적 효과를 생성할 수 있게 할 수도 있도록 한다는 것이다.
본 개시물의 다른 양태들, 이점들, 및 특징들은: 도면의 간단한 설명, 발명을 실시하기 위한 구체적인 내용, 및 특허청구범위를 포함하는 전체 명세서를 검토한 이후에 명백해 질 것이다.
도 1 은 개인의 뷰포인트에 기초하여 이미지 데이터를 디스플레이하기 위한 시스템의 특정한 예시적인 실시형태의 블록도이다;
도 2 는 개인의 뷰포인트에 기초하여 이미지 데이터를 디스플레이하기 위한 시스템 내에서 이용되는 이미지 프로세서 파이프라인의 특정한 예시적인 실시형태의 블록도이다;
도 3 은 개인의 뷰포인트에 기초하여 이미지 데이터를 디스플레이하기 위한 시스템의 특정한 예시적인 실시형태로서 우도 값들 및 추정된 중심 픽셀 로케이션을 묘사한 것이다;
도 4 는 상이한 뷰포인트들로부터 디스플레이된 오브젝트의 특정한 예시적인 실시형태이다;
도 5 는 개인의 뷰포인트에 기초하여 이미지 데이터를 디스플레이하기 위한 방법의 특정한 예시적인 실시형태의 흐름도이다;
도 6 은 개인의 뷰포인트를 결정하는데 이용되는, 얼굴을 추적하는 방법의 특정한 예시적인 실시형태의 흐름도이다;
도 7 은 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기를 갖는 프로세서를 포함하는 대표적인 무선 통신 디바이스의 블록도이다.
카메라를 갖는 디바이스의 디스플레이에 대한 뷰어의 로케이션 또는 뷰포인트는 해당 디바이스에 있는 카메라를 이용하여 뷰어의 피부색 영역 및 얼굴 영역에 기초하여 결정될 수 있다. 뷰어의 뷰포인트가 결정되기만 하면, 카메라에 의하여 캡쳐되고 디스플레이 상에 디스플레이된 이미지 내의 하나 이상의 오브젝트들은 뷰어의 검출된 뷰포인트에 기초하여 이동될 수 있다.
도 1 을 참조하면, 개인의 시점 (perspective) 에 기초하여 이미지 데이터를 디스플레이하기 위한 시스템의 특정한 예시적인 실시형태가 묘사되고 일반적으로 도면부호 100 이 지정된다. 시스템 (100) 은 디스플레이 (124), 카메라 (120), 및 디스플레이 (124) 및 카메라 (120) 에 커플링된 이미지 프로세싱 파이프라인 (102) 을 포함하는 전자 디바이스 (101) 를 포함한다. 전자 디바이스 (101) 는 개인 (130) 에 근접하게 도시된다. 전자 디바이스 (101) 는 또한 오브젝트를 포함하는 이미지 데이터 (116) 를 저장하는 메모리 (114) 를 포함한다. 전자 디바이스 (101) 는 디스플레이 (124) 에 대한 개인 (130) 의 뷰포인트 (128) 를 결정하도록, 그리고 뷰포인트 (128) 의 로케이션에 기초하여 디스플레이 (124) 상에 디스플레이된 이미지 (126) 의 시점을 조정하도록 구성된다.
특정한 일 실시형태에서는, 카메라 (120) 는 개인 (130) 이 디스플레이 (124) 를 보는 동안에 카메라 (120) 를 볼 수 있는 위치가 되도록하는 위치에 구성된다. 특히, 카메라 (120) 는 렌즈 및 이미지 센서 (미도시) 를 포함할 수도 있다. 이미지 센서는 이미지 데이터 (121) 를 획득하고 해당 이미지 데이터 (121) 를 이미지 프로세서 파이프라인 (102) 에 제공하도록 구성될 수도 있다.
특정한 일 실시형태에서는, 이미지 프로세서 파이프라인 (102) 은 이미지 데이터 (121) 를 수신하고 디스플레이 (124) 의 이미지 (126) 의 시점을 개인 (130) 의 검출된 뷰포인트 (128) 에 기초하여 조정하도록 구성된다. 이미지 프로세서 파이프라인 (102) 은 피부색 검출기 (104), 얼굴 로케이션 추적기 (106), 뷰포인트 검출기 (110), 및 시점 조정 모듈 (112) 을 포함한다.
특정한 일 실시형태에서는, 피부색 검출기 (104) 는 카메라 (120) 에 의하여 캡쳐된 이미지에 대응하는 이미지 데이터를 수신한다. 예를 들어, 피부색 검출기 (104) 에서 수신된 이미지 데이터는 이미지 데이터 (121) 처럼 카메라 (120) 로부터 직접적으로 수신될 수도 있다. 대안적으로, 피부색 검출기 (104) 는 예컨대 역모자이크화 (demosaicing), 배드 픽셀 정정, 또는 다른 이미지 프로세싱을 통하는 것과 같은, 이미지 프로세서 파이프라인 (102) 내에서 처리된 바 있는 이미지 데이터를 수신할 수도 있다. 피부색 검출기 (104) 는 이미지 데이터 (121) 의 크로미넌스 값들을 비교하여 이미지 데이터 (121) 의 각 특정 픽셀이 피부색 구역 또는 비-피부색 구역에 대응하는지 여부를 결정한다. 예를 들자면, 피부색 검출기 (104) 는 특정 픽셀에 대한 크로미넌스 적색 값을 비-피부 영역을 표시하는 상부 및 하부 크로미넌스 적색 임계치와 비교할 수도 있다. 또한, 피부색 검출기 (104) 는 이미지 데이터 (121) 의 픽셀의 크로미넌스 청색 값을 결정하고 해당 크로미넌스 청색 값을, 피부 영역들과 비-피부 영역들 사이의 경계를 표시하는 하나 이상의 크로미넌스 청색 임계치들과 비교할 수도 있다. 피부색 검출기 (104) 는 피부색 영역 (105) 을 표시하는 출력을 생성하도록 구성된다.
특정한 일 실시형태에서는, 얼굴 로케이션 추적기 (106) 는 피부색 검출기 (104) 로부터 피부색 영역 (105) 을 수신하고 이미지 데이터 (121) 내에서 얼굴의 로케이션을 추적하도록 구성될 수도 있다. 예를 들어, 얼굴 로케이션 추적기 (106) 는 식별된 피부색 영역들 (105) 중 하나 이상을 검사하여 얼굴 인식을 수행하거나 또는 그렇지 않으면 얼굴이 이미지 데이터 (121) 내에 존재하는지 여부를 결정할 수도 있다. 특정한 일 실시형태에서는, 얼굴 로케이션 추적기 (106) 는 피부색 검출기 (104) 로부터 피부색 구역 내의 크로미넌스 값을 갖는 픽셀들을 포함하는 피부색 영역 (105) 을 수신하도록 구성될 수도 있다. 얼굴 로케이션 추적기 (106) 는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초한 제 1 일차원 탐색에 따라서 이미지 데이터의 행을 식별하도록 구성될 수도 있고, 얼굴 로케이션 추적기 (106) 는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초한 제 2 일차원 탐색에 따라서 이미지 데이터의 열을 식별하도록 구성될 수도 있다. 특정한 일 실시형태에서는, 이미지 데이터 내의 선택된 픽셀의 행에 대응하는 픽셀들의 제 1 카운트는 선택된 픽셀의 크로미넌스 값의, 차분 임계치 (difference threshold) 를 만족하는 크로미넌스 평균 값과의 비교에 응답하여 증가될 수도 있고, 그리고 이미지 데이터 내의 선택된 픽셀의 열에 대응하는 픽셀들의 제 2 카운트는 선택된 픽셀의 크로미넌스 값의, 차분 임계치를 만족하는 크로미넌스 평균 값과의 비교에 응답하여 증가될 수도 있다. 추정된 중심 픽셀 로케이션은 픽셀들의 제 1 카운트 및 픽셀들의 제 2 카운트에 기초하여 결정될 수도 있다.
특정한 일 실시형태에서는, 뷰포인트 검출기 (110) 는 로케이팅된 얼굴을 표시하는 정보를 얼굴 로케이션 추적기 (106) 로부터 수신하고, 개인 (130) 의 뷰포인트 (128) 와 같은 뷰포인트를 개인 (130) 의 로케이팅된 얼굴에 기초하여 결정하도록 구성된다. 뷰포인트 검출기 (110) 는 검출된 뷰포인트를 표시하는 데이터를 시점 조정 모듈 (112) 에 제공하도록 구성될 수도 있다.
특정한 일 실시형태에서는, 시점 조정 모듈 (112) 은, 디스플레이 (124) 에 디스플레이하기 위한 오브젝트를 포함하는 이미지 데이터 (116) 를 메모리 (114) 로부터 수신하도록 구성된다. 시점 조정 모듈 (112) 은 또한, 검출된 뷰포인트를 표시하는 데이터를 뷰포인트 검출기 (110) 로부터 수신하고, 그리고 오브젝트를 포함하는 이미지 데이터 (116) 를 개인 (130) 의 뷰포인트의 이동에 따라서 수정하도록 구성될 수도 있다. 예를 들어, 뷰어 (130) 의 검출된 뷰포인트 (128) 내의 변경에 기인하여, 이미지 데이터 (116) 내의 오브젝트는 디스플레이 (124) 에 디스플레이되기 이전에 이동될 수도 있다. 예를 들어, 만일 개인의 뷰포인트가 변화하면, 예컨대 도 1 의 뷰포인트 (128) 가 변화하면, 이미지 내의 오브젝트는 변경된 뷰포인트에 의존하여 좌측으로 이동 또는 회전되거나 또는 우측으로 이동 또는 회전될 수도 있다. 예를 들자면, 도 4 의 오브젝트 (404) 와 같이 디스플레이 (124) 의 중앙에 위치한 검출된 뷰포인트를 갖는 오브젝트는, 만일 개인의 뷰포인트가 중심으로부터 좌측으로 변화되면 좌측으로 이동 또는 회전될 수도 있다. 이와 유사하게, 디스플레이 (124) 의 중앙에 위치한 검출된 뷰포인트를 갖는 오브젝트는, 만일 개인의 뷰포인트가 중심으로부터 우측으로 변화되면 우측으로 이동 또는 회전될 수도 있다.
동작 도중에, 개인 (130) 은 디스플레이 (124) 에 디스플레이될 이미지 (126) 를 선택할 수도 있다. 개인 (130) 이 이미지 (126) 를 보는 동안에, 카메라 (120) 는 반복적으로 개인의 이미지 데이터 (121) 를 획득하고 있을 수도 있는데, 이것은 이미지 프로세서 파이프라인 (102) 에 제공된다. 이미지 프로세서 파이프라인 (102) 은 개인 (130) 의 얼굴을, 피부색 검출기 (104) 에서 피부색 구역들을 검출하고, 얼굴 로케이션 추적기 (106) 에서 개인의 얼굴 로케이션을 추적하며, 뷰포인트 검출기 (110) 에서 개인의 뷰포인트 (128) 를 검출하고, 그리고 검출된 뷰포인트 데이터를 시점 조정 모듈 (112) 에 제공함으로써 추적할 수도 있다. 시점 조정 모듈 (112) 은 디스플레이 (124) 에 디스플레이될 이미지 (126) 를 개인 (130) 의 검출된 뷰포인트 (128) 에 기초하여 바꿀 수도 있다. 뷰포인트에 응답하여 이동되는 오브젝트를 갖는 업데이트된 이미지 데이터 (113) 는 디스플레이 (124) 에 제공되고, 그리고 이미지 (126) 는 업데이트된다. 결과적으로, 개인 (130) 의 디스플레이 (124) 에 대한, 또는 카메라 (120) 에 대한 이동은 이미지 (126) 내의 오브젝트의 이동을 결과적으로 야기할 수도 있으며, 따라서 이미지 (126) 의 3 차원 사시도의 인상을 생성한다. 예를 들어, 3 차원 시각적 효과는 콘텐츠를 깊이 의존적 시점 투영 (perspective projection) 으로 렌더링함에 의하여, 깊이 정보를 이용하여 2-차원 콘텐츠에 추가될 수도 있다.
비록 카메라 (120), 디스플레이 (124), 이미지 프로세서 파이프라인 (102), 및 메모리 (114) 를 포함하는 엘리먼트들이 단일 전자 디바이스 (101) 내에 묘사되었지만, 다른 실시형태들에서는 엘리먼트들은 별개의 디바이스들 내에 존재할 수도 있다. 예를 들어, 카메라는 독립형 디스플레이, 예컨대 음극선관 디스플레이, 플라즈마 디스플레이, 또는 액정 다이오드 디스플레이에 커플링될 수도 있다.
도 2 를 참조하면, 이미지 데이터를 뷰어의 시점에 기초하여 디스플레이하기 위한 시스템 내에서 이용되는 이미지 프로세서 파이프라인의 특정한 예시적인 실시형태가 묘사되고 일반적으로 도면부호 200 으로 지칭된다. 이미지 프로세서 파이프라인 (202) 은 피부색 검출 회로 (204), 얼굴 검출 회로 (206), 눈 검출 회로 (208), 피부색 및 얼굴 검출 회로에 응답하는 뷰포인트 검출기 (210), 및 얼굴 로케이션 이력 회로 (212) 를 포함한다.
특정한 일 실시형태에서는, 피부색 검출 회로 (204) 는 이미지에 대응하는 이미지 데이터 (221) 를 수신하도록 구성될 수도 있고, 그리고 이미지 데이터의 크로미넌스 값들을 비교하여 이미지 데이터의 각 특정 픽셀이 피부색 또는 비-피부색 구역에 대응하는지 여부를 결정하도록 구성될 수도 있다. 특정한 일 실시형태에서는, 피부색 검출 회로 (204) 는 크로미넌스 청색 (Cb) 임계치 (233) 및 크로미넌스 적색 (Cr) 임계치 (235) 를 포함한다. 예를 들어, 피부색 검출 회로 (204) 는 특정 픽셀에 대한 크로미넌스 적색 값을 비- 피부 영역을 표시하는 하나 이상의 크로미넌스 적색 임계치들 (235), 예컨대 상부 및 하부 크로미넌스 적색 임계치와 비교할 수도 있다. 또한, 피부색 검출 회로 (204) 는 이미지 데이터의 픽셀의 크로미넌스 청색 값을 결정하고 크로미넌스 청색 값을 피부 영역들 및 비-피부 영역들 간의 경계들을 표시하는 하나 이상의 크로미넌스 청색 임계치들 (233) 과 비교할 수도 있다. 특정한 일 실시형태에서는, 피부색 범위 내의 크로미넌스 값을 갖는 픽셀들은, 예컨대 피부색 검출 회로 (204) 의 크로미넌스 청색 임계치 (233) 및 크로미넌스 적색 임계치 (235) 를 만족시킴으로써 식별될 수도 있다. 피부색 검출 회로 (204) 는 피부색 영역을 표시하는 피부색 범위 내의 크로미넌스를 갖는 픽셀들을 포함하는 출력을 생성하도록 구성될 수도 있다.
특정한 일 실시형태에서는, 얼굴 검출 회로 (206) 는 피부색 영역 출력을 피부색 검출 회로 (204) 로부터 수신하고 그리고 이미지 데이터 내의 얼굴 영역의 로케이션을 검출하도록 구성된다. 특정한 일 실시형태에서는, 얼굴 검출 회로 (206) 는 동적 임계치들 (243), 행 얼굴 검출 회로부 (245), 열 얼굴 검출 회로부 (247), 및 크로미넌스 차분 회로부 (249) 를 포함한다.
특정한 일 실시형태에서는, 얼굴 검출 회로 (206) 는 피부색 범위 내의 크로미넌스 값을 갖는 픽셀들을 포함하는 피부색 검출 회로 (204) 의 출력을 수신하도록 구성된다. 특정한 일 실시형태에서는, 행 얼굴 검출 회로부 (245) 는 이미지 데이터의 행을 식별하도록 구성될 수도 있고 그리고 열 얼굴 검출 회로부 (247) 는 이미지 데이터의 열을 식별하도록 구성될 수도 있다. 예를 들어, 행 얼굴 검출 회로부 (245) 는 이미지 데이터의 행을 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초한 제 1 일차원 탐색에 따라서 식별하도록 구성될 수도 있고, 그리고 열 얼굴 검출 회로부 (247) 는 이미지 데이터의 열을 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초한 제 2 일차원 탐색에 따라서 식별하도록 구성될 수도 있다. 특정한 일 실시형태에서는, 크로미넌스 차분 회로 (249) 는 식별된 픽셀의 크로미넌스 값을 크로미넌스 평균 값과 비교하고 그리고 차분 임계치를 만족하는 비교 결과에 응답하여 식별된 픽셀들을 선택하도록 구성될 수도 있다. 차분 임계치는 크로미넌스 분산 값에 기초할 수도 있다. 특정한 일 실시형태에서는, 픽셀들의 제 1 카운트, 또는 이미지 데이터 내의 선택된 픽셀의 행에 대응하는 크로미넌스 평균에 대한 우도는, 후보 영역 내의 더 많은 픽셀들을 스캔할 때 그리고 이러한 픽셀들에서 차분 임계치가 만족될 때 증가될 수도 있고, 픽셀들의 제 2 카운트, 또는 이미지 데이터 내의 선택된 픽셀의 열에 대응하는 크로미넌스 평균에 대한 우도는, 후보 영역 내의 더 많은 픽셀들을 스캔할 때 그리고 이러한 픽셀들에서 차분 임계치가 만족될 때 증가될 수도 있다. 특정한 일 실시형태에서는, 픽셀들의 최대 카운트 또는 차분 임계치를 만족하는 크로미넌스 평균에 대한 최대 우도를 갖는 열 세그먼트가 로케이팅될 수도 있고, 픽셀들의 최대 카운트 또는 차분 임계치를 만족하는 크로미넌스 평균에 대한 최대 우도를 갖는 행 세그먼트가 로케이팅될 수도 있다. 피크 열 세그먼트 및 피크 행 세그먼트의 로케이션은 도 3 을 참조하여 더 상세히 설명되는 바와 같이, 얼굴 영역의 추정된 중심 픽셀 로케이션을 결정하는데 이용될 수도 있다.
특정한 일 실시형태에서는, 눈 검출 회로 (208) 는 얼굴 로케이션 데이터를 얼굴 검출 회로 (206) 로부터 수신하도록 그리고 이미지 데이터 내의 개인의 눈들을 검출하도록 구성된다. 눈 검출 회로 (208) 는 얼굴 로케이션 데이터를 더욱 정제하고 그리고 얼굴 영역 내의 얼굴의 로케이션을 확인하기 위하여 이용될 수도 있다.
특정한 일 실시형태에서는, 뷰포인트 검출기 (210) 는 얼굴의 로케이팅된 눈들을 표시하는 정보를 눈 검출 회로 (208) 로부터 수신하고 그리고 개인의 로케이팅된 얼굴에 기초하여 개인의 뷰포인트를 결정하도록 구성된다. 특정한 일 실시형태에서는, 뷰포인트 검출기 (210) 는 이전 얼굴 로케이션 데이터를 얼굴 로케이션 이력 (212) 으로부터 수신하도록 구성된다. 예를 들어, 특정한 일 실시형태에서는, 개인의 얼굴에 대한 이미지 데이터를 탐색할 때, 초기 후보 탐색 영역이 얼굴 로케이션 이력 (212) 에 의하여 제공된 이력적 얼굴 로케이션 데이터에 기초하여 셋업될 수도 있다. 예를 들어, 전자 디바이스는 개인의 얼굴을 개인의 피부 톤을 통해서 발견하도록 사전에 훈련된 바 있을 수도 있다. 그러한 경우에서는, 피부 데이터, 예컨대 크로미넌스 적색 및 크로미넌스 청색 임계치들 및 피부 톤의 평균 값 및 분산을 포함하는 사전 또는 이력적 얼굴 로케이션 데이터는 전자 디바이스의 메모리 내에 저장될 수도 있다.
동작 도중에, 이미지 프로세서 파이프라인 (202) 은 피부색 검출 회로 (204) 에서 피부색 구역들을 검출하고, 얼굴 검출 회로 (206) 에서 개인의 얼굴을 검출하며, 눈 검출 회로 (208) 에서 개인의 눈들을 검출하고, 그리고 뷰포인트 검출기 (210) 에서 개인의 뷰포인트를 검출함으로써 개인의 얼굴을 검출할 수도 있다. 특정한 일 실시형태에서는, 개인의 뷰포인트는 적어도 부분적으로 얼굴 로케이션 이력 (212) 에 의하여 제공된 이력적 얼굴 로케이션 데이터에 기초하여 검출될 수도 있다.
도 3 을 참조하면, 이미지 데이터를 뷰어의 시점에 기초하여 디스플레이하기 위한 시스템의 특정한 예시적인 실시형태가 묘사되고 일반적으로 도면부호 300 으로 지칭된다. 후보 영역 (302) 은 비-피부 영역 (304), 얼굴 영역 (306), 및 피부 영역 (308) 을 포함한다. 예시의 명확화를 위하여, 피부 영역 (308) 은 형상에 있어서 사각형인 것으로 묘사된다. 그러나, 피부 영역 (308) 은 불규칙적으로 성형될 수도 있고, 그리고 피부 톤 영역 내에 속하는 비-피부 오브젝트들을 포함하는 하나 이상의 오브젝트들로부터의 픽셀들을 포함할 수도 있다. 피부 영역 (308) 은 추정된 중심 픽셀 (322) 및 테스트 하의 대표 픽셀 (345) 을 포함한다. 후보 영역 (302) 은 x-축 (340) 이 수평 방향으로 배치되고 그리고 y-축 (330) 이 수직 방향으로 배치되는 X-Y 좌표 시스템 내에서 예시된다. 수평 우도 값들 (318) (이들은 피크 로케이션을 표시하려고 이용된 것이 아니다) 은 x-축 (340) 을 따라서 묘사되고, 그리고 수직 우도 값들 (320) (이들은 피크 로케이션을 표시하려고 이용된 것이 아니다) 은 y-축 (330) 을 따라서 묘사된다. 각각의 수평 우도 값은 다수의 픽셀들 (342) 과 연관되고, 그리고 각각의 수직 우도 값은 연관된 다수의 픽셀들 (332) 과 연관된다. 수평 우도 값들 (318) 에 기초하여, 피크 수평 세그먼트 (310) 가 로케이팅될 수 있고, 그리고 수직 우도 값들 (320) 에 기초하여, 피크 수직 세그먼트 (312) 가 로케이팅될 수 있다. 제 1 동적 임계치 (314) 는 x-축 (340) 을 따라서 셋업되고 그리고 제 2 동적 임계치 (316) 는 y-축 (330) 을 따라서 셋업된다.
동작 도중에, 개인의 얼굴 영역 (306) 에 관련된 이미지 데이터의 후보 영역 (302) 이 스캔된다. 피부 영역 (308) 내의 각각의 픽셀 샘플에 대해서, 샘플 픽셀 데이터가 축적된다. 후보 영역 (302) 내의 모든 픽셀들이 스캔된 이후에, 피부 톤 임계치들이 계산되고, 그리고 샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산이 계산된다. 피부 톤 임계치들 내의 각각의 픽셀 샘플에 대해서, 우도 값들은 샘플링된 픽셀에서부터 평균 값까지의 거리를 측정하고 이 거리를 분산과 비교함으로써 선택적으로 축적된다. 만약 거리가 분산 내에 있다면, 수평 우도 값들 (318) 및 수직 우도 값들 (320) 이 축적된다. 수평 우도 값들 (318) 및 수직 우도 값들 (320) 의 선택된 축적을 완료하면, 수평 동적 임계치 (314) 및 수직 동적 임계치 (316) 가 셋업된다. 특정한 일 실시형태에서는, 이미지 데이터 내의 선택된 픽셀의 행에 대응하는 픽셀들의 제 1 카운트는, 피부 톤의 샘플링된 픽셀에서부터 평균까지의 수평 우도 (예컨대, 거리) 측정치가 분산 내에 있다면 증가될 수도 있고, 그리고 이미지 데이터 내의 선택된 픽셀의 열에 대응하는 픽셀들의 제 2 카운트는, 피부 톤의 샘플링된 픽셀에서부터 평균까지의 수직 우도 측정치가 분산 내에 있다면 증가될 수도 있다. 수평 동적 임계치 및 수직 동적 임계치가 셋업된 이후에, 수평 우도 값들로부터의 피크 수평 세그먼트 및 수직 우도 값들로부터의 피크 수직 세그먼트가 도면부호 634 에서 검출된다. 특정한 일 실시형태에서는, 수직 우도 측정치를 만족하는 픽셀들의 최대 카운트를 갖는 열, 또는 피크 열이 로케이팅될 수도 있고, 수평 우도 측정치를 만족하는 픽셀들의 최대 카운트를 갖는 행, 또는 피크 행이 로케이팅될 수도 있다. 피크 수직 세그먼트 (312) 및 피크 수평 세그먼트 (310) 의 로케이션은 얼굴 영역 (306) 의 추정된 중심 픽셀 로케이션 (322) 을 결정하는데 이용될 수도 있다.
도 4 를 참조하면, 상이한 뷰포인트들로부터 디스플레이된 이미지 내의 오브젝트의 특정한 예시적인 실시형태가 묘사되고 일반적으로 도면부호 400 으로 지칭된다. 디스플레이의 좌측에 있는 뷰포인트를 갖는 오브젝트가 도면부호 402 에 도시되고, 디스플레이의 중심에 있는 뷰포인트를 갖는 오브젝트가 도면부호 404 에 도시되며, 그리고 디스플레이의 우측에 있는 뷰포인트를 갖는 오브젝트가 도면부호 406 에 도시된다. 예를 들어, 만일 개인의 뷰포인트가 변경되면, 예컨대 도 1 의 뷰포인트 (128) 가 변경되면, 이미지 내의 오브젝트는 "새로운" 또는 변경된 뷰포인트에 의존하여 좌측으로 이동 또는 회전되거나 우측으로 이동 또는 회전된다. 예를 들자면, 디스플레이의 중심에 있는 검출된 뷰포인트를 갖는 오브젝트, 예컨대 도 1 의 디스플레이 (124) 는, 도면부호 402 로 예시된 바와 같이 만일 개인의 뷰포인트가 중심으로부터 좌측으로 이동하면 좌측으로 이동 또는 회전될 수도 있다. 이와 유사하게, 디스플레이의 중심에 있는 검출된 뷰포인트를 갖는 오브젝트는, 도면부호 406 으로 예시된 바와 같이 만일 개인의 뷰포인트가 중심으로부터 우측으로 이동하면 우측으로 이동 또는 회전될 수도 있다.
도 5 를 참조하면, 개인의 시점에 기초하여 이미지 데이터를 디스플레이하는 방법의 특정한 예시적인 실시형태의 흐름도가 묘사되고 일반적으로 500 으로 지칭된다. 도면부호 502 에서, 카메라, 예컨대 도 1 의 카메라 (120) 에 의하여 캡쳐된 이미지에 대응하는 이미지 데이터가 수신된다. 이미지는 카메라에 커플링된 디바이스에 디스플레이될 적어도 하나의 오브젝트를 포함한다. 도면부호 504 로 진행하면, 카메라에 커플링되거나 카메라를 내장하는 디바이스의 디스플레이, 예컨대 도 1 의 디스플레이 (124) 에 상대적인 개인의 뷰포인트, 예컨대 도 1 의 뷰포인트 (128) 가 결정된다. 도면부호 506 으로 이동하면, 뷰포인트는 결정된 피부색 영역, 예컨대 도 1 의 피부색 영역 (105) 에 기초하여 개인의 얼굴 영역을 결정함으로써 결정된다. 도면부호 508 로 계속 진행하면, 뷰포인트는 개인의 얼굴 로케이션을 결정된 얼굴 영역에 기초하여 추적함으로써 더욱 결정된다. 특정한 일 실시형태에서는, 얼굴 로케이션은 얼굴 추적 모듈, 예컨대 도 1 의 얼굴 로케이션 추적기 (106) 에 의하여 추적될 수도 있다. 도면부호 510 으로 진행하면, 디스플레이에 디스플레이된 하나 이상의 오브젝트들은 개인의 결정된 뷰포인트에 응답하여 이동된다.
도 6 을 참조하면, 얼굴 추적 방법의 특정한 예시적인 실시형태의 흐름도가 묘사되고 일반적으로 600 으로 지칭된다. 방법 (600) 은 무선 전자 디바이스, 예컨대 도 1 의 시스템 (100) 의 전자 디바이스 (101) 에 의하여 수행될 수도 있다.
컬러 공간, 예컨대 루마 성분 (Y), 크로마 청색 성분 (Cb), 및 크로마 적색 성분 (Cr) 을 갖는 컬러 공간 (예를 들어, YCbCr 컬러 공간) 내의 입력 데이터가 도면부호 602 에서 카메라 뷰파인더로부터 수신된다. 예를 들어 이미지 데이터, 예컨대 도 1 의 이미지 데이터 (121) 가 카메라, 예컨대 도 1 의 카메라 (120) 로부터 수신될 수도 있다. 도면부호 604 에서 시스템 적응 (system adaptation) 이 시작되는지 여부에 대한 결정이 수행될 수도 있다. 예를 들어, 사용자 인식 훈련 모드에 진입되는지 여부에 대한 결정이 수행될 수도 있다. 특정한 일 실시형태에서는, 사용자 인식 훈련 모드는 사용자에 의하여, 예컨대 전자 디바이스에 커플링된 키 또는 버튼을 누름으로써 수동으로 진입될 수도 있다. 대안적으로, 사용자 인식 훈련 모드는 자동적으로 진입될 수도 있다. 사용자 인식 훈련 모드에 진입되면, 그러면 후보 영역이 도면부호 606 에서 스캔될 수도 있다. 예를 들어, 개인의 얼굴 영역에 관련된 이미지 데이터의 영역이 스캔될 수도 있다.
후보 영역 내의 픽셀들이 피부 톤 범위 내에 있는지 여부가 도면부호 608 에서 결정될 수도 있다. 피부 톤 범위 내의 각각의 픽셀에 대하여, 샘플 픽셀 데이터가 도면부호 610 에서 축적될 수도 있고, 그리고 후보 영역 내의 모든 픽셀들이 스캔된 바 있는지 여부가 도면부호 612 에서 결정될 수도 있다. 만일 후보 영역 내의 모든 픽셀들이 스캔된 바 있다면, 그러면 처리는 도면부호 606 으로 복귀한다.
후보 영역 내의 모든 픽셀들을 스캔한 이후에, 피부 톤 임계치들이 도면부호 614 에서 계산될 수도 있고, 그리고 샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산이 도면부호 614 에서 계산될 수도 있다. Cb 의 그리고 Cr 의 피부 톤의 평균 값 및 분산은 도면부호 616 에서 리셋될 수도 있고, 그리고 YCbCr 의 피부 톤의 임계치들은 도면부호 618 에서 리셋될 수도 있다. 결과적으로, 피부 톤 임계치들은 특정 개인 (예컨대, 사용자) 와 연관될 수도 있다. 얼굴 추적 프로세스에서는, 픽셀 샘플이 피부 톤 임계치들 내에 있는지 여부가 도면부호 620 에서 결정될 수도 있다. 만일 픽셀 샘플이 피부 톤 임계치 내에 있다면, 그러면 피부 톤의 평균 값과 비교되는 픽셀 샘플의 우도 측정이 도면부호 622 에서 수행될 수도 있다. 특정한 일 실시형태에서는, 우도 측정은 피부 톤의 샘플 픽셀에서부터 평균 값까지의 거리 (예컨대, 샘플 픽셀과 평균 값 사이의 피부 톤 값들의 차분) 를 측정함으로써 이루어질 수도 있다.
거리가 분산 내에 있는지 여부에 대한 결정이 도면부호 624 에서 이루어질 수도 있다. 특정한 일 실시형태에서는, 피부 톤 임계치들 내의 각각의 픽셀 샘플에 대하여, 샘플링된 픽셀에서부터 평균 값까지의 거리를 측정하고 이 거리를 분산과 비교함으로써 우도 값들이 축적된다. 만일이 거리가 분산 내에 있다면, 수평 우도 값들 및 수직 우도 값들이 도면부호 626 에서 축적될 수도 있다. 수평 우도 값들 및 수직 우도 값들의 축적이 완료되면, 수평 동적 임계치 및 수직 동적 임계치가 도면부호 632 에서 셋업될 수도 있다. 특정한 일 실시형태에서는, 픽셀들의 제 1 카운트, 또는 이미지 데이터 내의 선택된 픽셀의 행에 대응하는 크로미넌스 평균에 대한 우도가, 피부 톤의 샘플링된 픽셀에서부터 평균까지의 수평 우도 (예를 들어, 거리) 측정치가 분산 내에 있으면 증가될 수도 있고, 그리고 픽셀들의 제 2 카운트, 또는 이미지 데이터 내의 선택된 픽셀의 열에 대응하는 크로미넌스 평균에 대한 우도가, 피부 톤의 샘플링된 픽셀에서부터 평균까지의 수직 우도 측정치가 분산 내에 있으면 증가될 수도 있다. 수평 동적 임계치 및 수직 동적 임계치가 셋업된 이후에, 수평 우도 값들로부터의 피크 수평 세그먼트 및 수직 우도 값들로부터의 피크 수직 세그먼트가 도면부호 634 에서 검출될 수도 있다. 특정한 일 실시형태에서는, 수직 우도 측정치를 만족하는 픽셀들의 최대 카운트를 갖는 열, 또는 피크 열이 로케이팅될 수도 있고, 그리고 수평 우도 측정치를 만족하는 픽셀들의 최대 카운트를 갖는 행, 또는 피크 행이 로케이팅될 수도 있다. 피크 수직 세그먼트 및 피크 수평 세그먼트의 로케이션은 얼굴 영역의 추정된 중심 픽셀 로케이션을 결정하고 발견된 얼굴 영역이 뷰어의 얼굴 영역인지, 또는 유효한 얼굴 영역인지 여부를 결정하는데 도면부호 636 에서 이용될 수도 있다. 발견된 영역이 유효하다면, 뷰어의 얼굴이 로케이팅되고 프로세스는 도면부호 650 에서 끝난다. 만일 발견된 영역이 유효하지 않다면, 후보 탐색 영역이 도면부호 638 에서 초기 후보 탐색 영역보다 큰 후보 탐색 영역으로서 리셋될 수도 있고, 그리고 프로세스는 후보 영역이 탐색되는 도면부호 630 으로 회귀할 수도 있다.
만일 시스템 적응이 도면부호 604 에서 시작되지 않으면, 그러면 얼굴 추적 시스템이 시작되는지 여부가 도면부호 640 에서 결정될 수도 있다. 예를 들어, 전자 디바이스는 개인의 얼굴을 개인의 피부 톤을 통해서 발견하도록 이미 훈련된 바 있을 수도 있으며, 그리고 시스템 적응 또는 훈련 모드를 생략하고 직접적으로 얼굴 추적 모드로 갈 수도 있다. 특정한 일 실시형태에서는, 얼굴 추적 시스템은 전자 디바이스에 커플링된 키 또는 버튼을 누름으로써와 같이 사용자에 의하여 수동으로 진입될 수도 있다. 대안적으로, 얼굴 추적 시스템은 자동적으로 진입될 수도 있다. 만일 얼굴 추적 시스템이 시작된다면, 그러면 초기 후보 탐색 영역이 도면부호 642 에서 셋업된다. 특정한 일 실시형태에서는, 초기 후보 탐색 영역은 이력적 얼굴 로케이션 데이터에 기초하여 셋업될 수도 있다. 특정한 일 실시형태에서는, 얼굴 로케이션 데이터는 도 2 의 얼굴 로케이션 이력 (212) 에 의하여 제공될 수도 있다. 초기 후보 탐색 영역이 셋업된 이후에, 후보 영역이 도면부호 630 에서 탐색될 수도 있다. 만일 얼굴 추적 시스템이 시작되지 않는다면, 그러면 프로세스는 도면부호 604 로 회귀한다.
뷰어의 뷰포인트가 결정되면, 디스플레이 상에 디스플레이된 하나 이상의 오브젝트들은 뷰어의 검출된 뷰포인트에 기초하여 이동될 수도 있다. 뷰어의 로케이션 및 뷰 방향을 적용함으로써, 뷰어의 로케이션에 기초하여 상이한 뷰포인트들로부터 멀티미디어 애플리케이션들을 실행하는 시스템이 설계될 수 있다.
도 7 은 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 (764) 를 포함하는 장치 (700) 의 특정한 일 실시형태의 블록도이다. 장치 (700) 는 무선 전자 디바이스 내에 구현될 수도 있으며, 프로세서 (710), 예컨대 메모리 (732) 에 커플링된 디지털 신호 프로세서 (DSP) 를 포함한다.
카메라 인터페이스 제어기 (770) 는 프로세서 (710) 에 커플링되고, 그리고 또한 카메라 (772), 예컨대 비디오 카메라에 커플링된다. 카메라 제어기 (770) 는, 예컨대 자동 초점 조정 및 자동 노출 제어를 위하여 프로세서 (710) 에 응답할 수도 있다. 디스플레이 제어기 (726) 는 프로세서 (710) 및 디스플레이 디바이스 (728) 에 커플링된다. 코더/디코더 (CODEC) (734) 도 프로세서 (710) 에 커플링될 수 있다. 스피커 (736) 및 마이크로폰 (738) 이 CODEC (734) 에 커플링될 수 있다. 무선 인터페이스 (740) 는 프로세서 (710) 및 무선 안테나 (742) 에 커플링될 수 있다.
프로세서 (710) 는 또한 프로세싱된 이미지 데이터 (780) 를 생성하도록 적응될 수도 있다. 디스플레이 제어기 (726) 는 프로세싱된 이미지 데이터 (780) 를 수신하고 프로세싱된 이미지 데이터 (780) 를 디스플레이 디바이스 (728) 에 제공하도록 구성된다. 메모리 (732) 는 프로세싱된 이미지 데이터 (780) 를 수신하고 저장하도록 구성될 수도 있고, 그리고 무선 인터페이스 (740) 는 프로세싱된 이미지 데이터 (780) 를 안테나 (742) 를 통한 송신을 위하여 취출하도록 구성될 수도 있다. 또한, 메모리 (732) 는 사용자 피부 데이터 (782), 예컨대 특정 픽셀의 크로미넌스 적색 값 및 크로미넌스 청색 값, 크로미넌스 적색 및 크로미넌스 청색 임계치들, 및 피부 톤의 평균 값 및 분산과 같은 사용자 피부 데이터 (782) 를 수신하고 저장하도록 구성될 수도 있고, 그리고 무선 인터페이스 (740) 는 사용자 피부 데이터 (782) 를 안테나 (742) 를 통한 송신을 위하여 취출하도록 구성될 수도 있다.
특정한 일 실시형태에서는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 (764) 는 프로세서 (710) 에서 실행가능한 컴퓨터 코드, 예컨대 컴퓨터 판독가능 매체에 저장된 컴퓨터에 의해 실행가능한 명령들로서 구현될 수도 있다. 예를 들어, 프로그램 명령들 (782) 은 개인의 얼굴 영역을 결정된 개인의 피부색 영역에 기초하여 결정하기 위한 코드, 개인의 얼굴 로케이션을 얼굴 영역에 기초하여 추적하기 위한 코드, 및 이미지 내의 오브젝트를 개인의 검출된 뷰포인트에 응답하여 이동시키기 위한 코드를 포함할 수도 있다.
특정한 일 실시형태에서는, 프로세서 (710), 디스플레이 제어기 (726), 메모리 (732), CODEC (734), 무선 인터페이스 (740), 및 카메라 제어기 (770) 는 시스템인패키지 또는 시스템 온칩 디바이스 (722) 내에 포함된다. 특정한 일 실시형태에서는, 입력 디바이스 (730) 및 파워 서플라이 (744) 는 시스템 온칩 디바이스 (722) 에 커플링된다. 더욱이, 특정한 일 실시형태에서는, 도 7 에 도시된 바와 같이, 디스플레이 디바이스 (728), 입력 디바이스 (730), 스피커 (736), 마이크로폰 (738), 무선 안테나 (742), 비디오 카메라 (772), 및 파워 서플라이 (744) 은 시스템 온칩 디바이스 (722) 의 외부에 존재한다. 그러나, 디스플레이 디바이스 (728), 입력 디바이스 (730), 스피커 (736), 마이크로폰 (738), 무선 안테나 (742), 카메라 (772), 및 파워 서플라이 (744) 각각은 시스템 온칩 디바이스 (722) 의 구성 요소, 예컨대 인터페이스 또는 제어기에 커플링될 수 있다.
당업자들은 본 명세서에 개시된 실시형태들에 관련하여 설명되는 각종 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 프로세서에 의하여 실행되는 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수도 있다는 것을 이해할 것이다. 다양한 예시적인 구성 요소들, 블록들, 구조들, 모듈들, 회로들, 및 단계들은 위에서 일반적으로 그것들의 기능성의 관점에서 설명되어 왔다. 이러한 기능성이 하드웨어 또는 프로세서에 의하여 실행되는 소프트웨어 중 어느 것으로 구현되는지 여부는 전체 시스템에 부가되는 특정 애플리케이션 및 디자인 제약조건들에 의존한다. 당업자들은 설명된 기능성을 각각의 특정한 애플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정들은 본 개시물의 범위를 벗어나도록 야기하는 것으로 해석되지 않아야 한다.
하나 이상의 예시적인 실시형태들에서는, 설명된 기능들은 하드웨어, 프로세서에 의하여 실행되는 소프트웨어, 또는 이들의 임의의 조합의 형태로 구현될 수도 있다. 개시된 기능들은, 디바이스 내에서 실행되면 해당 디바이스로 하여금 본 명세서에서 설명된 하나 이상의 기술들을 수행하도록 야기하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체에 직결될 수도 있다. 그러한 경우에는, 컴퓨터 판독가능 매체는, 임의 접근 메모리 (RAM), 동기적 동적 임의 접근 메모리 (SDRAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 접근 메모리 (NVRAM), 전기 소거가능 프로그램가능 ROM (EEPROM), 플래시 메모리 등과 같은 유형의 저장 매체들을 포함할 수도 있다.
프로그램코드는 컴퓨터 판독가능 명령들의 형태로 메모리 내에 저장될 수도 있다. 그러한 경우에는, DSP 와 같은 프로세서는, 이미지 처리 기술들 중 하나 이상을 수행하기 위하여 메모리 내에 저장된 명령들을 실행할 수도 있다. 몇 가지 경우들에서는, 기술들은, 하드웨어 구성 요소들이 이미지 처리를 가속화하도록 유발하는 DSP 에 의하여 실행될 수도 있다. 다른 경우들에서는, 본 명세서에서 설명되는 유닛들은 마이크로프로세서, 하나 이상의 주문형 집적회로들 (ASICs), 하나 이상의 필드 프로그래밍가능한 게이트 어레이들 (FPGAs), 또는 몇 개의 다른 하드웨어-소프트웨어 조합으로서 구현될 수도 있다.
본 명세서에서 개시되는 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로서 직접적으로, 프로세서에 의하여 실행되는 소프트웨어 모듈로서, 또는 이들 두 가지의 조합으로서 구현될 수도 있다. 소프트웨어 모듈은 임의 접근 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍가능한 판독 전용 메모리 (PROM), 소거가능 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 프로그래밍가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 메모리, 컴팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당업계에 공지된 유형의 저장 매체의 임의의 다른 형태 내에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링됨으로써, 프로세서가 저장 매체로부터 정보를 독출하고 저장 매체에 정보를 기입할 수 있도록 한다. 대안적인 예에서는, 저장 매체는 프로세서에 내장될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 내에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말 내에 상주할 수도 있다. 대안적인 예에서는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말 내에 별개의 구성요소들로서 상주할 수도 있다.
개시된 예시적인 실시형태들의 이전 설명은 임의의 당업자에게 개시된 실시형태들을 실시하거나 사용하도록 허용하기 위하여 제공된다. 이러한 실시형태들에 대한 다양한 수정들이 당업자들에게는 용이하게 분명히 이해될 것이며, 본 명세서에서 정의된 원리들은 본 개시물의 범위에서 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 그러므로, 본 개시물은 본 명세서에서 도시된 실시형태들에 한정되도록 의도되지 않으며, 본 개시물에는 후속하는 청구의 범위에 의하여 정의되는 바와 같은 이론들 및 신규한 피쳐들과 일치하는 가능한 최광위의 범위가 부여되어야 한다.

Claims (26)

  1. 디바이스의 디스플레이에 대한 개인의 뷰포인트를 결정하는 단계로서, 상기 뷰포인트를 결정하는 단계는, 결정된 상기 개인의 피부색 영역에 기초하여 상기 개인의 얼굴 영역을 결정하는 단계, 및 상기 얼굴 영역에 기초하여 상기 개인의 얼굴 로케이션을 추적하는 단계를 포함하는, 상기 뷰포인트를 결정하는 단계; 및
    상기 디스플레이에 디스플레이된 적어도 하나의 오브젝트를, 상기 결정된 개인의 뷰포인트에 응답하여 이동시키는 단계를 포함하고,
    상기 개인의 피부색 영역은, 피부색에 대응하는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초하여 결정되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 개인의 피부색의 크로미넌스 평균 값 및 크로미넌스 분산 값을 결정하기 위한 사용자 인식 훈련 프로세스를 수행하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  4. 제 1 항에 있어서,
    상기 뷰포인트를 결정하는 단계는, 상기 얼굴 영역 내의 눈들을 검출하여 상기 얼굴 영역 내의 얼굴의 로케이션을 확인하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  5. 제 1 항에 있어서,
    상기 뷰포인트를 결정하는 단계는, 얼굴의 이전 로케이션에 기초하여 처리되는 이미지의 제 1 영역을 선택하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  6. 제 5 항에 있어서,
    상기 선택된 제 1 영역 내에서 얼굴이 검출되지 않은 것에 응답하여, 상기 제 1 영역보다 큰 제 2 영역이 처리되도록 선택되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  7. 제 1 항에 있어서,
    상기 뷰포인트를 결정하는 단계는, 피부색 범위 내의 크로미넌스 값을 갖는 픽셀들을 식별하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  8. 제 1 항에 있어서,
    상기 얼굴 로케이션을 추적하는 단계는,
    사용자 인식 훈련 모드에 응답하여:
    상기 개인의 얼굴 영역에 관련된 이미지 데이터의 후보 영역을 스캐닝하는 것;
    피부 톤 범위 내에 있는 각 픽셀에 대하여, 샘플 픽셀 데이터를 축적하는 것;
    상기 후보 영역 내의 모든 픽셀들을 스캐닝한 이후에:
    피부 톤 임계치들을 계산하는 것; 및
    샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산을 계산하는 것;
    상기 피부 톤 임계치들 내의 각 픽셀 샘플에 대하여:
    샘플 픽셀에서부터 상기 평균 값까지의 거리를 측정하는 것;
    상기 거리를 상기 분산과 비교하는 것;
    에 의해 우도 값들을 선택적으로 축적하는 것;
    상기 거리가 상기 분산 내에 있는 경우:
    수평 및 수직 우도 값들을 축적하는 것;
    상기 우도 값들의 선택적 축적의 완료시에:
    상기 수평 및 수직 우도 값들 각각에서 피크 세그먼트들을 발견하기 위한 동적 임계치들을 구성하는 것;
    상기 동적 임계치들의 평가에 기초하여 피크 수평 세그먼트 및 피크 수직 세그먼트를 검출하는 것; 및
    상기 피크 수평 세그먼트 및 상기 피크 수직 세그먼트에 기초하여 추정된 중심 픽셀 로케이션을 결정하는 것
    에 의해 상기 개인의 얼굴 영역의 중심 픽셀 로케이션을 추정하는 단계를 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  9. 제 8 항에 있어서,
    상기 샘플링된 픽셀 데이터의 상기 측정된 피부 톤의 상기 평균 값 및 상기 분산을 재설정하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  10. 제 8 항에 있어서,
    상기 중심 픽셀 로케이션이 상기 개인의 얼굴 영역 내에 있다는 것을 검증하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  11. 제 8 항에 있어서,
    상기 얼굴의 이전 로케이션에 기초하여 상기 후보 영역을 최초로 탐색하는 단계를 더 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  12. 제 8 항에 있어서,
    상기 피부 톤 임계치들은 특정 개인과 연관되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 방법.
  13. 개인의 피부색 영역을 검출하도록 구성되는 피부색 검출기;
    상기 검출된 개인의 피부색 영역에 기초하여 얼굴 영역을 검출하도록 구성되는 얼굴 검출기;
    상기 검출된 피부색 영역에 적어도 부분적으로 기초하여, 디바이스의 디스플레이에 대한 상기 개인의 뷰포인트를 검출하도록 구성되는 뷰포인트 검출기로서, 상기 뷰포인트 검출기는 또한, 상기 검출된 얼굴 영역에 기초하여 상기 개인의 얼굴 로케이션을 추적하도록 구성되는, 상기 뷰포인트 검출기; 및
    상기 개인의 검출된 상기 뷰포인트에 응답하여 상기 디스플레이에 디스플레이되는 이미지 내의 오브젝트를 이동시키도록 구성된 하나 이상의 프로세서들을 포함하며,
    상기 피부색 검출기는 피부색에 대응하는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초하여 상기 피부색 영역을 검출하도록 구성되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 장치.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 피부색 검출기는, 카메라로부터 상기 이미지를 수신하고 디스플레이 콘텐츠를 상기 디스플레이에 제공하는 이미지 프로세싱 파이프라인 내에 있는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 장치.
  16. 제 13 항에 있어서,
    상기 얼굴 로케이션을 추적하기 위한 상기 뷰포인트 검출기는,
    사용자 인식 훈련 모드에 응답하여:
    상기 개인의 얼굴 영역에 관련된 상기 이미지 데이터의 후보 영역을 스캐닝하는 것;
    피부 톤 범위 내에 있는 각 픽셀에 대하여, 샘플 픽셀 데이터를 축적하는 것;
    상기 후보 영역 내의 모든 픽셀들을 스캐닝한 이후에:
    피부 톤 임계치들을 계산하는 것; 및
    샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산을 계산하는 것;
    상기 피부 톤 임계치들 내의 각 픽셀 샘플에 대하여:
    샘플 픽셀에서부터 상기 평균 값까지의 거리를 측정하는 것;
    상기 거리를 상기 분산과 비교하는 것;
    에 의해 우도 값들을 선택적으로 축적하는 것;
    상기 거리가 상기 분산 내에 있는 경우:
    수평 및 수직 우도 값들을 축적하는 것;
    상기 우도 값들의 선택적 축적의 완료시에:
    상기 수평 및 수직 우도 값들 각각에서 피크 세그먼트들을 발견하기 위한 동적 임계치들을 구성하는 것;
    상기 동적 임계치들의 평가에 기초하여 피크 수평 세그먼트 및 피크 수직 세그먼트를 검출하는 것; 및
    상기 피크 수평 세그먼트 및 상기 피크 수직 세그먼트에 기초하여 추정된 중심 픽셀 로케이션을 결정하는 것
    에 의해 상기 개인의 얼굴 영역의 중심 픽셀 로케이션을 추정하도록 구성되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 장치.
  17. 컴퓨터에 의하여 실행가능한 코드를 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 코드는,
    컴퓨터에 의하여 실행가능하여, 디바이스의 디스플레이에 대한 개인의 뷰포인트를 결정하는 코드로서, 상기 개인의 뷰포인트를 결정하는 코드는, 컴퓨터에 의하여 실행가능하여, 상기 결정된 개인의 피부색 영역에 기초하여 상기 개인의 얼굴 영역을 결정하는 코드, 및 컴퓨터에 의하여 실행가능하여, 상기 얼굴 영역에 기초하여 상기 개인의 얼굴 로케이션을 추적하는 코드를 포함하는, 상기 개인의 뷰포인트를 결정하는 코드; 및
    컴퓨터에 의하여 실행가능하여, 상기 결정된 개인의 뷰포인트에 응답하여 상기 디스플레이에 디스플레이되는 이미지 내의 오브젝트를 이동시키는 코드를 포함하고,
    상기 개인의 피부색 영역은, 피부색에 대응하는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초하여 결정되는, 컴퓨터 판독가능 저장 매체.
  18. 제 17 항에 있어서,
    컴퓨터에 의하여 실행가능하여, 상기 개인의 피부색에 기초하여 상기 개인의 피부색의 크로미넌스 평균 값 및 크로미넌스 분산 값을 결정하기 위한 사용자 인식 훈련 프로세스를 수행하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  19. 제 17 항에 있어서,
    상기 개인의 뷰포인트를 결정하는 코드는,
    컴퓨터에 의하여 실행가능하여, 상기 얼굴 영역 내의 눈들을 검출하여 상기 얼굴 영역 내의 얼굴의 로케이션을 확인하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  20. 제 17 항에 있어서,
    상기 컴퓨터에 의하여 실행가능하여, 상기 얼굴 로케이션을 추적하는 상기 코드는,
    사용자 인식 훈련 모드에 응답하여:
    상기 개인의 얼굴 영역에 관련된 상기 이미지 데이터의 후보 영역을 스캐닝하는 것;
    피부 톤 범위 내에 있는 각 픽셀에 대하여, 샘플 픽셀 데이터를 축적하는 것;
    상기 후보 영역 내의 모든 픽셀들을 스캐닝한 이후에:
    피부 톤 임계치들을 계산하는 것; 및
    샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산을 계산하는 것;
    상기 피부 톤 임계치들 내의 각 픽셀 샘플에 대하여:
    샘플 픽셀에서부터 상기 평균 값까지의 거리를 측정하는 것;
    상기 거리를 상기 분산과 비교하는 것;
    에 의해 우도 값들을 선택적으로 축적하는 것;
    상기 거리가 상기 분산 내에 있는 경우:
    수평 및 수직 우도 값들을 축적하는 것;
    상기 우도 값들의 선택적 축적의 완료시에:
    상기 수평 및 수직 우도 값들 각각에서 피크 세그먼트들을 발견하기 위한 동적 임계치들을 구성하는 것;
    상기 동적 임계치들의 평가에 기초하여 피크 수평 세그먼트 및 피크 수직 세그먼트를 검출하는 것; 및
    상기 피크 수평 세그먼트 및 상기 피크 수직 세그먼트에 기초하여 추정된 중심 픽셀 로케이션을 결정하는 것
    에 의해 상기 개인의 얼굴 영역의 중심 픽셀 로케이션을 추정하기 위한 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  21. 제 20 항에 있어서,
    컴퓨터에 의하여 실행가능하여, 상기 샘플링된 픽셀 데이터의 상기 측정된 피부 톤의 상기 평균 값 및 상기 분산을 재설정하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  22. 제 20 항에 있어서,
    컴퓨터에 의하여 실행가능하여, 상기 중심 픽셀 로케이션이 상기 개인의 얼굴 영역 내에 있다는 것을 검증하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  23. 제 20 항에 있어서,
    컴퓨터에 의하여 실행 가능하여, 상기 얼굴의 이전 로케이션에 기초하여 상기 후보 영역을 최초로 탐색하는 코드를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  24. 디바이스의 디스플레이에 대한 개인의 뷰포인트를 결정하는 수단으로서, 상기 뷰포인트를 결정하는 수단은, 상기 개인의 결정된 피부색 영역에 기초하여 상기 개인의 얼굴 영역을 결정하는 수단, 및 상기 얼굴 영역에 기초하여 상기 개인의 얼굴 로케이션을 추적하는 수단을 포함하는, 상기 뷰포인트를 결정하는 수단; 및
    상기 개인의 결정된 상기 뷰포인트에 응답하여 상기 디스플레이에 디스플레이되는 이미지 내의 오브젝트를 이동시키는 수단을 포함하고,
    상기 얼굴 영역을 결정하는 수단은, 피부색에 대응하는 크로미넌스 평균 값 및 크로미넌스 분산 값에 기초하여 상기 개인의 상기 피부색 영역을 결정하도록 더 구성되는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 장치.
  25. 삭제
  26. 제 24 항에 있어서,
    상기 얼굴 로케이션을 추적하는 수단은,
    사용자 인식 훈련 모드에 응답하여:
    상기 개인의 얼굴 영역에 관련된 상기 이미지 데이터의 후보 영역을 스캐닝하는 것;
    피부 톤 범위 내에 있는 각 픽셀에 대하여, 샘플 픽셀 데이터를 축적하는 것;
    상기 후보 영역 내의 모든 픽셀들을 스캐닝한 이후에:
    피부 톤 임계치들을 계산하는 것; 및
    샘플링된 픽셀 데이터의 측정된 피부 톤의 평균 값 및 분산을 계산하는 것;
    상기 피부 톤 임계치들 내의 각 픽셀 샘플에 대하여:
    샘플 픽셀에서부터 상기 평균 값까지의 거리를 측정하는 것;
    상기 거리를 상기 분산과 비교하는 것;
    에 의해 우도 값들을 선택적으로 축적하는 것;
    상기 거리가 상기 분산 내에 있는 경우:
    수평 및 수직 우도 값들을 축적하는 것;
    상기 우도 값들의 선택적 축적의 완료시에:
    상기 수평 및 수직 우도 값들 각각에서 피크 세그먼트들을 발견하기 위한 동적 임계치들을 구성하는 것;
    상기 동적 임계치들의 평가에 기초하여 피크 수평 세그먼트 및 피크 수직 세그먼트를 검출하는 것; 및
    상기 피크 수평 세그먼트 및 상기 피크 수직 세그먼트에 기초하여 추정된 중심 픽셀 로케이션을 결정하는 것
    에 의해 상기 개인의 얼굴 영역의 중심 픽셀 로케이션을 추정하는 수단을 포함하는, 피부색 영역 및 얼굴 영역에 기초한 뷰포인트를 결정하는 장치.
KR1020127030530A 2010-04-22 2011-04-22 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 KR101560866B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/765,292 2010-04-22
US12/765,292 US8315443B2 (en) 2010-04-22 2010-04-22 Viewpoint detector based on skin color area and face area
PCT/US2011/033543 WO2011133842A1 (en) 2010-04-22 2011-04-22 Viewpoint detector based on skin color area and face area

Publications (2)

Publication Number Publication Date
KR20130027520A KR20130027520A (ko) 2013-03-15
KR101560866B1 true KR101560866B1 (ko) 2015-10-15

Family

ID=44268139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127030530A KR101560866B1 (ko) 2010-04-22 2011-04-22 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기

Country Status (6)

Country Link
US (1) US8315443B2 (ko)
EP (1) EP2561465A1 (ko)
JP (1) JP5911846B2 (ko)
KR (1) KR101560866B1 (ko)
CN (1) CN102859534B (ko)
WO (1) WO2011133842A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8866809B2 (en) * 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
WO2012097503A1 (zh) * 2011-01-18 2012-07-26 青岛海信信芯科技有限公司 一种立体显示的控制方法及装置
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9167201B2 (en) 2012-06-07 2015-10-20 Alcatel Lucent Feedback-system for managing video conferencing with a portable multimedia device comprising a frontal camera
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
US20140009570A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and methods for capture and display of flex-focus panoramas
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US9230158B1 (en) 2012-12-18 2016-01-05 Amazon Technologies, Inc. Fraud detection for facial recognition systems
US10257414B2 (en) 2016-07-15 2019-04-09 Qualcomm Incorporated Method and system for smart group portrait
CN112655016A (zh) * 2018-09-11 2021-04-13 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287761A (ja) 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
EP0707288B1 (en) 1994-10-14 2003-08-27 Canon Kabushiki Kaisha Image processing method and apparatus
JP3561985B2 (ja) * 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
DE19516664C1 (de) * 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
US6972813B1 (en) 1999-06-09 2005-12-06 3M Innovative Properties Company Optical laminated bodies, lighting equipment and area luminescence equipment
KR20050042399A (ko) 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
KR20070052260A (ko) 2004-06-01 2007-05-21 마이클 에이 베슬리 수평 원근법 디스플레이
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
GB0426523D0 (en) * 2004-12-02 2005-01-05 British Telecomm Video processing
KR100695174B1 (ko) 2006-03-28 2007-03-14 삼성전자주식회사 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
WO2008013050A1 (fr) * 2006-07-25 2008-01-31 Nikon Corporation Procédé de traitement d'image, programme de traitement d'image, et dispositif de traitement d'image
EP2116919A1 (en) 2008-05-09 2009-11-11 MBDA UK Limited display of 3-dimensional objects
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
JP5174908B2 (ja) * 2008-06-30 2013-04-03 株式会社ソニー・コンピュータエンタテインメント 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
US8866809B2 (en) 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface

Also Published As

Publication number Publication date
EP2561465A1 (en) 2013-02-27
CN102859534A (zh) 2013-01-02
WO2011133842A1 (en) 2011-10-27
JP2013525906A (ja) 2013-06-20
US20110262001A1 (en) 2011-10-27
US8315443B2 (en) 2012-11-20
JP5911846B2 (ja) 2016-04-27
CN102859534B (zh) 2016-01-27
KR20130027520A (ko) 2013-03-15

Similar Documents

Publication Publication Date Title
KR101560866B1 (ko) 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기
US10455141B2 (en) Auto-focus method and apparatus and electronic device
KR101862889B1 (ko) 입체 카메라를 위한 자동초점
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
US9619708B2 (en) Method of detecting a main subject in an image
US20100208091A1 (en) Auto focus speed enhancement using object recognition and resolution
CN105744138B (zh) 快速对焦方法和电子设备
CN104601876B (zh) 路人侦测方法与装置
CN105872399B (zh) 逆光检测方法和逆光检测系统
EP3055986B1 (en) Imaging device and method for automatic focus in an imaging device as well as a corresponding computer program
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
US20160198036A1 (en) Incoming call processing method and mobile terminal
CN105227948B (zh) 一种查找图像中畸变区域的方法及装置
CN114910052A (zh) 一种基于摄像头的测距方法、控制方法、装置和电子设备
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN116567412A (zh) 变焦跟踪曲线确定方法、装置、计算机设备和存储介质
KR20190079503A (ko) 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법
KR101525626B1 (ko) 아웃 포커싱 장치 및 방법
KR101305732B1 (ko) 비디오 검색을 위한 블록 생성 방법 및 이를 통해 생성된 블록을 기초로 한 질의 처리 방법
KR101632069B1 (ko) 양안 기반에서 굴절 매질을 이용한 깊이 지도 생성 방법 및 장치
KR101844004B1 (ko) 거리 정보를 포함하는 영상 생성 장치
CN115424215A (zh) 车辆逆行检测方法、装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 5