KR101180900B1 - 촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램 - Google Patents

촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램 Download PDF

Info

Publication number
KR101180900B1
KR101180900B1 KR1020060051728A KR20060051728A KR101180900B1 KR 101180900 B1 KR101180900 B1 KR 101180900B1 KR 1020060051728 A KR1020060051728 A KR 1020060051728A KR 20060051728 A KR20060051728 A KR 20060051728A KR 101180900 B1 KR101180900 B1 KR 101180900B1
Authority
KR
South Korea
Prior art keywords
image data
face
search
search direction
mode
Prior art date
Application number
KR1020060051728A
Other languages
English (en)
Other versions
KR20060133893A (ko
Inventor
미유키 오카다
요시히로 스즈키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20060133893A publication Critical patent/KR20060133893A/ko
Application granted granted Critical
Publication of KR101180900B1 publication Critical patent/KR101180900B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

효율좋게 고속으로 화상 데이터로부터 얼굴부를 검출하는 것에 관한 것이다.
모니터링모드 탐색방향 지시부(330)는, 얼굴 검출결과 RAM(110)에 유지되어 있는 전(前)프레임 또는 수(數)프레임전의 화상 데이터의 경우에 얼굴부의 검출결과에 포함되는 탐색방향 등에 의거하여 얼굴 검출시에 화상 데이터의 탐색방향을 지시선택부(350)에 공급한다. 또, 캡쳐모드 탐색방향지시부(340)는, 미리 설정된 얼굴 검출시에 화상 데이터의 탐색방향을 지시선택부(350)에 공급한다. 조작부(111)로부터 화상 데이터를 기록해야 할 취지의 신호가 출력되었을 경우는, 지시선택부(350)는, 캡쳐모드 탐색방향지시부(340)로부터 공급되는 탐색방향을 얼굴검출 제어부(250)에 전하고, 상기 신호가 출력되지 않는 경우는, 모니터링모드 탐색방향 지시부(330)로부터 공급되는 탐색방향을 얼굴검출 제어부(250)에 전한다.

Description

촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에 실행시키는 프로그램{Imaging apparatus, processing method of the apparatus and program making computer execute the method}
도 1은, 본 발명의 실시의 형태의 경우에 촬상장치(100)의 구성의 일례를 나타내는 도면이다.
도 2는, 본 발명의 실시의 형태의 경우에 얼굴 검출부(108)의 구성의 일례를 나타내는 도면이다.
도 3은, 본 발명의 실시의 형태의 경우에 얼굴 탐색부(240)의 기능 구성의 일례를 나타내는 도면이다.
도 4는, 본 발명의 실시의 형태의 경우에 촬상제어부(105)의 기능 구성의 일례를 나타내는 도면이다.
도 5는, 화상 데이터와 평균적인 얼굴의 템플릿을 조합하여 얼굴부를 탐색하는 방향에 대하여 나타내는 도면이다.
도 6은, 4종류의 탐색방향과 기울은 얼굴의 검출동작과의 조합에 의한 「360도」의 얼굴 검출을 나타내는 도면이다.
도 7은, 본 발명의 실시의 형태의 경우에 촬상장치(100)에 있어서 화상 데이터를 탐색할 때의 흐름을 나타내는 도면이다.
도 8은, 본 발명의 실시의 형태의 경우에 최대 정확도 처리의 흐름을 나타내는 도면이다.
도 9는, 본 발명의 실시의 형태의 경우에 빈도처리의 흐름을 나타내는 도면이다.
도 10은, 본 발명의 실시의 형태의 경우에 설정방향처리의 흐름을 나타내는 도면이다.
*부호의 설명
10. 촬상부 100. 촬상장치
101. 렌즈군 102. 이미지 센서
103. 중력방향 센서 104. 화상신호 처리부
105. 촬상제어부 106. 화상 압축 신장부
107. 화상RAM 108. 얼굴 검출부
109. 화상 표시부 110. 얼굴 검출결과 RAM
111. 조작부 112. 화상 데이터 버스
113. 기록매체 210. 확대 축소처리부
220. 전(前)처리부 230. 얼굴 검출 화상 유지부
240. 얼굴 탐색부 241. 방향 제어부
242. 화상절단부 243. 얼굴 템플릿 조합부
244. 얼굴 추출부 250. 얼굴 검출 제어부
311. 탐색방향 빈도 판단부 312. 최대 정확도 판단부
313. 모니터링 모드 방향 설정부 314. 방향 보정부
315. 방향 정보 선택부 316. 캡쳐모드 방향 설정부
320. 처리지시부 330. 모니터링 모드 탐색방향 지시부
331. 빈도 선택부 332. 최대 정확도 방향 선택부
333. 설정방향선택부 334. 처리 선택부
340. 캡쳐모드 탐색방향 지시부 350. 지시 선택부
360. 기록제어부
본 발명은, 화상 데이터에 포함되는 얼굴부를 검출하는 촬상장치에 관한 것이며, 특히 조작상태에 따라 얼굴부의 검출방법을 바꾸는 촬상장치 및 이들의 경우에 처리방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
근년, 디지털 카메라는, 본래의 정지화면뿐만 아니라 동영상도 촬상 가능한 것이 급속히 보급되고 있다. 이들 디지털 카메라는 고성능화 해 오고 있고, 특히 검출?인식계 기술이 주목 되고 있다. 이 검출?인식계 기술의 대표적인 것이 얼굴 검출 기술이다.
그런데, 디지털 카메라에 있어서, 피사체를 촬상할 때에, 디지털 카메라를 여러 가지 방향으로 기울여 촬상하는 것이 많다. 가로길이의 디지털 카메라를, 예를 들면, 「90도」회전시켜 촬상하는 것은 자주 행해지고 있다. 이와 같은 디 지털 스틸 카메라의 회전은, 시계방향을 정방향으로 하면, 「0도」회전, 「＋90도」회전, 「 －90도」회전, 「180도」회전이 상정된다. 종래, 이 디지털 스틸 카메라의 회전에 관한 정보에 대하여, 예를 들면, 「＋90도」회전과 같이 회전방향에 대한 정보를 입력하고, 그 입력된 회전방향에 근거하여 촬상된 화상 데이터에 있어서 얼굴부 검출을 하는 기술이 제안되고 있다(예를 들면, 특허 문헌 1 참조.). 또, 화상 데이터로부터 검출된 얼굴부가 다수있는 경우에 그 얼굴부의 수를 카운트 하여 사진인화에 이용하는 기술도 제안되고 있다(예를 들면, 특허 문헌 2 참조.).
[특허 문헌 1] 특개 2004－62565호 공보(도 1)
[특허 문헌 2] 특개 평9－281605호 공보
그렇지만, 상술의 회전방향에 대한 정보를 입력하여 그 입력된 회전방향에 근거하여 촬상된 화상 데이터에 있어서 얼굴부 검출을 하는 기술에서는, 미리 회전방향을 입력할 필요가 있고, 조작이 번잡하다. 이와 같은 조작을 행하지 않고 화상 데이터로부터 얼굴부를 검출하려면 「0도」회전, 「＋90도」회전, 「－90도」회전, 「180도」회전하여 촬상된 모든 경우를 고려하여 모든 회전방향에서 화상 데이터의 얼굴부를 탐색하는 것이 고려되지만, 많은 시간을 필요로 하게 되기 때문에 현실적이지 않다. 한편, 얼굴 검출에 있어서 화상 데이터의 탐색을 행할 때에 「0도」회전, 「＋90도」회전, 「－90도 」회전, 「180도」회전하여 촬상된 모든 경우를 고려하지 않고, 예를 들면 「0도」회전 , 「＋90도」회전만을 행하도록 하면 고속의 얼굴 검출을 행하는 것은 가능하지만, 얼굴부를 검출할 수 없는 경우도 증 가하여 검출율이 저하할 우려가 있다.
또, 화상 데이터로부터 얼굴부를 검출할 때에 얻어지는 정보를 화상 데이터의 화상 부수 정보로서 화상 데이터와 관련지어 기록할 수 있으면, 이미 기록된 화상 데이터를 여러 가지 관점에서 검색하는 것이 가능하게 된다.
그래서, 본 발명은, 효율좋게 고속으로 화상 데이터로부터 얼굴부를 검출하는 촬상장치를 제공하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위하여 이루어진 것이며, 그 제 1의 측면은, 화상데이터를 적어도 1개의 방향에서 탐색하여 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과, 상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 캡쳐모드 탐색방향 지시수단과, 상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시수단을 구비하는 것을 특징으로 하는 촬상장치이다. 이것에 의해, 화상 데이터의 기록시와 화상 데이터를 기록하지 않을 시에 화상 데이터로부터 얼굴부를 검출할 때의 탐색방향을 변화시킨다고 하는 작용을 초래한다. 즉, 캡쳐모드와 모니터링 모드에서는, 얼굴 검출시에 중요성이 다르지만, 그것을 반영시킨 화상 데이터의 처리를 실시하는 것이 가능하게 된다.
또, 이 제 1의 측면에 있어서, 당해 촬상장치는, 상기 화상 데이터를 기록해야 할 취지의 조작을 수신한 경우에는 상기 캡쳐모드를 선택하는 신호를 공급하고 상기 조작을 받지 않는 경우에는 상기 모니터링 모드를 선택하는 신호를 공급하는 조작수단을 추가로 구비하는 것을 특징으로 하는 것이다. 이것에 의해, 화상 데이터를 기록해야 할 취지의 조작에 의하여 캡쳐모드와 모니터링 모드를 선택하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 당해 촬상장치는, 상기 캡쳐모드의 경우에 상기 화상 데이터의 탐색방향을 설정하는 캡쳐모드 방향 설정 수단을 추가로 구비하는 것을 특징으로 하는 것이다. 이것에 의해, 캡쳐모드의 경우에 탐색방향을 설정시킨다고 하는 작용을 초래한다. 즉, 캡쳐모드의 경우에 탐색방향으로 사용자의 의사를 반영시키는 것이 가능하게 된다.
또, 이 제 1의 측면에 있어서, 상기 모니터링 모드 탐색방향 지시수단은, 상기 얼굴 검출 수단에 있어서 과거에 검출된 상기 얼굴부의 탐색방향에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 것이다. 이것에 의해, 모니터링 모드의 경우에 탐색방향을 합리적으로 선택시켜 얼굴 검출을 행하게 한다고 하는 작용을 초래한다. 즉, 모든 방향에서 화상 데이터를 탐색하지 않고, 고속의 얼굴 검출이 가능해진다.
또, 당해 촬상장치는, 상기 얼굴 검출 수단에 있어서 상기 얼굴부가 검출된 탐색방향의 빈도를 판단하는 탐색방향 빈도 판단수단을 추가로 구비하고, 상기 모니터링 모드 탐색방향 지시수단은, 상기 빈도에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 것이다. 이것에 의해, 사용자가 촬상할 때의 버릇(행동패턴)에 맞추어 모니터링 모드의 경우에 얼굴 검출을 수행하는 작용을 초래한다.
또, 상기 모니터링 모드 탐색방향 지시수단은, 상기 얼굴 검출 수단에 있어서 전회(前回) 검출된 얼굴부의 탐색방향에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 것이다. 이것에 의해, 효율좋게 고속으로 화상 데이터로부터 모니터링 모드의 경우에 얼굴 검출을 수행하는 작용을 초래한다.
또, 당해 촬상장치는, 상기 얼굴 검출 수단에 있어서 상기 화상 데이터를 적어도 2개의 방향에서 탐색하고 상기 얼굴부로서의 정확도를 산출하여 상기 정확도가 최대로 되는 탐색방향을 판단하는 최대 정확도 판단수단을 추가로 구비하고, 상기 모니터링 모드 탐색방향 지시수단은, 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향으로서 상기 정확도가 최대로 되는 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 것이다. 이것에 의해, 효율좋게 고속으로 화상 데이터로부터 모니터링 모드의 경우에 얼굴 검출을 실시하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 당해 촬상장치는, 당해 촬상장치의 경우에 중력방향에서의 기울기를 검출하는 기울기 검출 수단을 추가로 구비하고, 모니터링 모드 탐색방향 지시수단은, 상기 기울기에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 것이다. 이것에 의해, 실제의 촬상장치의 기울기에 근거하여 모니터링 모드의 경우에 얼굴 검출을 행하게 한다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 당해 촬상장치는, 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 설정하는 모니터링 모드 방향 설정 수단을 추가로 구비하는 것을 특징으로 하는 것이다. 이것에 의해, 모니터링 모드의 경우에 탐색방향을 사용자에게 설정하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 상기 얼굴 검출 수단은, 상기 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」방향, 「＋90도」방향, 「－90도」방향, 「180도」방향의 적어도 한방향으로부터 탐색을 행하는 것을 특징으로 하는 것이다. 이것에 의해, 4종류의 각도 방향만으로 얼굴 검출을 수행하는 작용을 초래한다.
또, 상기 얼굴 검출 수단은, 상기 화상 데이터에 있어서 상기 「0도」방향, 상기 「＋90도 」방향, 상기 「－90도」방향, 상기 「180도」방향에 대하여 상기 얼굴부의 기울기가 「＋45도」 내지 「－45도」의 범위내에 있어서 상기 얼굴부를 검출하는 것을 특징으로 하는 것이다. 이것에 의해, 4종류의 각도 방향을 탐색하는 것만으로 「360도」방향 전부를 고려한 얼굴 검출을 시킨다고 하는 작용을 초래한다.
또, 이 제 1의 측면에 있어서, 당해 촬상장치는, 상기 얼굴 검출 수단에 있어서 검출된 얼굴부의 수를 포함하는 검출결과를 화상 부수 정보로서 상기 화상 데이터와 관련지어 기록시키는 기록제어수단을 추가로 구비하는 것이다. 이것에 의해, 화상 데이터의 화상 부수 정보에 화상 데이터로부터 검출된 얼굴부의 수를 포함하게 한다고 하는 작용을 초래한다.
또, 본 발명의 제 2의 측면은, 화상을 촬상하여 화상 데이터를 생성하는 촬상수단과, 상기 화상 데이터를 적어도 1개의 방향에서 탐색하고 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과, 상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 캡쳐모드 탐색방향 지시수단과, 상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시수단과, 상기 화상 데이터를 기록해야 할 취지의 조작을 받았을 경우에는 상기 캡쳐모드를 선택하는 신호를 공급하고 상기 조작을 받지 않는 경우에는 상기 모니터링 모드를 선택하는 신호를 공급하는 조작수단을 구비하는 것을 특징으로 하는 촬상장치이다. 이것에 의해, 화상 데이터의 기록시와 화상 데이터를 기록하지 않을 시에 화상 데이터로부터 얼굴부를 검출할 때의 탐색방향을 변화시키는 작용을 초래한다.
또, 본 발명의 제 3의 측면은, 화상 데이터를 적어도 1개의 방향에서 탐색하고 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과 상기 화상 데이터를 기록해야 할 취지의 조작을 행하는 조작수단을 갖추는 촬상장치에 있어서 이하의 순서를 실행하는 처리방법 또는 이하의 순서를 컴퓨터에 실행시키는 프로그램이며, 상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 상기 얼굴 검출 수단에 대하여 탐색방향을 지시하는 캡쳐모드 탐색방향 지시 순서와, 상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시 순서와, 상기 조작을 받았을 경우에는 상기 캡쳐모드에 이행시켜 상기 조작을 받지 않는 경우에는 상기 모니터링 모드를 계속하게 하는 모드 이행순서를 구비하는 것을 특징으로 하는 처리방법 또는 이들 순서를 컴퓨터에 실행시키는 프로그램이다. 이것에 의해, 화상 데이터의 기록시와 화상 데이터를 기록하지 않을 시에 화상 데이터로부터 얼굴부를 검출할 때의 탐색방향을 변화시키는 작용을 초래한다.
다음에 본 발명의 실시의 형태에 대하여 도면을 참조하여 상세하게 설명한다.
도 1은, 본 발명의 실시의 형태의 경우에 촬상장치(100)의 구성의 일례를 나타내는 도면이다. 촬상장치(100)는, 촬상부(10)와 중력방향센서(103)와, 촬상제어부(105)와, 화상 압축 신장부(106)와, 화상 RAM(Random Access Memory)(107)와, 얼굴 검출부(108)와, 화상표시부(109)와, 얼굴 검출결과 RAM(110)과, 조작부(111)를 갖춘다.
촬상부(10)는, 렌즈군(101)과, 이미지 센서(102)와, 화상신호처리부(104)를 갖춘다. 렌즈군(101)은, 촬상하려고 하는 피사체를 촬상소자에 결상시키는 등의 역할을 다하는 것이다. 이미지 센서(102)는, 예를 들면 CCD(Charge Coupled Device)등의 촬상소자에 의해 구성되며, 그 결상면에, 렌즈군(101)을 통한 상이 결상된다. 이 이미지 센서(102)는, 셔터 조작에 따라 촬상제어부(105)로부터 공급 되는 화상 독해 타이밍 신호를 받고, 결상면에 결상되어 있는 피사체상을 촬상신호로 변환하고, 화상신호처리부(104)에 공급한다.
중력방향센서(103)는, 예를 들면 자이로센서(gyro sensor)에 의해 구성되며, 촬상장치(100)의 중력방향에서의 기울기를 검출하는 것이다. 화상신호처리부(104)는, 촬상제어부(105)로부터의 제어신호에 근거하여 촬상신호에 대해서의 감마 보정이나 AGC(Auto Gain Control)등의 처리를 행하는 동시에, 촬상신호를 디지털 신호로서의 화상신호로 변환하는 처리도 행한다. 또, 화상신호처리부(104)는, 촬상제어부(105)로부터의 제어신호에 근거하여, 화상신호에 대하여 화이트 밸런스 제어등을 또한 행한다. 촬상제어부(105)는, 촬상장치(100) 전체처리를 담당하는 것이며, 화상신호등의 기록제어 및 재생제어등을 행하는 것이다.
화상압축신장부(106)는, 화상신호처리부(104)로부터 공급된 화상신호등을 부호화하여 다중화하고 압축 데이터로 변환하는 부호화 기능을 가진다. 한편, 화상압축신장부(106)는, 압축 데이터로부터 화상신호를 복호하는 복호기능을 가진다. 화상 RAM(107)은, 화상 데이터 버스(112)를 통하여 공급되는 화상 데이터를 유지하는 것이다. 도 1의 경우에 촬상장치(100)에 있어서는, 화상신호는, 각 블록간에 직접 수수가 행해져도 좋고, 화상 RAM(107)을 경유하여 각 블록간에 간접적으로 수수가 행해지도록 해도 좋다.
얼굴 검출부(108)는, 화상 데이터의 경우에 얼굴부를 검출하는 것이다. 얼굴 검출부(108)의 경우에 출력에는, 화상 데이터의 경우에 얼굴부의 탐색방향이나 화상 데이터의 경우에 얼굴부의 위치, 화상 데이터의 경우에 얼굴부의 면적, 얼굴이 향하고 있는 방향, 얼굴의 기울기, 검출된 얼굴부의 수등이 포함된다. 얼굴 검출부(108)의 경우에 출력을 이용하면 오토 포커스, 오토 화이트 밸런스 및 오토 노출등의 카메라 제어가 용이하게 되며, 항상 최적인 화상 데이터를 사용자에게 제공할 수 있다.
얼굴 검출부(108)의 경우에 출력은, 촬상제어부(105)를 통하여 얼굴 검출결과 RAM(110)이나 기록매체(113)에 공급된다. 또한, 기록매체(113)는, 예를 들면 플래쉬 메모리를 카드형에 패키지 한 메모리 카드 등에 의해 구성된다. 또, 도 1에 있어서는, 기록매체(113)는, 외부 메모리로서 도시되어 있지만, 이것에 한정하는 것이 아니라 내부에 하드 디스크를 설치하고 이것을 기록매체로 하는 구성도 좋다.
화상 표시부(109)는, 예를 들면, LCD(Liquid Crystal Display)에 의해 구성되며, 화상신호처리부(104)로부터 공급된 화상 데이터를 표시시키는 것이다. 또, 화상 RAM(107)을 경유하고, 화상 데이터를 화상 표시부(109)에 공급하도록 구성해도 좋다.
조작부(111)에는, 줌 조정 키, 노출 조정을 위한 키, 셔터 키, 동영상 촬영용 키, 화상 표시부(109)의 경우에 표시 조정 키등의 복수의 키가 설치되어 있다. 조작부(111)는, 이들 복수의 키 각각에 대응하는 조작신호를 촬상제어부(105)에 전한다. 촬상제어부(105)는, 조작부(111)에 있어서 어느 키가 조작되었는지를 판별하고, 그 판별 결과에 따라 제어처리를 행한다.
본 발명의 실시의 형태의 경우에 촬상장치(100)에 있어서는, 조작부(111)중의 셔터 키가 눌려지지 않은 경우, 렌즈군(101)에서 잡은 화상 데이터는 기록매체(113)에 기록되지 않고 화상 표시부(109)에 있어서 리얼타임으로 그대로 표시된다. 이 동작 상태를 이하에서는, 모니터링 모드라고 부른다. 한편, 조작부(111)중의 셔터 키가 눌려진 경우에는, 렌즈군(101)에서 잡은 화상 데이터는 기록매체(113)에 기록되게 된다. 이 동작 상태를 이하에서는, 캡쳐모드(capture mode)라고 부른다.
도 2는, 본 발명의 실시의 형태의 경우에 얼굴 검출부(108)의 구성의 일례를 나타내는 도면이다. 얼굴 검출부(108)는, 확대축소처리부(210)와 전처리부(220)와, 얼굴 검출화상유지부(230)와, 얼굴 탐색부(240)와, 얼굴검출 제어부(250)를 갖춘다.
확대축소처리부(210)는, 화상 RAM(107)으로부터 공급된 화상 데이터를 소정의 크기의 화상 데이터로 변환하는 것이다. 즉, 화상 RAM(107)으로부터 공급된 화상 데이터가 미리 설정된 소정의 크기보다 큰 경우는, 확대축소처리부(210)는 화상 RAM(107)으로부터 공급된 화상 데이터를 축소하는 처리를 행하고, 한편, 화상 RAM(107)으로부터 공급된 화상 데이터가 미리 설정된 소정의 크기보다도 작은 경우는, 확대축소처리부(210)는 화상 RAM(107)으로부터 공급된 화상 데이터를 확대하는 처리를 행한다. 또한, 확대축소처리부(210)는, 그 외, 화상신호처리부(104) 또는 화상압축신장부(106)로부터 공급되는 화상 데이터도 소정의 크기의 화상 데이터로 변환하는 처리를 행한다.
전처리부(220)는, 확대축소처리부(210)와 축소처리 또는 확대처리된 화상 데 이터에 대하여 소정의 처리를 행하는 것이다. 소정의 처리는, 예를 들면 화상 데이터의 얼굴부를 소정의 휘도범위에 정규화하기 위한 휘도변환처리나, 얼굴부 중의 눈, 코, 눈썹 및 입등의 부분을 확실히 추출하기 위한 윤곽강조처리등이 상정된다. 상기 처리까지를 행하면 화상 데이터로부터 얼굴부를 검출하기 위한 화상 데이터의 전처리가 종료한다. 전처리부(220)는, 상기 처리를 행한 화상 데이터를 얼굴 검출화상유지부(230)에 공급한다. 얼굴 검출화상유지부(230)는, 전처리부(220)로부터 공급된 화상 데이터를 유지한다.
얼굴 탐색부(240)는, 얼굴 검출화상유지부(230)에 유지된 화상 데이터의 일부를 잘라 내고, 미리 유지되어 있는 평균적인 얼굴의 템플릿 화상에 근거하여 그 화상 데이터로부터 얼굴부를 탐색한다. 이 때, 예를 들면 시계방향을 정방향으로 했을 경우에, 화상 데이터를 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도 」회전시킨 방향의 각각으로부터 얼굴부를 탐색한다. 또한, 촬상장치(100)를 「180도」회전시키고 피사체를 촬상하는 빈도는 적으면 상정되기 때문에, 「180도」방향에 대해서는 탐색처리를 생략해도 좋다. 이 얼굴 탐색부(240)의 출력은, 촬상제어부(105)에 공급된다.
얼굴검출 제어부(250)는, 촬상제어부(105)로부터 공급된 정보에 따라서 확대축소처리부(210)와 전처리부(220)와, 얼굴 검출화상유지부(230)와, 얼굴 탐색부(240)를 제어한다. 구체적으로는, 얼굴검출 제어부(250)는, 확대축소처리부(210)에 대하여 예를 들면 화상 데이터의 확대율 또는 축소율을 공급한다. 또, 얼굴검출 제어부(250)는, 전처리부(220)에 대해서는 예를 들면 휘도변환처리나 윤 곽강조처리 등에 대하여 필요한 파라미터를 공급한다. 또, 얼굴검출 제어부(250)는, 얼굴 검출 화상 메모리에 대하여 예를 들면 메모리 어드레스를 공급한다.
또, 얼굴검출 제어부(250)는, 얼굴 탐색부(240)에 대하여 예를 들면 화상 데이터의 탐색방향등을 공급한다. 본 발명의 실시의 형태의 경우에 촬상장치(100)에서는, 모니터링 모드의 경우와 캡쳐모드의 경우에 있어서 얼굴 검출부(108)에서의 화상 데이터의 탐색방향이 다르다. 이 점에 대하여, 이하에 설명한다.
도 3은, 본 발명의 실시의 형태의 경우에 얼굴 탐색부(240)의 기능 구성의 일례를 나타내는 도면이다. 얼굴 탐색부(240)는, 방향제어부(241)와 화상절단부(242)와, 얼굴 템플릿 조합부(243)와, 얼굴 추출부(244)를 갖춘다.
방향제어부(241)는, 얼굴검출 제어부(250)로부터 지시된 화상 데이터의 탐색방향에 근거하여 화상절단부(242)와, 얼굴 템플릿 조합부(243)와, 얼굴 추출부(244)의 경우에 처리를 제어하는 것이다. 화상절단부(242)는, 얼굴 검출화상유지부(230)에 유지된 화상 데이터의 일부를 절단한 절단 화상을 얼굴 템플릿 조합부(243)에 공급한다. 구체적으로는, 화상절단부(242)는, 방향제어부(241)로부터의 지시를 받아 얼굴 검출화상유지부(230)에 유지된 화상 데이터의 일부를 잘라 낸다. 방향제어부(241)는, 1장의 절단화상의 경우에 일련의 처리가 종료하면, 화상절단부(242)에 대하여 전회의 절단화상으로부터 소정 화소(예를 들면, 2픽셀) 비켜 놓은 절단화상을 얼굴 템플릿 조합부(243)에 공급하도록 화상절단부(242)에 지시한다. 이상의 처리를 반복하여 행한다.
얼굴 템플릿 조합부(243)는, 화상절단부(242)로부터 공급된 절단화상을 자신 이 유지하는 평균적인 얼굴의 템플릿 화상 데이터와 조합하여 얼굴부를 탐색하는 것이다. 탐색한 결과, 절단화상이 평균적인 얼굴의 템플릿 화상과 조합하면, 절단화상중에는 얼굴부가 존재하는 것이라고 판단된다. 여기서의 탐색은, 얼굴검출 제어부(250)로부터의 지시에 따라서 행해진다. 얼굴 템플릿 조합부(243)는, 얼굴부가 존재한다고 판단한 탐색방향을 얼굴 추출부(244)에 전한다. 또한, 촬상장치(100)의 기울기는 0도, ＋90도, －90도 및 180도로 된다고는 한정되지 않지만, 후술하는 바와 같이, 0도, ＋90도, －90도 및 180도 각각의 각도로부터 얼굴부의 기울기가 ±45도의 범위에 있으면 얼굴부의 탐색은 가능하다.
얼굴 추출부(244)는, 얼굴 템플릿 조합부(243)에 있어서 화상 데이터에 얼굴부가 존재한다고 판단되었을 경우에 화상 데이터의 경우에 얼굴부의 구체적인 위치등을 추출하는 것이다. 얼굴 추출부(244)의 경우에 출력에는, 얼굴 템플릿 조합부(243)에 있어서 화상 데이터의 경우에 얼굴부의 탐색방향이나 화상 데이터의 경우에 얼굴부의 위치, 얼굴부의 갯수 등이 포함된다. 얼굴 추출부(244)의 출력은, 촬상제어부(105)에 공급된다.
도 4는, 본 발명의 실시의 형태의 경우에 촬상제어부(105)의 기능 구성의 일례를 나타내는 도면이다. 촬상제어부(105)는, 탐색방향 빈도판단부(311)와, 최대정확도 판단부(312)와, 모니터링모드 방향설정부(313)와, 방향보정부(314)와, 방향정보선택부(315)와, 캡쳐모드 방향설정부(316)와, 처리지시부(320)와, 모니터링모드 탐색방향 지시부(330)와, 캡쳐모드 탐색방향지시부(340)와, 지시선택부(350)와, 기록제어부(360)를 갖춘다.
탐색방향 빈도판단부(311)는, 얼굴 검출결과 RAM(110)에 유지되어 있는 얼굴 검출부(108)로부터 공급되는 화상 데이터의 경우에 얼굴부에 대해서의 검출결과를 감시하고 얼굴부가 검출된 빈도가 가장 높은 탐색방향을 판단하는 것이다. 이 판단결과는, 빈도선택부(331)에 공급된다. 최대정확도 판단부(312)는, 예를 들면 본 발명의 실시의 형태의 경우에 촬상장치(100)의 전원투입후에, 최초로 얼굴부의 검출이 행해진 탐색방향중 가장 얼굴부가 존재하는 정확도가 높은 탐색방향은 어느 것인지를 판단한다. 이 탐색방향 빈도판단부(311)에 의한 판단결과는, 최대정확도 방향선택부(332)에 공급된다.
모니터링모드 방향설정부(313)는, 조작부(111)를 거쳐서 사용자에게 모니터링 모드의 경우에 화상 데이터를 탐색할 방향을 설정시키는 것이다. 방향보정부(314)는, 중력방향센서(103)로부터 공급된 촬상장치(100)의 기울기가 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향의 어느 것에 대응하는 것인지를 판단하는 것이다. 후술하는 바와 같이 0도, ＋90도, －90도 및 180도 각각의 각도로부터 ±45도의 범위에 있으면 얼굴부의 탐색은 가능하기 때문에, 예를 들면, 촬상장치의 기울기가 중력방향에 대하여 20도의 경우는 화상 데이터에 대하여 0도 회전시킨 방향으로 대응한다고 판단된다. 또, 촬상장치의 기울기가 중력방향에 대하여 ＋80도의 경우는 ＋90도 회전시킨방향에 대응한다고 판단된다.
방향정보선택부(315)는, 모니터링모드 방향설정부(313), 방향보정부(314) 및 기록제어부(360)로부터 공급된 탐색방향중 어느 것을 설정방향선택부(333)로 공급 하는 것이다. 이 선택은, 처리지시부(320)로부터의 지시에 근거하여 행해진다.
캡쳐모드 방향설정부(316)는, 조작부(111)를 통하여 사용자에게 캡쳐모드의 경우에 화상 데이터를 탐색할 방향을 설정시키는 것이다. 캡쳐모드는, 촬상하고 있는 화상 데이터를 정지화면 데이터로서 기록하는 모드이기 때문에, 화상 데이터로부터의 얼굴부의 검출율은 높은 것인 것이 요구된다. 한편, 「0도」, 「＋90도」, 「－90도」 및 「180도」각각의 각도로부터 화상 데이터를 탐색한 것은 처리에 시간을 필요로 한다. 그래서, 이 캡쳐모드 방향설정부(316)에 의하여 탐색방향을 한정함으로써 처리의 고속화를 도모할 수 있다.
상기 설명한 탐색방향 빈도판단부(311), 최대정확도 판단부(312), 모니터링모드 방향설정부(313), 방향보정부(314), 방향정보선택부(315) 및 캡쳐모드 방향설정부(316)의 어느 기능을 이용할지는, 조작부(111)에서 설정한다. 기능이 조작부(111)로부터 설정되면, 그 설정된 기능의 정보가 처리지시부(320)에 공급된다. 처리지시부(320)는, 설정된 기능으로부터 공급된 탐색방향을 선택해야 할 취지의 지시를 방향정보선택부(315) 및 처리선택부(334)에 공급한다.
모니터링모드 탐색방향 지시부(330)는, 모니터링 모드의 경우에 화상 데이터의 탐색방향의 지시를 얼굴 탐색부(240)에 대하여 행하는 것이며, 빈도선택부(331)와, 최대정확도 방향선택부(332)와 설정방향선택부(333)와, 처리선택부(334)를 갖춘다. 빈도선택부(331)는, 탐색방향 빈도판단부(311)로부터 공급된 얼굴부의 검출된 빈도의 가장 높은 탐색방향에 근거하여 얼굴 탐색부(240)의 경우에 화상 데이터의 탐색방향을 선택하여 처리선택부(334)에 공급하는 것이다. 과거의 경우에 얼굴부가 검출된 탐색방향의 빈도에 근거하여 다음의 탐색방향을 결정함으로써, 사용자의 버릇(행동패턴)을 고려한 탐색방향을 선택할 수 있다.
또, 최대정확도 방향선택부(332)는, 최대정확도 판단부(312)로부터 공급된 얼굴부의 정확도의 가장 높은 탐색방향에 근거하여 그 탐색방향을 선택하여 처리선택부(334)에 공급하는 것이다. 얼굴부의 정확도가 가장 높은 탐색방향에 근거하여 그 탐색방향을 선택함으로써 쓸데 없는 탐색방향을 생략하여 다음회의 경우에 탐색방향을 결정할 수 있고, 고속의 얼굴 검출 처리가 가능하게 된다.
또, 설정방향선택부(333)는, 방향정보선택부(315)로부터 공급된 탐색방향에 근거하여 화상 데이터의 탐색방향을 선택하여 처리선택부(334)에 공급하는 것이다. 처리선택부(334)는, 처리지시부(320)로부터의 지시에 근거하여 빈도선택부(331), 최대정확도 방향선택부(332) 및 설정방향선택부(333)로부터 공급되는 탐색방향중 어느 하나를 지시선택부(350)에 공급하는 것이다.
모니터링 모드에 있어서는, 상기의 기능을 이용하여 얼굴 검출시에 화상 데이터의 쓸데 없는 탐색방향을 생략함으로써 고속의 얼굴 검출이 가능하게 된다. 그리고, 고속의 얼굴 검출의 실현에 의하여 얼굴 검출에 의하여 얻어지는 결과를 오토 포커스, 오토 화이트 밸런스, 오토 노출등의 제어에 고속으로 피드백할 수 있다.
캡쳐모드 탐색방향지시부(340)는, 캡쳐모드의 경우에 화상 데이터의 탐색방향의 지시를 행하는 것이다. 이 캡쳐모드의 경우에 화상 데이터의 탐색방향은, 상술한 바와 같이 캡쳐모드 방향설정부(316)에서 공급된다. 또한, 캡쳐모드의 경우에 화상 데이터의 탐색방향은, 화상 데이터에 대하여 시계방향을 정방향으로서, 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향의 모든 탐색방향 또는 상기 탐색방향에서 「180도」회전시킨 방향을 제외한 탐색방향이 상정된다. 캡쳐모드에 있어서는 화상 데이터를 기록하기 때문에, 얼굴 검출율을 높은 것으로 하는 것이 바람직하기 때문이다.
지시선택부(350)는, 조작부(111)로부터 화상 데이터의 기록을 요구하는 취지의 요구신호, 예를 들면 셔터 키에 대응하는 신호가 공급되었을 경우에, 캡쳐모드 탐색방향지시부(340)의 경우에 지시를 선택하고 얼굴검출 제어부(250)에 공급하는 것이다. 한편, 지시선택부(350)는, 셔터 키에 대응하는 신호가 공급되지 않는 경우에는 모니터링모드 탐색방향 지시부(330)의 경우에 지시를 얼굴검출 제어부(250)에 공급한다. 즉, 조작부(111)로부터 화상 데이터의 기록을 요구하는 취지의 요구신호가 지시선택부(350)에 공급되는 상태에서는 캡쳐모드로 되며, 요구신호가 공급되지 않는 상태에서는 모니터링 모드로 된다.
기록제어부(360)는, 얼굴 탐색부(240)로부터의 출력에 포함되는 탐색방향을 방향정보선택부(315) 및 얼굴 검출결과 RAM(110)에 공급한다. 또, 기록제어부(360)는, 조작부(111)로부터 화상 데이터의 기록을 요구하는 취지의 요구신호가 공급되면, 거기에 대응하는 얼굴 탐색부(240)로부터의 출력을, 예를 들면 메타데이터와 같은 화상 부수 정보로서 기록매체(113)에 공급한다. 공급된 화상 부수 정보는, 화상 데이터와 관련지어 기록된다. 얼굴 탐색부(240)에서의 출력에는 화상 데이터에 포함되는 얼굴부의 수도 포함되어 있지만, 얼굴부의 수를 화상 데이터의 화상 부수 정보로서 화상 데이터와 관련지어 기록함으로써, 얼굴부의 수에 근거하여 그 수에 합치하는 얼굴부가 포함된 화상 데이터를 검색하는 것이 가능하게 된다.
도 5는, 화상 데이터와 평균적인 얼굴의 템플릿을 조합하여 얼굴부를 탐색할 방향에 대하여 나타내는 도면이다. 도 5a는, 화상 데이터(401)에 대하여 「0도」방향의 평균적인 얼굴의 템플릿(402)을 나타내는 도면이다. 이 경우는, 화상 데이터(401)에 대하여 평균적인 얼굴의 템플릿(402)을 도 5a의 화살표 방향을 탐색방향으로서 화상 데이터(401)와 평균적인 얼굴의 템플릿(402)을 조합한다. 화상 데이터(401)중의 얼굴부는, 평균적인 얼굴의 템플릿(402)과 얼굴방향이 일치하고 있기 때문에, 얼굴부는 검출된다.
도 5b는, 화상 데이터(403)에 대하여 시계방향을 정방향으로서 「＋90도」방향의 평균적인 얼굴의 템플릿(404)을 나타내는 도면이다. 이 경우는, 화상 데이터(403)에 대하여 평균적인 얼굴의 템플릿(404)을 도 5b의 화살표 방향을 탐색방향으로서 화상 데이터(403)와 평균적인 얼굴의 템플릿(404)을 조합한다. 화상 데이터(403)중의 얼굴부는, 평균적인 얼굴의 템플릿(404)과 얼굴방향이 시계방향을 정방향으로서 「＋90도」어긋나 있기 때문에, 얼굴부는 검출되지 않는다.
도 5c는, 화상 데이터(405)에 대하여 시계방향을 정방향으로서 「－90도」방향의 평균적인 얼굴의 템플릿(406)을 나타내는 도면이다. 이 경우는, 화상 데이터(405)에 대하여 평균적인 얼굴의 템플릿(406)을 도 5c의 화살표 방향을 탐색방향으로서 화상 데이터(405)와 평균적인 얼굴의 템플릿(406)을 조합한다. 화상 데이 터(405)중의 얼굴부는, 평균적인 얼굴의 템플릿(406)과 얼굴방향이 시계방향을 정방향으로서 「－90도」어긋나 있기 때문에, 얼굴부는 검출되지 않는다.
도 5d는, 화상 데이터(407)에 대하여 「180도」방향의 평균적인 얼굴의 템플릿(408)을 나타내는 도면이다. 이 경우는, 화상 데이터(407)에 대하여 평균적인 얼굴의 템플릿(408)을 도 5d의 화살표 방향을 탐색방향으로서 화상 데이터(407)와 평균적인 얼굴의 템플릿(408)을 조합한다. 화상 데이터(407)중의 얼굴부는, 평균적인 얼굴의 템플릿(408)과 얼굴방향이 「180도」어긋나 있기 때문에, 얼굴부는 검출되지 않는다.
도 6은, 4종류의 탐색방향과 기운 얼굴의 검출 동작과의 조합에 의한 「360도」방향의 얼굴검출을 나타내는 도면이다. 도 6a는, 탐색방향으로서 화상 데이터에 대하여 「0도」회전시킨 방향을 나타내는 도면이다. 중심에 있는 얼굴부와 비교하여 시계방향을 정방향으로 하는 「＋45도」 내지 「－45도」기운 2개의 얼굴부가 있다. 중심에 있는 얼굴부와 비교하여 「＋45도」 내지 「－45도」의 범위의 기울기를 가지는 얼굴부는, 화상 데이터에 대하여 「0도」회전시킨 방향에서의 탐색으로 검출 가능하다.
도 6b는, 탐색방향으로서 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향을 나타내는 도면이다. 도 6c는, 탐색방향으로서 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전시킨 방향을 나타내는 도면이다. 도 6d는, 탐색방향으로서 화상 데이터에 대하여 「180도」회전시킨 방향을 나타내는 도면이다. 이들도 도 6a의 경우와 동일하게, 「＋45도」 내지 「－45도 」의 범위의 기울기를 가지는 얼굴부는, 각각의 방향에서 탐색함으로써 검출 가능하다. 이 때문에, 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향에서의 탐색에 의하여 「360도」방향 탐색 가능하게 되며, 얼굴부의 위치가 어떻게 되어 있어도 모두 검출할 수 있게 된다.
이와 같이 얼굴부가 기울었을 경우의 얼굴부의 검출방향에 대하여 이하에 설명한다. 우선, 얼굴의 화상 데이터의 기울기를 요구함으로써 얼굴 화상의 기울기를 보정한다. 이것에 의해, 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향에서의 탐색에 의하여 「360도」방향 탐색 가능하게 된다. 구체적으로는, 얼굴의 화상 데이터를 소정의 각도만 회전시킨다. 그 회전시킨 회전화상 데이터의 얼굴부의 경우에 얼굴의 중심선을 결정하고, 그 때의 중심선의 확실함의 정도를 산출한다. 그 외의 소정의 각도에 있어서도 상기와 같은 처리를 행하고, 각각의 중심선의 확실함의 정도를 산출한다. 중심선의 확실함의 정도를 감시하고, 가장 중심선의 확실함의 정도가 높은 각도를 검출한다. 그 각도가 얼굴부의 기울기로서 결정된다. 얼굴부의 기울기를 알 수 있으면, 그 기울기의 각도를 고려하여 화상 데이터를 회전시킴으로써 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향의 어느 방향에서도 탐색 가능하게 된다.
다음에 본 발명의 실시의 형태의 경우에 동작에 대하여 도면을 참조하여 설명한다.
도 7은, 본 발명의 실시의 형태의 경우에 촬상장치(100)에 있어서 화상 데이터를 탐색할 때의 흐름을 나타내는 도면이다. 촬상장치(100)에 있어서 촬상중의 화상 데이터를 기록하기 위해서 셔터가 눌려지면 캡쳐모드가 되며, 눌려지지 않으면 모니터링 모드로 된다(S911). 캡쳐모드에 있어서는, 촬상된 화상 데이터로부터 얼굴 검출부(108)에 의하여 얼굴부가 탐색된다. 촬상된 화상 데이터로부터 얼굴부를 탐색할 때는, 미리 유지된 평균적인 얼굴의 템플릿 화상 데이터와, 촬상된 후에 확대축소처리부(210) 및 전처리부(220)에 있어서 도 2에서 설명한 소정의 처리가 실시된 화상 데이터(이하, 「촬상 처리 화상 데이터」라고 부른다.)를 조합한다.
상기 조합에 임하여, 우선, 화상 데이터에 대하여 「0도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S912). 다음에, 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S913). 다음에, 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S914). 다음에, 화상 데이터에 대하여 「180도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S915). 스텝(S912) 내지 스텝(S915)까지의 처리 결과는, 화상 데이터를 고화질화하는 처리에 반영된다. 또한, 스텝(S912) 내지 스텝(S915)의 경우에 처리중, 스텝(S915)의 경우에 처리는 「180도」방향의 처리이며, 「180도」방향에서 얼굴부가 검출되는 빈도는 낮기 때문에, 스텝(S915)의 경우에 처리는 생략할 수 있다. 이것에 의해, 고속의 얼굴 검출이 가능해진다.
한편, 모니터링 모드에 있어서는, 얼굴부의 탐색에 대하여 미리 사용자에 의하여 설정된 처리에 따라서 그 순서가 다르다(S916). 화상 데이터로부터 얼굴부를 탐색하는 처리의 첫째는, 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향에서 얼굴부를 탐색하고, 그 중 제일 얼굴부가 존재하는 정확도가 높은 탐색방향을 다음회의 얼굴부의 탐색방향으로 하는 최대 정확도 처리이다(S917). 화상 데이터로부터 얼굴부를 탐색하는 처리의 둘째는, 얼굴 검출부(108)로부터의 출력에 포함되는 화상 데이터의 탐색방향을 소정 시간 감시하고, 그 탐색방향의 빈도가 최대의 것을 다음회의 경우에 얼굴부의 탐색방향으로 하는 빈도처리이다(S918). 화상 데이터로부터 얼굴부를 탐색하는 처리의 셋째는, 미리 사용자가 설정한 탐색방향을 탐색방향으로 하는 설정방향처리이다(S919). 스텝(S917) 내지 스텝(S919)의 어느 것의 처리의 결과는, 오토 포커스, 오토 화이트 밸런스, 오토 노출등의 제어에 반영된다.
또한, 설정방향처리에 있어서는, 미리 사용자가 설정한 탐색방향뿐만 아니라, 중력방향센서(103) 및 방향보정부(314)에 의하여 결정된 탐색방향 및 전프레임에 있어서 얼굴부가 검출된 탐색방향을 이용하는 것도 가능하다.
도 8은, 본 발명의 실시의 형태의 경우에 최대 정확도 처리의 흐름을 나타내는 도면이다. 최대 정확도 처리에 있어서는, 최초로 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향에서 얼굴부를 탐색할 필요가 있다. 이것을 1회째의 탐색이라고 부른다. 우선, 이 1회째의 탐색이 행해졌는지 아닌지가 판단된다(S931).
1회째의 탐색이 아직 행해지지 않는다고 판단되면, 우선, 화상 데이터에 대하여 「0도 」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S932). 다음에, 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S933). 다음에, 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S934). 다음에, 화상 데이터에 대하여 「180도」회전한 방향에서 평균적인 얼굴의 템플릿 화상 데이터와 촬상 처리 화상 데이터를 조합하여 얼굴부를 탐색한다(S935). 또한, 스텝(S932) 내지 스텝(S935) 의 경우에 처리중 스텝(S935)의 경우에 처리는 「180도」방향의 처리이며, 「180도」방향에서 얼굴부가 검출되는 빈도는 낮기 때문에, 스텝(S935)의 경우에 처리는 생략 가능하다. 이것에 의해, 고속의 얼굴 검출을 가능하게 한다.
1회째의 탐색이 이미 행해지고 있었다고 판단되면, 1회째의 탐색결과에 근거하여 1회째의 탐색에 있어서 얼굴부의 존재하는 정확도가 제일 높은 탐색방향이, 화상 데이터에 대하여 「0도」회전시킨 방향인지 아닌지가 판단된다(S936). 1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 「0도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S937). 그 외의 탐색방향의 처리는 행해지지 않는다.
1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 「 0도」회전시킨 방향이 아니라고 판단되면, 다음에 1회째의 탐색결과에 근거하여 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이, 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향인지 아닌지가 판단된다(S938). 1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S939). 그 외의 탐색방향의 처리는 행해지지 않는다.
1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향이 아니라고 판단되면, 다음에 1회째의 탐색결과에 근거하여 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이, 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전시킨 방향인지 아닌지가 판단된다(S940). 1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S941). 그 외의 탐색방향의 처리는 행해지지 않는다.
1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향이 아니라고 판단되면, 다음에 1회째의 탐색결과에 근거하여 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이, 화상 데이터에 대하여 「180도」회전시킨 방향인지 아닌지가 판단된다(S942). 1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 「180도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 「180도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S943). 그 외의 탐색방향의 처리는 행해지지 않는다.
1회째의 탐색에 있어서 제일 얼굴부가 존재하는 정확도가 높은 탐색방향이 화상 데이터에 대하여 「 180도」회전시킨 방향이 아니라고 판단되면, 결과적으로, 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향의 어느 쪽도 얼굴부가 검출되지 않게 된다. 따라서, 다음회도 1회째의 탐색을 재차 행하게 된다. 즉, 스텝(S932) 내지 스텝(S935)까지의 처리를 행한다.
또한, 중력방향센서(103)에 의하여 촬상장치(100)의 기울기의 변화가 검출되었을 경우에는, 스텝(S931)에 있어서 1회째의 탐색이 행해졌다고 판단된 다음에 있 어서도 재차 1회째의 탐색을 행하고, 제일 얼굴부가 존재하는 정확도가 높은 탐색방향을 판단하는 처리를 행하도록 해도 좋다.
도 9는, 본 발명의 실시의 형태의 경우에 빈도처리의 흐름을 나타내는 도면이다. 빈도처리에 있어서는, 우선, 빈도가 최대의 탐색방향이 결정되어 있는지 아닌지가 판단된다(S951). 빈도가 최대의 탐색방향이 결정되지 않은 경우는, 도 7에서 설명한 캡쳐모드때의 얼굴부의 탐색과 동일하게 화상 데이터에 대하여 시계방향을 정방향으로서 「0도」회전시킨 방향, 「＋90도」회전시킨 방향, 「－90도」회전시킨 방향, 「180도」회전시킨 방향의 각각으로부터 얼굴부의 탐색이 행해진다.(스텝 S952 내지 스텝 S955). 빈도가 최대의 탐색방향이 결정될 때까지 스텝(S952) 내지 스텝(S955)의 처리가 반복된다.
빈도가 최대의 탐색방향이 결정되었을 경우는, 다음에 빈도가 최대의 탐색방향이 회전시킨 방향인지 아닌지가 판단된다(S956). 빈도가 최대의 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 「0도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S957). 그 외의 탐색방향의 처리는 행해지지 않는다.
빈도가 최대의 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향이 아니라고 판단되면, 다음에, 빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「 ＋90도」회전시킨 방향인지 아닌지가 판단된다(S958). 빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S959). 그 외의 탐색방향의 처리는 행해지지 않는다.
빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향이 아니라고 판단되면, 다음에, 빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향인지 아닌가가 판단된다(S960). 빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서 「－90도」회전시킨 방향에서만 얼굴부의 탐색이 행해진다(S961). 그 외의 탐색방향의 처리는 행해지지 않는다.
빈도가 최대의 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향이 아니라고 판단되면, 빈도가 최대의 탐색방향이 화상 데이터에 대하여 「180도」회전시킨 방향으로 되기 때문에, 화상 데이터에 대하여 「180도」회전시킨 방향에서 얼굴부의 탐색이 행해진다(S962).
도 10은, 본 발명의 실시의 형태의 경우에 설정방향처리의 흐름을 나타내는 도면이다. 우선 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향인지 아닌지가 판단된다(S971). 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 「0도」회전시킨 방향에서 얼굴부의 탐색이 행해진다(S972).
미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 「0도」회전시킨 방향이 아니라고 판단되든지 또는 스텝(S972)의 처리가 종료하면, 다음에 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향인지 아닌지가 판단된다(S973). 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서 「＋90도」회전시킨 방향에서 얼굴부의 탐색이 행해진다(S974).
미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「＋90도」회전시킨 방향이 아니라고 판단되든지 또는 스텝(S974)의 처리가 종료하면, 다음에 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향인지 아닌지가 판단된다(S975). 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 시계방향을 정방향으로서, 「－90도」회전시킨 방향에서 얼굴부의 탐색이 행해진다(S976).
미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 시계방향을 정방향으로서 「－ 90도」회전시킨 방향이 아니라고 판단되든지 또는 스텝(S976)의 처리가 종료하면, 다음에 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 「180도」회전시킨 방향인지 아닌지가 판단된다(S977). 미리 사용자가 설정한 탐색방향이 화상 데이터에 대하여 「180도」회전시킨 방향이라고 판단되면, 화상 데이터에 대하여 「180도」회전시킨 방향에서 얼굴부의 탐색이 행해진다(S978).
또한, 상술한 바와 같이 설정방향처리에 있어서는, 미리 사용자가 설정한 탐색방향뿐만 아니라, 중력방향센서(103) 및 방향보정부(314)에 의하여 결정된 탐색 방향 및 전 프레임에 있어서 얼굴부가 검출된 탐색방향을 이용하는 것도 가능하다. 이 때문에, 상술의 설명중 「미리 사용자가 설정한 탐색방향」을 「중력방향센서(103) 및 방향보정부(314)에 의하여 결정된 탐색방향」또는 「전 프레임에 있어서 얼굴부가 검출된 탐색방향」으로 바꾸어 읽혀짐으로써 중력방향센서(103) 및 방향보정부(314)에 의하여 결정된 탐색방향, 전 프레임에 있어서 얼굴부가 검출된 탐색방향 각각에 대해서도 동일 처리로 얼굴부의 탐색이 행해진다.
이와 같이, 본 발명의 실시의 형태에 의하면, 모니터링 모드에 있어서는, 고속의 얼굴 검출 처리를 실현할 수 있고, 얼굴 검출 처리의 결과에 근거하여 오토 포커스, 오토 화이트 밸런스, 오토 노출등의 제어에 고속으로 피드백할 수 있다. 한편, 캡쳐모드에 있어서는, 높은 얼굴 검출율을 유지한 얼굴 검출을 행함으로써 기록된 화상 데이터를 고화질화하는 처리를 확실히 행할 수 있는 것을 가능하게 한다.
또한, 본 발명의 실시의 형태는 본 발명을 구현화하기 위한 일례를 나타낸 것이며, 이하에 나타내는 바와 같이 특허 청구의 범위의 경우에 발명 특정 사항과 각각 대응 관계를 가지지만, 이것에 한정되지 않고 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변형을 실시할 수 있다.
즉, 청구항 1에 있어서, 얼굴 검출 수단은, 예를 들면, 얼굴 검출부(108)에 대응한다. 또, 캡쳐모드 탐색방향 지시수단은, 예를 들면 캡쳐모드 탐색방향 지시부(340)에 대응한다. 또, 모니터링 모드 탐색방향 지시수단은, 예를 들면, 모니터링모드 탐색방향 지시부(330)에 대응한다.
또, 청구항 2에 있어서, 조작수단은, 예를 들면 조작부(111)에 대응한다.
또, 청구항 3에 있어서, 캡쳐모드 방향 설정수단은, 예를 들면, 캡쳐모드 방향설정부(316)에 대응한다.
또, 청구항 5에 있어서, 탐색방향 빈도 판단수단은, 예를 들면, 탐색방향 빈도 판단부(311)에 대응한다.
또, 청구항 7에 있어서, 최대 정확도 판단수단은, 예를 들면, 최대정확도 판단부(312)에 대응한다.
또, 청구항 8에 있어서, 기울기 검출수단은, 예를 들면, 중력방향센서(103)에 대응한다.
또, 청구항 9에 있어서, 모니터링 모드 방향 설정수단은, 예를 들면, 모니터링모드 방향설정부(313)에 대응한다.
또, 청구항 12에 있어서, 기록제어수단은, 예를 들면, 기록제어부(360)에 대응한다.
또, 청구항 13에 있어서, 촬상수단은, 예를 들면, 촬상부(10)에 대응한다. 또, 얼굴 검출수단은, 예를 들면, 얼굴 검출부(108)에 대응한다. 또, 캡쳐모드 탐색방향 지시수단은, 예를 들면, 캡쳐모드 탐색방향지시부(340)에 대응한다. 또, 모니터링 모드 탐색방향 지시수단은, 예를 들면, 모니터링모드 탐색방향 지시부(330)에 대응한다. 또, 조작수단은, 예를 들면, 조작부(111)에 대응한다.
또, 청구항 14에 있어서, 캡쳐모드 탐색방향 지시순서는, 예를 들면, 스텝(S912) 내지 스텝(S915)에 대응한다. 또, 모니터링 모드 탐색방향 지시순서는, 예를 들면, 스텝(S916) 내지 스텝(S919)에 대응한다. 또, 모드 이행순서는, 예를 들면, 스텝(S911)에 대응한다.
또, 청구항 15에 있어서, 캡쳐모드 탐색방향 지시 스텝은, 예를 들면, 스텝(S912) 내지 스텝(S915)에 대응한다. 또, 모니터링 모드 탐색방향 지시 스텝은, 예를 들면, 스텝(S916) 내지 스텝(S919)에 대응한다. 또, 모드 이행 스텝은, 예를 들면, 스텝(S911)에 대응한다.
또한, 본 발명의 실시의 형태에 있어서 설명한 처리 순서는, 이들 일련의 순서를 가지는 방법으로서 파악해도 좋고, 또, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록매체로서 파악해도 좋다.
본 발명에 의하면, 효율좋게 고속으로 화상 데이터로부터 얼굴부를 검출시킨다고 하는 뛰어난 효과를 얻을 수 있다.

Claims (15)

  1. 화상 데이터를 적어도 1개의 방향에서 탐색하여 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과,
    상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 캡쳐모드 탐색방향 지시수단과,
    상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시수단을 구비하는 것을 특징으로 하는 촬상장치.
  2. 제 1항에 있어서,
    상기 화상 데이터를 기록해야 할 취지의 조작을 받았을 경우에는 상기 캡쳐모드를 선택하는 신호를 공급하고 상기 조작을 받지 않는 경우에는 상기 모니터링 모드를 선택하는 신호를 공급하는 조작수단을 추가로 구비하는 것을 특징으로 하는 촬상장치.
  3. 제 1항에 있어서,
    상기 캡쳐모드의 경우에 상기 화상 데이터의 탐색방향을 설정하는 캡쳐모드 방향 설정 수단을 추가로 구비하는 것을 특징으로 하는 촬상장치.
  4. 제 1항에 있어서,
    상기 모니터링 모드 탐색방향 지시수단은, 상기 얼굴 검출 수단에 있어서 과거에 검출된 상기 얼굴부의 탐색방향에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 촬상장치.
  5. 제 4항에 있어서,
    상기 얼굴 검출 수단에 있어서 상기 얼굴부가 검출된 탐색방향의 빈도를 판단하는 탐색방향 빈도 판단수단을 추가로 구비하고,
    상기 모니터링 모드 탐색방향 지시수단은, 상기 빈도에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 촬상장치.
  6. 제 4항에 있어서,
    상기 모니터링 모드 탐색방향 지시수단은, 상기 얼굴 검출 수단에 있어서 전회(前回) 검출된 얼굴부의 탐색방향에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 촬상장치.
  7. 제 4항에 있어서,
    상기 얼굴 검출 수단에 있어서 상기 화상 데이터를 적어도 2개의 방향에서 탐색하고 상기 얼굴부로서의 정확도를 산출하여 상기 정확도가 최대로 되는 탐색방향을 판단하는 최대 정확도 판단수단을 추가로 구비하고,
    상기 모니터링 모드 탐색방향 지시수단은, 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향으로서 상기 정확도가 최대가 되는 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 촬상장치.
  8. 제 1항에 있어서,
    당해 촬상장치의 경우에 중력방향에서의 기울기를 검출하는 기울기 검출 수단을 추가로 구비하고,
    모니터링 모드 탐색방향 지시수단은, 상기 기울기에 근거하여 상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 것을 특징으로 하는 촬상장치.
  9. 제 1항에 있어서,
    상기 모니터링 모드의 경우에 상기 화상 데이터의 탐색방향을 설정하는 모니터링 모드 방향 설정수단을 추가로 구비하는 것을 특징으로 하는 촬상장치.
  10. 제 1항에 있어서,
    상기 얼굴 검출 수단은, 상기 화상 데이터에 대하여 시계방향을 정방향으로 하고, 「0도」방향, 「＋90도」방향, 「－90도」방향, 「180도」방향의 적어도 한방향으로부터 탐색을 행하는 것을 특징으로 하는 촬상장치.
  11. 제 10항에 있어서,
    상기 얼굴 검출 수단은, 상기 화상 데이터에 있어서 상기 「0도」방향, 상기 「＋90도」방향 , 상기 「－90도」방향, 상기 「180도」방향에 대하여 상기 얼굴부의 기울기가 「＋45도」내지 「－45도」의 범위내에 있어서 상기 얼굴부를 검출하는 것을 특징으로 하는 촬상장치.
  12. 제 1항에 있어서,
    상기 얼굴 검출 수단에 있어서 검출된 얼굴부의 수를 포함하는 검출결과를 화상 부수(付隨)정보로서 상기 화상 데이터와 관련지어 기록하게 하는 기록제어수단을 추가로 구비하는 것을 특징으로 하는 촬상장치.
  13. 화상을 촬상하여 화상 데이터를 생성하는 촬상수단과,
    상기 화상 데이터를 적어도 1개의 방향에서 탐색하여 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과,
    상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 캡쳐모드 탐색방향 지시수단과,
    상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시수단과,
    상기 화상 데이터를 기록해야 할 취지의 조작을 받았을 경우에는 상기 캡쳐모드를 선택하는 신호를 공급하고 상기 조작을 받지 않은 경우에는 상기 모니터링 모드를 선택하는 신호를 공급하는 조작수단을 구비하는 것을 특징으로 하는 촬상장치.
  14. 화상 데이터를 적어도 1개의 방향에서 탐색하고 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과 상기 화상 데이터를 기록해야 할 취지의 조작을 행하는 조작수단을 갖추는 촬상장치의 경우에 처리방법에 있어서,
    상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 상기 얼굴 검출 수단에 대하여 탐색방향을 지시하는 캡쳐모드 탐색방향 지시 순서와,
    상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시 순서와,
    상기 화상 데이터를 기록해야 할 취지의 상기 조작을 받았을 경우에는, 상기 캡쳐모드에 이행시키고,
    상기 화상 데이터를 기록해야 할 취지의 상기 조작을 받지 않는 경우에는, 상기 모니터링 모드를 계속하게 하는 모드 이행순서를 구비하는 것을 특징으로 하는 처리방법.
  15. 화상 데이터를 적어도 1개의 방향에서 탐색하고 상기 화상 데이터의 경우에 얼굴부를 검출하는 얼굴 검출 수단과 상기 화상 데이터를 기록해야 할 취지의 조작을 행하는 조작수단을 갖추는 촬상장치에 의해 실행가능한 프로그램이 저장된 기록매체에 있어서,
    상기 프로그램은,
    상기 화상 데이터를 기록하는 모드인 캡쳐모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 캡쳐모드 탐색방향 지시 스텝과,
    상기 화상 데이터를 표시시키는 모드인 모니터링 모드에 있어서 상기 화상 데이터의 탐색방향을 상기 얼굴 검출 수단에 대하여 지시하는 모니터링 모드 탐색방향 지시 스텝과,
    상기 화상 데이터를 기록해야 할 취지의 상기 조작을 받았을 경우에는, 상기 캡쳐모드에 이행시키고,
    상기 화상 데이터를 기록해야 할 취지의 상기 조작을 받지 않는 경우에는, 상기 모니터링 모드를 계속하게 하는 모드 이행 스텝을 실행시키는 것을 특징으로 하는 기록매체.
KR1020060051728A 2005-06-21 2006-06-09 촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램 KR101180900B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00181320 2005-06-21
JP2005181320A JP4457980B2 (ja) 2005-06-21 2005-06-21 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
KR20060133893A KR20060133893A (ko) 2006-12-27
KR101180900B1 true KR101180900B1 (ko) 2012-09-07

Family

ID=37059081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060051728A KR101180900B1 (ko) 2005-06-21 2006-06-09 촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램

Country Status (6)

Country Link
US (1) US7796838B2 (ko)
EP (1) EP1737215A1 (ko)
JP (1) JP4457980B2 (ko)
KR (1) KR101180900B1 (ko)
CN (1) CN1885910B (ko)
TW (1) TW200721039A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5009172B2 (ja) * 2007-03-20 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、顔検出プログラムおよび記録媒体
US8363909B2 (en) * 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
US8116537B2 (en) 2007-04-04 2012-02-14 Sony Corporation Image recording device, player device, imaging device, player system, method of recording image, and computer program
US8064655B2 (en) * 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
US20080266438A1 (en) * 2007-04-30 2008-10-30 Henrik Eliasson Digital camera and method of operation
JP4891144B2 (ja) * 2007-05-08 2012-03-07 キヤノン株式会社 画像検索装置及び画像検索方法
JP5109564B2 (ja) 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP5169139B2 (ja) * 2007-10-25 2013-03-27 株式会社ニコン カメラ、および画像記録プログラム
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2009230557A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
JP4535164B2 (ja) 2008-04-09 2010-09-01 ソニー株式会社 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
JP5113669B2 (ja) * 2008-08-19 2013-01-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5293139B2 (ja) * 2008-09-05 2013-09-18 株式会社リコー 撮像装置、撮像方法、プログラムおよび記録媒体
US8705811B1 (en) * 2010-10-26 2014-04-22 Apple Inc. Luminance adjusted face detection
CN104346601B (zh) * 2013-07-26 2018-09-18 佳能株式会社 对象识别方法和设备
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
CN108171182B (zh) * 2017-12-29 2022-01-21 Oppo广东移动通信有限公司 电子装置、人脸识别方法及相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
JP2005130468A (ja) * 2003-09-29 2005-05-19 Canon Inc 撮像装置及びその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09171560A (ja) 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd 顔の傾き検出装置
JPH09281605A (ja) 1996-04-15 1997-10-31 Fuji Photo Film Co Ltd 画像記録装置
US6597817B1 (en) 1997-07-15 2003-07-22 Silverbrook Research Pty Ltd Orientation detection for digital cameras
JP4153108B2 (ja) 1998-10-29 2008-09-17 富士フイルム株式会社 画像処理方法、画像処理装置及び記録媒体
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
JP2003271933A (ja) 2002-03-18 2003-09-26 Sony Corp 顔検出装置及び顔検出方法並びにロボット装置
JP2004062565A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
CN100464348C (zh) 2002-09-18 2009-02-25 贺贵明 视频监视识别智能装置与方法
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218480A (ja) * 2001-01-23 2002-08-02 Minolta Co Ltd 画像撮影装置
JP2005130468A (ja) * 2003-09-29 2005-05-19 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US7796838B2 (en) 2010-09-14
CN1885910A (zh) 2006-12-27
US20060285750A1 (en) 2006-12-21
KR20060133893A (ko) 2006-12-27
EP1737215A1 (en) 2006-12-27
JP2007004313A (ja) 2007-01-11
CN1885910B (zh) 2010-10-13
TW200721039A (en) 2007-06-01
TWI333175B (ko) 2010-11-11
JP4457980B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
KR101180900B1 (ko) 촬상장치, 이 장치의 처리방법 및 그 방법을 컴퓨터에실행시키는 프로그램
JP4130641B2 (ja) ディジタル・スチル・カメラおよびその制御方法
US8111321B2 (en) Imaging device and method for its image processing, with face region and focus degree information
US8275171B2 (en) Composition determining apparatus, composition determining method, and program
US8164643B2 (en) Composition determining apparatus, composition determining method, and program
US20100321470A1 (en) Imaging apparatus and control method therefor
US8031228B2 (en) Electronic camera and method which adjust the size or position of a feature search area of an imaging surface in response to panning or tilting of the imaging surface
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2008288911A (ja) 撮像装置、顔領域検出プログラム、及び、顔領域検出方法
US20100246968A1 (en) Image capturing apparatus, image processing method and recording medium
JP2003092700A (ja) デジタルカメラ撮像装置
JP2016019249A (ja) 表示制御装置
JP2007265149A (ja) 画像処理装置、画像処理方法および撮像装置
US8665317B2 (en) Imaging apparatus, imaging method and recording medium
US20120075495A1 (en) Electronic camera
WO2005022915A1 (en) Image capture and projection device and image capture and projection method
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2011101161A (ja) 撮像装置、その制御方法、再生装置およびプログラム
JP2009094741A (ja) 撮像装置、撮像方法及びプログラム
WO2013065642A1 (ja) 画像処理装置
KR101756274B1 (ko) 감시용 카메라 및 감시용 카메라의 동작 방법
JP2011139123A (ja) 画像処理装置及び画像処理プログラム
JPH11187350A (ja) 撮像記録装置及びその制御方法
JP2009021893A (ja) 撮像装置及び撮像方法
JP4556968B2 (ja) 顔検出装置、及び顔検出方法、顔検出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee