KR20220063478A - 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치 - Google Patents

얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치 Download PDF

Info

Publication number
KR20220063478A
KR20220063478A KR1020200149367A KR20200149367A KR20220063478A KR 20220063478 A KR20220063478 A KR 20220063478A KR 1020200149367 A KR1020200149367 A KR 1020200149367A KR 20200149367 A KR20200149367 A KR 20200149367A KR 20220063478 A KR20220063478 A KR 20220063478A
Authority
KR
South Korea
Prior art keywords
face
signal
hand shake
ois
position signal
Prior art date
Application number
KR1020200149367A
Other languages
English (en)
Other versions
KR102428595B1 (ko
Inventor
장남홍
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020200149367A priority Critical patent/KR102428595B1/ko
Priority to US17/212,188 priority patent/US11490009B2/en
Priority to CN202110771602.7A priority patent/CN114554039A/zh
Publication of KR20220063478A publication Critical patent/KR20220063478A/ko
Application granted granted Critical
Publication of KR102428595B1 publication Critical patent/KR102428595B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H04N5/23287—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H04N5/23219—
    • H04N5/23258—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 회로는, 이미지 센서로부터 입력받은 이미지 신호에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호를 생성하는 얼굴 검출부; 자이로 센서로부터 입력받은 센싱 신호에 기초해, 손떨림에 대응되는 손떨림 위치 신호를 생성하는 손떨림 검출부; 상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 연산하여 복합 위치 신호를 생성하는 연산부; 및 상기 복합 위치 신호에 기초해 렌즈모듈의 위치를 제어하는 제어부; 를 포함한다.

Description

얼굴 트래킹을 통한 피사체 위치 보정 OIS 회로 및 장치{OIS CIRCUIT AND OIS DEVICE FOR OBJECT POSITION CORRECTION THROUGH FACE TRACKING}
본 발명은 얼굴 트래킹을 통한 피사체 위치 보정 장치 및 OIS 장치에 관한 것이다.
일반적으로, 카메라 모듈에 적용되는 OIS(Optical Image Stabilization)는 품질 경쟁이 심화됨에 따라 촬영자 손떨림에 대해 더욱 높은 보정 성능을 요구하고 있다. 최신 스마트폰의 경우, 보다 과격한 떨림 조건에서 사진 및 동영상 품질 향상을 주요 목표로 두고 있으며, 이를 만족하기 위해서 카메라 폰에 장착되어 있는 자이로 센서(Gyro Sensor)로부터 촬영자의 손 떨림 정보를 전달받아 보정을 수행한다.
그런데, 기존의 OIS 기술은 단지 촬영자의 손떨림에 대해서만 보정이 가능하며, 피사체가 실시간으로 움직이는 조건에서는 피사체 위치 보정 신호가 따로 존재하지 않기 때문에 피사체의 움직임이 그대로 카메라에 담기는 문제가 있다. 또한, 피사체의 움직임을 최소화 하기 위해 촬영자가 피사체의 움직임에 따라 직접 스마트폰을 움직여 촬영을 진행해야 하지만, 과격한 안무 영상이나 외부 요인에 의한 진동까지 스마트폰을 움직여서 피사체의 움직임을 보정하기에는 어려운 부분이 있기 때문에, 피사체의 움직임을 보정하는 기술이 필요하다.
기존 OIS 기술은 카메라에 인가되는 떨림을 자이로 센서(Gyro Sensor)를 통해 인식하여 손 떨림 보정을 실시하므로, 촬영자 위치가 고정되어 있어도 피사체에 움직임이 발생할 경우에는, 피사체의 움직임을 제대로 따라가지 못하고, 항상 다른 위치에서 촬영되는 문제가 있다.
이에 따라 피사체의 진동, 움직임이 큰 환경이나 후면 카메라를 이용한 단독 삼각대 촬영 등 피사체가 중심에 고정되기 어려운 환경에서 영상 및 사진의 품질이 기대보다 나빠질 수 있는 문제점이 있다.
(선행기술문헌)
(특허문헌 1) KR 특허공개공보 2016-0070589 (2016.06.20)
(특허문헌 2) JP 특허공개공보 2007-041570 (2007.02.15)
본 발명의 일 실시 예는, 촬영자의 손 떨림 보정뿐만 아니라, 피사체 얼굴의 움직임을 트래킹(Tracking)한 얼굴 위치(좌표) 정보를 이용하여, 피사체 위치에 대해 OIS 보정을 수행하는 피사체 위치 보정 OIS 회로 및 장치를 제공한다.
본 발명의 일 실시 예에 의해, 이미지 센서로부터 입력받은 이미지 신호에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호를 생성하는 얼굴 검출부; 자이로 센서로부터 입력받은 센싱 신호에 기초해, 손떨림에 대응되는 손떨림 위치 신호를 생성하는 손떨림 검출부; 상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 연산하여 복합 위치 신호를 생성하는 연산부; 및 상기 복합 위치 신호에 기초해 렌즈모듈의 위치를 제어하는 제어부; 를 포함하는 피사체 위치 보정 OIS 회로가 제안된다.
또한, 본 발명의 다른 일 실시 예에 의해, 대상 화면을 촬영하여 이미지 신호를 생성하는 이미지 센서; 상기 이미지 센서로부터 입력받은 상기 이미지 신호에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호를 생성하는 얼굴 검출부; 손떨림에 대응되는 센싱 신호를 생성하는 자이로 센서; 상기 자이로 센서로부터 입력받은 상기 센싱 신호에 기초해, 손떨림에 대응되는 손떨림 위치 신호를 생성하는 손떨림 검출부; 상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 연산하여 복합 위치 신호를 생성하는 연산부; 및 상기 복합 위치 신호에 기초해 렌즈모듈의 위치를 제어하는 제어부; 를 포함하는 피사체 위치 보정 OIS 장치가 제안된다.
본 발명의 일 실시 예에 의하면, 촬영자의 손 떨림 보정뿐만 아니라, 피사체 얼굴의 움직임에 대한 트래킹(Tracking)을 통해 획득된 얼굴 위치(좌표) 정보를 이용하여, 피사체 위치에 대해 OIS 보정을 수행함으로써, 촬영자의 손 떨림뿐만 아니라 피사체의 움직임까지 함께 보정이 가능하다는 장점이 있다.
이에 따라, 동영상 촬영 시 항상 피사체의 얼굴이 화면 중심으로 고정되는 효과가 있다. 특히, 동영상 촬영 시나 삼각대 셀프(Self) 촬영 등 피사체가 중심에 위치 하기를 원하는 조건에서 항상 피사체의 얼굴이 화면 중심으로 고정되어 어떤 조건에서도 촬영자가 의도한 좋은 품질의 영상 및 사진의 촬영이 가능한 장점이 있다.
또한, 해당 기능을 사용하면 동일한 인물을 다양한 장소에서 촬영된 여러 영상을 편집할 때, 인물의 얼굴 위치가 항상 동일한 위치로 고정되므로 영상 교차편집에 유리하며, 빠른 속도로 움직이는 아이돌 공연 영상 촬영 등에서 보다 적은 움직임으로 피사체를 추적하는 데 유리하다는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 회로의 일 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 장치의 일 예시도이다.
도 3은 얼굴 인식부의 일 예시도이다.
도 4는 손떨림 검출부의 일 예시도이다.
도 5는 연산부의 일 예시도이다.
도 6은 연산부의 주요 신호 그래프 예시도다.
도 7은 제어부의 일 예시도이다.
도 8 (a),(b)는 얼굴 트래킹 적용전 및 적용후의 설명도이다.
도 9 (a),(b)는 얼굴 트래킹 적용전 및 적용후의 설명도이다.
이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.
또한, 본 발명의 각 실시 예에 있어서, 하나의 예로써 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니라 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다. 본 발명의 실시 예들은 서로 조합되어 여러 가지 새로운 실시 예가 이루어질 수 있다.
그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 회로의 일 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 장치의 일 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 회로(20)는, 얼굴 검출부(200), 손떨림 검출부(400), 연산부(500), 및 제어부(600)를 포함할 수 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 피사체 위치 보정 OIS 장치(10)는, 이미지 센서(100), 자이로 센서(300), 및 상기 OIS 회로(20)를 포함할 수 있다.
상기 피사체 위치 보정 OIS 장치(10)는, 액츄에이터(700) 및 위치 센서(800)를 더 포함할 수 있다.
도 2를 참조하면, 이미지 센서(100)는, 카메라 모듈에 장착되어, 카메라 모듈이 동작하는 동안에, 대상 화면을 촬영하여 이미지 신호(Ssen1)를 생성하여, 상기 얼굴 검출부(200)에 출력할 수 있다. 예를 들어, 상기 이미지 신호(Ssen1)는 사람을 포함하지 않을 수도 있고, 적어도 한 사람을 포함할 수도 있다.
자이로 센서(300)는, 카메라가 장착된 전자기기 또는 카메라에 장착되어, 사용자의 손떨림에 대응되는 각속도(dps: degree per sec) 정보를 갖는 센싱 신호(Ssen2)를 생성하여 상기 얼굴 검출부(200)에 출력할 수 있다. 예를 들어, 자이로 센서(300)에서 출력되는 센싱 신호(Ssen2)는, 손떨림 주파수 성분 (예, 2Hz~20Hz)을 포함할 수 있다.
도 1 및 도 2을 참조하면, 얼굴 검출부(200)는, 이미지 센서(100)로부터 입력받은 이미지 신호(Ssen1)에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호(Sfp)를 생성할 수 있다. 예를 들어, 얼굴 검출부(200)는, 상기 이미지 신호(Ssen1)에서 얼굴을 인식하여 얼굴의 좌표(X,Y) 정보를 포함하는 얼굴 위치 신호(Sfp)를 제공할 수 있다.
손떨림 검출부(400)는, 자이로 센서(300)로부터 입력받은 센싱 신호(Ssen2)에 기초해, 손떨림에 대응되는 손떨림 위치 신호(Shp)를 생성할 수 있다. 예를 들어, 상기 손떨림 검출부(400)는, 자이로 센서(300)로부터 입력받은 센싱 신호(Ssen2)에서 손떨림 주파수 성분 (예, 2Hz~20Hz)를 추출하여 이에 기초한 손떨림 위치 신호(Shp)를 제공할 수 있다.
연산부(500)는, 상기 얼굴 검출부(200)로부터 입력받은 얼굴 위치 신호(Sfp)와 상기 손떨림 검출부(400)로부터 입력받은 손떨림 위치 신호(Shp)를 연산하여 복합 위치 신호(Ssum)를 생성하여 상기 제어부(600)에 출력할 수 있다. 예를 들어, 상기 연산부(500)는, 상기 얼굴 위치 신호(Sfp)와 상기 손떨림 위치 신호(Shp)를 합성하여(synthesize) 복합 위치 신호(Ssum)를 제공할 수 있다.
그리고, 제어부(600)는, 상기 연산부(500)로부터 입력받는 복합 위치 신호(Ssum)에 기초해 렌즈모듈(5)의 위치 이동을 위해 액츄에이터(700)를 제어할 수 있다. 예를 들어, 제어부(600)는, 상기 복합 위치 신호(Ssum) 및 피드백 신호를 이용하여 렌즈모듈(5)의 위치 이동을 위한 구동신호를 생성하여 액츄에이터(700)에 출력할 수 있다.
또한, 도 2를 참조하면, 액츄에이터(700)는, 상기 제어부(600)의 제어에 따라 상기 렌즈모듈(5)의 위치 이동을 조절할 수 있다. 예를 들어, 액츄에이터(700)는, 카메라 모듈의 하우징에 배치된 구동코일과 상기 하우징 내부에서 이동 가능한 렌즈모듈(5)에 배치된 마그네트를 포함할 수 있고, 상기 제어부(600)의 구동신호에 따라 구동코일에서 발생되는 구동력의 작용으로 인하여, 마그네트가 부탁된 렌즈모듈(5)의 위치 이동이 조절될 수 있다.
상기 위치 센서(800)는, 상기 액츄에이터(700)에 의해 위치 이동되는 상기 렌즈모듈(5)의 위치를 센싱하여 위치 신호(Spos)를 생성하고, 상기 제어부(600)에 출력할 수 있다. 예를 들어, 상기 위치 센서(800)는, 상기 액츄에이터(700)에 의해 위치 이동되는 상기 렌즈모듈(5)의 위치를 센싱하여 위치 신호(Spos)를 생성하고, 상기 제어부(600)에 출력할 수 있다.
본 발명의 각 도면에 대해, 동일한 부호 및 동일한 기능의 구성요소에 대해서는 가능한 불필요한 중복 설명은 생략될 수 있고, 각 도면에 대해 가능한 차이점에 대한 사항이 설명될 수 있다.
도 3은 얼굴 인식부의 일 예시도이다.
도 3을 참조하면, 상기 얼굴 검출부(200)는, 얼굴 인식부(210) 및 얼굴 위치 검출부(220)를 포함할 수 있다.
상기 얼굴 인식부(210)는, 상기 이미지 센서(100)로부터 입력받은 상기 이미지 신호(Ssen1)에서 얼굴을 인식할 수 있다. 일 예로, 상기 얼굴 인식부(210)는, 얼굴인식 기능을 포함하여, 상기 이미지 신호(Ssen1)의 사진 데이터에서, 얼굴을 구분해 내기 위해 얼굴의 피부색 정보, 얼굴의 구성요소인 눈, 코, 입 등의 위치추정, 눈, 코, 입의 구성 각도, 얼굴 명암에 대한 패턴 등을 차례로 확인해 얼굴이 있는지 없는지를 확인할 수 있다. 예를 들어, 얼굴인식 기능은 얼굴 인식 프로그램을 포함할 수 있다.
상기 얼굴 위치 검출부(220)는, 상기 얼굴 인식부(210)에 의해 얼굴이 인식되면 인식된 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호(Sfp)를 생성할 수 있다.
예를 들어, 상기 얼굴 위치 검출부(220)는, 상기 얼굴 인식부(110)에 의해 복수의 얼굴이 인식되면 인식된 복수의 얼굴중에서 촬영된 이미지의 중심 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호(Sfp)를 생성할 수 있다.
일 예로, 상기 얼굴 위치 검출부(220)는, 상기 얼굴 인식부(210)에서 피사체 얼굴 인식 동작에서, 인식된 각 얼굴에 대해 크기 및 위치를 확인할 수 있다. 만약 이미지 신호에서 다수의 얼굴이 인식되었을 경우 가장 중심에 가까운 얼굴 좌표 하나만을 제어에 사용하기 위해, 중심 얼굴에 대한 좌포신호를 포함하는 얼굴 위치 신호(Sfp)를 출력할 수 있다.
도 4는 손떨림 검출부의 일 예시도이다.
도 4를 참조하면, 상기 손떨림 검출부(400)는, 자이로 필터(410) 및 자이로 적분기(420)를 포함할 수 있다.
자이로 필터(410)는, 상기 자이로 센서(300)로부터 입력되는 상기 센싱 신호(Ssen2)에서 노이즈 및 직류 옵셋을 제거하고, 손떨림 주파수를 포함하는 센싱 신호를 통과할 수 있다. 예를 들어, 자이로 센서(300)가 MEMS(Micro-Electro Mechanical Systems) 기반의 자이로 스코프일 경우, 직류 옵셋(DC offset), 노이즈, 드리프트 등의 오류 성분 등이 포함되어 있어서, 보다 정확한 성능을 보장하기 위해, 상기 센싱 신호(Ssen2)에 포함되는 옵셋 및 노이즈 등은 자이로 필터를 통해 제거될 수 있다.
자이로 적분기(420)는, 상기 자이로 필터(412)로부터 입력되는 상기 센싱 신호를 적분하여, 손떨림에 대응되는 각도 정보를 포함하는 상기 손떨림 위치 신호(Shp)를 생성할 수 있다. 예를 들어, 자이로 적분기(420)는, 각속도(dps, ω= θ/t) 정보를 시간(t)에 대해 적분하여 각도(θ) 정보로 변환할 수 있으며, 이러한 과정을 통해서 손떨림 정보에 대응되는 각속도를 위치 신호로 반환할 수 있다.
도 5는 연산부의 일 예시도이고, 도 6은 연산부의 주요 신호 그래프 예시도다.
도 5 및 도 6을 참조하면, 일 예로, 상기 연산부(500)는 가산기(510)를 포함할 수 있다. 상기 가산기(510)는 상기 얼굴 위치 신호(Sfp)와 상기 손떨림 위치 신호(Shp)를 가산하여 상기 복합 위치 신호(Ssum)를 생성할 수 있다.
도 6을 참조하면, 연산부(500)에 의해서, 손떨림 위치 신호(Shp)에 얼굴 위치 신호(Sfp)가 더해져서 복합 위치 신호(Ssum)가 생성됨에 따라, 본 발명의 OIS 장치는 일반적인 촬영자 손떨림 보정 이외에, 인물의 얼굴 위치를 보정할 수 있다.
일 예로, 연산부(500)는, 상기 손떨림 검출부(400)에 포함된 손떨림 주파수 성분인 대략 2Hz~20Hz에 비해, 상기 얼굴 위치 신호(Sfp)에 포함된 얼굴 위치(좌표) 변화량은 대략 0.1Hz~2Hz 정도로, 그 변화량이 상대적으로 느리므로, 상기 연산부(500)에서의 연산 과정에서, 얼굴 위치(좌표)에 포함된 노이즈를 제거할 수 있는 저역통과필터 (LPF)가 추가적으로 이용될 수 있다.
도 7은 제어부의 일 예시도이다.
도 7을 참조하면, 상기 제어부(460)는, 피드백 연산부(610), PID 제어기(620), 구동부(630), 및 A/D 변환부(640)를 포함할 수 있다.
피드백 연산부(610)는, 상기 복합 위치 신호(Ssum)와 피드백신호(Sfd)를 연산하여 오차신호(Serr)를 생성할 수 있다.
PID 제어기(620)는, 상기 오차신호(Serr)에 대해 PID 제어를 수행하여 위치 제어신호(SC)를 생성할 수 있다.
구동부(630)는, 상기 위치 제어신호(SC)에 기초해 구동신호(Sdr)를 생성하여 액츄에이터(700)를 구동할 수 있다.
A/D 변환부(640)는, 상기 액츄에이터(700)의 위치 센서(800)로부터 입력되는 위치 신호(Spos)를 디지털의 피드백 신호(Sfd)로 변환하여 상기 PID 제어기(620)에 출력할 수 있다.
일 예로, 상기 A/D 변환부(640)는, 증폭기(641) 및 A/D 컨버터(642)를 포함할 수 있다.
증폭기(641)는, 상기 액츄에이터(700)의 위치 센서(800)로부터 입력되는 상기 위치 신호(Spos)를 증폭할 수 있다.
A/D 컨버터(642)는, 상기 증폭기(641)에 의해 증폭된 신호를 디지털 신호로 변환할 수 있다.
예를 들어, 제어부(600)는, 연산부(500)에서 산출된 복합 위치 신호(Ssum)를 입력받아 액츄에이터(700)에 대한 구동방향 및 거리를 산정하고, 이에 기초해 구동부(630)에서 액츄에이터(700)를 구동할 수 있도록 구동 전류로 가변하고, 이 구동전류를 이용하여 액츄에이터(700)를 구동하게 된다.
상기 AD 변환부(640)는 렌즈모듈(5)의 현재 위치를 피드백 받기 위해서 액츄에이터(700) 내부에 위치 센서(800)(예, 홀센서)의 출력을 입력받아, 이를 디지털 코드로 변환 후 상기 제어부(600)로 출력하여 지속적인 피드백 제어가 가능하게 한다.
예를 들어, 상기 위치 센서(800)는, 액츄에이터(700)에 설치된 구동코일에 배치될 수 있고, 상기 렌즈모듈(5)의 위치를 센싱하는 홀센서(Hall sensor)(810)일 수 있다.
도 8 (a),(b)는 얼굴 트래킹 적용전 및 적용후의 설명도이고, 도 9 (a),(b)는 얼굴 트래킹 적용전 및 적용후의 설명도이다.
도 8 (a) 및 도 9 (a)를 참조하면, 얼굴 트래킹 적용되지 않은 경우에는, 피사체가 화면 중심에서 벗어나 있음을 알 수 있다.
도 8 (b) 및 도 9 (b)를 참조하면, 얼굴 트래킹 적용된 경우에는, 피사체가 화면 중심에 위치하고 있음을 알 수 있다.
이에 따르면, 본 발명의 얼굴 트래킹 OIS 제어에 의하면, 피사체의 위치 및 촬영자의 손떨림이 실시간으로 보정이 되며, 피사체가 빠른 속도로 움직이는 영상에서도 인물의 얼굴이 항상 중심에 위치될 수 있음을 알 수 있다.
전술한 본 발명은, 손떨림 위치 신호에 얼굴 위치 신호를 추가하여 OIS 제어를 수행하는 방식을 채용하여, 인물 영상 편집 및 셀프(Self) 삼각대 사진 촬영에 유리하다.
또한, 피사체의 얼굴이 인식되지 않는 풍경 등을 촬영할 경우엔 기존 방식과 동일한 OIS를 수행할 수 있고, 기존 OIS 성능에 영향을 미치지 않으면서 인물 촬영 시에는 최대의 OIS 효과를 얻을 수 있는 장점이 있다.
한편, 본 발명의 일 실시 예에 따른 OIS 회로 및 OIS 장치의 제어부(600)는, 진단부는, 프로세서(예: 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등), 메모리(예: 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등), 입력 디바이스(예: 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 등), 출력 디바이스(예: 디스플레이, 스피커, 프린터 등) 및 통신접속장치(예: 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속장치 등)이 서로 상호접속(예: 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조, 네트워크 등)된 컴퓨팅 환경으로 구현될 수 있다.
상기 컴퓨팅 환경은 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등으로 구현될 수 있으나, 이에 한정되지 않는다.
이상에서는 본 발명을 실시 예로써 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.
100: 이미지 센서
200: 얼굴 인식부
210: 얼굴 인식부
220: 얼굴 위치 검출부
300: 자이로 센서
400: 손떨림 검출부
500: 연산부
600: 제어부

Claims (16)

  1. 이미지 센서로부터 입력받은 이미지 신호에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호를 생성하는 얼굴 검출부;
    자이로 센서로부터 입력받은 센싱 신호에 기초해, 손떨림에 대응되는 손떨림 위치 신호를 생성하는 손떨림 검출부;
    상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 연산하여 복합 위치 신호를 생성하는 연산부; 및
    상기 복합 위치 신호에 기초해 렌즈모듈의 위치를 제어하는 제어부;
    를 포함하는 피사체 위치 보정 OIS 회로.
  2. 제1항에 있어서, 상기 얼굴 검출부는,
    상기 이미지 센서로부터 입력받은 상기 이미지 신호에서 얼굴을 인식하는 얼굴 인식부; 및
    상기 얼굴 인식부에 의해 얼굴이 인식되면 인식된 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호를 생성하는 얼굴 위치 검출부;
    를 포함하는 피사체 위치 보정 OIS 회로.
  3. 제2항에 있어서, 상기 얼굴 위치 검출부는,
    상기 얼굴 인식부에 의해 복수의 얼굴이 인식되면 인식된 복수의 얼굴중에서 촬영된 이미지의 중심 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호를 생성하는
    피사체 위치 보정 OIS 회로.
  4. 제1항에 있어서, 상기 손떨림 검출부는,
    상기 자이로 센서로부터 입력되는 상기 센싱 신호에서 노이즈 및 직류 옵셋을 제거하고, 손떨림 주파수를 포함하는 센싱 신호를 통과하는 자이로 필터; 및
    상기 자이로 필터로부터 입력되는 상기 센싱 신호를 적분하여, 손떨림에 대응되는 각도 정보를 포함하는 상기 손떨림 위치 신호를 생성하는 자이로 적분기;
    를 포함하는 피사체 위치 보정 OIS 회로.
  5. 제1항에 있어서, 상기 연산부는
    가산기를 포함하고,
    상기 가산기는 상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 가산하여 상기 복합 위치 신호를 생성하는
    피사체 위치 보정 OIS 회로.
  6. 제1항에 있어서, 상기 제어부는,
    상기 복합 위치 신호와 피드백신호를 연산하여 오차신호를 생성하는 피드백 연산부;
    상기 오차신호에 대해 PID 제어를 수행하여 위치 제어신호를 생성하는 PID 제어기;
    상기 위치 제어신호에 기초해 구동신호를 생성하여 액츄에이터를 구동하는 구동부; 및
    상기 액츄에이터의 위치 센서로부터 입력되는 위치 신호를 디지털의 피드백 신호로 변환하여 상기 PID 제어기에 출력하는 A/D 변환부;
    를 포함하는 피사체 위치 보정 OIS 회로.
  7. 대상 화면을 촬영하여 이미지 신호를 생성하는 이미지 센서;
    상기 이미지 센서로부터 입력받은 상기 이미지 신호에 기초해, 얼굴의 좌표 정보를 포함하는 얼굴 위치 신호를 생성하는 얼굴 검출부;
    손떨림에 대응되는 센싱 신호를 생성하는 자이로 센서;
    상기 자이로 센서로부터 입력받은 상기 센싱 신호에 기초해, 손떨림에 대응되는 손떨림 위치 신호를 생성하는 손떨림 검출부;
    상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 연산하여 복합 위치 신호를 생성하는 연산부; 및
    상기 복합 위치 신호에 기초해 렌즈모듈의 위치를 제어하는 제어부;
    를 포함하는 피사체 위치 보정 OIS 장치.
  8. 제7항에 있어서, 상기 얼굴 검출부는,
    상기 이미지 센서로부터 입력받은 상기 이미지 신호에서 얼굴을 인식하는 얼굴 인식부; 및
    상기 얼굴 인식부에 의해 얼굴이 인식되면 인식된 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호를 생성하는 얼굴 위치 검출부;
    를 포함하는 피사체 위치 보정 OIS 장치.
  9. 제8항에 있어서, 상기 얼굴 위치 검출부는,
    상기 얼굴 인식부에 의해 복수의 얼굴이 인식되면 인식된 복수의 얼굴중에서 촬영된 이미지의 중심 얼굴에 대한 좌표정보를 포함하는 상기 얼굴 위치 신호를 생성하는
    피사체 위치 보정 OIS 장치.
  10. 제7항에 있어서, 상기 손떨림 검출부는,
    상기 자이로 센서로부터 입력되는 상기 센싱 신호에서 노이즈 및 직류 옵셋을 제거하고, 손떨림 주파수를 포함하는 센싱 신호를 통과하는 자이로 필터; 및
    상기 자이로 필터로부터 입력되는 상기 센싱 신호를 적분하여, 손떨림에 대응되는 각도 정보를 포함하는 상기 손떨림 위치 신호를 생성하는 자이로 적분기;
    를 포함하는 피사체 위치 보정 OIS 장치.
  11. 제7항에 있어서, 상기 연산부는
    가산기를 포함하고,
    상기 가산기는 상기 얼굴 위치 신호와 상기 손떨림 위치 신호를 가산하여 상기 복합 위치 신호를 생성하는
    피사체 위치 보정 OIS 장치.
  12. 제7항에 있어서,
    상기 제어부의 제어에 따라 상기 렌즈모듈의 위치 이동을 조절하는 액츄에이터; 를 더 포함하는
    피사체 위치 보정 OIS 장치.
  13. 제12항에 있어서,
    상기 액츄에이터에 의해 위치 이동되는 상기 렌즈모듈의 위치를 센싱하는 위치 센서; 를 더 포함하는
    피사체 위치 보정 OIS 장치.
  14. 제13항에 있어서, 상기 제어부는,
    상기 복합 위치 신호와 피드백신호를 연산하여 오차신호를 생성하는 피드백 연산부;
    상기 오차신호에 대해 PID 제어를 수행하여 위치 제어신호를 생성하는 PID 제어기;
    상기 위치 제어신호에 기초해 구동신호를 생성하여 액츄에이터를 구동하는 구동부; 및
    상기 액츄에이터의 위치 센서로부터 입력되는 위치 신호를 디지털의 피드백 신호로 변환하여 상기 PID 제어기에 출력하는 A/D 변환부;
    를 포함하는 피사체 위치 보정 OIS 장치.
  15. 제13항에 있어서, 상기 위치 센서는
    상기 렌즈모듈의 위치를 센싱하는 홀센서인
    피사체 위치 보정 OIS 장치.
  16. 제14항에 있어서, 상기 A/D 변환부는
    상기 액츄에이터의 위치 센서로부터 입력되는 상기 위치 신호를 증폭하는 증폭기; 및
    상기 증폭기에 의해 증폭된 신호를 디지털 신호로 변환하는 A/D 컨버터;
    를 포함하는 피사체 위치 보정 OIS 장치.
KR1020200149367A 2020-11-10 2020-11-10 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치 KR102428595B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200149367A KR102428595B1 (ko) 2020-11-10 2020-11-10 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치
US17/212,188 US11490009B2 (en) 2020-11-10 2021-03-25 Optical image stabilization circuit and optical image stabilization device for object position correction using face tracking
CN202110771602.7A CN114554039A (zh) 2020-11-10 2021-07-08 光学图像稳定电路、光学图像稳定设备和相机模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149367A KR102428595B1 (ko) 2020-11-10 2020-11-10 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치

Publications (2)

Publication Number Publication Date
KR20220063478A true KR20220063478A (ko) 2022-05-17
KR102428595B1 KR102428595B1 (ko) 2022-08-03

Family

ID=81453732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149367A KR102428595B1 (ko) 2020-11-10 2020-11-10 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치

Country Status (3)

Country Link
US (1) US11490009B2 (ko)
KR (1) KR102428595B1 (ko)
CN (1) CN114554039A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021220961A1 (ja) * 2020-04-28 2021-11-04 富士フイルム株式会社 信号処理装置、信号処理方法、信号処理プログラム、撮像装置及びレンズ装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070019517A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 화상 보정 각도 생성 회로 및 이를 이용한 화상 보정 장치
KR20100067406A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 디지털 촬영 장치의 흔들림 보정 방법 및 장치
KR20160070589A (ko) * 2014-12-10 2016-06-20 삼성전기주식회사 손떨림 보정 장치 및 손떨림 보정 장치의 소비 전력 최소화 방법
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041570A (ja) 2005-07-01 2007-02-15 Nikon Corp 電子カメラ
JP5855341B2 (ja) * 2010-12-28 2016-02-09 ローム株式会社 レンズ制御装置及びこれを用いた撮像装置
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070019517A (ko) * 2005-08-11 2007-02-15 삼성전자주식회사 화상 보정 각도 생성 회로 및 이를 이용한 화상 보정 장치
KR20100067406A (ko) * 2008-12-11 2010-06-21 삼성전자주식회사 디지털 촬영 장치의 흔들림 보정 방법 및 장치
KR101740231B1 (ko) * 2010-11-17 2017-05-26 삼성전자주식회사 3차원 얼굴 위치 추정 방법 및 장치
KR20160070589A (ko) * 2014-12-10 2016-06-20 삼성전기주식회사 손떨림 보정 장치 및 손떨림 보정 장치의 소비 전력 최소화 방법

Also Published As

Publication number Publication date
KR102428595B1 (ko) 2022-08-03
US20220150408A1 (en) 2022-05-12
US11490009B2 (en) 2022-11-01
CN114554039A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
WO2019237977A1 (zh) 图像补偿方法、计算机可读存储介质和电子设备
CN104345517B (zh) 图像抖动校正设备和方法、镜筒、光学设备以及摄像设备
US9019387B2 (en) Imaging device and method of obtaining image
US9986164B2 (en) Camera shaking correction device and imaging apparatus with offset correction
JP6214316B2 (ja) 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体
RU2758460C1 (ru) Оконечное устройство и способ стабилизации видеоизображения
JP6128389B2 (ja) 撮像装置
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
CN113454982A (zh) 用于使图像稳定化的电子装置及其操作方法
JP2016224204A (ja) ブレ補正装置、光学機器、撮像装置、ブレ補正方法
JP2019106656A (ja) 半導体装置および電子機器
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP2018189730A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2016157067A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2017092592A (ja) 追尾制御装置および追尾制御方法、光学機器、撮像装置
CN106067944B (zh) 控制设备、光学装置、摄像装置及控制方法
CN112414400B (zh) 一种信息处理方法、装置、电子设备和存储介质
JP6128458B2 (ja) 撮像装置および画像処理方法
JP6098873B2 (ja) 撮像装置および画像処理装置
US10055852B2 (en) Image processing system and method for detection of objects in motion
KR102428595B1 (ko) 얼굴 트래킹을 통한 피사체 위치 보정 ois 회로 및 장치
JP6643095B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN110178078B (zh) 摄像装置、像抖动量计算方法及记录介质
CN114567727B (zh) 拍摄控制系统、方法及装置、存储介质和电子设备
CN114765663A (zh) 防抖处理方法、装置、移动设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right