KR20170034299A - 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 - Google Patents

자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20170034299A
KR20170034299A KR1020160080248A KR20160080248A KR20170034299A KR 20170034299 A KR20170034299 A KR 20170034299A KR 1020160080248 A KR1020160080248 A KR 1020160080248A KR 20160080248 A KR20160080248 A KR 20160080248A KR 20170034299 A KR20170034299 A KR 20170034299A
Authority
KR
South Korea
Prior art keywords
axis
unit
detecting
calculating
vector
Prior art date
Application number
KR1020160080248A
Other languages
English (en)
Other versions
KR102592745B1 (ko
Inventor
마사루 오노자와
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20170034299A publication Critical patent/KR20170034299A/ko
Application granted granted Critical
Publication of KR102592745B1 publication Critical patent/KR102592745B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Gyroscopes (AREA)
  • Navigation (AREA)
  • Automation & Control Theory (AREA)

Abstract

촬상 장치는, 3축 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 가속도 검출부와, 연속해서 촬상된 복수의 프레임 이미지에 기초해서, 복수의 프레임 이미지 사이에 있어서의 롤 축 둘레의 상대적인 회전 각도를 산출하는 각도 산출부와, 산출된 롤 축 둘레의 상대적인 회전 각도 및 검출된 제1 방향의 벡터에 기초해서, 제1 방향과는 다른 중력 방향을 추정하는 방향 추정부를 포함한다. 이러한 구성에 의해, 자세의 추정을 보다 적정하게 행할 수 있다.

Description

자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램{POSTURE ESTIMATING APPARATUS, POSTURE ESTIMATING METHOD AND COMPUTER PROGRAM STORED IN RECORDING MEDIUM}
본 발명은, 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램에 관한 것이다.
종래, 가속도 센서로부터의 출력 신호에 의해 검출되는 제1 방향의 벡터에 기초해서 장치의 자세 추정이나 손떨림 보정을 행하는 촬상 장치가 존재한다. 또한, 모션 센서에서는, 가속도 센서로부터의 출력 신호에 의해 구해지는 제1 방향의 벡터에 더해서, 각속도 센서로부터의 출력 신호에 의해 검출되는 회전 각도를 이용해서, 칼만 필터(Kalman filter)에 의해 자세의 추정을 높은 정확도로 행하고, 제1 방향과는 다른 중력 방향을 추정하는 기술도 알려져 있다.
그렇지만, 예를 들면, 액션 카메라와 같이 심한 병진 운동을 수반하는 움직임이 있는 중에 촬영을 하는 경우, 가속도 센서로부터의 출력 신호에 의해 검출되는 제1의 방향 벡터에 기초해서 중력 방향을 적정하게 검출하는 것은 곤란하고, 자세 추정의 정확도가 저하되어 버린다. 한편, 일본특허 제5614527호 공보 등과 같이, 각속도 센서를 탑재하면, 전력 소비량이 증대되어 버린다는 문제가 있다.
일본특허 제5614527호 공보.
따라서, 본원 발명의 과제는, 자세의 추정을 보다 적정하게 행할 수 있는 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램을 제공하는 것이다.
본 발명에 의한 자세 추정 장치의 일 태양은, 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출부와, 연속해서 촬상된 복수의 이미지를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출부와, 상기 산출부에 의해 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출부에 의해 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정부를 포함한다.
또한, 본 발명에 의한 자세 추정 방법의 일 태양은, 자세 추정 장치에 의한 자세 추정 방법으로서, 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출 단계와, 연속해서 촬상된 복수의 이미지를 취득하는 취득 단계와, 상기 취득 단계에서 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출 단계와, 상기 산출 단계에서 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출 단계에서 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정 단계를 포함한다.
또한, 본 발명에 의한 컴퓨터로 독출가능한 기록 매체에 저장된 프로그램의 일 태양은, 자세 추정 장치로 하여금, 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출 단계와, 연속해서 촬상된 복수의 이미지를 취득하는 취득 단계와, 상기 취득 단계에서 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출 단계와, 상기 산출 단계에서 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출 단계에서 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정 단계를 실행시킨다.
본 발명에 의하면, 자세의 추정을 보다 적정하게 행할 수 있다.
본 발명의 추가적인 목적과 이점들은 이하의 상세한 설명에 기재되고, 부분적으로는 그 기재로부터 자명하거나 본 발명의 실시에 의해 습득될 수 있다. 이러한 본 발명의 목적과 이점들은 이하에 언급된 수단 및 조합에 의해서 실현되거나 성취될 수 있다.
본 명세서에 편입되고 그 일부를 구성하는 첨부된 도면들은 본 발명의 실시예들을 도시하고, 상기한 일반적인 기술 및 실시예들의 상세한 기술과 함께 본 발명의 원리에 관한 설명을 제공한다.
도 1은, 본 발명을 적용한 일 실시예의 촬상 장치의 개략적인 구성을 도시하는 블록도이다.
도 2는, 도 1의 촬상 장치의 롤(roll) 축, 피치(pitch) 축 및 요(yaw) 축을 모식적으로 나타내는 도면이다.
도 3은, 도 1의 촬상 장치에 의한 자세 추정 처리에 관련된 동작의 일 예를 도시하는 흐름도이다.
이하에, 본 발명에 대해서, 도면을 이용해서 구체적인 태양을 설명한다. 단, 발명의 범위는 도시된 예로 한정되지 않는다.
도 1은, 본 발명을 적용한 일 실시예의 촬상 장치 100의 개략적인 구성을 도시한 블록도이다. 또한, 도 2는, 촬상 장치 100의 롤 축, 피치 축 및 요 축을 모식적으로 나타낸 도면이다.
도 1에 도시된 것처럼, 본 실시예의 촬상 장치 100은, 중앙 제어부 1과, 메모리 2와, 촬상부 3과, 이미지 처리부 4와, 가속도 검출부 5와, 각속도 검출부 6과, 자세 추정부 7과, 표시부 8과, 기록 매체 제어부 9와, 조작 입력부 10을 포함한다.
또, 중앙 제어부 1, 메모리 2, 촬상부 3, 이미지 처리부 4, 가속도 검출부 5, 각속도 검출부 6, 자세 추정부 7, 표시부 8 및 기록 매체 제어부 9는, 버스 라인 11을 통해서 접속되어 있다.
한편, 촬상 장치 100은, 공지의 물건을 이용가능하고, 본 실시예와 같이, 촬영 기능을 주요 기능으로 하는 디지털 카메라뿐만 아니라, 주요한 기능으로 하지 않지만 촬영 기능을 구비한 휴대 전화기, 스마트폰 등의 휴대 단말 등도 포함한다.
중앙 제어부 1은, 촬상 장치 100의 각 부를 제어하는 것이다. 구체적으로는, 중앙 제어부 1은, 도시는 생략하지만, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory)을 포함하고, 촬상 장치 100 용의 각종 처리 프로그램(도시는 생략)에 따라서 각종 제어 동작을 행한다.
메모리 2는, 예를 들면, DRAM(Dynamic Random Access Memory) 등에 의해 구성되고, 중앙 제어부 1이나 자세 추정부 7 등의 각 부에 의해 처리되는 데이터 등을 일시적으로 저장한다.
촬상부 3은, 피사체를 촬영한다. 구체적으로는, 촬상부 3은, 렌즈부 3a와, 전자 촬상부 3b와, 촬상 제어부 3c를 포함한다.
렌즈부 3a는, 예를 들면, 줌 렌즈나 포커스 렌즈 등의 복수의 렌즈로 구성되어 있다.
전자 촬상부 3b는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 이미지 센서로 구성되고, 렌즈부 3a의 각종 렌즈를 통과한 광학상을 2차원의 이미지 신호로 변환한다.
한편, 도시는 생략하지만, 촬상부 3은, 렌즈부 3a를 통과하는 빛의 양을 조정하는 조리개를 포함해도 좋다.
촬상 제어부 3c는, 촬상부 3에 의한 피사체의 촬영을 제어한다. 즉, 촬상 제어부 3c는, 도시는 생략하지만, 타이밍 발생기, 드라이버 등을 포함한다. 그리고, 촬상 제어부 3c는, 타이밍 발생기, 드라이버에 의해 전자 촬상부 3b를 주사 구동하고, 소정 주기마다 광학상을 전자 촬상부 3b에 의해 2차원의 이미지 신호로 변환시키고, 전자 촬상부 3b의 촬상 영역으로부터 한 화면 분씩 프레임 이미지를 읽어내서 이미지 처리부 4에 출력시킨다.
또한, 촬상 제어부 3c는, AF(자동 초점 처리), AE(자동 노출 처리), AWB(자동 화이트 밸런스) 등의 피사체를 촬영할 때의 조건의 조정 제어를 행해도 좋다.
이미지 처리부 4는, 촬상부 3의 전자 촬상부 3b로부터 전송된 프레임 이미지의 아날로그 값의 신호에 대하여 RGB의 각 색성분마다 적당히 이득을 조정한 후에, 샘플 홀드(sample hold) 회로(도시는 생략)에서 샘플 홀드(sample hold)해서 A/D 변환기(도시는 생략)에서 디지털 데이터로 변환하고, 컬러 프로세스 회로(도시는 생략)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 프로세스 처리를 행한 후, 디지털 값의 휘도 신호 Y 및 색차 신호 Cb, Cr(YUV 데이터)을 생성한다. 또, 이미지 처리부 4는, 생성된 휘도 신호 Y 및 색차 신호 Cb, Cr을 버퍼 메모리(buffer memory)로서 사용되는 메모리 2에 출력해도 좋다.
또, 이미지 처리부 4는, 이미지를 기록할 때는, 생성된 휘도 신호 Y 및 색차 신호 Cb, Cr을 소정의 부호화 방식(예를 들면, JPEG 형식, 모션 JPEG형식, MPEG 형식 등)으로 부호화해서 기록 매체 제어부 9에 출력한다.
또, 이미지 처리부 4는, 이미지를 재생 표시하는 경우에는, 기록 매체 9a(후술) 등으로부터 읽어내진 표시 대상에 관련된 정지 이미지나 동영상 이미지 데이터를 대응하는 소정의 부호화 방식에 따라서 디코딩(복호)해서 표시부 8에 출력한다. 이때, 이미지 처리부 4는, 예를 들면, 표시 패널 8b의 표시 해상도 등에 기초해서 소정 사이즈(예를 들면, VGA나 QVGA 사이즈)로 축소해서 표시부 8에 출력해도 좋다.
가속도 검출부(제1 검출부) 5는, 제1 방향의 벡터를 검출한다.
즉, 가속도 검출부 5는, 예를 들면, 촬상 장치 100 본체의 서로 직교하는 3축 방향의 가속도를 각각 검출하는 3축 가속도 센서 5a를 포함하고, 이 3축 가속도 센서 5a로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출한다. 구체적으로는, 가속도 검출부 5는, 3축 가속도 센서 5a에 의한 3축 방향의 가속도의 각 출력 신호의 시간 평균에 기초해서 제1 방향의 벡터를 검출한다. 3축 가속도 센서 5a는, 중력 가속도 이외에 병진 가속도도 검출하기 때문에, 제1 방향과 중력 방향(제2 방향)은 일반적으로 다르다.
한편, 상기한 제1 방향의 벡터의 생성 방법은 하나의 예이며, 이것으로 한정되는 것은 아니고, 적절히 임의로 변경가능하다.
또, 가속도 검출부 5에 의해 검출되는 제1 방향의 벡터 값은, 소정의 저장부(예를 들면, 메모리 2 등)에 일시적으로 저장되어도 좋다.
각속도 검출부(제3 검출부) 6은, 제1 축의 둘레의 각속도를 검출한다.
여기서, 제1 축으로서는, 촬상 장치 100 본체의 롤 축이나 피치 축을 들 수 있지만(도 2 참조), 이하의 설명에서는, 제1 축으로서 롤 축을 예시해서 설명한다.
즉, 각속도 검출부 6은, 예를 들면, 촬상 장치 100 본체의 서로 직교하는 3축(롤 축, 피치 축 및 요 축)을 중심으로 하는 회동(回動; 회전 운동)의 각속도를 각각 검출하는 3축 각속도 센서 6a를 포함하고, 이 3축 각속도 센서 6a로부터의 출력 신호에 기초해서, 촬상 장치 100 본체의 롤 축(제1 축)의 둘레의 각속도를 검출한다. 구체적으로는, 각속도 검출부 6은, 3축 각속도 센서 6a에 의한 3축을 중심으로 하는 회동의 각속도의 각 출력 신호의 시간 평균에 기초해서, 제1 축 둘레의 각속도를 검출한다.
한편, 각속도 검출부 6에 의해 검출되는 롤 축(제1 축) 둘레의 각속도의 값은, 소정의 저장부(예를 들면, 메모리 2 등)에 일시적으로 저장되어도 좋다.
자세 추정부 7은, 이미지 취득부 7a와, 모션 벡터 검출부 7b와, 각도 산출부 7c와, 방향 추정부 7d를 포함한다.
한편, 자세 추정부 7의 각 부는, 예를 들면, 소정의 로직 회로로 구성되어 있지만, 이러한 구성은 하나의 예이며 이것으로 한정되는 것은 아니다.
이미지 취득부(취득부) 7a는, 연속해서 촬상된 복수의 이미지를 취득한다.
즉, 이미지 취득부 7a는, 촬상부 3에 의한 임의의 피사체의 촬영 시에, 예를 들면, 이미지 처리부 4에 의해 순차 생성된 라이브 뷰 이미지에 관련된 복수의 프레임 이미지의 이미지 데이터를 메모리 2로부터 순차 취득한다.
모션 벡터 검출부(제2 검출부) 7b는, 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출한다.
즉, 모션 벡터 검출부 7b는, 촬상부 3에 의해 연속해서 촬상되고, 이미지 취득부 7a에 의해 취득된 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출한다. 구체적으로는, 모션 벡터 검출부 7b는, 예를 들면, 이미지 취득부 7a에 의해 취득된 복수의 프레임 이미지에 대하여 특징 검출 처리를 행한다. 그리고, 모션 벡터 검출부 7b는, 이들 복수의 프레임 이미지 가운데, 어느 하나의 프레임 이미지를 기준 프레임 이미지로 해서, 기준 프레임 이미지로부터 소정수의 특징이 높은 블록 영역(특징점)을 선택하고, 블록의 내용을 템플릿(예를 들면, 8×8 화소의 정방형 등)으로서 검출한다. 또, 모션 벡터 검출부 7b는, 복수의 프레임 이미지 가운데, 기준 프레임 이미지보다도 시간축에서 뒤(또는, 앞)의 하나의 프레임 이미지 내에서 각 템플릿이 어디에 대응하는지, 즉, 대상 이미지 내에서 템플릿의 화소값이 최적으로 매치되는 위치(대응 영역)를 각각 탐색하고, 화소값의 차이의 정도의 평가값(예를 들면, 차분 제곱값의 합(SSD)이나 차분 절대값의 합(SAD) 등)이 가장 좋았던 것을 템플릿의 모션 벡터로서 산출한다.
그리고, 모션 벡터 검출부 7b는, 각각의 특징점에 대해서 산출된 모든 모션 벡터를 통합하고, 하나의 프레임 이미지에 있어서의 전체의 모션 벡터로서 산출한다.
한편, 상기한 모션 벡터의 검출 방법은 하나의 예이며, 이것으로 한정되는 것은 아니고, 적절히 임의로 변경가능하다.
각도 산출부(산출부) 7c는, 복수의 프레임 이미지의 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출한다.
즉, 각도 산출부 7c는, 이미지 취득부 7a에 의해 취득된 복수의 프레임 이미지에 기초해서, 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다. 구체적으로는, 각도 산출부 7c는, 모션 벡터 검출부 7b에 의해 검출된 모션 벡터에 기초해서, 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다.
여기서, 복수의 프레임 이미지의 사이에 있어서의 모션 벡터에 기초해서 상대적인 회전 각도를 산출하는 방법은, 공지의 기술이므로, 상세한 설명은 생략하지만, 예를 들면, 각도 산출부 7c는, 모션 벡터 검출부 7b에 의해 검출된 하나의 프레임 이미지의 전체의 모션 벡터에 기초해서, 롤 축(제1 축)을 회전 중심으로 해서 이미지를 회전시키는 선형 변환(예를 들면, 아핀(affine) 변환 등)의 파라미터를 산출하고, 하나의 프레임 이미지의 기준 프레임 이미지에 대한 상대적인 회전 각도를 산출한다.
한편, 상기한 상대적인 회전 각도의 산출 방법은 하나의 예이며, 이것으로 한정되는 것은 아니고, 적절히 임의로 변경가능하다.
또, 각도 산출부 7c는, 모션 벡터 검출부 7b에 의해 모션 벡터를 검출할 수 없는 경우에, 각속도 검출부 6에 의해 검출된 롤 축(제1 축) 둘레의 각속도에 기초해서, 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출해도 좋다.
예를 들면, 특징점의 식별이 곤란한 어두운 곳에서 촬영된 이미지나 평탄한 이미지로부터는 모션 벡터의 검출이 불가능해지는 경우가 있다. 그래서, 각도 산출부 7c는, 예를 들면, 라이브 뷰 이미지의 휘도값이나 화소값의 편차량(비평탄도) 등에 기초해서, 모션 벡터 검출부 7b에 의해 모션 벡터를 검출 가능한지 아닌지를 판정하고, 검출 불가라고 판정된 경우에, 각속도 검출부 6에 의해 검출된 롤 축(제1 축) 둘레의 각속도에 기초해서, 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다.
방향 추정부 7d는, 중력 방향(제2 방향)을 추정한다.
즉, 방향 추정부(추정부) 7d는, 각도 산출부 7c에 의해 산출된 롤 축(제1 축) 둘레의 상대적인 회전 각도 및 가속도 검출부 5에 의해 검출된 제1 방향의 벡터에 기초해서, 중력 방향(제2 방향)을 추정한다. 구체적으로는, 방향 추정부 7d는, 롤 축(제1 축) 둘레의 상대적인 회전 각도 및 제1 방향의 벡터에 기초해서, 칼만 필터(Kalman filter)에 의해 촬상 장치 100의 롤 축(제1 축) 둘레의 회전 각도를 산출한다. 그리고, 방향 추정부 7d는, 산출된 롤 축(제1 축) 둘레의 회전 각도로부터 촬상 장치 100의 자세(중력 방향(제2 방향)에 대한 경사)를 구하는 것으로, 중력 방향(제2 방향)을 추정한다.
여기서, 칼만 필터를 이용해서 중력 방향(제2 방향)을 추정하는 방법은, 공지의 기술이므로, 상세한 설명은 생략하지만, 예를 들면, 상태 공간 모델은, 상태 방정식을 나타내는 (식 1) 및 관측 방정식을 나타내는 (식 2)로 주어진다.
xt +1 = Atxt + Rtut + wt (식 1)
yt = Htxt + vt (식 2)
상기 식에 있어서, xt는 롤 축(제1 축) 둘레의 회전 각도, ut는 모션 벡터 혹은 각속도로부터 산출되는 롤 축(제1 축) 둘레의 상대적인 회전 각도, Rt는 회전 행렬, At, Ht는 각각 단위 행렬, yt는 중력 방향의 벡터, wt 및 vt는 각각 시스템 노이즈 및 관측 노이즈이다.
표시부 8은, 표시 제어부 8a와, 표시 패널 8b를 포함한다.
표시 제어부 8a는, 메모리 2나 기록 매체 9a로부터 읽어내 지고 이미지 처리부 4에 의해 디코딩된 소정 사이즈의 이미지 데이터에 기초해서, 소정의 이미지를 표시 패널 8b의 표시 영역에 표시시키는 제어를 행한다. 구체적으로는, 표시 제어부 8a는, VRAM(Video Random Access Memory), VRAM 컨트롤러, 디지털 비디오 인코더 등을 포함한다. 그리고, 디지털 비디오 인코더는, 이미지 처리부 4에 의해 디코딩되어서 VRAM(도시는 생략)에 기록되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr을, VRAM 컨트롤러를 통해서 VRAM으로부터 소정의 재생 프레임 레이트(frame rate)로 읽어내고, 이 데이터를 바탕으로 비디오 신호를 발생시켜서 표시 패널 8b에 출력한다.
표시 패널 8b는, 표시 제어부 8a로부터의 비디오 신호에 기초해서 촬상부 3에 의해 촬영된 이미지 등을 표시 영역 내에 표시한다. 구체적으로는, 표시 패널 8b는, 정지 영상의 촬영 모드나 동영상의 촬영 모드에서, 촬상부 3에 의한 피사체의 촬영에 의해 생성된 복수의 프레임 이미지를 소정의 프레임 레이트로 순차 갱신하면서 라이브 뷰 이미지를 표시한다. 또, 표시 패널 8b는, 기록 매체 9a에 기록되는 피사체의 정지 이미지(렉뷰 이미지)를 표시하거나, 촬영중인 피사체의 동영상을 표시한다.
한편, 표시 패널 8b로서는, 예를 들면, 액정 표시 패널이나 유기 EL(Electro-Luminescence) 표시 패널 등을 들 수 있지만, 이들은 예이며 이것들로 한정되는 것은 아니다.
기록 매체 제어부 9는, 기록 매체 9a가 탈착가능하게 구성되고, 장착된 기록 매체 9a로부터의 데이터의 독출이나 기록 매체 9a에 대한 데이터의 기입을 제어한다.
한편, 기록 매체 9a는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되어 있다.
조작 입력부 10은, 촬상 장치 100의 소정의 조작을 하기 위한 것이다. 구체적으로는, 조작 입력부 10은, 피사체의 촬영 지시에 관련된 셔터 버튼, 촬영 모드나 기능 등의 선택 지시에 관련된 선택 결정 버튼, 줌 량의 조정 지시에 관련된 줌 버튼 등(모두 도시는 생략)의 조작부를 포함한다.
그리고, 사용자에 의해 각종 버튼이 조작되면, 조작 입력부 10은, 조작된 버튼에 따른 조작 지시를 중앙 제어부 1에 출력한다. 중앙 제어부 1은, 조작 입력부 10으로부터 출력되어 입력된 조작 지시에 따라서 소정의 동작(예를 들면, 피사체의 촬영 등)을 각 부에 실행시킨다.
한편, 조작 입력부 10은, 표시부 8의 표시 패널 8b와 일체로 설치된 터치 패널(도시는 생략)을 포함해도 좋다.
<자세 추정 처리>
다음으로, 촬상 장치 100에 의한 자세 추정 처리에 대해서, 도 3을 참조해서 설명한다.
도 3은, 자세 추정 처리에 관련된 동작의 일 예를 도시한 흐름도이다.
한편, 자세 추정 처리는, 예를 들면, 피사체의 촬영 중에 상시 행해져도 좋고, 사용자에 의해 조작 입력부 10의 셔터 버튼이 소정 조작(예를 들면, 반누름 조작이나 완전 누름 조작 등)되었을 때 행해져도 좋다.
도 3에 도시된 것처럼, 먼저, 촬상부 3에 의한 임의의 피사체의 촬영이 개시되면(단계 S1), 가속도 검출부 5는, 3축 가속도 센서 5a로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하고(단계 S2), 이미지 취득부 7a는, 이미지 처리부 4에 의해 순차 생성된 라이브 뷰 이미지에 관련된 복수의 프레임 이미지의 이미지 데이터를 메모리 2로부터 순차 취득한다(단계 S3).
한편, 단계 S2에 있어서의 제1 방향의 벡터 검출과, 단계 S3에 있어서의 복수의 프레임 이미지의 취득의 순서는, 하나의 예이며 이것으로 한정되는 것은 아니고, 반대이어도 좋다.
다음으로, 각도 산출부 7c는, 모션 벡터 검출부 7b에 의해 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출가능한지 아닌지를 판정한다(단계 S4).
여기서, 모션 벡터를 검출가능하다고 판정되면(단계 S4; 예), 모션 벡터 검출부 7b는, 이미지 취득부 7a에 의해 취득된 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출한다(단계 S5).
한편, 모션 벡터를 검출가능하지 않다고 판정되면(단계 S4; 아니오), 각속도 검출부 6은, 3축 각속도 센서 6a로부터의 출력 신호에 기초해서, 촬상 장치 100 본체의 롤 축(제1 축) 둘레의 각속도를 검출한다(단계 S6). 한편, 롤 축(제1 축) 둘레의 각속도의 검출은, 자세 추정 처리가 한창인 동안은 항상 행해져도 좋다.
계속해서, 각도 산출부 7c는, 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다(단계 S7). 구체적으로는, 단계 S5에서, 모션 벡터 검출부 7b에 의해 모션 벡터가 검출된 경우에는, 각도 산출부 7c는, 검출된 모션 벡터에 기초해서, 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다. 한편, 단계 S6에서, 각속도 검출부 6에 의해 롤 축(제1 축) 둘레의 각속도가 검출된 경우에는, 각도 산출부 7c는, 검출된 롤 축(제1 축) 둘레의 각속도에 기초해서, 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출한다.
그리고, 방향 추정부 7d는, 각도 산출부 7c에 의해 산출된 롤 축(제1 축) 둘레의 상대적인 회전 각도 및 가속도 검출부 5에 의해 검출된 제1 방향의 벡터에 기초해서, 칼만 필터에 의해 촬상 장치 100의 롤 축(제1 축) 둘레의 회전 각도를 산출하고(단계 S8), 산출된 롤 축(제1 축) 둘레의 회전 각도로부터 중력 방향(제2 방향)을 추정한다(단계 S9).
이에 의해, 자세 추정 처리를 종료한다.
상기와 같이, 본 실시예의 촬상 장치 100에 의하면, 3축 가속도 센서 5a로부터의 출력 신호에 기초해서 검출된 제1 방향의 벡터와, 연속해서 촬상된 복수의 프레임 이미지에 기초해서 산출된 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도에 기초해서, 중력 방향(제2 방향)을 추정하므로, 중력 방향(제2 방향)의 추정에, 전력 소비량이 증대되는 각속도 센서를 이용할 필요가 없어진다. 특히, 촬상부 3에 의해 연속해서 촬상된 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출하는 것으로, 검출된 모션 벡터에 기초해서, 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출할 수 있다. 그리고, 산출된 롤 축(제1 축) 둘레의 상대적인 회전 각도 및 제1 방향의 벡터에 기초해서, 칼만 필터에 의해 촬상 장치 100의 롤 축(제1 축) 둘레의 회전 각도를 산출하는 것으로, 중력 방향(제2 방향)을 적정하게 추정할 수 있다.
따라서, 연속해서 촬상된 복수의 프레임 이미지를 이용해서 복수의 프레임 이미지의 사이에 있어서의 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출할 수 있고, 그 결과, 예를 들면, 손떨림 보정 등에 있어서 촬상 장치 100의 자세 추정을 보다 적정하게 행할 수 있다.
또, 복수의 프레임 이미지의 사이에 있어서의 특징점의 모션 벡터를 검출할 수 없는 경우에는, 3축 각속도 센서 6a로부터의 출력 신호에 기초해서, 롤 축(제1 축) 둘레의 각속도를 검출하는 것으로, 예를 들면, 특징점의 식별이 곤란한 어두운 장소에서의 촬영이나 평탄한 이미지의 촬영이더라도, 3축 각속도 센서 6a를 이용해서 검출된 롤 축(제1 축) 둘레의 각속도에 기초해서, 롤 축(제1 축) 둘레의 상대적인 회전 각도를 산출할 수 있다. 이에 의해, 산출된 롤 축(제1 축) 둘레의 상대적인 회전 각도를 이용해서, 중력 방향(제2 방향)을 적정하게 추정할 수 있다.
한편, 본 발명은, 상기 실시예로 한정되지 않고, 본 발명의 취지를 벗어나지 않는 범위에서, 다양한 개량 및 설계의 변경을 해도 좋다.
예를 들면, 제2 방향을 중력 방향으로 하고, 제1 축을 촬상 장치 100의 롤 축이나 피치 축으로 했지만, 하나의 예이며 이것으로 한정되는 것은 아니고, 적절히 임의로 변경가능하다.
또, 상기 실시예에 설명한 촬상 장치 100의 구성은 하나의 예이며, 이것으로 한정되는 것은 아니다. 또한, 자세 추정 장치로서, 촬상 장치 100을 예시했지만, 이것으로 한정되는 것은 아니다.
이에 더해서, 상기 실시예에 있어서는, 제1 검출부, 취득부, 산출부, 추정부로서의 기능을, 중앙 제어부 1의 제어 하에서, 가속도 검출부 5, 이미지 취득부 7a, 각도 산출부 7c, 방향 추정부 7d가 구동하는 것에 의해 실현되는 구성으로 했지만, 이것으로 한정되는 것은 아니고, 중앙 제어부 1의 CPU에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 해도 좋다.
즉, 프로그램 메모리(도시는 생략)에, 제1 검출 처리 루틴, 취득 처리 루틴, 산출 처리 루틴, 추정 처리 루틴을 포함하는 프로그램을 기록해 둔다. 그리고, 제1 검출 처리 루틴에 의해 중앙 제어부 1의 CPU를, 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 회로로서 기능시키도록 해도 좋다. 또, 취득 처리 루틴에 의해 중앙 제어부 1의 CPU를, 연속해서 촬상된 복수의 이미지를 취득하는 회로로서 기능시키도록 해도 좋다. 또, 산출 처리 루틴에 의해 중앙 제어부 1의 CPU를, 취득된 복수의 이미지에 기초해서, 복수의 이미지 사이에 있어서의 제1 축의 둘레의 상대적인 회전 각도를 산출하는 회로로서 기능시키도록 해도 좋다. 또, 추정 처리 루틴에 의해 중앙 제어부 1의 CPU를, 산출된 제1 축 둘레의 상대적인 회전 각도 및 검출된 제1 방향의 벡터에 기초해서, 제1 방향과는 다른 제2 방향을 추정하는 회로로서 기능시키도록 해도 좋다.
마찬가지로, 제2 검출부, 제3 검출부에 대해서도, 중앙 제어부 1의 CPU에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 해도 좋다.
또한, 상기의 각 처리를 실행하기 위한 프로그램을 저장한 컴퓨터로 독출가능한 매체로서, ROM이나 하드 디스크 등의 외에, 플래시 메모리 등의 불휘발성 메모리, CD-ROM 등의 포터블 기록 매체를 적용하는 것도 가능하다. 또, 프로그램 데이터를 소정의 통신 회선을 통해서 제공하는 매체로서는, 캐리어 웨이브(반송파)도 적용된다.
본 발명의 몇 가지의 실시예를 설명했지만, 본 발명의 범위는, 상술한 실시예로 한정하는 것은 아니고, 특허청구범위에 기재된 발명의 범위와 그 균등한 범위를 포함한다.

Claims (10)

  1. 가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출부와,
    연속해서 촬상된 복수의 이미지를 취득하는 취득부와,
    상기 취득부에 의해 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출부와,
    상기 산출부에 의해 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출부에 의해 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정부
    를 포함하는 자세 추정 장치.
  2. 제1항에 있어서,
    상기 취득부에 의해 취득된 상기 복수의 이미지 사이에 있어서의 특징점의 모션 벡터를 검출하는 제2 검출부를 더 포함하고,
    상기 산출부는, 상기 제2 검출부에 의해 검출된 상기 모션 벡터에 기초해서, 상기 복수의 이미지 사이에 있어서의 상기 제1 축 둘레의 상기 상대적인 회전 각도를 산출하는,
    자세 추정 장치.
  3. 제2항에 있어서,
    각속도 센서로부터의 출력 신호에 기초해서, 상기 제1 축 둘레의 각속도를 검출하는 제3 검출부를 더 포함하고,
    상기 산출부는, 상기 제2 검출부에 의해 상기 모션 벡터를 검출할 수 없는 경우에, 상기 제3 검출부에 의해 검출된 상기 제1 축 둘레의 상기 각속도에 기초해서, 상기 제1 축 둘레의 상기 상대적인 회전 각도를 산출하는,
    자세 추정 장치.
  4. 제2항에 있어서,
    촬상부를 더 포함하고,
    상기 제2 검출부는, 상기 촬상부에 의해 연속해서 촬상되고, 상기 취득부에 의해 취득된 상기 복수의 이미지 사이에 있어서의 상기 특징점의 상기 모션 벡터를 검출하는,
    자세 추정 장치.
  5. 제1항에 있어서,
    상기 추정부는, 상기 산출부에 의해 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출부에 의해 검출된 상기 제1 방향의 벡터에 기초해서, 칼만 필터(Kalman filter)에 의해 상기 제1 축 둘레의 회전 각도를 산출하는 것으로, 상기 제2 방향을 추정하는,
    자세 추정 장치.
  6. 제1항에 있어서,
    상기 제2 방향은 중력 방향이고,
    상기 제1 축은, 장치 본체의 롤 축과 피치 축 중, 적어도 어느 하나를 포함하는,
    자세 추정 장치.
  7. 제1항에 있어서,
    상기 제1 검출부는, 상기 가속도 센서로서 장치 본체의 서로 직교하는 3축 방향의 가속도를 각각 검출하는 3축 가속도 센서를 포함하고, 상기 3축 가속도 센서에 의한 상기 3축 방향의 상기 가속도의 각 출력 신호의 시간 평균에 기초해서, 상기 제1 방향의 벡터를 검출하는,
    자세 추정 장치.
  8. 제3항에 있어서,
    상기 제3 검출부는, 상기 각속도 센서로서 장치 본체의 서로 직교하는 3축을 중심으로 하는 회동의 상기 각속도를 각각 검출하는 3축 각속도 센서를 포함하고, 상기 3축 각속도 센서에 의한 상기 3축을 중심으로 하는 회동의 상기 각속도의 각 출력 신호의 시간 평균에 기초해서, 상기 제1 축 둘레의 상기 각속도를 검출하는,
    자세 추정 장치.
  9. 자세 추정 장치에 의한 자세 추정 방법에 있어서,
    가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출 단계와,
    연속해서 촬상된 복수의 이미지를 취득하는 취득 단계와,
    상기 취득 단계에서 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출 단계와,
    상기 산출 단계에서 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출 단계에서 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정 단계
    를 포함하는 자세 추정 방법.
  10. 자세 추정 장치로 하여금,
    가속도 센서로부터의 출력 신호에 기초해서, 제1 방향의 벡터를 검출하는 제1 검출 단계와,
    연속해서 촬상된 복수의 이미지를 취득하는 취득 단계와,
    상기 취득 단계에서 취득된 상기 복수의 이미지에 기초해서, 상기 복수의 이미지 사이에 있어서의 제1 축 둘레의 상대적인 회전 각도를 산출하는 산출 단계와,
    상기 산출 단계에서 산출된 상기 제1 축 둘레의 상기 상대적인 회전 각도 및 상기 제1 검출 단계에서 검출된 상기 제1 방향의 벡터에 기초해서, 상기 제1 방향과는 다른 제2 방향을 추정하는 추정 단계
    를 실행시키는, 컴퓨터로 독출가능한 기록 매체에 저장된 프로그램.
KR1020160080248A 2015-09-18 2016-06-27 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 KR102592745B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-185127 2015-09-18
JP2015185127A JP6332212B2 (ja) 2015-09-18 2015-09-18 姿勢推定装置、姿勢推定方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20170034299A true KR20170034299A (ko) 2017-03-28
KR102592745B1 KR102592745B1 (ko) 2023-10-20

Family

ID=58282699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080248A KR102592745B1 (ko) 2015-09-18 2016-06-27 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US10401174B2 (ko)
JP (1) JP6332212B2 (ko)
KR (1) KR102592745B1 (ko)
CN (1) CN106550186B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457618B1 (ko) * 2017-12-11 2022-10-21 한화테크윈 주식회사 틸트-각도 유지 방법, 틸팅 제어 방법, 및 감시 카메라
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
JP7240241B2 (ja) * 2019-04-24 2023-03-15 キヤノン株式会社 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体
CN114390188B (zh) * 2020-10-22 2023-05-12 华为技术有限公司 一种图像处理方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5614527U (ko) 1979-07-12 1981-02-07
KR20120072353A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화 장치 및 그 방법
KR20130137435A (ko) * 2012-06-07 2013-12-17 조춘식 의료 영상 보상 방법, 시스템 및 장치
KR20150026561A (ko) * 2013-09-03 2015-03-11 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6024811B2 (ja) 1979-07-12 1985-06-14 レマ・サムイロウイツチ・バルシテイン グリコ−ルとジカルボン酸のポリエステルの製造法
JPH05176218A (ja) 1991-12-25 1993-07-13 Matsushita Electric Ind Co Ltd 画像動き補正装置
JP2002016836A (ja) * 2000-06-29 2002-01-18 Toshiba Corp 撮像装置の揺れ補正装置及び方法
JP3767372B2 (ja) * 2000-11-22 2006-04-19 三菱電機株式会社 衛星追尾用アンテナ制御装置
JP2007114466A (ja) 2005-10-20 2007-05-10 Toshiba Corp 手ぶれ補正機能を有する撮影装置
KR101404843B1 (ko) * 2006-06-22 2014-06-09 가부시키가이샤 니콘 위치 결정 장치, 떨림 보정 장치 및 전자 기기
JP5614527B2 (ja) * 2010-03-05 2014-10-29 セイコーエプソン株式会社 姿勢情報算出装置、姿勢情報算出システム、姿勢情報算出方法及び姿勢情報算出プログラム
WO2012063468A1 (ja) * 2010-11-11 2012-05-18 パナソニック株式会社 画像処理装置、画像処理方法、およびプログラム
JP2014018291A (ja) * 2012-07-13 2014-02-03 Camelot:Kk 情報処理端末のイベント実行ユニット、イベント実行方法及びイベント実行プログラム
JP5977611B2 (ja) * 2012-07-24 2016-08-24 オリンパス株式会社 ブレ量検出装置、撮像装置及びブレ量検出方法
JP6058978B2 (ja) * 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
GB2509102B (en) * 2012-12-20 2015-09-02 Thales Holdings Uk Plc Image processor for processing images received from a plurality of image sensors
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6152511B2 (ja) 2013-03-29 2017-06-28 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法
JP2014240266A (ja) * 2013-05-13 2014-12-25 株式会社豊田中央研究所 センサドリフト量推定装置及びプログラム
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2015119259A (ja) * 2013-12-17 2015-06-25 キヤノン株式会社 表示制御装置、その制御方法、およびプログラム、並びに記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5614527U (ko) 1979-07-12 1981-02-07
KR20120072353A (ko) * 2010-12-23 2012-07-03 삼성전자주식회사 디지털 이미지 안정화 장치 및 그 방법
KR20130137435A (ko) * 2012-06-07 2013-12-17 조춘식 의료 영상 보상 방법, 시스템 및 장치
KR20150026561A (ko) * 2013-09-03 2015-03-11 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Also Published As

Publication number Publication date
JP6332212B2 (ja) 2018-05-30
US10401174B2 (en) 2019-09-03
CN106550186B (zh) 2019-10-11
KR102592745B1 (ko) 2023-10-20
JP2017060091A (ja) 2017-03-23
US20170084018A1 (en) 2017-03-23
CN106550186A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP5708097B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US7773828B2 (en) Method and device for stabilizing an image by applying an affine transform based on a weighted average of motion vectors
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
US8072497B2 (en) Imaging apparatus and recording medium
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
CN105049682B (zh) 数字照相系统及用于控制该数字照相系统的方法
US9589339B2 (en) Image processing apparatus and control method therefor
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
CN115701125A (zh) 图像防抖方法与电子设备
JP2011239157A5 (ko)
US20150288949A1 (en) Image generating apparatus, imaging apparatus, and image generating method
JP2012120152A (ja) 撮像装置及びその制御方法
CN114390186A (zh) 视频拍摄方法及电子设备
JP6362473B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
KR20110125077A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP6529269B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP2017091291A (ja) 画像評価装置、画像評価方法及びプログラム
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
CN116934654B (zh) 图像模糊度的确定方法及其相关设备
JP7278737B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP4919165B2 (ja) 画像合成装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant