KR20160001655A - 화상처리장치 및 그 제어 방법 - Google Patents

화상처리장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20160001655A
KR20160001655A KR1020150088187A KR20150088187A KR20160001655A KR 20160001655 A KR20160001655 A KR 20160001655A KR 1020150088187 A KR1020150088187 A KR 1020150088187A KR 20150088187 A KR20150088187 A KR 20150088187A KR 20160001655 A KR20160001655 A KR 20160001655A
Authority
KR
South Korea
Prior art keywords
shake
moving image
image
correction amount
amount
Prior art date
Application number
KR1020150088187A
Other languages
English (en)
Other versions
KR101847392B1 (ko
Inventor
켄이치 미야사코
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20160001655A publication Critical patent/KR20160001655A/ko
Application granted granted Critical
Publication of KR101847392B1 publication Critical patent/KR101847392B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/225—
    • H04N5/23251—
    • H04N5/23264—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

화상처리장치는, 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하도록 구성된 제1 산출 유닛과, 상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 정지 화상용의 흔들림 보정량을 산출하도록 구성된 제2 산출 유닛과, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하도록 구성된 생성 유닛과, 상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하도록 구성된 기록 유닛을 구비한다.

Description

화상처리장치 및 그 제어 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR CONTROLLING THE SAME}
본 발명은, 촬영된 동화상으로부터 정지 화상을 생성하는 기술에 관한 것이다.
최근, 동화상 촬영이 가능한 촬상장치의 다화소화가 급속하게 진행하고 있다. Full HD의 동화상을 촬영하는 촬상장치는 이미 널리 보급되었고, 4K 혹은 2K 동화상 촬영이 가능한 촬상장치도 서서히 시장에 나오기 시작하고 있다.
이러한 동화상의 고선명화에 의해, 최근 동화상의 각 프레임의 화상도 정지 화상으로서 사용하는데도 충분한 화소 수를 가지고 있다. 이것에 의해, 동화상의 각 프레임으로부터 정지 화상을 생성하는 방법이 금후 더욱 퍼져 갈 것이다.
동화상으로부터 정지 화상을 생성할 때의 하나의 문제는, 어느 프레임의 화상이 정지 화상으로서 최적인 화상인지를 판단하는 것이 유저에 있어서 어렵다고 하는 점이다. 예를 들면, 화상을 동화상의 일부로서 보았을 경우에 프레임들 간의 연속 천이로 인해 알아채지 못한 카메라 흔들림이나 초점이 맞지 않는 화상이, 화상을 정지 화상으로서 보았을 때에 허용할 수 없는 레벨인 경우도 많다. 그것을 1프레임씩 체크하는 것은 유저에 있어서 대단히 번거로운 일이 된다.
이러한 문제를 해결하기 위해서, 예를 들면 일본국 공개특허공보 특개2010-252078호에는 다음과 같은 방법이 개시되어 있다. 먼저, 동화상 기록중에 기록해 둔 카메라 화상 스테이터스 정보를 동화상 재생중에 판독한다. 그리고, 정지 화상 기록용 스위치가 눌러졌을 때의 시간 전후에 촬영된 프레임으로부터, 정지 화상으로서 적합한 화상을 선택한다.
그렇지만, 상기의 종래의 예에는, AF, AE, AWB, 흔들림 등의 스테이터스 정보를 동화상 재생시에 정지 화상을 선택할 때에 사용할 수 있도록 이 스테이터스 정보를 동화상의 기록과 동기해서 기록하는 개념은 개시되어 있지만, 스테이터스 정보의 생성 방법은 구체적으로 기재되어 있지 않다.
본 발명은 전술한 문제를 감안하여 이루어진 것으로, 촬영한 동화상으로부터 용이하게 정지 화상으로서 최적인 화상을 유저가 쉽게 선택할 수 있는 화상처리장치를 제공한다.
본 발명의 일 국면에 의하면, 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하도록 구성된 제1 산출 유닛과, 상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 정지 화상용의 흔들림 보정량을 산출하도록 구성된 제2 산출 유닛과, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하도록 구성된 생성 유닛과, 상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하도록 구성된 기록 유닛을 구비하는 화상처리장치가 제공된다.
본 발명의 제2 국면에 의하면, 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하도록 구성된 제1 산출 유닛과, 상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 상기 동화상용의 흔들림 보정량보다도 방진(anti-shake) 성능이 높은 흔들림 보정량을 산출하도록 구성된 제2 산출 유닛과, 상기 동화상용의 흔들림 보정량과, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하도록 구성된 생성 유닛과, 상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하도록 구성된 기록 유닛을 구비하는 화상처리장치가 제공된다.
본 발명의 제3 국면에 의하면, 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하는 제1 산출 단계와, 상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 정지 화상용의 흔들림 보정량을 산출하는 제2 산출 단계와, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하는 생성 단계와, 상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하는 기록 단계를 포함하는 화상처리장치의 제어 방법이 제공된다.
본 발명의 제4 국면에 의하면, 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하는 제1 산출 단계와, 상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량을 산출하는 제2 산출 단계와, 상기 동화상용의 흔들림 보정량과, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하는 생성 단계와, 상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하는 기록 단계를 포함하는 화상처리장치의 제어 방법이 제공된다.
본 발명의 추가 특징은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 밝혀질 것이다.
도 1은, 본 발명에 따른 촬상장치의 일 실시예로서의 비디오 카메라의 구성을 나타내는 블럭도이다.
도 2a 및 2b는, 포커스용의 메타데이터의 연산 방법의 예를 설명하기 위한 도면이다.
도 3a 내지 3c는, 노출용의 메타데이터의 연산 방법의 예를 설명하기 위한 도면이다.
도 4a 내지 4c는, 화이트 밸런스용의 메타데이터의 연산 방법의 예를 설명하기 위한 도면이다.
도 5a 및 5b는, 흔들림용의 메타데이터의 연산을 행하기 위한 구성을 도시한 블럭도이다.
도 6은, 흔들림 보정량 연산부와 흔들림량 연산부로부터의 출력을 설명하기 위한 도면이다.
도 7a 내지 7c는, 흔들림용의 메타데이터의 연산 방법의 예를 설명하기 위한 도면이다.
도 8a 내지 8c는, 흔들림용의 메타데이터의 연산 방법의 다른 예를 설명하기 위한 도면이다.
도 9a 및 9b는, 패닝(panning) 속도를 연산하는 방법을 설명하기 위한 도면이다.
도 10a 내지 10c는, 패닝 속도를 고려한 흔들림량 연산부에 의해 행해진 연산을 설명하기 위한 도면이다.
도 11은, 메타데이터를 이용해서 동화상으로부터 정지 화상을 생성할 때의 플로차트이다.
도 12는, 정지 화상으로서의 프레임의 적정도를 유저에게 통지하는 표시 예를 도시한 도면이다.
이하, 본 발명의 실시예에 대해서, 첨부된 도면을 참조해서 상세하게 설명한다. 도 1은, 본 발명에 따른 촬상장치의 실시예인 동화상을 촬상 가능한 비디오 카메라의 구성을 나타내는 블럭도다. 도 1은, 동화상 촬영시에 사용하는 촬상장치의 각 기능 블록을 나타낸다. 도 1을 참조하여, 촬상장치(100)의 구성과, 동화상 촬영시에 있어서의 동작에 대해서 구체적으로 설명한다.
도 1에 있어서, 촬상장치(100)는, 광축 방향으로 배치되어 있는, 변배 렌즈(101), 보정 광학계(102), 조리개(103), 및 포커스 렌즈(104)를 포함한다. 이들 소자 및 도면에 나타나 있지 않은 다른 광학계에 의해 촬영 광학계가 구성된다.
변배 렌즈(101)는, 광축 방향으로 이동해서 변배율을 변경하는 렌즈다. 포커스 렌즈(104)는, 변배 변경에 따른 초점면의 이동을 보정하는 기능과 포커싱의 기능을 겸비한 렌즈다. 조리개(103)는, 예를 들면, 입사한 광량을 조정하는 아이리스 조리개(iris diaphragm)이다.
포커스 렌즈(104) 뒤에는, 촬상소자(105)가 배치되어 있다. 촬상소자(105)는, 광전변환에 의해 피사체의 촬상을 행한다. 촬상소자(105)는, 예를 들면, XY 어드레스 방식의 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등으로서 구성된다. 촬상소자(105)로 광전 변환된 신호는, 촬상소자(105) 내부에서 디지털 신호로 변환된 후, 신호 처리부(111)에 공급된다. 신호 처리부(111)는, 촬상소자(105)로부터 출력된 화상 정보에 대하여 감마 보정 및 색보정 등 다양한 신호 처리를 행한다.
시스템 제어부(121)는, 촬상장치(100) 전체의 제어를 주관한다. 예를 들면, 시스템 제어부(121)는 신호 처리부(111)로부터의 휘도값, 색 등의 정보 수신에 응답하여 각종의 연산 처리를 행한다. 시스템 제어부(121)가 행하는 제어의 상세에 관해서는 후술한다.
줌 구동부(106)는, 변배 렌즈(101)를 이동시키기 위한 구동원이며, 시스템 제어부(121)로부터의 지시에 따라, 주밍(zooming) 동작을 행한다. 시스템 제어부(121)는, 유저에 의한 도면에 나타나 있지 않은 줌 조작부의 조작에 따라 줌 구동부(106)에 대하여 지시를 보낸다.
포커스 구동부(109)는, 포커스 렌즈(104)를 이동시키기 위한 구동원이며, 시스템 제어부(121)로부터의 지시에 따라 구동을 행한다. 시스템 제어부(121)는, 거리 정보 생성부(117)로부터 공급되는 신호에 따라, 포커스 렌즈(104)의 구동 위치를 결정한다. 거리 정보 생성부(117)는, 촬상소자(105)에 의해 취득된 화상 신호에 대하여, 신호 처리부(111)에 의해 행해진 신호 처리의 결과를 이용해서 촬상장치(100)와 피사체와의 거리를 나타내는 거리 정보를 생성한다. 거리 정보는, 촬상소자(105) 상의 복수의 화소를 이용해서 위상차 AF를 행하는 방법 등의 공지의 방법에 의해서 생성되어도 된다. 또한, 위상차 AF을 행하는 전용의 센서나 IR 센서 등의 거리 정보 취득장치를 이용해서 거리 정보를 생성해도 된다.
조리개 구동부(108)는, 조리개(103)를 구동해서 촬상소자(105)에 입사되는 광량을 조정하기 위한 구동원이며, 시스템 제어부(121)로부터의 지시에 따라 구동을 행한다. 촬상소자 구동부(110)는, 시스템 제어부(121)로부터의 지시에 따라, 촬상소자(105)를 구동하기 위한 구동 펄스 등을 촬상소자(105)에 공급하고, 촬상소자(105)에 축적된 전하의 판독 및 노출 시간, 즉, 셔터 속도의 조정을 행한다. 촬상소자(105)는, 일반적으로 셔터 펄스가 인가됨으로써, 화소 내에 축적된 신호 전하가 제거되는 전자 셔터 동작을 행하고, 다음 판독까지의 기간에 있어서 광학상을 광전 변환한 전하의 축적이 행해진다. 이 축적 기간이 상기 셔터 속도가 된다. 피사체의 저휘도 레벨에 의해 적절한 셔터 스피드를 설정할 수 없는 경우에는, 촬상소자(105)로부터 출력되는 화상 신호의 레벨 조정, 즉, 게인 조정을 행함으로써, 광 부족에 의한 부적정 노출이 보정된다.
AE용 신호 생성부(118)는, 화소마다의 디지털 신호의 누적 가산을 주체로 하는 연산 처리를 행함으로써, 피사체의 밝기에 대응하는 광값을 산출하고, 그 광값을 시스템 제어부(121)에 공급한다. 시스템 제어부(121)는, AE용 신호 생성부(118)에 의해 생성된 광값에 의거하여 조리개 구동부(108) 및 촬상소자 구동부(110)를 구동시키고, 조리개(103), 셔터 속도, 및 촬상소자(105)의 게인을 설정하고, 노출을 제어한다.
AWB용 신호 생성부(119)는, 촬상소자(105)로부터 신호 처리부(111)에 공급되는 R/G/B의 각 화소 신호를, 휘도 Y 및 색차 신호(R-Y, B-Y)로 변환한다. AWB용 신호 생성부(119)는, 각 화소의 색이 흑체 방사 궤적(black body radiation curve)을 기준으로서 이용해서 무채색인지 아닌지를 먼저 판정한 후에, 무채색을 가진 화소라고 판정된 모든 화소의 색차 신호의 합의 평균값을 산출하는 것에 의해 AWB용 신호를 생성한다. 신호 처리부(111)는, RGB의 각 색에 서로 다른 게인을 인가할 수 있는 회로 블록을 가지고 있고, 시스템 제어부(121)는, 상기 AWB용 신호에 의거하여 촬상소자(105)로부터 출력된 화상 데이터의 백색을 정확하게 표시할 수 있게 화이트 밸런스 제어를 행한다.
보정 광학계(102)는, 광축에 수직한 방향으로 이동됨으로써 광축의 방향을 편향하는, 광학적으로 화상 흔들림 보정 가능한 보정계다. 보정 광학계 구동부(107)는, 보정 광학계(102)를 이동시키기 위한 구동원이며, 시스템 제어부(121)로부터의 지시에 따라 구동을 행한다. 각속도 센서(120)는, 촬상장치(100)의 흔들림을 검출해서, 각속도 신호를 생성하고, 그 각속도 신호를 시스템 제어부(121)에 공급한다. 시스템 제어부(121)는, 보정 광학계(102)를 이동시켜서 촬상면 위에서의 피사체의 화상의 이동을 보정하기 위해서, 상기 각속도 신호에 따라 보정 광학계 구동부(107)에 대한 제어신호를 생성한다. 이 결과, 장치의 흔들림 등에 의한 촬상면 위의 피사체의 화상의 이동이 보정된 후에, 촬상소자(105)에 결상된다. 또한, 보정 광학계(102)는, 촬상소자(105)를 촬영 광학계에 대하여 광축과 수직인 방향으로 이동시키는 구성으로 교체되어도 된다.
메타데이터 생성부(113)는, 시스템 제어부(121)로부터 공급되는 데이터에 의거하여 촬상 화상의 촬영 조건을 나타내는 소정의 메타데이터를 생성하고, 그 메타데이터를 신호 처리부(111)로부터 출력되는 동화상 데이터와 대응시켜서 기록 매체(114)에 기록한다. 메타데이터 생성부(113)가 취급하는 메타데이터의 상세에 관해서는 후술한다. 기록 매체(114)는, 자기 기록 매체(예를 들면, 하드 디스크)나 반도체 메모리 등의 정보 기록 매체다. 또, 표시 디바이스(112)는 액정 표시 소자(LCD) 등에 의해 신호 처리부(111)로부터 출력되는 화상을 표시한다.
다음에, 메타데이터 생성부(113)에 공급되는 메타데이터의 연산 방법에 대해서, 상세하게 설명한다. 메타데이터는, 시스템 제어부(121) 내부에서 행해진 연산에 의해, 포커스, 노출, WB(화이트 밸런스), 흔들림의 4종류의 데이터가 취득되어, 메타데이터 생성부(113)에 공급된다. 정지 화상 촬영의 경우에 있어서는, 이들의 제어 파라미터는, 노광시에 연산된 각 제어 목표값에 가능한 한 오차 없게 추종하도록 설정된다. 한편, 동화상 촬영의 경우에 있어서는, 이들 제어 파라미터의 급격한 변화에 의해 동화상이 갑자기 변화되어, 부자연스럽게 보인다. 그 때문에, 일반적으로 제어 목표값을 향해서 서서히 파라미터를 변화시키는 제어가 행해진다. 메타데이터 생성부(113)는, 이러한 과정에서 생기는, 정지 화상에 대한 최적의 제어 목표값과 동화상으로서 자연스럽게 보이기 위한 실제의 설정값과의 차분에 관한 메타데이터를, 이하에 설명하는 방법을 이용해서 연산하고, 메타데이터를 동화상 데이터와 관련지어서 기록 매체(114)에 기록한다.
도 2a 및 2b를 참조해서 포커스의 메타데이터 생성 방법에 대해서 상세하게 설명한다. 설명을 이해하기 쉽게 하기 위해서, 아래와 같이 기호를 정의한다.
Dt …거리 정보 생성부(117)에 의해 검출되는 피사체의 거리
D1…포커스 렌즈(104)의 위치에 의해 결정되는 촬영 피사체의 거리
Df…피사계 심도(무한원측）
Dn…피사계 심도(지근측)
도 2a는, 횡축이 목표가 되는 피사체의 거리와 포커스 렌즈(104)의 위치에 의해 결정되는 촬영 피사체 거리와의 차분인 Dl-Dt을 나타내고, 종축이 생성되는 메타데이터 Mdata_focus을 나타내는 그래프의 일례를 나타낸다. Dl-Dt=0은, 초점이 완전하게 맞는 상태를 나타내고, 이런 상태에서 Mdata_focus=0이 충족된다. 도 2a에 있어서, Mdata_focus는, 이하의 계산식으로 연산된다.
Mdata_focus=|(Dl-Dt)/(Df-Dt)|
여기서, Dl-Dt≥0
Mdata_focus=|(Dl-Dt)/(Dn-Dt)|
여기서, Dl-Dt<0
즉, 촬영 피사체 거리의 목표값으로부터의 어긋남을 피사계 심도의 범위에 대하여 정규화하고 있다. 그 결과, Mdata_focus는, Mdata_focus가 0에 가까울수록 초점의 정밀도가 증가하고, Mdata_focus가 1보다도 커질수록 초점이 맞지 않는 정도가 증가하는 특성을 갖는 데이터가 될 것이다.
도 2b는, 횡축과 종축이 도 2a와 같은 것을 나타내는 Mdata_focus의 연산 방법의 다른 예를 나타낸 그래프다. 도 2b에서는, Dx<(Dl-Dt)<Dy가 충족될 때, Mdata_focus는 도 2a와 같은 방식으로 계산되고, 그렇지 않으면 Dl-Dt가 변화되었을 때의 Mdata_focus의 변화량(게인)은 도 2a보다 크다. 이것은, 이하의 이유 때문이다. 촬상장치(100) 내부에서 행해지거나 PC상의 화상 처리 소프트웨어를 이용해서 행해진 화상처리에 의해서 다소 초점이 맞지 않은 화상은 윤곽 강조 등을 행함으로써 용이하게 보정될 수 있다. 그렇지만, 상당히 초점이 맞지 않는 화상에 대해서 윤곽 강조를 행했을 때는, 의사 윤곽 등이 눈에 띄어, 정지 화상으로서의 화질의 열화 정도가 커질 것이다.
도 3a~3c을 참조해서 노출의 메타데이터 생성 방법에 대해서 상세하게 설명한다. 도 3a~3c에 나타낸 그래프의 각각에 있어서, 횡축은 APEX(Additive System of Photographic Exposure)에 따라 단위계로 표현된다. 각각의 기호의 정의는 아래와 같다.
Ev_now … 현재의 조리개와 셔터 속도에 의해 결정되는 노출값
Ev_target…AE용 신호 생성부(118)로부터의 출력에 의해 결정되는 적정 노출값
도 3a는, 횡축을 Ev_target-Ev_now, 즉 적정 노출값과 현재의 노출 값과의 차분으로 하고 종축을 생성되는 Mdata_exposure로 한 그래프의 일례를 나타낸다. 횡축에 관해서는, 플러스 값이 노출 과다를 나타내고, 마이너스 값이 노출 부족을 나타내며, 0이 정확한 노출을 나타낸다. 이때, 정확한 노출은 Mdata_exposure=0에 해당한다. 도 3a에 있어서, Mdata_exposure는, 이하의 계산식으로 연산된다.
Mdata_exposure=|Ev_targe-Ev_now|/(1/3)
즉, 현재의 노출의 적정 노출로부터의 어긋남을 소정의 Ev값(이 예에서는 1/3Ev)에 대해서 정규화하고 있다. 여기에서, 1/3Ev에 대해서 정규화하는 것은, 어디까지나 일례다. 본 수치는, 유저에 의해 임의로 설정되어도 되고, 피사체의 휘도 분포에 따라 변동되어도 된다. 예를 들면, 1/3Ev에 의한 시프트에 의해 하이라이트 영역의 손실이나 음영 영역의 손실이 발생한 경우에는, 1/5Ev에 대하여 정규화하는 등의 또 다른 방법을 채용하는 것도 가능하다. 본 연산결과에 의해, Mdata_exposure는, Mdata_exposure가 0에 가까울수록 노출의 적정도가 증가하고, Mdata_exposure가 1보다도 클수록 노출 부족 혹은 노출 과다의 정도가 증가하는 특성을 갖는 데이터가 될 것이다.
도 3b는, 횡축과 종축이 도 3a와 같은 것을 나타내는, Mdata_exposure의 연산 방법의 또 다른 예를 나타낸 그래프다. 도 3b에서는, -1<(Ev_target-Ev_now)<1가 충족되는 경우에는 Mdata_exposure가 도 3a와 같은 방식으로 연산되고, 그렇지 않으면, Ev_target-Ev_now가 변화되었을 때의 Mdata_exposure의 변화량(게인)이 도 3a보다 크다. 이것은, 이하의 이유 때문이다. 촬상장치(100) 내부에서 행해지거나 PC의 화상 처리 소프트웨어 등에 의해 행해지는 화상 처리에 의해 화상의 휘도 레벨을 조정함으로써 최적의 노출로부터 다소 일탈한 노출이 용이하게 보정될 수 있다. 그렇지만, 화상의 노출이 최적의 노출로부터 다소 일탈한 경우에는, 정지 화상으로서의 화질의 열화 정도가 커질 것이다. 예를 들면, 하이라이트 영역의 손실 및 음영 영역의 손실을 보정 할 수 없거나, 보정한 후에도 노이즈가 눈에 띌 수 있다.
도 3c는, 횡축과 종축이 도 3a 및 도 3b와 같은 것을 나타내는, Mdata_exposure의 연산 방법의 또 다른 예를 나타낸 그래프다. 도 3c에 있어서, Mdata_exposure는, 이하의 식으로 연산된다.
Mdata_exposure=(2(|Ev_target-Ev_now|)-1)/(2(1/3)-1)
Ev값은, 촬상소자에 입사되는 광량을 계측하는 단위계에 따른 값이며, 저면을 2로 한 대수로 표현된다. 즉, Ev값이 1 변화하면, 광량은 2배 혹은 1/2배가 된다. 상기 식에서는, APEX 시스템에 따른 단위의 값을 실제의 광량의 단위의 값으로 변환한 후에 정규화를 행하고 있어, 최적의 노출로부터의 일탈량을 더 정확하게 메타데이터 Mdata_exposure로 표현할 수 있다.
도 4a 및 4c를 참조하여 화이트 밸런스의 메타데이터의 생성 방법에 대해서 상세하게 설명한다. 도 4a에 나타낸 그래프는 R-Y 및 B-Y의 색차를 좌표축으로 하고 있다. 전술한 AWB용 신호의 좌표점은, 도 4a의 원점 O 부근에 위치되어 있을 때는, RGB의 밸런스가 잘 잡혀 있고, 즉 화이트 밸런스가 최적이라는 것을 의미한다. 반대로, 좌표점이 원점 O로부터 더 일탈할수록, 화이트 밸런스가 최적의 값으로부터 더 일탈한다. AWB용 신호의 도 4a에 나타낸 좌표계에서의 벡터를 WB_Vector로서 정의한다.
도 4b 및 도 4c는 횡축이 WB_Vector의 크기를 나타내고, 종축이 메타데이터 Mdata_wb을 나타내는 그래프의 예를 나타낸다. 상기한 바와 같이, 횡축의 값이 커질수록 화상이 최적의 화이트 밸런스로부터 더 많이 일탈한다. 도 4b에 있어서, Mdata_wb은, 이하의 식으로 연산된다.
Mdata_wb=|WB_Vector|/WB_TH
즉, 화이트 밸런스의 최적값으로부터의 일탈량을, 소정의 임계값 WB_TH에 대해서 정규화하고 있다. 여기에서, WB_TH는, 최적의 화이트 밸런스로부터의 일탈량의 허용값으로서 정의된다. 색의 일탈량의 허용값은 사람마다 크게 달라서 허용값을 고정시켜 결정하는 것은 곤란하기 때문에, 유저가 임의로 허용값을 설정해도 된다. 또, 광원의 특성에 따라, 원점에 수속할 수 없는 경우도 있고, 그 경우에는, 임계값 WB_TH을 증가시키거나, 도 4a의 원점을 광원의 특성에 따라 시프트시켜도 된다. 본 연산결과에 의해, Mdata_wb은 Mdata_wb이 0에 가까울수록 화이트 밸런스의 적정도가 증가하고, Mdata_wb가 1보다도 클수록 최적의 화이트 밸런스로부터의 일탈이 증가하는 특성을 갖는 데이터가 될 것이다.
도 4c는, 횡축과 종축이 도 4b와 같은 것을 나타내는, Mdata_wb의 연산 방법의 또 다른 예를 나타낸 그래프다. 도 4c에서는, |WB_Vector|<WB_TH2가 충족되는 경우에는, Mdata_wb는 도 4b와 같은 방식으로 연산되고, 그렇지 않으면 |WB_Vector|이 변화되었을 때의 Mdata_wb의 변화량(게인)은 도 4b보다 크다. 이것은, 이하의 이유 때문이다. 촬상장치(100) 내부에서 행해지거나 PC의 화상 처리 소프트웨어 등을 이용해서 행해지는 화상 처리에 의해 화상의 색 레벨을 조정함으로써 다소의 색 차이(color deviation)를 용이하게 보정할 수 있다. 그렇지만, 화상의 색 차이가 큰 경우에는, 정지 화상으로서의 화질의 열화 정도가 커질 것이다. 예를 들면, 노이즈가 눈에 띄게 될 것이다.
도 5a 내지 도 10c을 참조해서 화상 흔들림의 메타데이터의 생성 방법에 대해서 상세하게 설명한다. 도 5a는, 화상 흔들림의 메타데이터를 생성하기 위한 블럭도의 일례다. 도 5a는, 도 1에 시스템 제어부(121) 내부의 처리를 추가함으로써 형성된 도면이며, 시스템 제어부(121) 외부의 기능 블록은, 도 1에서 설명한 기능 블록과 같다. 그러므로, 그것의 설명은 생략한다.
흔들림 보정량 연산부(201)는, 각속도 센서(120)에 의해 행해진 각속도 검출 결과에 의거하여 보정 광학계(102)의 구동 위치를 산출하고, 보정 광학계 구동부(107)에 구동 지시를 보낸다. 흔들림량 연산부(202)는, 각속도 센서(120)로부터의 출력에 의거하여, 촬상소자(105)의 전하 축적 시간 중의 촬상장치(100)에 가해진 흔들림량을 연산한다. 메타데이터 연산부(203)는, 흔들림 보정량 연산부(201)와 흔들림량 연산부(202)로부터의 출력에 의거하여, 메타데이터 생성부(113)에 전달되는 화상 흔들림의 메타데이터를 연산한다.
도 6은, 메타데이터의 연산 타이밍을 설명하기 위한 그래프다. 도 6은, 횡축을 시간, 종축을 촬상소자(105)의 각 라인마다의 전하 축적 및 판독의 타이밍으로 한 그래프이다. 도 6은 2프레임 화상의 동작 타이밍을 나타낸다. 설명을 이해하기 쉽게 하기 위해서, 2개의 프레임 화상을 프레임 화상 1 및 프레임 화상 2라고 칭하고, 여기서, 프레임 화상 1은 시간의 측면에서 프레임 화상 2보다 앞선다.
도 6에 있어서, 시간 T10은 촬상소자(105)의 프레임 1의 일단에 있는 라인에서 전하 축적이 시작되는 타이밍을 나타낸다. 전하의 축적은, 사선으로 음영이 있는 평행사변형의 좌측에 나타나 있는 바와 같이, 다른 단에 있는 라인을 향해서 순차 시계열로 진행한다. 시간 T11은 시간 T10에서 전하 축적이 시작된 라인으로부터 전하의 판독이 개시되는 타이밍을 나타내고, 시간 T11로부터 시작되는 굵은 선은, 각 라인으로부터의 전하의 판독이 이루어지는 타이밍을 나타낸다. 시간 T10과 T11의 사이의 시간은 셔터 속도가 된다. 시간 T12은, 프레임 1의 모든 라인에 대하여 전하 축적 및 판독이 종료한 타이밍을 나타낸다. 시간 T20, T21, T22은, 촬상소자(105)의 프레임 2에 대하여, 전하 축적 시작, 전하 판독 시작(즉, 전하 축적 완료), 및 전하 판독 완료의 각 타이밍을 나타낸다.
도 6은, 횡축이 시간을 나타내고, 종축이 촬상면 위에서의 이동 화소 수로 환산된 흔들림 보정량 연산부(201)로부터의 출력을 나타내는 그래프이며, 이 그래프는 시간에 의한 이동 화소 수의 변화를 나타낸다. 도 6의 실선은, 횡축이 시간을 나타내고, 종축이 촬상면 위에서의 이동 화소 수로 환산된 흔들림량 연산부(202)로부터의 출력을 나타내는 그래프이며, 이 그래프는 시간에 의한 이동 화소 수의 변화를 나타낸다.
도 6은, 보정 광학계(102)에 의해 화상 흔들림 보정이 어느 정도 행해졌는지를 나타낸다. 도 6의 실선은, 상기 프레임 1 및 프레임 2 각각의 전하 축적 시작으로부터 전하 판독 종료까지의 시간 중에, 촬상장치(100)에 생긴 흔들림량을 나타낸다. 그 때문에, 프레임 1의 흔들림량은 시간 T10로부터 변화하는 것을 시작하고, 시간 T12에서 변화하는 것을 종료하며, 프레임 2의 흔들림량은 시간 T20로부터 변화하는 것을 시작하고, 시간 T22에서 변화하는 것을 종료한다. 동화상의 흔들림량을 평가하기 위해서는, 프레임 1과 프레임 2와의 사이에 생기는 흔들림량, 즉, T10과 T12의 중간의 시간으로부터, T20과 T22의 중간의 시간에 생기는 흔들림량을 연산할 필요가 있다. 그렇지만, 본 실시예는, 동화상의 각 프레임으로부터 정지 화상을 생성하는 것에 관한 것이기 때문에, 각 프레임 화상을 생성하는 시간 내에서 생기는 흔들림량을 연산한다.
도 6에 나타낸 그래프를 비교하면, 프레임 1과 프레임 2에 대해서, 촬상장치(100)에 더해진 흔들림을 얼마나 정확하게 보정했는지를 알 수 있다. 프레임 1에 대해서는, 도 6의 점 A로부터 점 C까지의 흔들림 보정량의 변화의 궤적과 도 6의 프레임 1의 흔들림량의 변화의 궤적이 거의 일치하고 있어, 프레임 1의 최종적인 흔들림량은 작다. 한편, 프레임 2에 대해서는, 도 6의 점 B으로부터 점 D까지의 흔들림 보정량의 변환의 궤적과 도 6의 프레임 2의 흔들림량의 변화의 궤적은 이하의 이유 때문에 일치하지 않는다.
우선, 점 B의 종축의 좌표는, 점 A와는 달리 0이 아닌 B0이다. 그 때문에, 도 6의 T20로부터의 흔들림량의 변화의 궤적과 비교하기 위해서, 이 값 B0을 도 6에 나타낸 그래프로부터 감산할 필요가 있다. 이 감산을 행한 결과를, 도 6에서는 점선으로 표기한다. 도 6의 점선과 실선에는 차이가 있다. 이것은, 이하의 이유에 따른다. 동화상의 흔들림 보정의 경우에는, 보정한계까지 100%의 흔들림 보정을 계속하면 흔들림 보정을 행할 수 없고, 흔들림이 보정된 상태와 흔들림이 보정되지 않는 상태가 반복되어, 품질이 나쁜 화상이 된다. 이러한 상황을 회피하기 위해서, 보정 광학계(102)가 보정 한계에 근접할 때, 흔들림 보정량 연산부(201) 내부의 저주파수 대역 차단용의 필터의 차단 주파수를 변경하는 등의 제어를 행함으로써, 흔들림 보정 효과를 약화시켜서, 보정 광학계(102)를 연속적으로 계속해서 동작시키는 제어가 일반적으로 행해진다. 한편, 정지 화상의 흔들림 보정에 관해서는, 정지 화상 노광 중에, 보정한계까지, 가능한 한 100%에 가까운 흔들림 보정을 행하는 것이 요구된다. 이 동화상과 정지 화상의 흔들림 보정의 사고방식의 차이에 의해, 도 6에 나타낸 차이가 생긴다. 다시 말해, 프레임 2에 대해서는, 정지 화상의 흔들림 보정의 경우에 도 6의 실선의 궤적에 따라 보정 광학계(102)를 제어하는 것이 바람직하지만, 보정 광학계(102)는 동화상의 흔들림 보정의 경우에 점선의 궤적에 따라 제어된다. 이들 양자의 차이가 프레임 2의 흔들림량이다.
도 7a에 나타낸 그래프에서는, 횡축은 촬상소자(105)의 횡방향의 흔들림량을 나타내고, 종축은 종방향의 흔들림량(단위는 화소)을 나타낸다. 도 6에 나타낸 그래프가, 촬상소자(105)의 횡방향 혹은 종방향 중의 어느 한쪽의 흔들림 보정량과 흔들림량을 나타내고 있다고 가정하면, 프레임 2의 하나의 축의 최종적인 흔들림량은 도 6에 나타낸 Shake_Amount이다. 종축과 횡축 양쪽의 축에서 흔들림량을 연산하면, 동화상의 각 프레임의 흔들림량을, 도 7a에 나타나 있는 바와 같이 이차원의 좌표계에 표현할 수 있다. 이 이차원 좌표계에서의 흔들림의 벡터를 Shake_Vector라고 정의한다. 당연히, Shake_Vector의 좌표점이 원점에 가까울수록, 흔들림이 작아진다.
도 7b 및 도 7c는 횡축을 Shake_Vector의 크기로 하고, 종축을 생성되는 메타데이터 Mdata_shake로 한 그래프의 일례이다. 이미 상기에 설명한 바와 같이, 횡축에 관해서는, 값이 커질수록 화상의 흔들림량이 커진다. 도 7b에 있어서, Mdata_shake는, 이하의 식으로 연산한다.
Mdata_shake=|shake_Vector|/shake_TH
즉, 촬상소자(105) 위에서의 흔들림량을 소정의 임계값 Shake_TH에 대해서 정규화하고 있다. 여기에서, Shake_TH는, 흔들림량의 허용값으로서 정의된다. 흔들림량의 허용값은 촬상소자(105)의 화소 수와 촬영 광학계의 해상도 등에 의존해서 폭넓게 변하기 때문에, 허용값을 고정시켜 결정하는 것이 곤란하다. 그렇지만, 예를 들면, 허용값을, 허용가능한 착란 원의 직경의 값이라고 정의해도 된다. 또한, 유저가 허용값을 임의로 설정해도 된다. 본 연산결과에 의해, Mdata_shake는 Mdata_shake가 0에 가까울수록 화상의 흔들림량이 감소하고, 정지 화상으로서의 화상의 적정도가 증가하며, Mdata_shake이 1보다도 클수록 화상의 흔들림량이 증가하는 특성을 갖는 데이터가 될 것이다.
도 7c는, 횡축과 종축이 도 7b와 같은 것을 나타내는, Mdata_shake의 연산 방법의 떠 다른 예를 나타내는 그래프다. 도 7c에서는, |Shake_Vector|<Shake_TH2의 경우에는, Mdata_shake을 도 7b와 같은 방식으로 연산한다. 그러나, 그 이외의 경우에는, |Shake_Vector|이 변화되었을 때의 Mdata_shake의 변화량(게인)을 도 7b보다 크게 한다. 이것은, 이하의 이유에 따른다. 촬상장치(100) 내부에서 행해지거나 PC의 화상 처리 소프트웨어 등을 이용해서 행해지는 화상 처리에 의해, 다소의 흔들림을 공지의 화상 복원 기술 등을 이용해서 용이하게 보정할 수 있다. 그렇지만, 흔들림이 큰 화상에서는, 의사윤곽 등이 눈에 뜨이게 되고, 정지 화상으로서의 화질의 열화 정도가 커질 것이다.
도 8a 내지 8c의 그래프를 참조하여, Mdata_shake의 연산 방법의 또 다른 예에 관하여 설명한다. 도 7a 내지 7c에 있어서는, 흔들림 보정량 연산부(201)에서 보정한 흔들림 보정량과 흔들림량 연산부(202)에서 검출한 흔들림량과의 모든 전하 판독 완료 시점에서의 차분을 사용하여, Mdata_shake의 연산을 행한다. 대부분의 경우에는, 이 연산 방법으로 동화상의 각 프레임의 흔들림량을 표현할 수 있다. 그렇지만, 도 8a에 나타나 있는 바와 같이, 정확하게 흔들림량을 표현할 수 없는 경우도 있다. 도 8a는, 횡축과 종축이 도 7b와 같은 것을 나타내는, 촬상소자(105)에 대한 전하 축적 시작으로부터 전하 판독 완료까지의, 촬상면 위에서의 흔들림량의 변화의 궤적의 예를 나타낸 그래프다. 도 8a에 나타낸 예에서는, 점 A0는 모든 전하 판독 완료를 나타내며, 원점 O에 가까운 점이다. 그렇지만, 변화의 궤적은 점 A0보다 원점 O로부터 더 떨어져 있는 좌표점을 통과하고 있다. 셔터 속도가 빠를 경우에는 그러한 변화의 궤적의 발생 빈도가 대단히 적지만, 셔터 속도가 늦어짐에 따라서, 이러한 발생 빈도가 증가한다. 이러한 궤적을 취하면, 모든 전하 판독 완료 시점을 나타내는 점 A0으로 동화상의 각 프레임의 흔들림량을 정확하게 표현할 수 없다.
이러한 문제의 관점에서, 상기 Shake_Amount를 대신하는 흔들림량의 연산 방법을 도 8b을 참조하여 설명한다. 도 8b에 나타낸 그래프는, 소정 간격마다 점 A1-A7를 취한 도 8a에 나타낸 흔들림량의 변화의 궤적의 플롯(plot)이다. 그리고, 흔들림량의 연산식을 이하의 식과 같다.
|A1-O|+|A2-A1|+|A3-A2|+|A4-A3|+|A5-A4|+|A6-A5|+|A7-A6| ...식1
식1은, 전하 축적 시작으로부터 모든 전하 판독 완료까지 소정 간격마다 촬상면 위에서의 흔들림량의 총 합(적분값)을 나타낸다. 식1에 의하면, 흔들림량의 변화의 궤적의 전체 이동 거리를 산출할 수 있고, 동화상의 각 프레임의 흔들림량을 정확하게 표현할 수 없는 문제를 회피할 수 있다. 또한, 도 7b 및 도 7c에 있어서, 식1에 의한 연산 결과를 |Shake_Vector|로 교체함으로써, Mdata_shake를 산출할 수 있다.
상기 Shake_Amount를 대신하는 흔들림량의 연산 방법의 또 다른 예를 도 8c을 참조하여 설명한다. 도 8c는, 도 8b의 원점 O로부터 점 A2까지의 흔들림량의 변화의 궤적을 확대 표시한 그래프다. 도면에 나타나 있는 바와 같이, 횡축과 벡터 A1-O가 이루는 각도를 θ0이라고 하고, 횡축과 벡터 A2-A1이 이루는 각도를 θ1이라고 하며, 벡터 A1-O와 벡터 A2-A1과의 상대 각도를 θ2라고 하면, θ2=θ0-θ1이 충족된다. 흔들림량의 화상평면에서의 벡터의 궤적이 직선에 가까울 경우, 촬상장치(100) 내부에서 행해지거나 PC의 화상 처리 소프트웨어 등을 이용해서 행해지는 화상 처리로 흔들림이 없는 화상을 복원하는 것은 비교적 용이하다. 그렇지만, 궤적이 더 복잡할수록, 복원은 더 어려워진다. 따라서, 소정 시간마다(즉, 단위 시간당)의 촬상면 위에서의 흔들림량의 총 합을 산출할 때에, 차분 벡터의 각도 변화 θ2가 커짐에 따라 값이 커지는 게인을 승산하는 처리를 행함으로써, 복원의 어려움을 고려한 데이터를 형성할 수 있다. 예를 들면, |A1-O|에 대하여 |A2-A1|을 가산할 때에, 이하와 같은 연산을 행하면 된다.
|A1-O|+|A2-A1|(1+sinθ2)
본 식에 의하면, θ2가 0deg일 때는 sinθ2=0이며, θ2이 90deg일 때는 sinθ2=1이 된다. 이와 같이, θ2의 크기에 따른 게인을 설정할 수 있다. 본 연산을 전하 축적 시작으로부터 모든 전하 판독 완료까지 행하고, 그 연산결과를 도 7b 혹은 도 7c의 |Shake_Vector|로 교체함으로써, 흔들림의 복원의 용이함까지 고려한 Mdata _shake를 취득할 수 있다.
Mdata_shake의 연산 방법의 또 다른 예에 관하여 설명한다. 도 5b는, 흔들림의 메타데이터를 생성하기 위한 블럭도의 일례다. 도 5b는, 도 5a에 대하여 기능블록 301 내지 303을 블록을 추가한 것이기 때문에, 다른 블록에 관한 설명은 생략한다.
움직임 벡터 검출부(303)는, 신호 처리부(111)에서 생성된 현재의 화상 신호에 포함되는 휘도신호와, 움직임 벡터 검출부(303) 내부의 화상 메모리에 기억된 이전 프레임의 화상신호에 포함되는 휘도신호에 의거하여, 화상의 움직임 벡터를 검출한다. 움직임 벡터 검출부(303)에 의해 검출된 움직임 벡터는, 패닝 판정부(301) 및 패닝 속도 연산부(302)에 공급된다. 또한, 움직임 벡터 검출부(303)는 필수적인 구성은 아니다.
패닝 판정부(301)는, 각속도 센서(120) 혹은 움직임 벡터 검출부(303)로부터의 출력에 의거하여, 촬상장치(100)가 패닝 상태에 있는지 아닌지의 여부를 판정한다. 패닝 속도 연산부(302)는, 패닝 판정부(301)에 의해 촬상장치(100)가 패닝 상태에 있다고 판정될 때는 현재의 패닝 속도를 연산하고, 그 패닝 속도를 흔들림량 연산부(202)에 공급한다. 촬상장치(100)가 패닝 상태가 아니라고 판정할 때는, 패닝 속도는 0로 설정된다. 패닝 속도의 연산은, 각속도 센서(120)로부터의 출력 혹은 움직임 벡터 검출부(303)로부터의 출력 중 하나, 또는 그 양쪽에 근거해서 행해진다. 흔들림 보정량 연산부(202)는, 패닝 속도 연산부(302)에 의해 연산된 패닝 속도를 고려한 흔들림량의 연산을 행한다.
동화상의 촬영에 있어서는, 정지 화상 촬영과는 달리 패닝 동작이 빈번히 행해진다. 주피사체가 이동하고 있는 경우에, 주피사체가 화면의 중앙부근에 남아 있도록 촬영이 빈번히 행해진다. 그러한 경우에, 전술한 촬상면 위에서의 흔들림량을 정규화해서 메타데이터로서 그 결과를 유지하는 방법만을 사용하면, 패닝을 행하고 있는 동안은, 항상 흔들림량이 큰 것을 나타내는 데이터가 되어버린다. 동화상 촬영 중에 주피사체의 움직임과 동기해서 패닝을 행하는 경우에는, 그 상황이 정지 화상의 촬영 중에 행해진 패닝과 같기 때문에, 패닝을 행하고 있는 동안의 모든 프레임 화상이 흔들림량이 크다고 판정되는 것은 적절하지 않다.
이 이유 때문에, 패닝 판정부(301)는 우선 촬상장치(100)가 패닝 상태에 있는지 아닌지의 여부를 판정한다. 패닝에 관한 판정에는 공지의 기술을 사용해도 된다. 예를 들면, 각속도 센서(120)로부터의 출력 혹은 움직임 벡터 검출부(303)로부터의 출력, 또는 이들 출력의 총 합(즉, 적분값)이 소정값을 초과했을 때, 패닝이 행해지고 있다고 판정하는 방법이 있다.
패닝 속도 연산부(302)는, 패닝 속도를 연산한다. 패닝 속도는, 각속도 센서(120)로부터의 출력을 평균화함으로써 취득될 수 있다. 또한, 움직임 벡터 검출부(303)로부터의 출력을 사용해도 된다. 움직임 벡터 검출부(303)로부터의 출력을 사용한 패닝 속도의 연산 방법에 대해서, 도 9a 및 9b를 참조하여 설명한다. 도 9a는, 화면 중앙에서 이동하고 있는 탈것을 화면 중앙에 유지하도록 촬영하고 있는 화상을 나타낸다. 움직임 벡터 검출에는 화상을 복수의 블록으로 분할하고, 각 블록마다 움직임 벡터를 산출하는 블록 매칭법을 사용하는 것으로 한다. 점선은 움직임 벡터 검출을 행하는 각 블록을 정의한다.
도 9b에서는, 각 블록에 있어서의 움직임 벡터 검출의 결과를, 화살표의 방향과 크기로 나타낸다. 굵은 선 박스 내의 움직임 벡터는, 탈것의 움직임 벡터를 나타내고, 굵은 선 박스 밖의 움직임 벡터는, 탈것 이외의 배경 영역의 움직임 벡터를 나타낸다. 배경 영역의 움직임 벡터의 평균값을 Vector_Back이라고 하고 탈것의 영역의 움직임 벡터의 평균값을 Vector_Car라고 하면, 패닝 속도는, Vector_Back-Vector_Car로 연산할 수 있다. 상기 식은, 탈것의 영역의 움직임 벡터를 0으로 하기 위한 패닝 속도를 연산하기 위한 것이다. 탈것의 영역의 움직임 벡터가 제로인 경우에는, 탈것의 움직임에 대하여 촬영이 100% 추종하고 있는 것을 나타내고, 거의 이상적인 패닝이 행해지고 있다고 말할 수 있다.
도 10a 내지 10c를 참조하여, 도 5b에 나타낸 흔들림량 연산부(202)에 있어서의 패닝 속도를 고려한 흔들림량의 연산에 관하여 설명한다. 도 10a는, 횡축을 시간이라고 하고, 종축을 각속도라고 했을 때의, 각속도 센서(120)로부터의 출력(실선), 패닝 속도 연산부(302)에 의해 연산되는 패닝 속도(점선)를 나타낸 그래프다. 도 10a는, 촬상장치(100)가 패닝되고 있을 때의 그래프를 나타내고, 각속도 센서(120)의 출력은 패닝 속도에 대하여 주파수가 높은 각속도 신호가 중첩된 파형을 갖는다.
여기에서, 시간 T30을 촬상소자(105)에 의한 전하 축적 시작의 타이밍이라고 하고, 시간 T31을 모든 전하 판독 완료의 타이밍이라고 한다. 이때, 도 6을 참조해서 설명한, 패닝 속도를 고려하지 않는 방법으로 흔들림량의 연산을 행하면, 그 결과는 도 10b에 나타낸 그래프가 된다. 도 10a는 패닝 속도가 항상 존재하는 경우를 나타내는 그래프이기 때문에, 이 그래프를 적분해서 흔들림량을 산출하면, 촬상장치(100)의 움직임이 적분되고, 그 결과는 도 10b에 도시한 바와 같이 매우 큰 양이 된다. 보정 광학계(102)는, 보통 패닝 움직임을 보정하지 않도록 제어를 행하기 때문에, 도 10b에 나타낸 흔들림량과 흔들림 보정량 연산부(201)로부터의 출력과의 차분에 의거하여 연산되는 메타데이터 Md ata_shake도 큰 값을 갖는다.
한편, 도 10c는, 각속도 센서(120)의 출력으로부터 패닝 속도를 감산한 결과를 적분하여 흔들림량을 산출한 그래프다. 도 10c는, 패닝의 움직임 성분을 제외한 흔들림량을 나타낸다. 보정 광학계(102)는, 보통 패닝 움직임을 보정하지 않도록 제어를 행하기 때문에, 도 10c에 나타낸 흔들림량과 흔들림 보정량 연산부(201)로부터의 출력은 유사하기 때문에, 양자의 차분에 의거하여 연산되는 메타데이터 Mdata_shake는 작은 값을 가질 것이다.
이것에 의해, 유저가 패닝을 행했을 경우에, 항상 Mdata_shake가 큰 값을 갖고, 흔들림이 크다고 판정되는 현상의 발생을 회피할 수 있다. 또한, 주피사체가 존재하지 않고, 풍경만을 패닝해서 촬영하는 경우에는, 그 경우가 상술한 정지 화상 촬영의 패닝과는 다르며, 각 프레임 화상은 단순하게 풍경이 흔들린 화상을 나타낸다. 이러한 경우에는, 패닝 판정부(301)는 흔들림이 패닝의 결과가 아니라고 판정함으로써 화상의 흔들림이 큰 것인데도 불구하고 작다고 판정되는 현상의 발생을 막을 수 있다. 이 판정은, 도 9a 및 9b에서 설명한 움직임 벡터를 사용함으로써 달성될 수 있다. 예를 들면, 화면 전체의 움직임 벡터가 같은 방향을 향하고 있는 경우에는, 이 화상을, 주피사체의 움직임을 추종하기 위해 행해진 패닝에 의해 촬영된 화상이 아니라고 판단할 수 있다.
여기까지는, 보정 광학계(102) 및 촬상소자(105)를 구동하는 기구가 있다는 것을 전제로 설명해 왔다. 이러한 흔들림을 광학적으로 보정하는 수단을 가지고 있지 않은 촬상장치의 경우에는, 도 5a 및 도 5b에 나타낸 구성에 흔들림 보정량 연산부(201)가 포함되어 있지 않다. 그 때문에, 그러한 경우에는, Mdata_shake의 연산이, 흔들림량 연산부(202)로부터의 출력만을 이용해서 행해지고, 그 이외의 연산 방법은 흔들림을 광학적으로 보정하는 수단이 있는 경우와 같다.
다음에, 유저가 동화상의 프레임 중에서 최적의 정지 화상을 선택할 수 있게 하기 위한, 상기 4종류의 메타데이터, 즉 Mdata_focus, Mdata_exposure, Mdata_wb, Mdata_shake의 이용방법의 예에 관하여 설명한다.
우선, 도 11은 유저가 동화상 데이터로부터 정지 화상을 생성할 때까지의 처리를 나타내는 플로차트를 나타낸다. 스텝 S100은 유저 조작이며, 유저가 촬상장치(100)의 조작부재(도면에 나타내지 않는다)를 조작하고, 촬영된 동화상으로부터 정지 화상을 생성하기 위한 모드를 설정하며, 정지 화상을 생성하기 위해 사용된 동화상을 선택했을 때 본 플로차트로 나타낸 처리가 개시된다. 스텝 S101에서는, 시스템 제어부(121)는 스텝 S100에서 선택된 동화상의 전 프레임의 메타데이터를 판독한다. 스텝 S102에서는, 스텝 S101에서 판독한 메타데이터를 사용하여, 유저가 최적의 정지 화상을 선택하기 위한 어시스트 기능을 제공한다. 스텝 S103은 유저 조작이며, 스텝 S102의 기능을 이용하여, 유저에 의해 정지 화상을 생성하기 위해 사용되는 프레임이 결정된다. 스텝 S104에서는, 스텝 S103에서 유저에 의해 결정된 프레임 화상으로부터, 1장의 정지 화상을 생성하는 디코딩과, 디코딩된 화상을 JPEG 기술로 압축하는 인코딩이 행해진다. 스텝 S105에서는, 스텝 S104에서 생성된 정지 화상이, 기록 매체(114)에 기록된다. 스텝 S105의 처리 후에, 본 플로차트의 처리는 종료된다.
스텝 S102의 어시스트 기능의 예를, 이하에 나타낸다. 가장 단순한 예로서는, 도 12에 나타낸 바와 같이, Mdata_focus, Mdata_exposure, Mdata_wb, Mdata_shake의 수치를, 다이아몬드형의 그래프로 동화상의 재생과 동시에 표시 디바이스(112)에 표시하는 방법을 들 수 있다. 유저는, 동화상의 재생시에, 모든 수치가 가장 내측의 다이아몬드에 가깝게 배치되어 있는 프레임 화상을 선택함으로써 정지 화상으로서 최적인 프레임을 선택할 수 있다.
촬상장치(100)가, 메타데이터가 나타내는 평가 스코어(score)가 높은 화상을 자동으로 선택하는 또 다른 방법도 있다. 또한, 평가 스코어가 높은 순으로 프레임 화상을 순차적으로 표시 디바이스(112)에 표시하여, 유저가 우선적으로 평가 스코어가 높은 프레임 화상을 선택할 수 있거나, 평가 스코어가 높은 프레임 화상에 착색한 외곽선을 가해서 프레임 화상을 강조 표시할 수도 있다. 평가 스코어가 높은 프레임 화상이 연속해서 발생하면, 비슷한 화상이 추출될 것이다. 이러한 상황을 회피하기 위해서, 공지의 씬 전환 검출의 기술을 이용하여, 각 씬에 대해서 1장의 프레임 화상을 선택해도 된다. 또한, 공지의 얼굴 인식 기술을 이용하여, 특정한 인물의 얼굴을 캡쳐한 화상 중에서, 메타데이터로 나타낸 평가 스코어가 높은 화상을 자동으로 선택해도 된다.
여기에서, 4개의 메타데이터에 근거해서 최종적인 평가 스코어를 결정하는 방법의 예에 관하여 설명한다. 가장 단순한 예는, 4개의 메타데이터, 즉 Mdata_focus, Mdata_exposure, Mdata_wb, Mdata_shake의 값의 합을 이용하는 것이다. 수치가 0에 가까울수록 평가 스코어가 높고, 수치가 증가할수록 평가 스코어가 감소한다. 또한, 4개의 메타데이터의 값을 서로 곱해도 된다. 수치가 1보다 작을수록 평가 스코어가 높고, 수치가 증가할수록 평가 스코어가 감소한다. 또한, 유저가 가중을 결정할 수 있게 해도 된다. 예를 들면, 유저가 고의로 노출을 최적의 값과 다르게 하거나, 고의로 색을 변경할 가능성도 있다. 이러한 가능성을 고려해서, 노출을 최적의 노출로부터 일탈시키는 것을 평가 대상으로부터 제외시켜도 되고, 예를 들면, WB의 평가에 대해서는 Mdata_wb에 1보다 작은 계수를 곱한 값을 사용해도 된다.
이와 같이, 4개의 메타데이터를 다양한 형태로 사용하는 것에 의해, 유저가 동화상의 프레임 중에서 정지 화상으로서 최적인 화상을 용이하게 선택할 수 있는 다양한 시스템을 제공할 수 있다.
이상 설명한 바와 같이, 본 실시예는, 정지 화상으로서 적절한 화상인지 아닌지를 판단하기 위한 메타데이터로서 사용되는, 포커스의 일탈, 노출의 일탈, WB의 일탈, 및 흔들림을 나타내는 4종류의 카메라 파라미터에 대해서, 각 파라미터의 특성을 고려하는 최적의 연산 방법을 나타낸다. 또한, 이들 4종류의 카메라 파라미터에 대해서, 동화상 촬영시의 각 프레임마다 허용값에 대하여 허용값으로부터의 일탈량을 정규화하고, 동화상의 각 프레임과 관련지어서 결과를 기록한다. 이것에 의해, 이들 4종류의 파라미터를 같은 척도로 평가할 수 있고, 어느 프레임 화상이 정지 화상으로서 최적인지를, 유저에게 통지할 수 있게 된다. 그 결과, 유저는 용이하게 동화상으로부터 최적의 정지 화상을 생성할 수 있다.
이상, 본 발명을 그것의 바람직한 실시예에 의거하여 상세하게 설명해 왔지만, 본 발명은 특정의 실시예에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위의 다양한 형태도 본 발명의 범위에 포함된다. 예를 들면, 상기의 4종류의 파라미터 모두를 생성할 필요는 없고, 본 발명은 이들 파라미터 중의 적어도 하나를 이용하는 시스템이어도 된다.
그 밖의 실시예
본 발명의 추가 실시예(들)는, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체(예를 들면, '비일시 컴퓨터 판독가능한 기억매체') 상에 기록된 컴퓨터 실행가능한 명령들(예를 들면, 1개 이상의 프로그램)을 판독 및 실행하고, 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로(예를 들면, ASIC(Application Specific Integrated Circuit))를 포함하는 시스템 또는 장치의 컴퓨터에 의해서 실현될 수 있고, 또 예를 들면, 상술한 실시예(들) 중의 하나 또는 그 이상의 기능을 행하도록 기억매체로부터 컴퓨터 실행가능한 명령들을 판독 및 실행함으로써 및/또는 상술한 실시 예(들) 중의 하나 또는 그 이상의 기능을 수행하는 1개 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 행해진 방법에 의해서도 실현될 수 있다. 이 컴퓨터는 CPU(Central Processing Unit), MPU(Micro Processing Unit), 또는 다른 회로 중 하나 또는 그 이상을 구비할 수도 있고, 독립된 컴퓨터 또는 독립된 컴퓨터 프로세서의 네트워크를 포함할 수도 있다. 이 컴퓨터 실행가능한 명령들은 예를 들면, 네트워크 또는 기억매체로부터 컴퓨터에 제공될 수도 있다. 이 기억매체는 예를 들면, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산 컴퓨팅 시스템의 스토리지, 광디스크(컴팩트 디스크(CD), DVD(digital versatile disc), Blue-ray Disc(BD)TM 등), 플래시 메모리 디바이스, 메모리 카드 중 어느 하나 또는 그 이상을 포함할 수도 있다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (11)

  1. 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하도록 구성된 제1 산출 유닛과,
    상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 정지 화상용의 흔들림 보정량을 산출하도록 구성된 제2 산출 유닛과,
    상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하도록 구성된 생성 유닛과,
    상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하도록 구성된 기록 유닛을 구비하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 화상처리장치는, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 차분에 근거해서 촬상소자의 촬상면 위에 있어서의 흔들림량을 나타내는 평가값을 생성하는, 화상처리장치.
  3. 제 1 항에 있어서,
    상기 평가값들에 관한 정보를 상기 동화상의 프레임의 화상들과 관련지어서 표시하도록 구성된 표시 유닛을 더 구비하는, 화상처리장치.
  4. 제 1 항에 있어서,
    상기 동화상용의 흔들림 보정량을 이용해서 광학적인 흔들림 보정 유닛을 제어하도록 구성된 제어 유닛을 더 구비하는, 화상처리장치.
  5. 제 1 항에 있어서,
    상기 생성 유닛은, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량 사이의 단위 시간당의 차분의 적분값으로서 상기 프레임 화상들의 각각의 흔들림량을 정의하고, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량 사이의 단위 시간당의 차분의 벡터의 각도 변화가 증가할수록 상기 적분값이 증가하도록 상기 프레임 화상들의 각각의 흔들림량을 산출하는, 화상처리장치.
  6. 제 1 항에 있어서,
    패닝이 행해지고 있는지 아닌지 여부를 판정하도록 구성된 판정 유닛을 더 구비하고,
    상기 판정 유닛에 의해 패닝이 행해지고 있다고 판정되었을 경우, 상기 생성 유닛은, 상기 흔들림 검출 유닛으로부터의 출력에 의거하여 패닝 속도를 산출하고, 상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량으로부터 상기 패닝의 움직임량을 감산해서 상기 프레임 화상들의 각각의 흔들림량을 나타내는 데이터를 취득하는, 화상처리장치.
  7. 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하도록 구성된 제1 산출 유닛과,
    상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 상기 동화상용의 흔들림 보정량보다도 방진(anti-shake) 성능이 높은 흔들림 보정량을 산출하도록 구성된 제2 산출 유닛과,
    상기 동화상용의 흔들림 보정량과, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하도록 구성된 생성 유닛과,
    상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하도록 구성된 기록 유닛을 구비하는, 화상처리장치.
  8. 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하는 제1 산출 단계와,
    상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 정지 화상용의 흔들림 보정량을 산출하는 제2 산출 단계와,
    상기 동화상용의 흔들림 보정량과 상기 정지 화상용의 흔들림 보정량과의 비교 결과에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하는 생성 단계와,
    상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하는 기록 단계를 포함하는, 화상처리장치의 제어 방법.
  9. 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서 동화상용의 흔들림 보정량을 산출하는 제1 산출 단계와,
    상기 흔들림 검출 유닛으로부터 출력되는 흔들림 신호를 이용해서, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량을 산출하는 제2 산출 단계와,
    상기 동화상용의 흔들림 보정량과, 상기 동화상용의 흔들림 보정량보다도 방진 성능이 높은 흔들림 보정량에 근거해서, 상기 동화상의 프레임 화상들 중에서 정지 화상을 추출하기 위해서 사용되는 지표로서 기능하는 평가값들을 생성하는 생성 단계와,
    상기 동화상의 프레임 화상들과 상기 평가값들을 관련지어서 기록하는 기록 단계를 포함하는, 화상처리장치의 제어 방법.
  10. 청구항 8에 기재된 방법의 각 단계를 컴퓨터에 실행시키기 위한 프로그램을 내부에 기억하는 컴퓨터 판독 가능한 기억매체.
  11. 청구항 9에 기재된 방법의 각 단계를 컴퓨터에 실행시키기 위한 프로그램을 내부에 기억하는, 컴퓨터 판독 가능한 기억매체.
KR1020150088187A 2014-06-27 2015-06-22 화상처리장치 및 그 제어 방법 KR101847392B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-133246 2014-06-27
JP2014133246A JP6355454B2 (ja) 2014-06-27 2014-06-27 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
KR20160001655A true KR20160001655A (ko) 2016-01-06
KR101847392B1 KR101847392B1 (ko) 2018-04-10

Family

ID=53784861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150088187A KR101847392B1 (ko) 2014-06-27 2015-06-22 화상처리장치 및 그 제어 방법

Country Status (6)

Country Link
US (1) US9723208B2 (ko)
JP (1) JP6355454B2 (ko)
KR (1) KR101847392B1 (ko)
CN (1) CN105323465B (ko)
DE (1) DE102015110326A1 (ko)
GB (2) GB2533237B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6355454B2 (ja) 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6674264B2 (ja) * 2016-01-26 2020-04-01 キヤノン株式会社 像振れ検出装置及び方法、及び撮像装置
JP6679333B2 (ja) * 2016-02-05 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111028188B (zh) * 2016-09-19 2023-05-02 杭州海康威视数字技术股份有限公司 分光融合的图像采集设备
CN108333848A (zh) * 2017-01-19 2018-07-27 日本电产三协电子(东莞)有限公司 带抖动修正功能光学设备的抖动修正特性评价装置
US10666955B2 (en) * 2017-02-23 2020-05-26 Panasonic Intellectual Property Management, Co., Ltd. Still image generating apparatus and information recording medium used in still image generating apparatus
CN108881703B (zh) * 2017-05-09 2020-07-21 杭州海康威视数字技术股份有限公司 防抖控制方法和装置
JP2019109813A (ja) * 2017-12-20 2019-07-04 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
EP3952276B1 (en) * 2019-03-28 2024-03-27 Sony Group Corporation Image processing device, image processing method, and program
CN111432118B (zh) * 2020-03-26 2021-08-17 Oppo广东移动通信有限公司 图像防抖处理方法、装置、电子设备和存储介质
JPWO2022019197A1 (ko) * 2020-07-21 2022-01-27
CN112272297B (zh) * 2020-10-28 2023-01-31 上海科江电子信息技术有限公司 嵌入在解码器端的图像质量静止帧检测方法
JP2023060430A (ja) * 2021-10-18 2023-04-28 キヤノン株式会社 撮像装置の振れ補正効果の評価方法、評価装置およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385769B2 (ja) * 2004-01-13 2009-12-16 ソニー株式会社 撮像装置
JP2005283965A (ja) * 2004-03-30 2005-10-13 Pentax Corp ブレ量表示装置
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4911997B2 (ja) * 2006-03-08 2012-04-04 パナソニック株式会社 撮像装置
JP5105844B2 (ja) * 2006-12-05 2012-12-26 キヤノン株式会社 撮像装置及び方法
JP2010252078A (ja) * 2009-04-16 2010-11-04 Canon Inc 撮像システム
JP5407547B2 (ja) * 2009-05-20 2014-02-05 リコーイメージング株式会社 撮像装置
JP2011023812A (ja) * 2009-07-13 2011-02-03 Nikon Corp 画像記録装置及び画像表示装置
JP2011022353A (ja) * 2009-07-15 2011-02-03 Canon Inc ブレ補正装置
JP2011137996A (ja) * 2009-12-28 2011-07-14 Canon Inc レンズ装置
JP5600516B2 (ja) * 2010-08-09 2014-10-01 キヤノン株式会社 撮像装置
JP5269034B2 (ja) * 2010-10-19 2013-08-21 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP5868060B2 (ja) * 2011-08-02 2016-02-24 キヤノン株式会社 像ぶれ補正装置および方法、並びに光学機器、撮像装置
US8896713B2 (en) * 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
JP5809906B2 (ja) * 2011-09-22 2015-11-11 オリンパス株式会社 画像読出し装置及び画像処理システム
JP2013229856A (ja) * 2012-03-28 2013-11-07 Panasonic Corp 画像処理装置、撮像装置、サーバ装置およびコンピュータプログラム
JP2013232696A (ja) * 2012-04-27 2013-11-14 Canon Inc 記録再生装置
JP6355454B2 (ja) * 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
GB2528382A (en) 2016-01-20
CN105323465A (zh) 2016-02-10
JP6355454B2 (ja) 2018-07-11
JP2016012811A (ja) 2016-01-21
GB201603183D0 (en) 2016-04-06
GB201510614D0 (en) 2015-07-29
GB2528382B (en) 2016-12-21
GB2533237A (en) 2016-06-15
GB2533237B (en) 2017-03-08
CN105323465B (zh) 2019-03-12
KR101847392B1 (ko) 2018-04-10
DE102015110326A1 (de) 2015-12-31
US9723208B2 (en) 2017-08-01
US20150381893A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
KR101847392B1 (ko) 화상처리장치 및 그 제어 방법
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US9635258B2 (en) Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method
US10298853B2 (en) Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
US11223774B2 (en) Imaging apparatus, lens apparatus, and method for controlling the same
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
US10482580B2 (en) Image processing apparatus, image processing method, and program
US11405556B2 (en) Processing device for processing shake detection signal and control method therefor
CN104683688A (zh) 摄像装置和摄像方法
US9690167B2 (en) Image shake correcting device and control method therefor, lens barrel, optical apparatus, and image pickup apparatus
JP6305290B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP6541835B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2015031743A (ja) 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016142999A (ja) 撮像装置及びその制御方法
JP5618765B2 (ja) 撮像装置及びその制御方法
JP5780752B2 (ja) 自動焦点調整装置及び自動焦点調整方法
US20190094656A1 (en) Imaging apparatus and control method of the same
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP2020077964A (ja) 撮像装置およびその制御方法
JP2014131188A (ja) 撮像装置、その制御方法、および制御プログラム
JP6465553B2 (ja) 撮像装置およびその制御方法
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
US11956538B2 (en) Image capturing apparatus that performs blur correction and method of controlling same
JP6272006B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5310315B2 (ja) 画像処理回路、画像処理方法及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant