KR20120007948A - 전자 카메라, 화상 처리 장치 및 화상 처리 방법 - Google Patents

전자 카메라, 화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20120007948A
KR20120007948A KR1020107028848A KR20107028848A KR20120007948A KR 20120007948 A KR20120007948 A KR 20120007948A KR 1020107028848 A KR1020107028848 A KR 1020107028848A KR 20107028848 A KR20107028848 A KR 20107028848A KR 20120007948 A KR20120007948 A KR 20120007948A
Authority
KR
South Korea
Prior art keywords
image
conversion
conversion parameter
unit
area
Prior art date
Application number
KR1020107028848A
Other languages
English (en)
Inventor
야스노리 이시이
유스케 모노베
야스노부 오구라
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20120007948A publication Critical patent/KR20120007948A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Abstract

촬영 환경이 변화하는 경우여도 대상물의 상을 안정적으로 추적한다.
화상 처리 장치(10)는, 초기 영역에 관한 정보와 제1 화상의 촬영 환경에 대응하는 제1 변환 파라미터를 기억하는 기억부(17)와, 제2 화상의 촬영 환경에 따라 제2 변환 파라미터를 산출하는 변환 파라미터 산출부(12)와, 제1 변환 파라미터와 제2 변환 파라미터를 이용하여 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부(13)와, 제1 화상 변환부(13)에 의한 변환 후의 화상을 이용하여 초기 영역의 특징량과 유사한 특징량을 갖는 영역을 탐색함으로써 대상물의 상을 추적하는 추적 처리부(15)와, 연속적으로 촬영된 화상간에 있어서의 변화량이 제2 변환 파라미터보다 억제된 제3 변환 파라미터를 이용하여 제2 화상을 변환하는 제2 화상 변환부(14)와, 제2 화상 변환부(14)에 의한 변환 후의 화상과 탐색 결과를 출력하는 출력부(16)를 구비한다.

Description

전자 카메라, 화상 처리 장치 및 화상 처리 방법{ELECTRONIC CAMERA, IMAGE PROCESSING APPARATUS, AND IMAGE PROCESSING METHOD}
본 발명은, 전자 카메라, 화상 처리 장치 등에 관한 것으로, 특히, 입력 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 전자 카메라, 화상 처리 장치 등에 관한 것이다.
최근, 전자 카메라는, AF(오토 포커스 : Auto-Focus), AE(자동 노출 : Automatic Exposure) 또는 역광 보정 기능의 위치 맞춤 수단으로서 물체 추적 기능을 갖는다. 또한, 전자 카메라란, 정지화상을 촬영하는 카메라 또는 동화상을 촬영하는 카메라이다.
예를 들면, 전자 카메라는, 지정된 대상물의 상의 색 정보를 초기 특징량으로서 등록한다. 그리고, 전자 카메라는, 대상물의 상이 지정된 후에 촬영된 화상에 있어서, 초기 특징량과 유사한 영역을 탐색함으로써, 대상물의 상의 추적을 행한다. 구체적으로는, 전자 카메라는, 색의 정보를 이용한 템플릿 매칭을 실행하거나, 혹은 색상의 히스토그램이 중복되는 비율을 산출함으로써 대상물의 상이 포함되는 대상 영역을 탐색한다.
그런데, 감시 용도의 거치 카메라는, 촬영되는 장소가 거의 고정적이며, 일조 조건 및 시간 변화의 정보 등을 용이하게 취득할 수 있다. 그래서, 감시 용도의 거치 카메라는, 일조 조건 및 시간 변화의 정보 등을 이용하여 주위의 환경을 추정한다. 그리고, 감시 용도의 거치 카메라는, 추정한 환경에 따라, 예를 들면 템플릿 매칭에 있어서의 템플릿의 색을 변경할 수 있다.
그러나, 디지털 비디오 카메라 등 민생 기기는, 여러 가지 환경에서 다양한 대상이 촬영되므로, 현재의 환경을 추정하는 것이 어렵다. 요컨대, 전자 카메라는, 추적의 대상이 되는 대상물을 촬영할 때의 주위의 환경(이하, 「촬영 환경」이라고 한다)이 변화한 경우, 전자 카메라가 환경의 변화에 추종할 수 없으므로, 잘못된 물체를 계속 추적하거나, 혹은 추적이 중단되는 등의 문제가 발생한다. 예를 들면, 전자 카메라가 어두운 장소에서 밝은 장소로 이동된 경우, 추적의 대상이 되는 대상물의 상의 밝은 부분의 계조가 소실되므로(화이트 아웃), 템플릿 매칭을 할 수 없다는 문제가 발생한다.
그래서, 종래의 전자 카메라는, 촬영 환경이 변화한 경우, 촬영된 화상에 있어서, 변화한 환경에 따라 노광 또는 색 온도 등을 보정한다(예를 들면, 특허문헌 1을 참조). 특허문헌 1에 기재된 방법에서는, 화면 내에 위치를 변화시키면서 설정된 검출 영역 내외의 휘도 성분의 차를 이용하여, 화면 내의 휘도 패턴이 판정된다. 그리고, 판정된 휘도 패턴에 적합한 위치에 설정된 측광 영역을 이용하여 노광 제어가 행해진다.
또, 색상 정보를 이용하지 않고, RGB(Red Green Blue)의 각 색과 휘도(Y)를 이용해 산출되는 예측 계수를 이용하여 목표를 추미함으로써, 조명에 의해 색이 변화한 경우여도 목표를 확실하게 추미하는 방법이 제안되어 있다(예를 들면, 특허문헌 2를 참조).
그러나, 특허문헌 1에 나타낸 바와 같은 종래의 방법에서는, 시간적으로 연속되는 화상에 있어서 밝기 혹은 색 등을 변환하는 변환 파라미터가 급격하게 변화하지 않도록, 서서히 환경에 적합한 값으로 변경된다. 이것은, 예를 들면, 밝기 또는 색 온도 등이 변화한 경우에, 화상의 밝기 또는 색 온도를 변환하는 변환 파라미터가 환경에 맞추어 크게 변화되면, 유저에게 위화감 혹은 불쾌감을 주기 때문이다. 이와 같이, 변환 파라미터가 서서히 변경되므로, 특히 로버스트한 특징량인 색을 특징량으로서 이용한 경우에는, 전자 카메라는 대상물의 추적을 실패한다.
또, 특허문헌 2에 나타낸 바와 같은 종래의 방법에서는, 예측 계수를 이용하여 대상물을 추적하므로, 예측이 잘못된 경우에는 올바르게 추적할 수 없다.
그래서, 본 발명은, 상기 종래의 과제를 감안하여 이루어진 것이다. 본 발명은, 촬영 환경이 변화함으로써 대상물의 상을 나타내는 특징량이 변동하는 경우여도, 대상물의 상을 안정적으로 추적하는 것이 가능한 전자 카메라, 화상 처리 장치 등을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 따른 전자 카메라는, 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하고, 추적 결과를 이용하여, 오토 포커스 처리, 자동 노출 처리, 및 카메라 제어에 의한 프레이밍 처리 및 자동 촬영 처리 중 적어도 1개를 실행하는 전자 카메라로서, 제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부와, 상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와, 상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와, 상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와, 상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와, 상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비한다.
이에 의해, 촬영 환경이 변화함으로써 대상물의 상을 나타내는 특징량이 변동된 경우여도, 촬영 환경에 대응한 변환 파라미터를 이용해 변환한 화상을 이용하여 대상물의 상을 추적함으로써, 대상물의 상을 안정적으로 추적하는 것이 가능해진다. 또한, 촬영 환경의 변화에 서서히 대응하는 변환 파라미터를 이용하여 변환한 화상을 출력함으로써, 유저가 화상을 보았을 때의 위화감 혹은 불쾌감을 저감하는 것도 가능해진다.
또, 상기 제1, 제2 및 제3 변환 파라미터는, 촬영된 화상으로부터 검출되는 색 온도, 노광, 노출, 및 휘도치의 적어도 하나에 따라, 상기 화상을 구성하는 복수의 화소가 갖는 화소치를 변환하기 위한 파라미터인 것으로 해도 된다.
이에 의해, 색 온도, 노광, 노출, 및 휘도치가 변화한 경우여도, 대상물의 상을 안정적으로 추적하는 것이 가능해진다.
또, 상기 제1 화상 변환부는, 상기 제1 및 제2 변환 파라미터의 비를 이용하여, 상기 제1 및 제2 화상의 한쪽을 변환하는 것으로 해도 된다.
이에 의해, 제1 및 제2 화상의 한쪽을 변환하면 되므로, 화상을 변환하는 처리의 부하를 경감하는 것이 가능해진다.
또, 상기 제1 화상 변환부는, 상기 제1 화상을 변환하는 경우, 상기 제1 화상 중 상기 초기 영역에 포함되는 화상만을 변환하는 것으로 해도 된다.
이에 의해, 제1 화상의 일부 영역에 포함되는 화상을 변환하면 되므로, 화상을 변환하는 처리의 부하를 더욱 경감하는 것이 가능해진다.
또, 상기 특징량은, 화상을 구성하는 화소가 갖는 색의 빈도 분포를 나타내는 색 히스토그램이며, 상기 추적 처리부는, 상기 초기 영역의 색 히스토그램과 겹치는 부분의 비율이 가장 큰 색 히스토그램을 갖는 영역을 상기 제2 화상에서 탐색하는 것으로 해도 된다.
이에 의해, 로버스트성이 높은 색 히스토그램을 이용하여 대상물의 상을 추적할 수 있으므로, 대상물의 상을 보다 안정적으로 추적하는 것이 가능해진다.
또, 본 발명에 따른 화상 처리 장치는, 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치로서, 제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부와, 상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와, 상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와, 상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와, 상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와, 상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비한다.
또, 본 발명에 따른 집적 회로는, 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치가 구비하는 집적 회로로서, 상기 화상 처리 장치는, 제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부를 구비하고, 상기 집적 회로는, 상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와, 상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와, 상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와, 상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와, 상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비한다.
또한, 본 발명은, 이러한 화상 처리 장치로서 실현할 뿐만 아니라, 이러한 화상 처리 장치가 구비하는 특징적인 구성부의 동작을 단계로 하는 화상 처리 방법으로서 실현해도 된다. 또, 본 발명은, 그러한 화상 처리 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램으로서 실현해도 된다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체 또는 인터넷 등의 전송 매체를 통해 전송해도 된다.
이상의 설명으로부터 명확한 바와 같이, 본 발명에 따른 전자 카메라, 화상 처리 장치 등은, 추적의 대상이 되는 대상물을 촬영하는 환경이 변화한 경우여도, 환경 변화에 따른 변환 파라미터를 이용하여 화상을 변환함으로써 대상물의 상을 안정적으로 추적하는 것이 가능해진다. 또한, 본 발명에 따른 전자 카메라, 화상 처리 장치 등은, 촬영 환경의 변화에 서서히 대응하는 변환 파라미터를 이용하여 변환한 화상을 출력함으로써, 유저가 화상을 보았을 때의 위화감 혹은 불쾌감을 저감하는 것도 가능해진다.
도 1은, 본 발명의 실시 형태에 따른 화상 처리 장치의 기능 구성을 도시한 블록도이다.
도 2는, 본 발명의 실시 형태에 따른 화상 처리 장치의 구체예인 전자 카메라의 구성을 도시한 블록도이다.
도 3은, 본 발명의 실시 형태에 따른 화상 처리 장치의 동작을 도시한 흐름도이다.
도 4는, 본 발명의 실시 형태에 따른 화상 처리 장치에 있어서의 동작의 구체예를 설명하기 위한 도면이다.
도 5는, 본 발명의 실시 형태에 따른 화상 처리 장치에 있어서의 탐색에 관한 동작의 구체예를 설명하기 위한 도면이다.
이하에, 본 발명의 실시 형태에 대해, 도면을 참조하면서 설명한다.
도 1은, 본 발명의 실시 형태에 따른 화상 처리 장치의 기능 구성을 도시한 블록도이다. 도 1에 나타낸 바와 같이, 화상 처리 장치(10)는, 초기 영역 취득부(11)와, 변환 파라미터 산출부(12)와, 제1 화상 변환부(13)와, 제2 화상 변환부(14)와, 추적 처리부(15)와, 출력부(16)와, 기억부(17)를 구비한다.
초기 영역 취득부(11)는, 제1 화상에 있어서 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보를 취득한다. 그리고, 초기 영역 취득부(11)는, 취득한 초기 영역에 관한 정보를 기억부(17)에 등록한다. 구체적으로는, 초기 영역 취득부(11)는, 예를 들면, 초기 영역의 위치 및 크기를 나타내는 정보를 취득한다.
또한, 예를 들면, 촬영하고 있는 화상 또는 촬영하고자 하고 있는 화상을 표시하는 수단으로서 터치 패널을 전자 카메라가 구비하는 경우, 초기 영역 취득부(11)는, 유저가 터치 패널에 터치함으로써 접수된 초기 영역의 위치 정보를 취득한다. 또 예를 들면, 표시 화면의 중앙 등의 미리 정해진 영역에 추적하고 싶은 물체가 찍히도록 전자 카메라의 방향을 맞춘 후에 유저가 추적 버튼을 누른 경우에, 초기 영역 취득부(11)는, 당해 영역을 초기 영역으로서 취득해도 된다.
또한, 초기 영역 취득부(11)는, 제1 화상이 촬영되었을 때의 촬영 환경에 따라 화상을 변환하기 위한 파라미터이며, 제1 화상을 소정의 화질(이하, 간단히 「목적 화질」이라고 한다)을 갖는 화상(이하, 간단히 「목적 화질 화상」이라고 한다)으로 변환하기 위한 파라미터인 제1 변환 파라미터를 취득한다. 그리고, 초기 영역 취득부(11)는, 취득한 제1 변환 파라미터를 기억부(17)에 등록한다.
여기에서, 목적 화질이란, 화상이 소정의 조건을 만족하는 색 또는 휘도를 갖는 것을 말한다. 예를 들면, 목적 화질이란, 화상이, 미리 정해진 소정의 색 분포 또는 휘도 분포가 되는 것을 말한다. 구체적으로는, 예를 들면, 목적 화질이란, 백색의 피사체가 촬영된 화상에 있어서, 광원의 색 온도에 상관없이 당해 피사체의 상의 색이 백색이 되는 것을 말한다. 또, 목적 화질이란, 예를 들면, 밝은 피사체의 상이 계조를 소실하지 않는(화이트 아웃이 발생하지 않는) 것을 말한다.
변환 파라미터 산출부(12)는, 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 제2 화상을 목적 화질 화상으로 변환하기 위한 제2 변환 파라미터를 산출한다. 여기에서, 소정의 화질은, 상술한 제1 변환 파라미터에 있어서의 소정의 화질과 동일하다.
또, 변환 파라미터 산출부(12)는, 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 산출한다. 요컨대, 변환 파라미터 산출부(12)는, 촬영된 화상을, 촬영 환경의 변화에 서서히 추종하는 화상으로 변환하기 위한 제3 변환 파라미터를 산출한다.
구체적으로는, 변환 파라미터 산출부(12)는, 제2 화상보다 시간적으로 1개 앞인 화상에 있어서의 제3 변환 파라미터(이하, 간단히 「구 제3 변환 파라미터」라고 한다)와 제2 화상에 있어서의 제3 변환 파라미터의 차분치가, 구 제3 변환 파라미터와 제2 화상에 있어서의 제2 변환 파라미터의 차분치 이하가 되도록 제3 변환 파라미터를 산출한다.
제1 화상 변환부(13)는, 기억부(17)에 기억된 제1 변환 파라미터와 변환 파라미터 산출부(12)에 의해 산출된 제2 변환 파라미터를 이용하여, 제1 및 제2 화상의 적어도 한쪽을 변환한다. 요컨대, 제1 화상 변환부(13)는, 변환 후의 화상이 동등한 화질을 갖도록, 제1 및 제2 화상의 적어도 한쪽을 변환한다. 구체적으로는, 예를 들면, 제1 화상 변환부(13)는, 제1 변환 파라미터와 제2 변환 파라미터의 비를 이용하여, 제1 화상을 변환한다.
제2 화상 변환부(14)는, 제3 변환 파라미터를 이용하여 제2 화상을 변환한다.
추적 처리부(15)는, 제1 화상 변환부(13)에 의해 변환된 후의 화상을 이용하여, 초기 영역의 특징을 정량적으로 나타내는 특징량과 가장 유사한 특징량을 갖는 영역을 제2 화상에서 탐색함으로써, 대상물의 상을 추적한다. 구체적으로는, 예를 들면, 추적 처리부(15)는, 제2 화상 내의 위치 및 크기를 변경하면서 선택한 영역의 특징량을 추출한다. 그리고, 추적 처리부(15)는, 산출한 특징량 중 초기 영역의 특징량과 가장 차분이 작은 특징량을 갖는 영역을 대상 영역으로서 특정한다. 또한, 대상 영역이란, 대상물의 상을 포함하는 영역이다.
여기에서, 특징량이란, 예를 들면, 영역 내에 있어서의 화소의 색의 빈도 분포를 나타내는 색 히스토그램이다. 또, 특징량이란, 예를 들면, 영역 내에서 검출되는 에지여도 된다. 또, 특징량이란, 예를 들면, 영역을 구성하는 화소가 갖는 휘도치여도 된다.
출력부(16)는, 제2 화상 변환부(14)에 의해 변환된 후의 화상과, 추적 처리부(15)에 의해 탐색된 영역을 나타내는 정보를 출력한다. 구체적으로는, 출력부(16)는, 예를 들면, 전자 카메라 등이 갖는 표시부에 표시시키기 위해, 제2 화상 변환부(14)에 의해 변환된 후의 화상과 대상 영역을 나타내는 프레임 등을 포함하는 화상을 기억부(17)에 등록한다.
기억부(17)는, 초기 영역에 관한 정보와 제1 변환 파라미터를 기억한다.
또한, 상기에 있어서, 제1, 제2 및 제3 변환 파라미터는, 촬영된 화상으로부터 검출되는 색 온도, 노광, 노출, 및 휘도치의 적어도 하나에 따라, 화상을 구성하는 복수의 화소가 갖는 화소치를 변환하기 위한 파라미터이다. 구체적으로는, 제1, 제2 및 제3 변환 파라미터는, 예를 들면, 각 화소의 RGB마다의 휘도치를 변환하는 변환 계수이다.
도 2는, 본 발명의 실시 형태에 따른 화상 처리 장치의 구체예인 전자 카메라의 구성을 도시한 블록도이다. 도 2에 나타낸 바와 같이, 전자 카메라(100)는, 촬영 렌즈(101)와, 셔터(102)와, 촬상 소자(103)와, AD 변환기(104)와, 타이밍 발생 회로(105)와, 화상 처리 회로(106)와, 메모리 제어 회로(107)와, 화상 표시 메모리(108)와, DA 변환기(109)와, 화상 표시부(110)와, 메모리(111)와, 리사이즈 회로(112)와, 시스템 제어 회로(113)와, 노광 제어부(114)와, 측거(測距) 제어부(115)와, 줌 제어부(116)와, 배리어 제어부(117)와, 플래시(118)와, 보호부(119)와, 메모리(120)와, 표시부(121)와, 불휘발성 메모리(122)와, 모드 다이얼 스위치(123)와, 셔터 스위치(124)와, 전원 제어부(125)와, 커넥터(126 및 127)와, 전원(128)과, 인터페이스(129 및 130)와, 커넥터(131 및 132)와, 기록 매체(133)와, 광학 파인더(134)와, 통신부(135)와, 안테나(136)와, 초기 영역 취득 회로(137)와, 변환 파라미터 산출 회로(138)와, 제1 화상 변환 회로(139)와, 제2 화상 변환 회로(140)와, 추적 처리 회로(141)와, 추적 결과 묘화 회로(142)와, 카메라 제어 회로(143)를 구비한다. 또한, 전원(128) 및 기록 매체(133)는, 분리 가능해도 된다.
촬영 렌즈(101)는, 주밍 및 포커싱 기능을 갖는 렌즈이며, 입사하는 광을 촬상 소자(103) 상에 결상시킨다.
셔터(102)는, 조리개 기능을 구비하며, 촬상 소자(103)에 입사하는 광의 양을 조절한다.
촬상 소자(103)는, 입사한 광이 결상되어 얻어지는 광학상을 전기 신호(화상 데이터)로 변환한다.
AD 변환기(104)는, 촬상 소자(103)로부터 출력되는 아날로그 신호를 디지털 신호로 변환한다. AD 변환기(104)는, 디지털 신호로 변환된 화상 데이터를, 메모리 제어 회로(107)를 통해, 화상 표시 메모리(108) 또는 메모리(111)에 기입한다. 또는, AD 변환기(104)는, 디지털 신호로 변환된 화상 데이터를 화상 처리 회로(106)에 출력한다.
타이밍 발생 회로(105)는, 촬상 소자(103), AD 변환기(104) 및 DA 변환기(109)에 클록 신호 또는 제어 신호를 공급한다. 타이밍 발생 회로(105)는, 메모리 제어 회로(107) 및 시스템 제어 회로(113)에 의해 제어된다.
화상 처리 회로(106)는, AD 변환기(104)로부터 출력되는 화상 데이터 또는 메모리 제어 회로(107)로부터 출력되는 화상 데이터에 대해, 소정의 화상 보간 처리 또는 색 변환 처리 등을 행한다. 또, 화상 처리 회로(106)는, 입력되는 화상 데이터를 이용하여 소정의 연산 처리를 행하며, 얻어진 연산 결과에 의거하여 시스템 제어 회로(113)가 노광 제어부(114) 및 측거 제어부(115)에 대해 제어를 행한다.
메모리 제어 회로(107)는, AD 변환기(104), 타이밍 발생 회로(105), 화상 처리 회로(106), 화상 표시 메모리(108), DA 변환기(109), 메모리(111) 및 리사이즈 회로(112)를 제어한다.
화상 표시 메모리(108)는, 표시용의 화상 데이터를 기억한다.
DA 변환기(109)는, 메모리 제어 회로(107)를 통해, 화상 표시 메모리(108)로부터 표시용의 화상 데이터를 취득하여, 디지털 신호로부터 아날로그 신호로 변환한다.
화상 표시부(110)는, DA 변환기(109)로 아날로그 신호로 변환된 표시용의 화상 데이터를 표시한다. 또, 화상 표시부(110)는, 유저로부터 추적의 대상이 되는 대상물이 찍혀 있는 영역(초기 영역)을 특정하기 위한 정보를 접수해도 된다. 화상 표시부(110)는, 예를 들면, TFTLCD(Thin Film Transistor Liquid Crystal Display), 터치 패널 등의 디스플레이이다.
메모리(111)는, AD 변환기(104)로부터 얻어지는 화상 데이터, 및, 화상 처리 회로(106)에서 처리된 화상 데이터를 기억한다. 또한, 메모리(111)는, 초기 영역 취득 회로(137)에 의해 취득된 초기 영역에 관한 정보 등 추적 처리에 필요한 정보를 기억한다. 또한, 메모리(111)는, 도 1의 기억부(17)에 상당한다.
리사이즈 회로(112)는, 촬영하여 얻어진 화상으로부터 저해상도의 화상을 생성한다. 또한, 리사이즈 회로(112)는, 용도에 따라 소정의 복수의 해상도를 선택할 수 있다. 리사이즈 회로(112)는, 메모리(111)에 저장된 화상 데이터를 읽어들이고, 읽어들인 화상 데이터에 대해 리사이즈 처리를 행하며, 처리를 끝낸 데이터를 메모리(111)에 기입한다.
또한, 리사이즈 회로(112)는, 촬상 소자(103)의 화소수와 상이한 화소수(사이즈)로 기록 매체(133) 등에 화상 데이터를 기록하고 싶은 경우 등에 이용된다. 또, 화상 표시부(110)의 표시 가능한 화소수는, 촬상 소자(103)의 화소수보다 상당히 작다. 따라서, 리사이즈 회로(112)는, 촬영한 화상 데이터를 화상 표시부(110)에 표시하는 경우의 표시용 화상을 생성하는 경우에도 이용된다.
시스템 제어 회로(113)는, 전자 카메라(100) 전체의 각 처리부 및 각 처리 회로를 제어함으로써, 촬영 처리를 행한다. 촬영 처리는, 노광 처리, 현상 처리 및 기록 처리 등으로 이루어진다. 노광 처리란, 촬상 소자(103)로부터 읽어낸 화상 데이터를 AD 변환기(104) 및 메모리 제어 회로(107)를 통해 메모리(111)에 기입하는 처리이다. 현상 처리란, 화상 처리 회로(106) 및 메모리 제어 회로(107)에서의 연산 처리이다. 기록 처리란, 메모리(111)로부터 화상 데이터를 읽어내어, 기록 매체(133)에 화상 데이터를 기입하는 처리이다.
노광 제어부(114)는, 조리개 기능을 구비하는 셔터(102)를 제어한다. 또, 노광 제어부(114)는, 플래시(118)와 연계됨으로써 플래시 조광(調光) 기능도 갖는다.
측거 제어부(115)는, 촬영 렌즈(101)의 포커싱을 제어한다. 줌 제어부(116)는, 촬영 렌즈(101)의 주밍을 제어한다. 배리어 제어부(117)는, 보호부(119)의 동작을 제어한다.
플래시(118)는, 피사체에 대해 플래시광을 조사한다. 플래시(118)는, 또한, AF 보조광의 투광 기능 및 플래시 조광 기능도 갖는다.
보호부(119)는, 전자 카메라(100)의 촬영 렌즈(101), 셔터(102) 및 촬상 소자(103) 등을 포함하는 촬상부를 덮음으로써, 촬상부의 오염 또는 파손을 방지하는 배리어이다.
메모리(120)는, 시스템 제어 회로(113)의 동작용의 상수, 변수 및 프로그램 등을 기록한다.
표시부(121)는, 시스템 제어 회로(113)에서의 프로그램의 실행에 따라, 문자, 화상 또는 음성 등을 이용하여 동작 상태 또는 메시지 등을 표시하는 액정 표시 장치 또는 스피커 등이다. 표시부(121)는, 전자 카메라(100)의 조작부 부근의 육안으로 확인하기 쉬운 단수 또는 복수의 개소에 설치된다. 표시부(121)는, 예를 들면, LCD, LED(Light Emitting Diode), 또는, 발음 소자 등의 조합에 의해 구성되어 있다.
불휘발성 메모리(122)는, 전기적으로 증거·기록 가능한 메모리이며, 전자 카메라(100)의 동작 설정 데이터 또는 이용자 고유의 정보 등을 기억한다. 불휘발성 메모리(122)는, 예를 들면, EEPROM(Electrically Erasable and Programmable Read Only Memory) 등이다.
모드 다이얼 스위치(123)는, 자동 촬영 모드, 촬영 모드, 파노라마 촬영 모드 및 RAW 모드 등의 각 기능 모드를 전환하여 설정할 수 있다.
셔터 스위치(124)는, 셔터 버튼(도시 생략)의 조작 도중에 ON이 되어 AF 처리, AE 처리 및 AWB(Auto White Balance) 처리 등의 동작 개시를 지시한다. 또, 셔터 스위치(124)는, 노광 처리, 현상 처리 및 기록 처리와 같은 일련의 처리 동작의 개시를 지시한다.
전원 제어부(125)는, 전지 검출 회로, DC-DC 컨버터, 및, 통전하는 블록을 전환하는 스위치 회로 등에 의해 구성되어 있다. 전원 제어부(125)는, 전지의 장착 유무, 전지의 종류 및 전지 잔량의 검출을 행한다. 또한, 전원 제어부(125)는, 검출 결과 및 시스템 제어 회로(113)의 지시에 의거하여 DC-DC 컨버터를 제어하며, 필요한 전압을 귀환시켜, 기록 매체(133)를 포함하는 각 처리부로 전압을, 커넥터(126 및 127)를 통해 공급한다.
커넥터(126 및 127)는, 전원 제어부(125)와, 전원(128)과의 접속을 행하는 커넥터이다.
전원(128)은, 알칼리 전지 혹은 리튬 전지 등의 1차 전지, NiCd 전지, NiMH 전지 혹은 Li 전지 등의 2차 전지, 또는, AC 어댑터 등이다.
인터페이스(129 및 130)는, 기록 매체(133)와 메모리(111) 등의 사이에서 화상 데이터 등의 송수신을 행하기 위한 인터페이스이다.
커넥터(131 및 132)는, 인터페이스(129)와 인터페이스(130)를 통한 기록 매체(133)와의 접속을 행하는 커넥터이다.
기록 매체(133)는, 화상 데이터를 기록하는 메모리 카드 또는 하드 디스크 등의 기록 매체이다.
광학 파인더(134)는, 촬영자가 피사체를 확인하기 위해 사용하는 파인더이다. 촬영자는, 화상 표시부(110)에 의한 전자 파인더 기능을 사용하지 않고, 광학 파인더(134)만을 이용하여 촬영을 행하는 것이 가능하다.
통신부(135)는, RS232C, USB, IEEE1394, 모뎀, LAN, 또는 무선 통신 등의 각종 통신 기능을 갖는다.
안테나(136)는, 통신부(135)에 의해 전자 카메라(100)를 다른 기기와 접속시키는 커넥터 또는 무선 통신의 경우의 안테나이다.
초기 영역 취득 회로(137)는, 터치 패널이 유저로부터 접수한 위치, 혹은 유저가 셔터 스위치(124)를 누름으로써 설정되는 AF 영역 등에 의해 특정된 초기 영역에 관한 정보를 취득하며, 취득한 정보를 메모리(111)에 기입한다. 또한, 초기 영역 취득 회로(137)는, 도 1의 초기 영역 취득부(11)에 상당한다.
변환 파라미터 산출 회로(138)는, 유저가 시각을 통해 인식하는 색 또는 밝기와 동등한 색 또는 밝기를 갖는 화상으로 입력 화상을 변환하기 위한 변환 파라미터를 산출한다. 구체적으로는, 변환 파라미터 산출 회로(138)는, 예를 들면, 대상물을 비추는 광의 색 온도를 검출하고, 검출한 색 온도에 따라 입력 화상의 색을 변환하는 변환 파라미터를 산출한다. 또한, 변환 파라미터 산출 회로(138)는, 도 1의 변환 파라미터 산출부(12)에 상당한다.
제1 화상 변환 회로(139)는, 메모리(111)로부터 초기 영역에 포함되는 화상을 읽어들인다. 또한, 제1 화상 변환 회로(139)는, 변환 파라미터 산출 회로(138)에 의해 산출된 변환 파라미터를 이용하여, 읽어들인 화상을 변환한다. 또한, 제1 화상 변환 회로(139)는, 도 1의 제1 화상 변환부(13)에 상당한다.
제2 화상 변환 회로(140)는, 메모리(111)로부터 입력 화상을 읽어들인다. 또한, 제2 화상 변환 회로(140)는, 변환 파라미터 산출 회로(138)에 의해 산출된 변환 파라미터를 이용하여, 읽어들인 화상을 변환한다. 또한, 제2 화상 변환 회로(140)는, 도 1의 제2 화상 변환부(14)에 상당한다.
추적 처리 회로(141)는, 메모리(111)로부터 제1 화상 변환 회로(139)에 의해 변환된 화상을 읽어들이고, 읽어들인 화상의 특징량을 산출한다. 그리고, 추적 처리 회로(141)는, 산출한 특징량과 가장 유사한 특징량을 갖는 영역을 입력 화상에서 탐색함으로써, 대상물의 상의 추적 처리를 행한다. 또한, 추적 처리 회로(141)는, 추적 결과(좌표 데이터, 평가치 등)를 메모리(111)에 기입한다. 또한, 추적 처리 회로(141)는, 도 1의 추적 처리부(15)에 상당한다.
추적 결과 묘화 회로(142)는, 메모리(111)에 기입된 추적 결과를 표시부(121)에 표시시키기 위해, 화상 표시 메모리(108)에 기입된 표시용의 화상 데이터를 가공한다. 구체적으로는, 추적 결과 묘화 회로(142)는, 화상 데이터에 대해, 예를 들면, 추적 프레임, 모자이크화, 문자, 표시색의 변경, 그라데이션 등의 가공을 행한다. 또한, 추적 결과 묘화 회로(142)는, 도 1의 출력부(16)에 상당한다.
카메라 제어 회로(143)는, 메모리(111)에 기입된 추적 결과(대상 영역)의 위치와 크기에 의거하여, 대상 영역에 찍혀 있는 대상물에 초점이 맞도록, AF 처리를 제어한다. 구체적으로는, 카메라 제어 회로(143)는, 예를 들면, 대상 영역에 찍혀 있는 대상물의 콘트라스트를 이용하여, 콘트라스트가 높아지도록 촬영 렌즈(101)를 제어한다.
또, 카메라 제어 회로(143)는, 대상 영역에 찍혀 있는 대상물의 노출이 적정해지도록, AE 처리 또는 역광 보정 처리를 제어해도 된다. 구체적으로는, 카메라 제어 회로(143)는, 예를 들면, 셔터 속도 우선, 또는 조리개치 우선 등의 모드에 따라, 노광 제어부(114)를 통해, 조리개 기능을 구비하는 셔터(102)의 셔터 속도 또는 조리개치를 제어해도 된다.
또한, 카메라 제어 회로(143)는, 대상물이 화상 내의 일정한 위치 또는 일정한 크기가 되도록(예를 들면, 대상물인 얼굴이 화상의 중앙에 찍히도록, 혹은, 대상물인 인물의 전신이 찍히도록 등) 전자 카메라(100)를 제어해도 된다.
또한, 전자 카메라(100)가 초기 영역 취득 회로(137), 변환 파라미터 산출 회로(138), 제1 화상 변환 회로(139), 제2 화상 변환 회로(140), 추적 처리 회로(141), 추적 결과 묘화 회로(142), 및 카메라 제어 회로(143) 중 어느 하나의 회로를 구비하지 않는 경우, 시스템 제어 회로(113)가, 소프트웨어 처리에 의해 추적 처리 등을 행해도 된다.
다음에, 이상과 같이 구성된 화상 처리 장치에 있어서의 각종 동작에 대해 설명한다.
도 3은, 본 발명의 실시 형태에 따른 화상 처리 장치의 동작을 도시한 흐름도이다.
우선, 초기 영역 취득부(11)는, 초기 영역에 관한 정보와 제1 변환 파라미터를 취득한다(단계 S101). 구체적으로는, 초기 영역 취득부(11)는, 예를 들면, 초기 영역의 위치를 나타내는 좌표와 초기 영역의 크기를 나타내는 값을 초기 영역에 관한 정보로서 취득한다. 또, 초기 영역 취득부(11)는, 예를 들면, 광원의 색 온도에 상관없이 대상물의 색을 정확하게 나타내는 화상으로 제1 화상을 변환하기 위한 색 온도 파라미터를 제1 변환 파라미터로서 취득한다. 이어서, 초기 영역 취득부(11)는, 취득한 초기 영역에 관한 정보와 제1 변환 파라미터를 기억부(17)에 등록한다(단계 S102).
그 후, 화상 처리 장치(10)는, 제1 화상보다 뒤에 촬영된 화상에 있어서, 대상 영역을 특정하는 처리를 반복한다. 대상 영역을 특정하는 처리는, 이하와 같다.
우선, 변환 파라미터 산출부(12)는, 처리 대상이 되는 화상(이하, 「제2 화상」이라고 한다)을 목적 화질 화상으로 변환하기 위한 제2 변환 파라미터를 산출한다(단계 S103). 구체적으로는, 변환 파라미터 산출부(12)는, 예를 들면, 광원의 색 온도에 상관없이 대상물의 색을 정확하게 나타내는 화상으로 제2 화상을 변환하기 위한 색 온도 파라미터를, 제2 변환 파라미터로서 산출한다.
다음에, 제1 화상 변환부(13)는, 기억부(17)에 기억되어 있는 제1 변환 파라미터와 변환 파라미터 산출부(12)에 의해 산출된 제2 변환 파라미터를 이용하여, 제1 화상을 변환한다(단계 S104). 구체적으로는, 제1 화상 변환부(13)는, 예를 들면, 기억부(17)로부터 제1 화상과 제1 변환 파라미터를 읽어낸다. 그리고, 제1 화상 변환부(13)는, 예를 들면, 변환 파라미터 산출부(12)에 의해 산출된 제2 변환 파라미터에 의해 제1 변환 파라미터가 나누어진 값을, 읽어낸 제1 화상을 구성하는 각 화소의 화소치에 곱한다.
이어서, 추적 처리부(15)는, 단계 S104에서 변환된 화상으로부터 초기 영역의 특징량을 추출한다(단계 S105). 구체적으로는, 추적 처리부(15)는, 예를 들면, 기억부(17)에 기억되어 있는 초기 영역의 위치를 나타내는 좌표 및 크기를 나타내는 값을 읽어낸다. 그리고, 추적 처리부(15)는, 예를 들면, 읽어낸 좌표 및 크기를 나타내는 값을 이용하여 초기 영역을 구성하는 복수의 화소를 특정한다. 그리고, 추적 처리부(15)는, 특정한 각 화소가 갖는 색의 빈도 분포를 나타내는 색 히스토그램을 특징량으로서 추출한다.
다음에, 추적 처리부(15)는, 추출한 특징량과 가장 유사한 특징량을 갖는 영역을 제2 화상에서 탐색함으로써, 대상물의 상을 포함하는 영역인 대상 영역을 특정한다(단계 S106). 즉, 추적 처리부(15)는, 대상 영역을 특정함으로써, 대상물의 추적을 행한다. 구체적으로는, 추적 처리부(15)는, 예를 들면, 제2 화상에서 위치 및 크기를 변경하면서 영역을 선택하고, 선택한 영역의 특징량과 초기 영역의 특징량을 비교한다. 그리고, 추적 처리부(15)는, 비교한 결과, 선택한 영역 중 가장 특징량의 차이가 작은 영역을 대상 영역으로서 특정한다.
또, 변환 파라미터 산출부(12)는, 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 산출한다(단계 S107). 구체적으로는, 변환 파라미터 산출부(12)는, 구 제3 변환 파라미터와 제3 변환 파라미터의 차분치가, 구 제3 변환 파라미터와 제2 변환 파라미터의 차분치 이하가 되도록 제3 변환 파라미터를 산출한다.
다음에, 제2 화상 변환부(14)는, 변환 파라미터 산출부(12)에 의해 산출된 제3 변환 파라미터를 이용하여, 제2 화상을 변환한다(단계 S108). 또한, 단계 S107 및 단계 S108에 나타내는 처리는, 단계 S104∼단계 S106에 나타내는 처리보다 먼저 실행되어도 된다. 또, 단계 S107 및 단계 S108에 나타내는 처리는, 단계 S104∼단계 S106에 나타내는 처리와 병행하여 실행되어도 된다.
마지막으로, 출력부(16)는, 단계 S106에서 탐색된 대상 영역을 나타내는 정보와, 단계 S108에서 변환된 후의 화상을 출력한다(단계 S109). 구체적으로는, 출력부(16)는, 예를 들면, 단계 S108에서 변환된 후의 화상에, 대상 영역의 위치를 나타내는 프레임을 부가한 화상을 기억부(17)에 등록한다.
이상의 단계 S103∼S109까지의 처리를 연속적으로 촬영된 화상마다 반복함으로써, 화상 처리 장치(10)는, 대상물의 상을 추적할 수 있다.
다음에, 각 화소가 갖는 색을 변환하기 위한 RGB마다의 변환 계수를 변환 파라미터로서 이용하는 경우의, 화상 처리 장치(10)에 있어서의 각종 동작의 구체예에 대해 설명한다.
도 4는, 본 발명의 실시 형태에 따른 화상 처리 장치에 있어서의 동작의 구체예를 설명하기 위한 도면이다. 구체적으로는, 도 4는, 피사체인 개가 옥외로부터 옥내로 이동함으로써, 개를 비추는 광이 태양광으로부터 형광등에 의한 광으로 변화한 경우의 처리를 설명하기 위한 도면이다.
도 4에 있어서, 1행째에는, 촬상 소자 등으로부터 얻어지는 화상인 원화상이 도시되어 있다. 또, 2행째에는, 목적 화질을 갖는 화상으로 원화상을 변환한 경우의 목적 화질 화상이 도시되어 있다. 또한, 목적 화질 화상은, 실제로는 생성될 필요가 없는 화상이지만, 변환 파라미터를 설명하기 위해 도시되어 있다. 또, 3행째에는, 대상 영역을 탐색할 때에 이용하기 위해 원화상(400)을 변환한 화상인 탐색용 화상이 도시되어 있다. 또, 4행째에는, 표시부에 표시하기 위해 원화상을 변환한 화상인 출력용 화상이 도시되어 있다.
원화상(400)은, 제1 화상에 상당하는 화상이며, 촬영 개시 시에 촬영된 화상이다. 또, 원화상(400)은, 태양광에 비추어진 개가 촬영된 화상이다. 원화상(400)에 있어서, 추적의 대상이 되는 대상물의 상을 포함하는 영역으로서 초기 영역(403)이 유저에 의해 지정되어 있다. 이 초기 영역(403)은, 예를 들면, 화상이 표시된 터치 패널에 있어서, 대상물의 상을 유저가 터치함으로써 지정된다.
목적 화질 화상(401)은, 제1 변환 파라미터(P1)를 이용하여 제1 화상을 변환한 경우의 화상이다. 설명의 편의를 위해, 도 4에 있어서, 목적 화질 화상(401)과 원화상(400)은 동일한 화상이다.
여기에서 제1 변환 파라미터(P1)는, 변환 파라미터 산출부(12)에 의해 산출되는 변환 파라미터이며, 광원의 색 온도에 상관없이 피사체의 색을 정확하게 비추기 위한 RGB마다의 변환 계수이다. 구체적으로는, 변환 파라미터 산출부(12)는, 예를 들면, 이미 알려져 있는 색역과의 상관을 이용하여, 원화상(400)으로부터 색 온도 파라미터를 산출한다(예를 들면, 비특허문헌 1 「센서 상관법에 의한 신 조명의 색 온도 추정(전자 정보 통신 학회 논문지 D-Ⅱ, 토미나가 등)」을 참조). 또한, 목적 화질 화상(401)을 구성하는 각 화소의 화소치 V2는, 원화상(400)을 구성하는 각 화소의 화소치 V1과 제1 변환 파라미터(P1)를 이용하여, (식 1)과 같이 나타내어진다.
[수식 1]
Figure pct00001
출력용 화상(402)은, 제2 화상 변환부(14)에 의해 원화상(400)이 변환된 화상이며, 표시부에 표시하기 위한 화상이다. 또한, 원화상(400)이 촬영 개시 시의 화상이므로, 제3 변환 파라미터는 제1 변환 파라미터와 동일해진다. 따라서, 제2 화상 변환부(14)는, 제1 변환 파라미터(P1)를 이용하여 원화상(400)을 출력용 화상(402)으로 변환한다.
원화상(410)은, 제2 화상에 상당하는 화상이며, 원화상(400)의 다음에 촬영된 화상이다. 또, 원화상(410)은, 원화상(400)과 동일한 개가 동일한 배경에서 촬영된 화상이다. 단, 원화상(410)의 광원은, 원화상(400)의 광원과는 상이하며, 형광등이다. 요컨대, 원화상(410)은, 원화상(400)과 상이한 촬영 환경에서 촬영된 화상이다. 따라서, 원화상(410)은, 원화상(400)과 상이한 화질의 화상이며, 원화상(400)과 동일한 피사체상이어도 상이한 색을 갖는다.
목적 화질 화상(411)은, 제2 변환 파라미터(P2)를 이용하여 제1 화상을 변환한 경우의 화상이다. 여기에서 제2 변환 파라미터(P1)는, 제1 변환 파라미터(P1)와 동일하게, 변환 파라미터 산출부(12)에 의해 산출되는 변환 파라미터이며, 광원의 색 온도에 상관없이 피사체의 색을 정확하게 비추기 위한 RGB마다의 변환 계수이다.
탐색용 화상(412)은, 제1 변환 파라미터(P1)와 제2 변환 파라미터(P2)의 비를 이용하여, 제1 화상 변환부(13)에 의해 원화상(400)이 변환된 화상이다. 요컨대, 탐색용 화상(412)은, 원화상(410)과 동등한 화질을 갖는 화상으로 원화상(400)이 변환된 것이다. 구체적으로는, 제1 화상 변환부(13)는, (식 2)에 따라, RGB마다의 각 화소의 화소치로서 화소치 V1을 갖는 원화상(400)을, RGB마다의 각 화소의 화소치로서 화소치 V3을 갖는 탐색용 화상(412)으로 변환한다.
[수식 2]
Figure pct00002
추적 처리부(15)는, 이와 같이 변환된 탐색용 화상(412)에 있어서, 원화상(400)에 있어서의 초기 영역(403)과 동등한 위치 및 크기의 영역인 영역(415)이 갖는 특징량을 추출한다. 그리고, 추적 처리부(15)는, 추출한 특징량과 가장 유사한 특징량을 갖는 영역을 원화상(410) 중에서 탐색한다. 탐색의 결과, 추적 처리부(15)는, 원화상(410) 내에 나타내도록 대상 영역(414)을 특정한다.
출력용 화상(413)은, 제3 변환 파라미터(P3)를 이용하여 제2 화상 변환부(14)에 의해 원화상(410)이 변환된 화상이며, 원화상(410)에 있어서 탐색된 대상 영역(414)을 나타내는 정보인 프레임(416)이 포함되는 화상이다. 이 제3 변환 파라미터(P3)는, 제2 변환 파라미터(P2)보다, 구 제3 변환 파라미터(P3pr)(여기에서는, 제1 변환 파라미터(P1))로부터의 변화량이 억제된 변환 파라미터이다. 구체적으로는, 제3 변환 파라미터(P3)는, 예를 들면, (식 3)을 만족하는 파라미터이다. 또한, (식 3)은, 구 제3 변환 파라미터와 제3 변환 파라미터의 사이에 있어서의 RGB마다의 차분의 절대치의 합이, 제2 변환 파라미터와 제3 변환 파라미터의 RGB마다의 차분의 절대치의 합 이하가 되는 것을 나타낸다.
[수식 3]
Figure pct00003
보다 구체적으로는, 제2 변환 파라미터(P2)와 구 제3 변환 파라미터(P3pr)의 변화량이 미리 정해진 임계치 이하인 경우는, 변환 파라미터 산출부(12)는, 제2 변환 파라미터(P2)를 제3 변환 파라미터(P3)로서 산출한다. 한편, 제2 변환 파라미터(P2)와 구 제3 변환 파라미터(P3pr)의 변화량이 미리 정해진 임계치보다 큰 경우는, 변환 파라미터 산출부(12)는, 제2 변환 파라미터(P2)와 구 제3 변환 파라미터(P3pr)의 변화량이 당해 임계치와 동일해지는 값을 제3 변환 파라미터(P3)로서 산출한다.
원화상(420 및 430)은, 원화상(410)과 동일한 촬영 환경에서, 원화상(410)보다 시간적으로 뒤에 촬영된 화상이다. 또, 목적 화질 화상(421 및 431)과 탐색용 화상(422 및 432)과 출력용 화상(423 및 433)은, 원화상(420 및 430)에 대응하는 화상이다.
즉, 제2 화상 변환부(14)는, 시간적인 변화량이 억제된 제3 변환 파라미터를 이용하여, 원화상(410, 420 및 430)을, 출력용 화상(413, 423 및 433)으로 변환한다. 따라서, 출력부(16)는, 도 4에 나타낸 바와 같이, 인간이 상이한 환경에 서서히 적응하는 경우에 인식하는 상과 동일하게, 서서히 목적 화질 화상으로 변화하는 화상(출력용 화상(413, 423 및 433))을 출력할 수 있다.
다음에, 특징량으로서 색 히스토그램을 이용한 경우에 있어서의 탐색 처리의 구체예에 대해 설명한다.
도 5는, 본 발명의 실시 형태에 따른 화상 처리 장치에 있어서의 탐색에 관한 동작의 구체예를 설명하기 위한 도면이다. 도 5(a)에는, 제1 화상(500)과 초기 영역(501)이 도시되어 있다. 초기 색 히스토그램(502)은, 제1 화상 변환부(13)에 의해 변환된 후의 화상으로부터 생성된 초기 영역(501)의 색 히스토그램이다.
또한, 색 히스토그램은, 화상 또는 화상의 일부 영역을 구성하는 복수의 화소가 갖는 색의 빈도 분포를 나타내는 정보이다. 예를 들면, 색 히스토그램의 가로축은, HSV(Hue Saturation Value) 색 공간의 색상(H)의 값(0∼360)을 20분할하였을 때의 색의 구분을 나타낸다. 또, 색 히스토그램의 세로축은, 각 구분에 속하는 화소의 수(도수)를 나타낸다. 각 화소가 어느 색의 구분에 속하는지는, 각 화소의 색상(H)의 값을 구분의 수로 나누었을 때의 값의 정수 부분을 이용하여 결정되면 된다.
또, 구분의 수는, 반드시 20일 필요는 없으며, 1 이상이면 어떠한 수여도 된다. 단, 초기 영역에 포함되는 색이 많을수록, 구분의 수가 많아지는 것이 바람직하다. 이에 의해, 초기 영역에 포함되는 색이 많은 경우에는, 작은 구분마다의 도수를 이용하여 유사한 영역을 탐색할 수 있으므로, 대상 영역의 특정한 정밀도를 향상시킬 수 있다. 한편, 초기 영역에 포함되는 색이 적은 경우에는, 큰 구분마다의 도수가 기억되므로, 메모리의 사용량을 적게 할 수 있다.
다음에, 도 5(b)에 나타낸 바와 같이, 추적 처리부(15)는, 제1 화상(500)과 시간적으로 연속되는 다음의 제2 화상(510)에 있어서, 탐색 영역(511)을 결정한다. 구체적으로는, 추적 처리부(15)는, 제1 화상(500)에 있어서의 대상 영역(여기에서는, 초기 영역(501))을 포함하며, 또한 대상 영역(여기에서는, 초기 영역(501))보다 큰 직사각형 영역을 탐색 영역(511)으로 결정한다. 더욱 구체적으로는, 추적 처리부(15)는, 기억부(17)에 저장되어 있는, 초기 영역(501)의 변의 길이 및 중심 위치의 좌표를 읽어낸다. 그리고, 추적 처리부(15)는, 읽어낸 변의 길이보다 큰 직사각형 영역이며 읽어낸 중심 위치의 좌표를 중심으로 하는 직사각형 영역을, 탐색 영역으로 결정한다.
또한, 탐색 영역의 형상은, 직사각형일 필요는 없으며, 원형, 육각형 등의 임의의 형상이어도 된다. 또, 탐색 영역의 크기는, 미리 정해진 크기여도 되고, 프레임 레이트 또는 셔터 속도가 작을수록 커지는 크기여도 된다.
그리고, 추적 처리부(15)는, 탐색 영역(511)보다 작은 영역이며 탐색 영역(511) 내의 영역인 선택 영역(512)을 선택한다. 그리고, 추적 처리부(15)는, 선택한 선택 영역(512)의 색 히스토그램인 선택 색 히스토그램(513)을 추출한다. 이 때, 선택 색 히스토그램(513)은, 초기 색 히스토그램(502)을 이용하여 정규화되는 것이 바람직하다. 구체적으로는, 추적 처리부(15)는, 선택 영역의 색 히스토그램에 있어서의 각 구분의 도수를, 초기 색 히스토그램(502)의 각 구분의 도수로 나눔으로써, 선택 색 히스토그램(513)을 정규화하는 것이 바람직하다.
이어서, 도 5(c)에 나타낸 바와 같이, 추적 처리부(15)는, 초기 색 히스토그램(502)과 선택 색 히스토그램(513)이 겹쳐지는 부분인 중복 부분(520)의 비율을 유사도로서 산출한다. 구체적으로는, 추적 처리부(15)는, (식 4)에 따라 유사도를 산출한다.
[수식 4]
Figure pct00004
여기에서, Ri는, 초기 색 히스토그램(502)에 있어서의 i번째 구분의 도수이다. 한편, Ii는, 선택 색 히스토그램(513)에 있어서의 i번째 구분의 도수이다. 여기에서는, 20분할되어 있으므로, i는 0으로부터 19까지의 값이 된다. 또한, 중복 부분(520)의 비율이 클수록 유사도가 나타내는 유사 정도는 높고, 작을수록 유사도가 나타내는 유사 정도는 낮은 것을 나타낸다.
추적 처리부(15)는, 이와 같이 탐색 영역(511) 내에서 위치 및 크기를 변경하면서 선택 영역(512)의 선택 및 선택 색 히스토그램(513)의 추출을 반복하여, 색 히스토그램이 중복 부분(520)의 비율이 가장 큰 선택 영역(512)을 대상 영역으로서 특정한다. 그리고, 추적 처리부(15)는, 대상 영역의 변의 길이 및 중심 위치의 좌표를 기억부(17)에 등록한다.
이상과 같이, 본 실시 형태에 따른 화상 처리 장치(10)는, 촬영 환경이 변화함으로써 대상물의 상을 나타내는 특징량이 변동한 경우여도, 촬영 환경에 대응한 제1 및 제2 변환 파라미터를 이용해 제1 화상을 변환한 탐색용 화상을 이용하여 대상 영역을 탐색한다. 요컨대, 화상 처리 장치(10)는, 촬영 환경의 변화에 서서히 추종하는 파라미터가 아니라, 촬영 환경의 변화에 즉시 추종하는 파라미터를 이용해, 제2 화상과 동등한 화질을 갖는 화상이 되도록 제1 화상을 변환한 탐색용 화상을 이용하여 대상 영역을 탐색한다. 그 결과, 화상 처리 장치(10)는, 촬영 환경의 변화에 상관없이, 대상물의 상을 안정적으로 추적하는 것이 가능해진다.
또한, 화상 처리 장치(10)는, 촬영 환경의 변화에 서서히 대응하는 제3 변환 파라미터를 이용하여 변환한 화상을 출력함으로써, 유저가 화상을 보았을 때의 위화감 혹은 불쾌감을 저감하는 것도 가능해진다.
또, 화상 처리 장치(10)는, 제1 및 제2 화상 중 제1 화상만을 탐색용 화상으로 변환하므로, 제1 및 제2 화상의 양쪽을 변환하는 경우보다, 화상을 변환하는 처리의 부하를 경감하는 것이 가능해진다.
또, 화상 처리 장치(10)는, 로버스트성이 높은 색 히스토그램을 이용하여 대상물의 상을 추적할 수 있으므로, 대상물의 상을 보다 안정적으로 추적하는 것이 가능해진다.
이상, 본 발명에 따른 화상 처리 장치 또는 전자 카메라에 대해, 실시 형태에 의거하여 설명하였지만, 본 발명은, 이들 실시 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각해내는 각종 변형을 본 실시 형태에 실시한 것도, 본 발명의 범위 내에 포함된다.
예를 들면, 상기 실시 형태에 있어서, 제1 화상 변환부(13)는, 제1 화상을 변환하고 있었지만, 제1 화상과 동등한 화질을 갖는 화상이 되도록 제2 화상을 변환해도 된다. 또, 제1 화상 변환부(13)는, 변환 후의 화상의 화질이 서로 동등해지도록 제1 화상 및 제2 화상의 양쪽을 목적 화질 화상으로 변환해도 된다. 구체적으로는, 예를 들면, 제1 화상 및 제2 화상 중 제2 화상만을 변환하는 경우, 제1 화상 변환부(13)는 (식 5)에 따라, RGB마다의 각 화소의 화소치로서 화소치 V4를 갖는 원화상(410)(제2 화상)을, RGB마다의 각 화소의 화소치로서 화소치 V5를 갖는 탐색용 화상으로 변환한다. 그리고, 추적 처리부(15)는, 이와 같이 변환된 탐색용 화상에 있어서, 원화상(400)에 있어서의 초기 영역(403)으로부터 추출되는 특징량과 가장 유사한 영역을 탐색한다.
[수식 5]
Figure pct00005
또, 상기 실시 형태에 있어서, 제1 화상 변환부(13)는, 제1 화상의 모두를 변환하고 있었지만, 제1 화상 중 초기 영역에 포함되는 화상만을 변환해도 된다. 이에 의해, 화상 처리 장치(10)는, 제1 화상 변환부(13)의 처리 부하를 경감시킬 수 있다. 또 이 경우, 기억부(17)에는, 초기 영역에 관한 정보로서, 초기 영역을 구성하는 각 화소의 화소치가 기억되면 된다. 이에 의해, 화상 처리 장치(10)는, 제1 화상의 모두를 기억하는 경우보다, 기억부(17)의 기억 용량을 삭감할 수 있다.
또, 기억부(17)에는, 초기 영역에 관한 정보로서, 초기 영역으로부터 추출되는 특징량이 기억되어도 된다. 이 경우, 제1 화상 변환부(13)는, 제1 화상을 변환하는 대신에, 초기 영역의 특징량을 변환한다. 이에 의해, 추적 처리부(15)는, 촬영된 화상에서 대상 영역을 탐색할 때마다 초기 영역의 특징량을 추출할 필요가 없어지므로, 추적 처리부(15)의 부하를 경감할 수 있다.
또, 상기 실시 형태에 있어서, 추적 처리부(15)는, 특징량으로서 색 히스토그램을 추출하고 있었지만, 예를 들면, 휘도 히스토그램을 특징량으로서 추출해도 된다. 이 경우, 추적 처리부(15)는, 초기 영역으로부터 얻어지는 휘도 히스토그램과 선택 영역으로부터 얻어지는 휘도 히스토그램을 비교함으로써, 유사도를 산출한다.
또, 상기의 화상 처리 장치를 구성하는 구성 요소의 일부 또는 전부는, 1개의 시스템 LSI(Large Scale Integration : 대규모 집적 회로)로 구성되어도 된다. 시스템 LSI는, 복수의 구성부를 1개의 칩 상에 집적하여 제조된 초다기능 LSI이며, 구체적으로는, 마이크로 프로세서, ROM(Read Only Memory) 및 RAM(Random Access Memory) 등을 포함하여 구성되는 컴퓨터 시스템이다. 예를 들면, 도 1에 나타낸 바와 같이, 초기 영역 취득부(11)와, 변환 파라미터 산출부(12)와, 제1 화상 변환부(13)와, 제2 화상 변환부(14)와, 추적 처리부(15)와, 출력부(16)는, 1개의 시스템 LSI(30)로 구성되어도 된다.
또, 본 발명은, 상기와 같은 화상 처리 장치로서 실현할 뿐만 아니라, 도 2에 나타낸 바와 같이, 화상 처리 장치가 구비하는 특징적인 구성부를 구비하는 전자 카메라로서 실현해도 된다. 또한, 본 발명은, 화상 처리 장치가 구비하는 특징적인 구성부의 동작을 단계로 하는 화상 처리 방법으로서 실현해도 된다. 또, 본 발명은, 그와 같은 화상 처리 방법에 포함되는 단계를 컴퓨터에 실행시키는 프로그램으로서 실현해도 된다. 그리고, 그와 같은 프로그램은, CD-ROM 등의 기록 매체 또는 인터넷 등의 전송 매체를 통해 배송해도 된다.
[산업상의 이용 가능성]
본 발명에 따른 전자 카메라 또는 촬상 장치 등은, 추적의 대상이 되는 대상물이 찍혀 있는 영역을 특정함으로써 대상물의 상을 추적하는, 디지털 비디오 카메라, 디지털 스틸 카메라, 감시용 카메라, 차재용 카메라, 또는 카메라 기능을 구비한 휴대전화 등에 유용하다.
10 : 화상 처리 장치
11 : 초기 영역 취득부
12 : 변환 파라미터 산출부
13 : 제1 화상 변환부
14 : 제2 화상 변환부
15 : 추적 처리부
16 : 출력부
17 : 기억부
30 : 시스템 LSI
100 : 전자 카메라
101 : 촬영 렌즈
102 : 셔터
103 : 촬상 소자
104 : AD 변환기
105 : 타이밍 발생 회로
106 : 화상 처리 회로
107 : 메모리 제어 회로
108 : 화상 표시 메모리
109 : DA 변환기
110 : 화상 표시부
111, 120 : 메모리
112 : 리사이즈 회로
113 : 시스템 제어 회로
114 : 노광 제어부
115 : 측거 제어부
116 : 줌 제어부
117 : 배리어 제어부
118 : 플래시
119 : 보호부
121 : 표시부
122 : 불휘발성 메모리
123 : 모드 다이얼 스위치
124 : 셔터 스위치
125 : 전원 제어부
126, 127, 131, 132 : 커넥터
128 : 전원
129, 130 : 인터페이스
133 : 기록 매체
134 : 광학 파인더
135 : 통신부
136 : 안테나
137 : 초기 영역 취득 회로
138 : 변환 파라미터 산출 회로
139 : 제1 화상 변환 회로
140 : 제2 화상 변환 회로
141 : 추적 처리 회로
142 : 추적 결과 묘화 회로
143 : 카메라 제어 회로
400, 410, 420, 430 : 원화상
401, 411, 421, 431 : 목적 화질 화상
402, 413, 423, 433 : 출력용 화상
403 : 초기 영역
412, 422, 432 : 탐색용 화상
414 : 대상 영역
415 : 영역
416 : 프레임
501 : 초기 영역
502 : 초기 색 히스토그램
511 : 탐색 영역
512 : 선택 영역
513 : 선택 색 히스토그램
520 : 중복 부분

Claims (9)

  1. 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하고, 추적 결과를 이용하여, 오토 포커스 처리, 자동 노출 처리, 및 카메라 제어에 의한 프레이밍 처리 및 자동 촬영 처리 중 적어도 1개를 실행하는 전자 카메라로서,
    제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부와,
    상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와,
    상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와,
    상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와,
    상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와,
    상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비하는, 전자 카메라.
  2. 청구항 1에 있어서,
    상기 제1, 제2 및 제3 변환 파라미터는, 촬영된 화상으로부터 검출되는 색 온도, 노광, 노출, 및 휘도치의 적어도 하나에 따라, 상기 화상을 구성하는 복수의 화소가 갖는 화소치를 변환하기 위한 파라미터인, 전자 카메라.
  3. 청구항 1에 있어서,
    상기 제1 화상 변환부는, 상기 제1 및 제2 변환 파라미터의 비를 이용하여, 상기 제1 및 제2 화상의 한쪽을 변환하는, 전자 카메라.
  4. 청구항 1에 있어서,
    상기 제1 화상 변환부는, 상기 제1 화상을 변환하는 경우, 상기 제1 화상 중 상기 초기 영역에 포함되는 화상만을 변환하는, 전자 카메라.
  5. 청구항 1에 있어서,
    상기 특징량은, 화상을 구성하는 화소가 갖는 색의 빈도 분포를 나타내는 색 히스토그램이며,
    상기 추적 처리부는, 상기 초기 영역의 색 히스토그램과 겹치는 부분의 비율이 가장 큰 색 히스토그램을 갖는 영역을 상기 제2 화상에서 탐색하는, 전자 카메라.
  6. 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치로서,
    제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부와,
    상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와,
    상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와,
    상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와,
    상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와,
    상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비하는, 화상 처리 장치.
  7. 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치에서 이용되는 화상 처리 방법으로서,
    상기 화상 처리 장치는,
    제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부를 구비하고,
    상기 화상 처리 방법은,
    상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출 단계와,
    상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출 단계에서 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환 단계와,
    상기 제1 화상 변환 단계에서 변환된 후의 화상을 이용하여, 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리 단계와,
    상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환 단계와,
    상기 제2 화상 변환 단계에서 변환된 후의 화상과, 상기 추적 처리 단계에서 탐색된 영역을 나타내는 정보를 출력하는 출력 단계를 포함하는, 화상 처리 방법.
  8. 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 화상 처리 장치가 구비하는 집적 회로로서,
    상기 화상 처리 장치는,
    제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부를 구비하고,
    상기 집적 회로는,
    상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출부와,
    상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출부에 의해 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환부와,
    상기 제1 화상 변환부에 의해 변환된 후의 화상을 이용하여, 상기 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 상기 제2 화상에서 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리부와,
    상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환부와,
    상기 제2 화상 변환부에 의해 변환된 후의 화상과, 상기 추적 처리부에 의해 탐색된 영역을 나타내는 정보를 출력하는 출력부를 구비하는, 집적 회로.
  9. 연속적으로 촬영된 화상에 있어서 추적의 대상이 되는 대상물의 상을 추적하는 컴퓨터 실행 가능한 프로그램으로서,
    상기 컴퓨터는,
    제1 화상에 있어서 상기 대상물의 상을 포함하는 영역인 초기 영역에 관한 정보와, 상기 제1 화상이 촬영되었을 때의 촬영 환경에 대응하는 파라미터이며 상기 제1 화상을 소정의 화질을 갖는 화상으로 변환하기 위한 파라미터인 제1 변환 파라미터를 기억하는 기억부를 구비하고,
    상기 프로그램은,
    상기 제1 화상보다 뒤에 촬영된 화상인 제2 화상이 촬영되었을 때의 촬영 환경에 따라, 상기 제2 화상을 상기 소정의 화질을 갖는 화상으로 변환하기 위한 제2 변환 파라미터를 산출하는 변환 파라미터 산출 단계와,
    상기 기억부에 기억된 제1 변환 파라미터와 상기 변환 파라미터 산출 단계에서 산출된 제2 변환 파라미터를 이용하여, 상기 제1 및 제2 화상의 적어도 한쪽을 변환하는 제1 화상 변환 단계와,
    상기 제1 화상 변환 단계에서 변환된 후의 화상을 이용하여, 초기 영역의 특징을 정량적으로 나타내는 특징량과 유사한 특징량을 갖는 영역을 탐색함으로써, 상기 대상물의 상을 추적하는 추적 처리 단계와,
    상기 제2 변환 파라미터보다, 연속적으로 촬영된 화상간에 있어서의 변화량이 억제된 제3 변환 파라미터를 이용하여, 상기 제2 화상을 변환하는 제2 화상 변환 단계와,
    상기 제2 화상 변환 단계에서 변환된 후의 화상과, 상기 추적 처리 단계에서 탐색된 영역을 나타내는 정보를 출력하는 출력 단계를 컴퓨터에 실행시키는, 프로그램.
KR1020107028848A 2009-05-11 2010-04-14 전자 카메라, 화상 처리 장치 및 화상 처리 방법 KR20120007948A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009114958A JP5313037B2 (ja) 2009-05-11 2009-05-11 電子カメラ、画像処理装置および画像処理方法
JPJP-P-2009-114958 2009-05-11

Publications (1)

Publication Number Publication Date
KR20120007948A true KR20120007948A (ko) 2012-01-25

Family

ID=43084802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028848A KR20120007948A (ko) 2009-05-11 2010-04-14 전자 카메라, 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US8593522B2 (ko)
EP (1) EP2432214A4 (ko)
JP (1) JP5313037B2 (ko)
KR (1) KR20120007948A (ko)
CN (1) CN102084642B (ko)
WO (1) WO2010131416A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016076514A1 (ko) * 2014-11-14 2016-05-19 삼성전자 주식회사 연사 촬영을 위한 장치 및 방법
WO2018174648A1 (ko) * 2017-03-23 2018-09-27 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
US10194093B2 (en) 2014-11-14 2019-01-29 Samsung Electronics Co., Ltd. Device and method for continuous image capturing

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5663923B2 (ja) * 2010-03-31 2015-02-04 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
CN103780841A (zh) * 2014-01-23 2014-05-07 深圳市金立通信设备有限公司 一种拍摄方法及拍摄装置
US9436870B1 (en) * 2014-06-06 2016-09-06 Amazon Technologies, Inc. Automatic camera selection for head tracking using exposure control
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
WO2016006305A1 (ja) * 2014-07-08 2016-01-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN107211114B (zh) * 2015-02-18 2019-01-22 富士胶片株式会社 跟踪摄影控制装置、跟踪摄影系统、相机、终端装置及方法
WO2016171259A1 (ja) * 2015-04-23 2016-10-27 株式会社ニコン 画像処理装置、及び撮像装置
CN107636698B (zh) * 2015-06-25 2021-10-19 富士通株式会社 程序生成装置、程序生成方法以及生成程序
CN105141855B (zh) * 2015-08-31 2018-11-09 联想(北京)有限公司 一种图像处理方法及电子设备
JP6439004B2 (ja) * 2016-04-28 2018-12-19 株式会社松屋アールアンドディ 縫製装置及び縫製方法
CN109478061A (zh) 2016-07-28 2019-03-15 深圳市大疆创新科技有限公司 基于目标的图像曝光调整
US10163212B2 (en) * 2016-08-19 2018-12-25 Sony Corporation Video processing system and method for deformation insensitive tracking of objects in a sequence of image frames
CN111034185B (zh) * 2017-08-23 2021-07-27 索尼公司 影像处理装置、影像处理方法、程序和远程通信系统
TWI632527B (zh) * 2017-11-22 2018-08-11 東友科技股份有限公司 影像擷取與輸出方法
CN108742170B (zh) * 2018-05-08 2020-08-18 华南理工大学 一种烤箱的智能识别烹饪系统
CN109104573B (zh) * 2018-09-29 2021-01-08 维沃移动通信（杭州）有限公司 一种确定对焦点的方法及终端设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2568161B2 (ja) 1988-11-24 1996-12-25 キヤノン株式会社 自動露光制御装置
JPH0730796A (ja) * 1993-07-14 1995-01-31 Sony Corp ビデオ信号追従処理システム
JPH0795598A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
JP3729933B2 (ja) * 1996-05-31 2005-12-21 松下電器産業株式会社 自動監視装置
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
WO1998024243A1 (en) 1996-11-27 1998-06-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
JP2000082135A (ja) * 1998-09-07 2000-03-21 Dainippon Printing Co Ltd 撮像画像幾何歪み検出装置
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6741725B2 (en) 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6859552B2 (en) 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
JP2002150287A (ja) * 2000-11-07 2002-05-24 Minolta Co Ltd 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP2006018389A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体
US7505607B2 (en) * 2004-12-17 2009-03-17 Xerox Corporation Identifying objects tracked in images using active device
RU2008111509A (ru) * 2005-08-26 2009-10-10 Конинклейке Филипс Электроникс Н.В. (Nl) Устройство и способ обработки изображения фотокамеры
WO2007038642A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for trajectory-based identification of digital data content
GB2430735A (en) * 2005-09-30 2007-04-04 Sony Uk Ltd Object detection
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
JP2010218271A (ja) * 2009-03-17 2010-09-30 Tokyo Institute Of Technology パラメータ制御処理装置及び画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016076514A1 (ko) * 2014-11-14 2016-05-19 삼성전자 주식회사 연사 촬영을 위한 장치 및 방법
US10194093B2 (en) 2014-11-14 2019-01-29 Samsung Electronics Co., Ltd. Device and method for continuous image capturing
WO2018174648A1 (ko) * 2017-03-23 2018-09-27 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR20180108041A (ko) * 2017-03-23 2018-10-04 삼성전자주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
US11039062B2 (en) 2017-03-23 2021-06-15 Samsung Electronics Co., Ltd. Electronic device, and method for processing image according to camera photographing environment and scene by using same

Also Published As

Publication number Publication date
JP5313037B2 (ja) 2013-10-09
WO2010131416A1 (ja) 2010-11-18
CN102084642A (zh) 2011-06-01
US20110122254A1 (en) 2011-05-26
US8593522B2 (en) 2013-11-26
CN102084642B (zh) 2014-05-14
EP2432214A4 (en) 2014-07-16
JP2010263584A (ja) 2010-11-18
EP2432214A1 (en) 2012-03-21

Similar Documents

Publication Publication Date Title
JP5313037B2 (ja) 電子カメラ、画像処理装置および画像処理方法
JP5054063B2 (ja) 電子カメラ、画像処理装置及び画像処理方法
CN101489051B (zh) 图像处理设备和图像处理方法以及摄像设备
US7961228B2 (en) Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face
EP2169963A1 (en) Image pickup device and image pickup method
US20050088543A1 (en) Digital camera and image generating method
CN105103534A (zh) 摄像装置、校准方法、程序以及记录介质
US10477113B2 (en) Imaging device and control method therefor
JP2009027352A (ja) 撮像装置、画像処理装置およびプログラム
JP5311922B2 (ja) 撮像装置及びその制御方法
JP4807623B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP2008236015A (ja) 画像処理装置、撮像装置及びそのプログラム
JP4818130B2 (ja) 撮像装置及びその制御方法
JP5278483B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP6808482B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11405562B2 (en) Image processing apparatus, method of controlling the same, image capturing apparatus, and storage medium
JP2015075628A (ja) 発光制御装置及び撮像装置
US20230134895A1 (en) Subject tracking device, subject tracking method, and storage medium
JP2019101106A (ja) 撮像装置及びその制御方法
JP2009302747A (ja) 撮像装置、画像処理装置およびプログラム
JP2005077924A (ja) 撮像装置、撮像装置の制御方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2005326506A (ja) 焦点検出装置及び焦点検出方法
JP2012039256A (ja) 撮像装置、その制御方法及びプログラム
JP2009098192A (ja) 撮像装置、画像処理装置およびプログラム
JP2016129279A (ja) 撮像装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid