KR20100069582A - 촬상 장치, 화상 처리 방법 및 기록 매체 - Google Patents

촬상 장치, 화상 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR20100069582A
KR20100069582A KR1020090121554A KR20090121554A KR20100069582A KR 20100069582 A KR20100069582 A KR 20100069582A KR 1020090121554 A KR1020090121554 A KR 1020090121554A KR 20090121554 A KR20090121554 A KR 20090121554A KR 20100069582 A KR20100069582 A KR 20100069582A
Authority
KR
South Korea
Prior art keywords
subject
image
imaging
background
unit
Prior art date
Application number
KR1020090121554A
Other languages
English (en)
Other versions
KR101156991B1 (ko
Inventor
가즈히사 마쓰나가
데쓰지 마키노
마사아키 사사키
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20100069582A publication Critical patent/KR20100069582A/ko
Application granted granted Critical
Publication of KR101156991B1 publication Critical patent/KR101156991B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 촬상 장치, 화상 처리 방법 및 기록 매체에 관한 것으로서, 피사체 영역의 추출 정밀도를 향상시키는 것을 과제로 한다.
본 발명에 의하면, 촬상 장치(100)로서, 배경 내에 피사체가 존재하는 피사체 존재 화상을 촬상하고, 다음으로, 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 피사체가 존재하지 않는 배경 화상을 촬상하는 촬상 수단으로서의 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)와, 피사체 존재 화상과 배경 화상과의 위치맞춤을 행한 후, 위치맞춤된 피사체 존재 화상과 배경 화상 사이에서 대응하는 각 화소의 차분 정보를 생성하여, 상기 차분 정보에 기초하여 피사체 존재 화상으로부터 피사체가 포함되는 피사체 영역을 추출하는 화상 처리부(8)를 구비하는 것을 특징으로 한다.

Description

촬상 장치, 화상 처리 방법 및 기록 매체{IMAGE CAPTURING APPARATUS, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 촬상된 화상으로부터 피사체 영역을 추출하는 촬상 장치, 화상 처리 방법 및 기록 매체에 관한 것이다.
종래, 고정된 촬상 장치를 사용하여, 배경 내에 피사체가 존재하는 화상을 촬영하고, 그 후에 배경 내에 피사체가 존재하지 않는 배경 화상을 촬영하여, 배경 화상과 피사체가 존재하는 화상으로부터 차분 정보를 생성하고, 피사체만을 추출하는 응용프로그램을 탑재한 것이 알려져 있다(예를 들면, 특허 문헌 1 참조).
[특허 문헌 1] 일본 특허출원 공개번호 평 10-21408호 공보
그러나, 수동 촬영으로, 배경 내에 피사체가 존재하는 화상을 촬영한 후에, 피사체가 존재하지 않는 배경 화상을 촬영하면, 그 동안 화각이 쉽게 이동하여, 피사체를 추출할 때, 배경 자체의 화소값에 차분이 발생하여 배경 부분을 피사체로 오인식하기 쉬운 문제가 생긴다.
따라서, 본 발명은, 피사체 영역의 추출 정밀도를 향상시킬 수 있는 촬상 장치, 화상 처리 방법 및 프로그램을 제공하는 것을 과제로 한다.
전술한 과제를 해결하기 위해, 본 발명의 일태양인 촬상 장치는,
배경 내에 피사체가 존재하는 피사체 존재 화상을 촬상하는 제1 촬상 수단과; 상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 촬상하는 제2 촬상 수단과; 상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 위치맞춤 수단과; 상기 위치맞춤 수단에 의해 위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상 사이에 대응하는 각 화소의 차분 정보를 생성하는 차분 생성 수단과; 상기 차분 생성 수단에 의해 생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함되는 피사체 영역을 추출하는 피사체 추출 수단을 구비하는 것을 특징으로 하고 있다.
또한, 다른 태양인 화상 처리 방법은,
촬상 수단을 구비하는 촬상 장치에, 배경 내에 피사체가 존재하는 피사체 존재 화상을 상기 촬상 수단에 촬상시키는 처리와; 상기 피사체 존재 화상을 촬상 후, 상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 상기 촬상 수단에 촬상시키는 처리와; 상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 처리와; 위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상 사이에 대응하는 각 화소의 차분 정보를 생성하는 처리와; 생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함되는 피사체 영역을 추출하는 처리를 실행시키는 것을 특징으로 하고 있다.
또한, 다른 태양인 기록 매체는,
촬상 수단을 구비하는 촬상 장치의 컴퓨터를, 배경 내에 피사체가 존재하는 피사체 존재 화상을 상기 촬상 수단에 촬상시키는 제1 촬상 제어 수단; 상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 상기 촬상 수단에 촬상시키는 제2 촬상 제어 수단; 상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 위치맞춤 수단; 상기 위치맞춤 수단에 의해 위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상 사이에 대응하는 각 화소의 차분 정보를 생성하는 차분 생성 수단; 상기 차분 생성 수단에 의해 생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함되는 피사체 영역을 추출하는 피사체 추출 수단으로서 기능하게 하는 프로그램을 기록하고 있는 것을 특징으로 하고 있 다.
본 발명에 의하면, 피사체 존재 화상으로부터의 피사체 영역의 추출 정밀도를 향상시킬 수 있다.
이하, 본 발명에 대하여, 도면을 참조하여 구체적인 태양을 설명한다. 다만, 발명의 범위는, 도시한 예로 한정되지 않는다.
도 1은, 본 발명을 적용한 일실시예의 촬상 장치(100)의 개략적인 구성을 나타낸 블록도이다.
본 실시예의 촬상 장치(100)는, 먼저, 배경 내에 피사체 S가 존재하는 피사체 존재 화상 P1[도 7의 (a) 참조]을, 피사체 S가 존재하는 상태에 맞는 소정의 촬상 조건으로 촬상하고, 다음으로, 피사체 존재 화상 P1의 촬상 시의 소정의 촬상 조건과 동일한 촬상 조건으로, 피사체 S가 존재하지 않는 배경 화상 P2[도 7의 (c) 참조]를 촬상하고, 피사체 존재 화상 P1의 위치맞춤을 행한 후, 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소의 차분 정보를 생성하여, 상기 차분 정보에 기초하여 피사체 존재 화상 P1으로부터 피사체 S가 포함되는 피사체 영역을 추출한다.
구체적으로는, 도 1에 나타낸 바와 같이, 촬상 장치(100)는, 렌즈부(1), 전자 촬상부(2), 촬상 제어부(3), 화상 데이터 생성부(4), 화상 메모리(5), 특징량 연산부(6), 블록 매칭부(7), 화상 처리부(8), 기록 매체(9), 표시 제어부(10), 표 시부(11), 조작 입력부(12), 자이로 센서부(14), 및 CPU(13)를 구비하고 있다.
또한, 촬상 제어부(3), 특징량 연산부(6), 블록 매칭부(7), 화상 처리부(8), 및 CPU(13)는, 예를 들면 커스텀 LSI 1A로서 설계되어 있다.
렌즈부(1)는, 복수의 렌즈로 구성되며, 줌 렌즈나 포커스 렌즈 등을 구비하고 있다.
또한, 렌즈부(1)는, 도시는 생략하지만, 피사체 S의 촬상 시에, 줌 렌즈를 광축 방향으로 이동시키는 줌 구동부, 포커스 렌즈를 광축 방향으로 이동시키는 초점 구동부 등을 포함할 수도 있다.
전자 촬상부(2)는, 예를 들면 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 이미지 센서로 구성되며, 렌즈부(1)의 각종 렌즈를 통과한 광학상을 1차원 화상 신호로 변환시킨다.
촬상 제어부(3)는, 도시는 생략하지만, 타이밍 발생기, 드라이버 등을 구비하고 있다. 그리고, 촬상 제어부(3)는, 타이밍 발생기, 드라이버에 의해 전자 촬상부(2)를 주사 구동하여, 소정 주기마다 광학상을 전자 촬상부(2)에 의해 2차원 화상 신호로 변환시키고, 전자 촬상부(2)의 촬상 영역으로부터 1화면 분씩 화상 프레임을 판독하여 화상 데이터 생성부(4)에 출력시킨다.
또한, 촬상 제어부(3)는, 피사체의 촬상 조건의 조정 제어를 행한다. 구체적으로는, 촬상 제어부(3)는, 렌즈부(1)를 광축 방향으로 이동시켜 초점 조건을 조정하는 자동 초점 처리를 행하는 AF(Auto Focus)부(3a)를 구비하고 있다.
또한, 촬상 제어부(3)는, 촬상 조건의 조정 제어로서 AE(자동 노출 처리)나 AWB(자동 화이트밸런스) 등을 행한다.
또한, 촬상 모드로서 피사체 절취 모드(cutting out mode)(후술)가 설정되어 있는 경우에, 사용자에 의한 셔터 버튼(12a)의 1회째의 촬상 지시 조작에 기초하여, 촬상 제어부(3)는, 렌즈부(1)를 통과한 배경 내에 피사체 S(예를 들면, 자동차)가 존재하는 피사체 존재 화상 P1[도 7의 (a) 참조]의 광학상을 소정의 촬상 조건으로 전자 촬상부(2)에 의해 2차원 화상 신호로 변환시키고, 전자 촬상부(2)의 촬상 영역으로부터 피사체 존재 화상 P1에 대한 화상 프레임을 판독한다.
또한, 촬상 제어부(3)는, 피사체 존재 화상 P1의 촬상 후에, 피사체 존재 화상 P1의 촬상 시의 촬상 조건을 고정시킨 상태를 유지한다. 그리고, 사용자에 의한 셔터 버튼(12a)의 2회째의 촬상 지시 조작에 기초하여, 촬상 제어부(3)는, 렌즈부(1)를 통과한 피사체 존재 화상 P1의 배경과 동일한 배경 내에 피사체 S가 존재하지 않는 배경 화상 P2[도 7의 (c) 참조]의 광학상을, 피사체 존재 화상 P1의 촬상 후에 고정된 촬상 조건으로 전자 촬상부(2)에 의해 2차원 화상 신호로 변환시키고, 전자 촬상부(2)의 촬상 영역으로부터 배경 화상 P2에 대한 화상 프레임을 판독한다.
여기서, 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)는, 배경 내에 피사체 S가 존재하는 피사체 존재 화상 P1을 소정의 촬상 조건으로 촬상하는 제1 촬상 수단, 및 피사체 존재 화상 P1의 촬상 시의 소정의 촬상 조건과 동일한 촬상 조건으로, 피사체 존재 화상 P1의 배경과 동일한 배경 내에 피사체 S가 존재하지 않는 배경 화상 P2를 촬상하는 제2 촬상 수단을 구성하고 있다.
화상 데이터 생성부(4)는, 전자 촬상부(2)로부터 전송된 화상 프레임의 아날로그값의 신호에 대하여 RGB의 각 색 성분마다 적절하게 게인 조정한 후, 샘플 홀드 회로(도시 생략)에서 샘플 홀드하여 A/D 변환기(도시 생략)로 디지털 데이터로 변환하고, 컬러 프로세스 회로(도시 생략)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 프로세스 처리를 행한 후, 디지털값의 휘도 신호 Y 및 색차 신호 Cb, Cr(YUV 데이터)을 생성한다.
컬러 프로세스 회로로부터 출력되는 휘도 신호 Y 및 색차 신호 Cb, Cr은, 도시하지 않은 DMA 컨트롤러를 통하여, 버퍼 메모리로서 사용되는 화상 메모리(5)에 DMA 전송된다.
그리고, A/D 변환 후의 디지털 데이터를 현상하는 디모자이크부(도시 생략)가, 커스텀 LSI 1A에 실장되어 있어도 된다.
화상 메모리(5)는, 예를 들면, DRAM 등에 의해 구성되며, 특징량 연산부(6)와, 블록 매칭부(7)와, 화상 처리부(8)와, CPU(13) 등에 의해 처리되는 데이터 등을 일시적으로 기억한다.
특징량 연산부(6)는, 배경 화상 P2를 기준으로 하여, 배경 화상 P2로부터 특징점을 추산하는 특징 추출 처리를 행한다. 구체적으로는, 특징량 연산부(6)는, 배경 화상 P2의 YUV 데이터에 기초하여, 소정수(또는, 소정수 이상)의 특징이 높은 블록 영역(특징점)을 선택하여, 상기 블록의 내용을 템플레이트(예를 들면, 16×16 화소의 정사각형)로서 추출한다
여기서, 특징 추출 처리는, 다수의 후보 블록으로부터 추적하기 좋은 특징성 이 높은 것을 선택하는 처리이다. 구체적으로는, 각 후보 블록의 구배 공분산 행렬을 구하고, 이 행렬의 최소 고유값이나, "Harris 오퍼레이터"라고 하는 연산 결과를 평가값으로 하고, 평가값이 높은 것을 절대 임계값이나 상대 순위로 선별한다. 이로써, 추적에 부적합한 평탄하거나 랜덤성이 높은 영역 등을 배제하여, 추적에 적합한 물체나 모양의 코너(모서리)와 같은 영역을 템플레이트로서 선택한다.
블록 매칭부(7)는, 배경 화상(기준 화상 P2)과 피사체 존재 화상(대상 화상 P1)의 위치맞춤을 위한 블록 매칭 처리를 행한다. 구체적으로는, 블록 매칭부(7)는, 특징 추출 처리에 의해 추출된 템플레이트가 피사체 존재 화상 P1 내의 어디에 대응하는지, 즉 피사체 존재 화상 P1 내에서 템플레이트의 화소값이 최적으로 매치하는 위치(대응 영역)를 탐색한다. 그리고, 화소값의 상이도의 평가값[예를 들면, 차분 제곱합(SSD)이나 차분 절대값합(SAD) 등]이 가장 양호한 배경 화상 P2와 피사체 존재 화상 P1 사이의 최적인 오프셋을 상기 템플레이트의 모션 벡터로서 산출한다.
화상 처리부(8)는, 피사체 존재 화상 P1과 배경 화상 P2와의 위치맞춤을 행하는 위치맞춤부(8a)를 구비하고 있다.
위치맞춤부(8a)는, 배경 화상 P2로부터 추출한 특징점에 기초하여, 피사체 존재 화상 P1과 배경 화상과의 위치맞춤을 행한다. 즉, 위치맞춤부(8a)는, 배경 화상 P2로부터 추출한 특징점에 기초하여, 배경 화상 P2에 대한 피사체 존재 화상 P1의 각 화소의 좌표 변환식을 산출하는 좌표 변환식 산출부(8b)를 구비하고, 이 좌표 변환식 산출부(8b)에 의해 산출된 좌표 변환식에 따라 피사체 존재 화상 P1을 좌표 변환하여 배경 화상 P2와 위치맞춤을 행한다.
구체적으로는, 좌표 변환식 산출부(8b)는, 블록 매칭부(7)에 의해 산출된 복수의 템플레이트의 모션 벡터를 다수결에 의해 연산하여, 통계적으로 소정%(예를 들면, 50%) 이상이 될 것으로 판단된 모션 벡터를 전체의 모션 벡터로 하고, 상기 모션 벡터에 대한 특징점 대응을 사용하여 피사체 존재 화상 P1의 사영 변환 행렬을 산출한다. 그리고, 위치맞춤부(8a)는, 사영 변환 행렬에 따라 피사체 존재 화상 P1을 좌표 변환하여 배경 화상 P2와 위치맞춤을 행한다.
여기서, 좌표 변환식 산출부(8b)는, 배경 화상 P2로부터 추출된 특징점에 기초하여, 피사체 존재 화상 P1의 각 화소의 좌표 변환식을 산출하는 좌표 변환식 산출 수단을 구성하고 있다. 또한, 위치맞춤부(8a)는, 피사체 존재 화상 P1과 배경 화상 P2와의 위치맞춤을 행하는 위치맞춤 수단을 구성하고 있다.
그리고, 전술한 위치맞춤 방법은 일례이며, 이에 한정되는 것은 아니다. 즉, 예를 들면 전체 모션 벡터의 산출 시에, 각 템플레이트의 추적 결과(특징점 대응)의 유효성을 판정하는 처리를 행함으로써 전체 모션 벡터의 신뢰도를 향상시켜도 된다.
즉, 블록 매칭부(7)는, 예를 들면 특징 추출 처리에 의해 추출된 템플레이트를 체크무늬형으로 직합 분할(direct-sum-dividing)하여, 상기 템플레이트로부터 2개의 서브 템플레이트를 설정한다. 그리고, 이들 2개의 서브 템플레이트가 피사체 존재 화상 P1 내의 어디에 대응하는지를 탐색 영역 중에서 좌표를 오프셋하면서, 각각의 오프셋에 관하여 화소값의 상이도를 평가하고, 가장 양호하게 매치한다고 평가되는 오프셋을 특정한다. 그리고, 산출된 2개의 서브 템플레이트의 평가값을 합산하여 템플레이트의 평가값을 산출하고, 상이도의 평가값이 가장 양호한 배경 화상 P2와 피사체 존재 화상 P1 사이의 2개의 서브 템플레이트 및 템플레이트 각각의 최적인 오프셋을 서브 템플레이트의 서브 모션 벡터 및 템플레이트의 모션 벡터로 한다.
그 후, 위치맞춤부(8a)는, 블록 매칭부(7)에 의해 산출된 템플레이트의 모션 벡터와 2개의 서브 템플레이트의 각각의 서브 모션 벡터와의 일치도를 판정하여, 이들이 가깝다고 판단되면 상기 특징점 대응을 유효로 하고, 가깝지 않다고 판단되면 상기 특징점 대응을 무효로 하여 제외함으로써, 통계적으로 산출되는 전체 모션 벡터의 신뢰도를 향상시킬 수 있다.
또한, 화상 처리부(8)는, 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소의 차분 정보를 생성하는 차분 생성부(8c)를 구비하고 있다.
차분 생성부(8c)는, 구체적으로는 위치맞춤부(8a)에 의해 사영 변환 행렬에 따라 각 화소가 좌표 변환된 피사체 존재 화상 P1의 YUV 데이터와 배경 화상 P2의 YUV 데이터의 각각에 대하여 저역통과필터를 사용하여 고주파 성분을 제거한 후, 이들 화상 사이에서 대응하는 각 화소의 상이도 D를 하기 식에 기초하여 산출하여 상이도 맵을 생성한다.
상이도 D = (Y-Y')2 + {(U-U')2 + (V-V')2}*k
그리고, 전술한 식에 있어서는, 배경 화상 P2의 YUV 데이터를 "Y", "U", "V"로 나타내고, 좌표 변환 후의 피사체 존재 화상 P1의 YUV 데이터를 " Y' ", " U' ", " V' "로 나타낸다. 또한, k는, 휘도 신호 Y와 색차 신호 U, V의 배분을 변경하기 위한 계수이다.
여기서, 차분 생성부(8c)는, 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소의 차분 정보를 생성하는 차분 생성 수단을 구성하고 있다.
또한, 화상 처리부(8)는, 생성된 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소에 대하여 생성된 차분 정보에 기초하여, 피사체 존재 화상 P1으로부터 피사체 S가 포함되는 피사체 영역을 추출하는 피사체 영역 추출부(8d)를 구비하고 있다.
피사체 영역 추출부(8d)는, 구체적으로는 상이도 맵을 소정의 임계값으로 2치화한 후, 배경 화상 P2에 소정량 이상의 특징이 있는 경우에는, 미세한 노이즈나 손떨림에 의한 상이점이 존재하는 영역을 제거하기 위한 수축 처리를 행하여 소정값보다 작은 화소 집합이나 손떨림에 의한 세선 화소 집합을 제거한 후, 같은 연결 성분을 구성하는 화소 집합에 같은 번호를 붙이는 라벨링 처리를 행하여 가장 큰 섬 패턴(island pattern)을 피사체 영역으로서 추출한다. 그 후, 전술한 수축분을 수정하기 위한 팽창 처리를 행한 후, 피사체 영역 내 만의 라벨링 처리를 행함으로써 피사체 영역 라벨에 대하여 소정의 비율보다 작은 라벨의 화소 집합을 피사체 영역으로 치환함으로써 구멍메우기(hole filling)도 행한다.
한편, 배경 화상 P2에 소정량 이상의 특징이 없는 경우에는, 피사체 존재 화상 P1으로 피사체 S를 적정하게 특정할 수 있다고 여겨지므로, 피사체 영역 추출부(8d)는, 2치화 처리 후의 상이도 맵에 대한 수축 처리 및 팽창 처리, 라벨링 처 리 등을 행하지 않는다.
여기서, 피사체 영역 추출부(8d)는, 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소의 차분 정보에 기초하여, 피사체 존재 화상 P1으로부터 피사체 S가 포함되는 피사체 영역을 추출하는 피사체 추출 수단을 구성하고 있다.
또한, 화상 처리부(8)는, 피사체 존재 화상 P1 내에서 추출된 피사체 영역의 위치를 특정하여, 피사체 존재 화상 P1에 있어서의 피사체 영역의 위치를 나타내는 알파 맵(위치 정보) M을 생성하는 위치 정보 생성부(8c)를 구비하고 있다.
알파 맵 M이란, 피사체 존재 화상 P1의 각 화소에 대하여, 피사체 영역의 화상을 소정의 배경에 대하여 알파블렌딩(alpha-blending)할 때의 가중치를 알파값(0≤α≤1)으로서 나타낸 것이다.
위치 정보 생성부(8e)는, 구체적으로는, 가장 큰 섬의 부분이 1, 그 외의 부분이 0인 2치화된 상이도 맵에 대하여 저역통과필터로 필터링하여 경계 부분에 중간값이 생기도록 함으로써 알파값을 작성한다. 이 경우, 피사체 영역이 알파값이 1로 되고, 피사체 존재 화상 P1의 소정의 배경에 대한 투과도가 0%로 된다. 한편, 피사체의 배경 부분은 알파값이 0로 되고, 상기 피사체 존재 화상 P1의 투과도가 100%로 된다. 그리고, 경계 부근은 알파값이 0<α<1이므로, 피사체 존재 화상 P1과 배경 화상은 서로 섞이게 된다.
여기서, 위치 정보 생성부(8e)는, 피사체 존재 화상 P1 내에서 피사체 영역의 위치를 특정하여 위치 정보를 생성하는 위치 정보 생성 수단을 구성하고 있다.
또한, 화상 처리부(8)는, 생성된 알파 맵 M에 기초하여, 피사체 존재 화상 P1의 각 화소 중, 알파값이 1인 화소를 소정의 단일색 배경 화상 P3에 대하여 투과시키지 않고, 또한 알파값이 0인 화소를 투과시키도록, 피사체 S의 화상을 소정의 단일색 배경 화상 P3와 합성하여 피사체 절취 화상 P4의 화상 데이터를 생성하는 화상 합성부(8f)를 구비하고 있다.
화상 합성부(8f)는, 구체적으로는, 알파 맵 M에 있어서의 1의 보수 (1-α)를 사용하여 단일색 배경 화상 P3로부터 피사체 영역을 잘라낸 화상을 작성하여, 상기 피사체 영역이 잘라내진 화상과, 알파 맵 M를 사용하여 피사체 존재 화상 P1으로부터 잘라내진 피사체 S를 합성하여 피사체 절취 화상 P4를 생성한다.
여기서, 화상 합성부(8f)는, 위치 정보에 기초하여, 소정의 배경과 피사체 영역의 화상을 합성한 피사체 절취 화상 P4를 생성하는 합성 수단을 구성하고 있다.
또한, 화상 합성부(8f)는, 생성된 알파 맵 M에 기초하여, 피사체 절취 화상 P4와 배경용 화상(도시 생략)을 합성하여 피사체 합성 화상(도시 생략)을 생성한다. 구체적으로는, 화상 합성부(8f)는, 배경용 화상의 각 화소 중, 알파 값이 0인 화소는 투과시키고, 알파 값이 1인 화소는 피사체 절취 화상 P4의 대응하는 화소의 화소값으로 덧쓰기(overwriting)한다. 또한, 화상 합성부(8f)는, 배경용 화상의 각 화소 중, 알파 값이 0<α<1의 화소는 1의 보수 (1-α)를 사용하여 피사체 영역을 잘라낸 화상[배경용 화상×(1-α)]을 생성한 후, 알파 맵 M에 있어서의 1의 보수 (1-α)를 사용하여 피사체 절취 화상 P4를 생성할 때 단일 배경색과 블렌딩한 값을 계산하고, 상기 값을 피사체 절취 화상 P4로부터 감산하고, 그것을 피사체 영 역을 잘라낸 화상[배경용 화상×(1-α)]과 합성한다.
표시 제어부(10)는, 화상 메모리(5)에 일시적으로 기억되어 있는 표시용 화상 데이터를 판독하여 표시부(11)에 표시하게 하는 제어를 행한다.
구체적으로는, 표시 제어부(10), VRAM, VRAM 컨트롤러, 디지털 비디오 인코더 등을 구비하고 있다. 그리고, 디지털 비디오 인코더는, CPU(13)의 제어 하에 화상 메모리(5)로부터 판독되어 VRAM(도시 생략)에 기억되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr를, VRAM 컨트롤러를 통하여 VRAM으로부터 정기적으로 판독하여, 이들 신호의 데이터를 기초로 하여 비디오 신호를 발생시키고 표시부(11)에 출력한다.
표시부(11)는, 예를 들면 액정 표시 장치이며, 표시 제어부(10)로부터의 비디오 신호에 기초하여 전자 촬상부(2)에 의해 촬상된 화상 등을 표시 화면에 표시한다. 구체적으로, 표시부(11)는, 촬상 모드에 의해, 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)에 의한 피사체 S의 촬상에 의해 생성된 복수의 화상 프레임에 기초하여 라이브 뷰 화상을 표시하거나, 본 촬상 화상으로서 촬상된 레코딩 뷰(recording-view) 화상을 표시한다.
또한, 표시부(11)는, 촬상 모드로서 피사체 절취 모드(후술)가 설정되어 있는 경우의 피사체 존재 화상 P1의 촬상 시에, 라이브 뷰 화상에 중첩시켜, 피사체 존재 화상 P1의 촬상 지시 메시지(예를 들면, "절취하고자 하는 피사체를 촬영해 주세요"[도 7의 (a) 참조] 등을 표시한다.
또한, 표시부(11)는, 촬상 모드로서 피사체 절취 모드(후술)가 설정되어 있 는 경우의 배경 화상 P2의 촬상 시에, 라이브 뷰 화상에 중첩시켜, 피사체 존재 화상 P1의 반투과의 표시 태양의 화상과 함께, 배경 화상 P2의 촬상 지시 메시지(예를 들면, "피사체가 없는 배경 화상을 반투과의 화상과 중첩되도록 촬영해 주세요"[도 7의 (c) 참조] 등을 표시한다.
여기서, 피사체 존재 화상의 반투과의 표시 태양이란, 피사체 존재 화상이 투명과 불투명의 중간으로 표시된 상태이며, 상기 피사체 존재 화상에 중첩하여 뒤쪽에 표시되는 라이브 뷰 화상의 윤곽, 색채, 명암 등을 투과하는 정도의 표시 태양이다.
또한, 표시부(11)는, 표시 제어부(10)에 의해, 화상 처리부(8)의 화상 합성부(8f)에 의해 생성된 피사체 절취 화상 P4의 화상 데이터에 기초하여, 소정의 단일색 배경 화상 P3에 피사체 S가 중첩된 피사체 절취 화상 P4를 표시하게 한다.
여기서, 표시부(11)는, 화상 합성부(8f)에 의해 생성된 피사체 절취 화상 P4를 표시하는 표시 수단을 구성하고 있다.
기록 매체(9)는, 예를 들면, 불휘발성 메모리(플래시 메모리) 등에 의해 구성되며, 화상 처리부(8)의 JPEG 압축부(도시 생략)에 의해 부호화된 촬상 화상의 기록용 화상 데이터를 기억한다.
또한, 기록 매체(9)는, 기억 수단으로서, 화상 처리부(8)의 위치 정보 생성부(8e)에 의해 생성된 알파 맵 M과, 피사체 절취 화상 P4의 화상 데이터를 각각 압축한 후에 대응시켜서, 상기 피사체 절취 화상 P4의 화상 데이터의 확장자(extension)를 ".jpe"로 보존한다. 여기서, 알파 맵 M은, 예를 들면 계조가 8bit 정도의 데이터이며, 같은 값이 계속되는 영역이 많기 때문에 압축 효율이 높고, 피사체 절취 화상 P4의 화상 데이터에 비해 적은 용량으로 보존할 수 있다.
조작 입력부(12)는, 촬상 장치(100)의 소정 조작을 행하기 위한 것이다. 구체적으로는, 조작 입력부(12)는, 피사체 S의 촬영 지시에 관련된 셔터 버튼(12a), 메뉴 화면에 의해 촬상 모드나 기능 등의 선택 지시에 관련된 모드 버튼(12b), 줌 량의 조정 지시에 관련된 줌 버튼(도시 생략) 등을 구비하고, 이들 버튼의 조작에 따라 소정의 조작 신호를 CPU(13)에 출력한다.
자이로 센서부(14)는, 촬상 장치(100)의 각속도(角速度)를 검출하여 자이로 데이터로서 CPU(13)에 출력하다. 그리고, CPU(13)는, 자이로 데이터에 기초하여, 피사체 존재 화상 P1의 촬상으로부터 배경 화상 P2의 촬상까지, 촬상 장치(100)가 화각을 변경하지 않고 움직이지 않는 상태(부동 상태)가 계속되고 있었는지의 여부를 판정한다.
여기서, 자이로 센서부(14) 및 CPU(13)는, 피사체 존재 화상 P1의 촬상 시와 배경 화상 P2의 촬상 시에 촬상 장치(100)의 본체의 위치가 상대적으로 변화했는지의 여부를 판정하는 위치 판정 수단을 구성하고 있다.
CPU(13)는 촬상 장치(100)의 각 부를 제어한다. 구체적으로는, CPU(13)는, 촬상 장치(100)용 각종 처리 프로그램(도시 생략)에 따라 각종 제어 동작을 행한다.
다음으로, 촬상 장치(100)에 의한 화상 처리 방법에 대한 피사체 절취 처리에 대하여, 도 2∼도 8을 참조하여 설명한다.
도 2 및 도 3은, 피사체 절취 처리에 대한 동작의 일례를 나타낸 흐름도이다. 또한, 도 4의 (a) 및 도 4의 (b)는, 사영 변환의 화상 변환 모델의 일례를 나타낸 도면이며, 이 중, 도 4의 (a)는, 상사(相似) 변환 모델의 일례를 나타낸 도면이다, 도 4의 (b)는, 합동 변환 모델의 일례를 나타낸 도면이다. 또한, 도 5는, 피사체 절취 처리에 있어서의 피사체 추출 처리에 관한 동작의 일례를 나타낸 흐름도이다. 또한, 도 6은, 피사체 절취 처리에 있어서의 피사체 절취 화상 생성 처리에 관한 동작의 일례를 나타낸 흐름도이다. 또한, 도 7의 (a)∼도 7의 (c) 및 도 8의 (a)∼도 8의 (c)는, 피사체 절취 처리를 설명하기 위한 화상의 일례를 모식적으로 나타낸 도면이다.
피사체 절취 처리는, 사용자에 의한 조작 입력부(12)의 모드 버튼(12b)의 소정 조작에 기초하여, 메뉴 화면에 표시된 복수의 촬상 모드 중에서 피사체 절취 모드가 선택 지시된 경우에 실행되는 처리이다.
도 2에 나타낸 바와 같이, 먼저, CPU(13)는, 표시 제어부(10)에, 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)에 의한 피사체 S의 촬상에 의해 생성된 복수의 화상 프레임에 기초하여 라이브 뷰 화상을 표시부(11)의 표시 화면에 표시하게 하고, 또한 상기 라이브 뷰 화상에 중첩시켜, 피사체 존재 화상 P1의 촬상 지시 메시지(예를 들면, "절취하고자하는 피사체를 촬영해 주세요" 등)를 표시부(11)의 표시 화면에 표시시킨다[단계 S1: 도 7의 (a)참조].
그리고, 사용자에 의해 조작 입력부(12)의 셔터 버튼(12a)이 반누름 조작되면, CPU(13)는, 촬상 제어부(3)의 AF부(3a)에, 포커스 렌즈의 초점 위치를 조정 시 켜서 피사체 거리를 산출하여 취득시킨다(단계 S2). 이 때, CPU(13)는, 촬상 제어부(3)에, 노출 조건(셔터 속도, 조리개, 증폭률 등)이나 화이트 밸런스 등의 촬상 조건을 조정시켜도 된다.
그 후, 사용자에 의한 조작 입력부(12)의 셔터 버튼(12a)이 촬상 지시 조작(완전 누름 조작)된 타이밍에서, CPU(13)는, 피사체 존재 화상 P1의 광학상을 소정의 촬상 조건으로 전자 촬상부(2)에 의해 촬상시킨다(단계 S3). 또한, 이 때, 피사체 존재 화상 P1의 촬상 직전에, CPU(13)는, 부동 상태 판정의 초기화 함수를 불러서, 자이로 센서부(14)로부터의 자이로 데이터의 취득을 개시한다. 구체적으로는, CPU(13)는, 프레임 동기 신호마다 부동 상태 판정 모니터 태스크를 호출하고, 그 때마다 자이로 센서부(14)로부터 출력된 자이로 데이터를 취득하고, 촬상 장치(100)의 부동 상태를 계속적으로 모니터링한다.
이어서, CPU(13)는, 화상 데이터 생성부(4)에, 전자 촬상부(2)로부터 전송된 피사체 존재 화상 P1의 화상 프레임에 기초하여, 피사체 존재 화상 P1의 YUV 데이터[도 7의 (b) 참조]를 생성시키고, 상기 YUV 데이터를 화상 메모리(5)에 일시적으로 기억시킨다(단계 S4).
또한, CPU(13)는, 피사체 존재 화상 P1의 촬상 후, 촬상 제어부(3)를 제어하여, 피사체 존재 화상 P1의 촬상 시의 초점 위치, 노출 조건, 및 화이트 밸런스 등의 촬상 조건을 고정한 상태를 유지시킨다(단계 S5).
그 후, CPU(13)는, 표시 제어부(10)에, 촬상 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)에 의한 피사체 S의 촬상에 의해 생성된 복수의 화상 프레임에 기초 하여 라이브 뷰 화상을 표시부(11)의 표시 화면에 표시시키고, 상기 라이브 뷰 화상에 중첩시켜, 피사체 존재 화상 P1의 반투과의 표시 태양의 화상과 배경 화상 P2의 촬상 지시 메시지(예를 들면, "피사체가 없는 배경 화상을 반투과의 화상과 중첩되도록 촬영해 주세요" 등)를 표시부(11)의 표시 화면에 표시시킨다[단계 S6: 도 7의 (c) 참조]. 이 후, 사용자는, 피사체를 화각 밖으로 이동시키거나, 또는 피사체가 이동하는 것을 기다린 후, 배경 화상 P2의 촬영을 행한다.
그리고, 사용자에 의해 배경 화상 P2가 피사체 존재 화상 P1의 반투과의 화상과 중첩되도록 카메라 위치가 조정되고, 사용자에 의한 조작 입력부(12)의 셔터 버튼(12a)이 촬상 지시 조작된 타이밍에서, CPU(13)는, 촬상 제어부(3)에, 배경 화상 P2의 광학상을 피사체 존재 화상 P1의 촬상 후에 고정된 촬상 조건으로 전자 촬상부(2)에 의해 촬상시킨다(단계 S7).
이어서, CPU(13)는, 피사체 존재 화상 P1의 촬상으로부터 배경 화상 P2의 촬상까지 촬상 장치(100)의 부동 상태가 계속하고 있었는지의 여부에 대한 판정 정보를 부동 상태 판정 모니터 태스크로부터 취득한다(단계 S8).
그 후, CPU(13)는, 화상 데이터 생성부(4)에, 전자 촬상부(2)로부터 전송된 배경 화상 P2의 화상 프레임에 기초하여, 배경 화상 P2의 YUV 데이터[도 8의 (a) 참조]를 생성시키고, 상기 YUV 데이터를 화상 메모리(5)에 일시적으로 기억시킨다(단계 S9).
다음으로, CPU(13)는, AF부(3a)로부터 피사체 거리를 취득하여, 상기 피사체 거리가 1m 미만이지의 여부를 판정한다(단계 S10). 즉, CPU(13)는, 거리 판정 수 단으로서, 피사체까지의 거리가 소정값 이상인지의 여부를 판정한다.
여기서, 피사체 거리가 1m 미만으로 판정되면(단계 S1O: YES), CPU(13)는, 사영 변환의 화상 변형 모델로서 상사 변환[확대 축소, 회전, 수평 평행 이동, 수직 평행 이동의 자유도(파라미터 수가 4개)의 변형]에 관한 상사 변환 모델[도 4의 (a) 참조]를 지정한다(단계 S11). 피사체 거리가 1m 미만인 경우에, 사영 변환에 상사 변환 모델을 사용하는 것은, 예를 들면, 전형적인 일례로서, 1회째의 피사체 존재 화상 P1의 촬상 후에, 사용자 자신이 피사체를 화각에 들어가지 않도록 이동시키는 행위를 행하는 경우, 촬상 장치(100)가 많이 이동하여, 특히 전후 방향에 대해서는, 반투과의 화상을 참조해도 동일한 위치로 복귀시키기 곤란한 경우가 많기 때문이다.
한편, 피사체 거리가 1m 미만이 아니라고 판정되면(단계 S10: NO), CPU(13)는, 사영 변환의 화상 변형 모델로서 합동 변환[회전(회전 각도는 0∼2° 정도를 상정하고, cosθ=1에 근사함), 수평 평행 이동, 수직 평행 이동의 자유도(파라미터 수가 3개)의 변형]에 관한 합동 변환 모델[도 4의 (b) 참조]을 지정한다(단계 S12). 피사체 거리가 1m 미만이 아닌 경우에, 사영 변환에 합동 변환 모델을 사용하는 것은, 피사체 거리가 먼 경우, 촬상 장치(100)의 전후의 움직임에 의한 촬상에 대한 영향이 실질적으로 없기 때문이며, 불필요한 자유도를 부여하지 않음으로써, 노이즈나 피사체의 영향에 의한 신뢰성이 낮은 모션 벡터의 영향을 배제하고, 보다 정밀도가 높은 위치 맞춤 변환 행렬을 얻을 수 있기 때문이다.
다음으로, CPU(13)는, 특징량 연산부(6), 블록 매칭부(7) 및 화상 처리부(8) 에, 화상 메모리(5)에 기억되어 있는 배경 화상 P2의 YUV 데이터를 기준으로 하여, 피사체 존재 화상 P1의 YUV 데이터를 사영 변환시키기 위한 사영 변환 행렬을 지정된 화상 변환 모델로 산출시킨다(단계 S13).
구체적으로는, 특징량 연산부(6)는, 배경 화상 P2의 YUV 데이터에 기초하여, 소정수(또는, 소정수 이상)의 특징이 높은 블록 영역(특징점)을 선택하여, 상기 블록의 내용을 템플레이트로서 추출한다. 그리고, 블록 매칭부(7)는, 특징 추출 처리에 의해 추출된 템플레이트의 화소값이 최적으로 매치하는 위치를 피사체 존재 화상 P1 내에서 탐색하여, 화소값의 상이도의 평가값이 가장 양호한 배경 화상 P2와 피사체 존재 화상 P1 사이의 최적인 오프셋을 상기 탬플레이트의 모션 벡터로서 산출한다. 그리고, 화상 처리부(8)의 좌표 변환식 산출부(8b)는, 블록 매칭부(7)에 의해 산출된 복수의 템플레이트의 모션 벡터에 기초하여 전체 모션 벡터를 통계적으로 산출하고, 상기 모션 벡터에 관련된 특징점 대응을 사용하여 피사체 존재 화상 P1의 사영 변환 행렬을 산출한다.
도 3에 나타낸 바와 같이, 다음으로, CPU(13)는, 화상 처리부(8)에, 사영 변환 행렬의 산출에 성공했는지의 여부를 판정시킨다(단계 S14). 즉, 화상 처리부(8)는, 단계 S13에서, 복수의 템플레이트의 모션 벡터로부터 전체 모션 벡터를 통계적으로 산출하고, 상기 모션 벡터에 관련된 특징점 대응을 사용하여 피사체 존재 화상 P1의 사영 변환 행렬을 산출할 수 있었는지의 여부를 판정한다.
여기서, 사영 변환 행렬의 산출이 성공한 것으로 판정되면(단계 S14: YES), CPU(13)는, 화상 처리부(8)의 위치맞춤부(8a)에, 산출된 사영 변환 행렬에 기초하 여, 피사체 존재 화상 P1을 사영 변환함으로써, 피사체 존재 화상 P1의 YUV 데이터와 배경 화상 P2의 YUV 데이터를 위치 맞춤하는 처리를 행하게 한다(단계 S15).
한편, 단계 S14에서, 사영 변환 행렬의 산출이 성공하지 않은 것으로 판정되면(단계 S14: NO), CPU(13)는, 부동 상태 판정 모니터 태스크로부터 취득한 판정 정보에 기초하여, 피사체 존재 화상 P1의 촬상으로부터 배경 화상 P2의 촬상까지 촬상 장치(100)의 부동 상태가 계속되고 있었는지의 여부를 판정한다(단계 S16).
여기서, 부동 상태가 계속되고 있었다고 판정되면(단계 S16: YES), 예를 들면, 촬상 장치(100)가 삼각대에 고정된 상태로 피사체 존재 화상 P1 및 배경 화상 P2의 촬상이 행해지고, 피사체 존재 화상 P1의 촬상으로부터 배경 화상 P2의 촬상까지 부동 상태가 계속하고 있었을 경우에는, CPU(13)는, 배경의 위치가 실질적으로 변하지 않았다고 인식하고, 화상 처리부(8)의 위치맞춤부(8a)에 의한 위치맞춤을 위한 사영 변환 처리를 생략한다.
한편, 단계 S16에 의해, 부동 상태가 계속되고 있지 않다고 판정되면(단계 S16: NO), 예를 들면, 촬상 장치(100)를 사용자가 수동으로 피사체 존재 화상 P1 등의 촬상을 행한 경우에는, CPU(13)는, 특징량 연산부(6)에, 배경 화상 P2의 화상 데이터에 기초하여, 배경이 무지(無地)인지의 여부를 판정시킨다(단계 S17). 구체적으로는, 특징량 연산부(6)는, 배경 화상 P2의 화면 전체에서 특징량이 일정값 이상의 블록수 전체에 대한 비율에 따라 상기 배경 화상 P2의 무지도(無地度)를 특정하고, 상기 무지도가 소정값 이상인 경우에 배경이 무지인 것으로 판정한다. 즉, 특징량 연산부(6)는, 무지도 판정 수단으로서, 배경 화상 P2의 무지도가 소정값 이 상인지의 여부를 판정한다.
여기서, 배경이 무지인 것으로 판정되면(단계 S17: YES), 화상 처리부(8)의 위치맞춤부(8a)에 의한 위치맞춤을 위한 사영 변환 처리를 생략한다. 즉, 예를 들면, 밋밋하여 아무런 모양이 없는 경우, 위치맞춤은 곤란하게 되지만, 위치를 어긋나게 해도 피사체 영역 추출에 미치는 영향이 작으므로, 피사체 존재 화상 P1과 배경 화상 P2를 위치맞춤하는 처리를 생략해도 문제가 없다. 즉, 예를 들면, 배경에 모양이 있는 경우, 위치를 어긋나게 하면 위치 어긋남 개소가 차분으로 되어 나타나서, 피사체 영역과의 판별이 곤란하게 되지만, 배경에 모양이 없는 경우, 위치를 어긋나게 해도 배경 개소는 무지 패턴끼리의 비교가 되므로, 차분값으로서 나타나지 않기 때문이다.
한편, 단계 S17에 의해, 배경이 무지는 아니라고 판정되면(단계 S17: NO), CPU(13)는, 피사체의 절취의 실패에 관한 소정의 메시지(예를 들면, "피사체의 절취에 실패했습니다" 등)를 표시부(11)의 표시 화면에 표시시키고(단계 S18), 피사체 절취 처리를 종료한다.
그리고, CPU(13)는, 화상 처리부(8)에, 피사체 존재 화상 P1으로부터 피사체 S가 포함되는 피사체 영역을 추출하는 피사체 추출 처리를 행하게 한다(단계 S19).
여기서, 피사체 추출 처리에 대하여 도 5를 참조하여 상세하게 설명한다.
도 5에 나타낸 바와 같이, 화상 처리부(8)의 차분 생성부(8c)는, 피사체 영역의 추출용으로, 피사체 존재 화상 P1의 YUV 데이터와 배경 화상 P2의 YUV 데이터 각각에 대하여 저역통과필터로 필터링하여 각 화상의 고주파 성분을 제거한다(단계 S211). 그 후, 차분 생성부(8c)는, 저역통과 필터를 거친 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소에 대하여 상이도 D를 하기 식에 기초하여 산출하여 상이도 맵을 생성한다(단계 S212).
상이도 D = (Y - Y')2 + {(U - U')2 + (V - V')2}*k
이어서, 화상 처리부(8)의 피사체 영역 추출부(8d)는, 각 화소에 관한 상이도 맵을 소정의 임계값으로 2치화한다(단계 S213). 그 후, CPU(13)는, 특징량 연산부(6)에 의해 추출된 특징점에 기초하여, 배경 화상 P2에 소정량 이상의 특징이 있는지의 여부를 판정한다(단계 S214).
여기서, 배경 화상 P2에 소정량 이상의 특징이 있다고 판정되면(단계 S214: YES), 피사체 영역 추출부(8d)는, 수축 처리에 있어서의 수축량을 소정값 또는 피사체 존재 화상 P1의 사영 변환 행렬에 기초하여 산출한다(단계 S215). 이 때, 원래의 화상 노이즈 뿐만 아니라, 손떨림에 의해 상이 영역이 생길 수도 있다. 그 경우에는 손떨림 량에 따라 수축량을 변화시키는, 즉 자이로 센서부(14)의 출력이 크면 수축량을 크게, 자이로 센서부(14)의 출력이 작으면 수축량을 작게 조정한다.
그리고, 피사체 영역 추출부(8d)는, 산출한 수축량에 따라, 상이도 맵으로부터 미세한 노이즈나 손떨림에 의해 생긴 상이 영역을 제거하기 위하여 수축 처리를 행한다(단계 S216).
이와 같이, 상이도 맵의 수축 팽창을 손떨림 량을 고려하여 행할 수 있고, 상이도 맵으로부터 손떨림에 의해 생긴 상이 영역을 적정하게 제거할 수 있다.
그 후, 피사체 영역 추출부(8d)는, 라벨링 처리를 행하여, 소정값 이하의 영 역이나 최대 영역 이외의 영역을 제거한 후(단계 S217), 가장 큰 섬의 패턴을 피사체 영역으로서 특정한다(단계 S218).
다음으로, 피사체 영역 추출부(8d)는, 수축분을 수정하기 위한 팽창 처리를 행한다(단계 S219).
그 후, 피사체 영역 추출부(8d)는, 피사체 영역 내 만의 라벨링 처리를 행하고, 피사체 영역의 구성 화소수에 있어서의 소정 비율 이하의 영역을 유효 영역으로 치환한다(단계 S220).
이어서, 피사체 영역 추출부(8d)는, 피사체 영역에 평균화 필터를 설치하여 상기 피사체 영역의 둘레부에 합성 계조를 부여한다(단계 S221). 또한, 단계 S214에 의해, 배경 화상 P2에 소정량 이상의 특징이 없다고 판정되면(단계 S214: NO), 피사체 영역 추출부(8d)는, 단계 S221의 처리를 행한다.
이로써, 피사체 추출 처리를 종료한다.
도 3에 나타낸 바와 같이, 다음으로, CPU(13)는, 화상 처리부(8)의 위치 정보 생성부(8e)에, 추출된 피사체 영역의 피사체 존재 화상 P1 내에서의 위치를 나타내는 알파 맵 M을 생성시킨다[단계 S20: 도 8의 (b) 참조].
그 후, CPU(13)는, 화상 처리부(8)에, 피사체 S의 화상을 소정의 단일색 배경 화상 P3와 합성한 피사체 절취 화상 P4를 생성하는 피사체 절취 화상 생성 처리를 행하게 한다(단계 S21).
여기서, 피사체 절취 화상 생성 처리에 대하여 도 6을 참조하여 상세하게 설명한다.
도 6에 나타낸 바와 같이, 화상 처리부(8)의 화상 합성부(8f)는, 피사체 존재 화상 P1, 단일색 배경 화상 P3 및 알파 맵 M을 판독하여 화상 메모리(5)에 전개한다(단계 S231).
다음으로, 화상 합성부(8f)는, 피사체 존재 화상 P1 중 어느 하나의 화소(예를 들면, 좌상측 모서리부의 화소)를 지정하고(단계 S232), 상기 화소에 대하여, 알파 맵 M의 알파값에 기초하여 처리를 분기시킨다(단계 S233). 구체적으로는, 화상 합성부(8f)는, 피사체 존재 화상 P1 중 어느 하나의 화소 중, 알파 값이 0인 화소에 대해서는(단계 S233: α=0), 투과시키도록, 즉 소정의 단일색으로 전부 칠하고(단계 S234), 알파 값이 0<α<1인 화소에 대하여는(단계 S233: 0<α<1), 소정의 단일색과 블렌딩을 행하고(단계 S235), 알파 값이 1인 화소에 대해서는(단계 S233: α=1), 아무것도 행하지 않고 소정의 단일색에 대하여 투과시키지 않도록 한다.
이어서, 화상 합성부(8f)는, 피사체 존재 화상 P1의 모든 화소에 대하여 처리했는지의 여부를 판정한다(단계 S236).
여기서, 모든 화소에 대하여 처리하고 있지 않다고 판정되면(단계 S236: NO), 화상 합성부(8f)는, 그 다음 화소를 처리 대상으로 하여 이동시키고(단계 S237), 처리를 단계 S233으로 이행시킨다.
전술한 처리를, 단계 S236에서 모든 화소에 대하여 처리했다고 판정되기까지(단계 S236: YES) 반복함으로써, 화상 합성부(8f)는, 피사체 S의 화상을 소정의 단일색 배경 화상 P3와 합성한 피사체 절취 화상 P4의 화상 데이터를 생성시킨다.
이로써, 피사체 절취 화상 생성 처리를 종료한다.
도 3에 나타낸 바와 같이, 그 후, CPU(13)는, 표시 제어부(10)에, 화상 합성부(8f)에 의해 생성된 피사체 절취 화상 P4의 화상 데이터에 기초하여, 소정의 단일색 배경 화상 P3에 피사체 S가 중첩된 피사체 절취 화상 P4를 표시부(11)의 표시 화면에 표시하게 한다[단계 S22: 도 8의 (c) 참조].
다음으로, CPU(13)는, 기록 매체(9)의 소정의 기억 영역에, 화상 처리부(8)의 위치 정보 생성부(8c)에 의해 생성된 알파 맵 M과 피사체 절취 화상 P4의 화상 데이터를 대응시키고, 상기 피사체 절취 화상 P4의 화상 데이터의 확장자(extension)를 ".jpe"로 하여 하나의 파일로 보존시킨다(단계 S23).
이로써, 피사체 절취 처리를 종료한다.
다음으로, 피사체 합성 화상 생성 처리에 대하여 도 9 및 도 10을 참조하여 상세하게 설명한다.
도 9는, 피사체 합성 화상 생성 처리에 대한 동작의 일례를 나타낸 흐름도이다.
피사체 합성 화상 생성 처리는, CPU(13)가, 화상 처리부(8)의 화상 합성부(8f)에, 배경용 화상(도시 생략)과 피사체 절취 화상을 합성하여 피사체 합성 화상을 생성시키는 처리이다.
도 9에 나타낸 바와 같이, 사용자에 의한 조작 입력부(12)의 소정 조작에 기초하여, 배경이 되는 배경용 화상(도시 생략)을 선택하여 지정한다(단계 S31). 화상 합성부(8f)는, 지정된 배경용 화상의 화상 데이터를 판독하여 화상 메모리(5)에 전개한다(단계 S32).
다음으로, 사용자에 의한 조작 입력부(12)의 소정 조작에 기초하여 ".jpe"로 보존되어 있는 피사체 절취 화상 P4를 선택하여 지정한다(단계 S33). 화상 합성부(8f)는, 지정된 피사체 절취 화상 P4의 화상 데이터를 판독하여 화상 메모리(5)에 전개한다(단계 S34).
이어서, 화상 합성부(8f)는, 화상 메모리(5)에 전개한 상기 배경용 화상과 상기 피사체 절취 화상을 사용하여, 화상 합성 처리를 행한다(단계 S35).
여기서, 화상 합성 처리에 대하여 도 10을 참조하여 상세하게 설명한다.
도 10은, 화상 합성 처리에 대한 동작의 일례를 나타낸 흐름도이다.
도 10에 나타낸 바와 같이, 화상 합성부(8f)는, ".jpe"로 보존되어 있는 알파 맵 M을 판독하여 화상 메모리(5)에 전개한다(단계 S351).
다음으로, 화상 합성부(8f)는, 배경용 화상 중 어느 하나의 화소(예를 들면, 좌상측 모서리의 화소)를 지정하고(단계 S352), 상기 화소에 대하여, 알파 맵 M의 알파 값에 기초하여 처리를 분기시킨다(단계 S353). 구체적으로는, 화상 합성부(8f)는, 배경용 화상 중 어느 하나의 화소 중에서, 알파 값이 1인 화소에 대해서는(단계 S353: α=1), 피사체 절취 화상 P4의 대응하는 화소의 화소값으로 덧쓰기(overwriting)하고(단계 S354), 알파 값이 0<α<1인 화소에 대해서는(단계 S353: 0<α<1), 1의 보수 (1-α)를 사용하여 피사체 영역을 잘라낸 화상[배경용 화상×(1-α)]을 생성한 후, 알파 맵 M에 있어서의 1의 보수 (1-α)를 사용하여 피사체 절취 화상 P4를 생성할 때 단일 배경색과 블렌드한 값을 계산하고, 상기 값을 피사체 절취 화상 P4로부터 감산하고, 이것을 피사체 영역을 잘라낸 화상[배경용 화상 ×(1-α)]과 합성하고(단계 S355), 알파 값이 0인 화소에 대해서는(단계 S353: α=0), 아무것도 하지 않고 배경용 화상을 투과시키도록 한다.
이어서, 화상 합성부(8f)는, 배경용 화상의 모든 화소에 대하여 처리했는지의 여부를 판정한다(단계 S356).
여기서, 모든 화소에 대해서는 처리하고 있지않다고 판정되면(단계 S356: NO), 화상 합성부(8f)는, 그 다음 화소를 처리 대상으로 하여 이동시키고(단계 S357), 처리를 단계 S353으로 이행시킨다.
전술한 처리를, 단계 S356에서 모든 화소에 대하여 처리했다고 판정되기까지(단계 S356: YES) 반복함으로써, 화상 합성부(8f)는, 피사체 절취 화상 P4와 배경용 화상을 합성한 피사체 합성 화상의 화상 데이터를 생성시킨다.
이로써, 화상 합성 처리를 종료한다.
도 9에 나타낸 바와 같이, 그 후, CPU(13)는, 표시 제어부(10)에, 화상 합성부(8f)에 의해 생성된 피사체 합성 화상의 화상 데이터에 기초하여, 배경용 화상에 피사체 S가 중첩된 피사체 합성 화상을 표시부(11)의 표시 화면에 표시하게 한다(단계 S36).
이상과 같이, 본 실시예의 촬상 장치(100)에 의하면, 먼저, 배경 내에 피사체 S가 존재하는 피사체 존재 화상 P1을, 피사체 S가 존재하는 상태에 적합한 소정의 촬상 조건으로 촬상하고, 다음으로 피사체 존재 화상 P1의 촬상 시의 소정의 촬상 조건을 고정한 채, 피사체 S가 존재하지 않는 배경 화상 P2를 촬상한다. 그리고, 피사체 존재 화상 P1의 위치맞춤을 행한 후, 상기 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 화소의 상이도 맵을 생성하여, 상기 상이도 맵에 기초하여 피사체 존재 화상 P1으로부터 피사체 S가 포함된 피사체 영역을 추출할 수 있다.
따라서, 배경 화상 P2의 촬상을 피사체 존재 화상 P1의 촬상 시의 소정의 촬상 조건과 동일한 하나의 촬상 조건으로 행함으로써, 피사체 존재 화상 P1과 동일한 촬상 조건으로 촬상된 배경 화상 P2를 취득할 수 있고, 피사체 화상 P1과 배경 화상 P2에서 배경 부분의 밝기나 색조를 실질적으로 동등하게 하며, 배경 화상 P2의 흐릿한 정도나 화상 전체에 대한 크기를 실질적으로 동등하게 하여, 피사체 존재 화상 P1으로부터의 피사체 영역의 추출 정밀도를 향상시킬 수 있다. 또한, 고정된 촬상 조건은 피사체 존재 화상 P1의 촬상 시의 것이므로, 배경 화상 P2에 촬상 조건을 맞춘 경우와 비교하여, 잘라내어진 피사체는 보다 적절한 화상이 된다.
또한, 배경 화상 P2의 촬상 시에, 피사체 존재 화상 P1을 반투과의 표시 태양으로 표시부(11)에 표시하므로, 사용자는, 피사체 존재 화상 P1의 반투과의 표시 태양의 화상의 배경과 중첩되도록 카메라 위치를 조정함으로써, 피사체 존재 화상 P1의 배경과 동일한 배경 화상 P2의 촬상을 보다 용이하게 행할 수 있다.
또한, 배경 화상 P2로부터 추출한 특징점에 기초하여, 피사체 존재 화상 P1과 배경 화상 P2와의 위치맞춤을 행하므로, 피사체 S 상의 특징점이 선택되는 것을 피할 수 있다.
즉, 배경 화상 P2로부터 추산한 특징점에 기초하여, 피사체 존재 화상 P1의 각 화소의 사영 변환 행렬을 산출하여, 상기 사영 변환 행렬에 따라 각 화소가 사 영 변환된 피사체 존재 화상 P1과 배경 화상 P2 사이에서 대응하는 각 화소의 상이도 맵을 생성할 수 있다. 특징점의 추출을 배경 화상 P2로부터 행함으로써, 피사체 S 상의 특징점이 선택되는 것을 피할 수 있고, 이들 2개의 화상에서 분명하게 상이한 화상 부분에 기초한 좌표 변환을 행하는 것을 피할 수 있어서, 정밀도가 높은 좌표 변환을 행할 수 있으므로, 피사체 존재 화상 P1과 배경 화상 P2 사이의 각 화소를 적정하게 대응시킬 수 있고, 피사체 영역의 추출을 보다 적정하게 행할 수 있다.
또한, 상이도 맵의 2치화 처리, 수축 처리 및 팽창 처리, 라벨링 처리를 행하여, 소정값보다 작은 화소 집합을 제거함으로써 피사체 존재 화상 P1으로부터 피사체 영역을 특정하여 추출하므로, 상이도 맵에 있어서의 가장 큰 섬의 패턴을 피사체 영역으로서 특정할 수 있고, 상기 피사체 영역의 추출을 보다 적정하게 행할 수 있다.
이 때, 배경 화상 P2에 소정량 이상의 특징이 있는지의 여부에 따라, 2치화 처리 후의 상이도 맵에 대한 수축 처리 및 팽창 처리, 라벨링 처리를 행할 것인지의 여부를 결정하므로, 배경 화상 P2에 소정량 이상의 특징이 없는 경우에는, 피사체 존재 화상 P1에서 피사체 S를 적정하게 특정할 수 있다고 여겨지므로, 수축 처리나 팽창 처리 등을 행할 필요는 없고, 피사체 추출 처리의 고속화를 도모할 수 있다.
또한, 피사체 절취 처리에 의해, 추출된 피사체 영역의 피사체 존재 화상 P1내에서의 위치를 특정하여 알파 맵 M을 생성하므로, 상기 알파 맵 M에 의해, 피사 체 존재 화상 P1 내에서의 피사체 영역의 위치의 특정을 적정하게 행할 수 있다.
그리고, 상기 알파 맵 M에 기초하여, 소정의 단일색 배경 화상 P3와 피사체 영역의 화상을 합성한 피사체 절취 화상 P4를 생성하고, 상기 피사체 절취 화상 P4를 표시부(11)의 표시 화면에 표시하게 하므로, 사용자는 잘라내어진 피사체 S를 확인할 수 있고, 상기 피사체 S의 절취가 적정하게 행해졌는지의 여부를 파악할 수 있다. 즉, 피사체 존재 화상 P1으로부터 피사체 S만을 잘라내어 전혀 다른 단일색 배경 화상 P3를 배경으로 하여 피사체 절취 화상 P4를 합성하면, 이미 찍어서 저장된 사진에 대하여 변화를 주어 이를 감상할 수 있으며, 이 때 피사체 절취 화상 P4를 표시부(11)의 표시 화면에 표시함으로써, 피사체 S의 절취가 적정하게 행해졌는지의 여부를 파악할 수 있다.
이 때, 피사체 절취 화상 P4는, 알파 맵 M에 기초하여, 배경 영역과 피사체 영역의 경계 부근이 단일색 배경 화상의 단일 색과 블렌딩하여 작성되므로, 피사체 S의 절취 경계 부분이 단일색과 서로 적절하게 섞인 자연스러운 화상으로 만들 수 있다.
또한, 피사체 절취 화상 P4는, 상기 알파 맵 M과 대응시켜 하나의 파일로 보존되어 있으므로, 절취를 행한 단일색 배경 화상 P3와는 전혀 다른 배경용 화상을 배경으로 하여 절취 합성을 행하는 경우라도, 그 때마다 피사체 영역의 특정을 실시하지 않아도 되어, 처리 시간의 단축화를 도모할 수 있다.
즉, 이미 찍어서 저장된 화상에 대하여 피사체 절취 화상 P4를 합성하는 경우에, 기록 매체(9)에 배경 내에 피사체 S가 존재하는 피사체 존재 화상 P1과, 배 경 내에 피사체 S가 존재하지 않는 배경 화상 P2를 2개 보존하여 두면, 합성시마다 피사체 S의 절취를 행해야만 하고 샘플 처리에 시간이 걸리는 문제가 있다. 또한, 잘라낸 피사체 S의 품질을 사전에 알 수 없는 문제도 있다.
그러나, 피사체 절취 화상 P4를, 상기 알파 맵 M과 대응시켜 하나의 파일로 보존해 둠으로써, 소정의 배경용 화상을 배경으로서 절취 합성을 행하는 경우에도, 그 때마다 피사체 영역의 특정을 실시하지 않아도 되어, 처리 시간의 단축화를 도모할 수 있다. 또한, 피사체 절취 화상 P4를, 피사체 영역이 추출된 피사체 존재 화상 P1과는 다른 상이한 파일로서 보존하고 있으므로, 합성 전에 피사체 절취 화상 P4나 피사체 존재 화상 P1을 표시부(11)의 표시 화면에 표시하여, 잘라내어진 피사체 S의 품질의 확인을 행할 수 있다. 이로써, 피사체 절취 합성의 편리성을 높일 수 있다.
그리고, 본 발명은, 전술한 실시예에 한정되지 않고, 본 발명의 취지를 벗어나지 않는 범위에 있어서, 각종 개량 및 설계의 변경을 행해도 된다.
예를 들면, 전술한 실시예에 있어서는, 피사체 절취 처리(도 2 및 도 3 참조)에 의해, 피사체 거리의 판정(단계 S10), 부동 상태의 판정(단계 S16), 배경의 무지 판정(단계 S17)을 이 순서로 행하도록 했지만, 이들 판정 처리의 순서는 이에 한정되는 것은 아니다.
즉, 도 11 및 도 12에 나타낸 바와 같이, 배경의 무지 판정(단계 S101)을 먼저 행한 후, 부동 상태의 판정(단계 S102)을 행하고, 마지막으로 피사체 거리의 판정(단계 S103)을 행하도록 해도 된다.
구체적으로는, 도 11에 나타낸 바와 같이, 배경 화상 P2의 YUV 데이터[도 8의 (a) 참조]를 화상 메모리(5)에 일시적으로 기억시킨 후(단계 S9), CPU(13)는, 특징량 연산부(6)에, 배경 화상 P2의 화상 데이터에 기초하여, 배경이 무지인지의 여부를 판정시킨다(단계 S101).
여기서, 배경이 무지인 것으로 판정되면(단계 S101: YES), 화상 처리부(8)의 위치맞춤부(8a)에 의한 위치맞춤을 위한 사영 변환 처리를 생략하고, 도 12에 나타낸 바와 같이, CPU(13)는, 화상 처리부(8)에, 피사체 존재 화상 P1으로부터 피사체 S가 포함된 피사체 영역을 추출하는 피사체 추출 처리를 행하게 한다(단계 S19).
한편, 단계 S101에서, 배경이 무지가 아니라고 판정되면(단계 S101: NO), CPU(13)는, 부동 상태 판정 모니터 태스크로부터 취득한 판정 정보에 기초하여, 피사체 존재 화상 P1의 촬상으로부터 배경 화상 P2의 촬상까지 부동 상태가 계속되고 있었는지의 여부를 판정한다(단계 S102).
여기서, 부동 상태가 계속되고 있었다고 판정되면(단계 S102: YES), 화상 처리부(8)의 위치맞춤부(8a)에 의한 위치맞춤을 위한 사영 변환 처리를 생략하고, CPU(13)는, 처리를 단계 S19로 이행시킨다.
한편, 단계 S102에 의해, 부동 상태가 계속되고 있지 않다고 판정되면(단계 S102: NO), 도 12에 나타낸 바와 같이, CPU(13)는, AF부(3a)로부터 피사체 거리를 취득하여, 상기 피사체 거리가 1m 미만이지의 여부를 판정한다(단계 S103).
여기서, 피사체 거리가 1m 미만으로 판정되면(단계 S103: YES), CPU(13)는, 사영 변환의 화상 변형 모델로서 상사 변환 모델[도 4의 (a) 참조]을 지정한다(단 계 S104). 한편, 피사체 거리가 1m 미만이 아니라고 판정되면(단계 S103: NO), CPU(13)는, 사영 변환의 화상 변형 모델로서 합동 변환 모델[도 4의 (b) 참조]을 지정한다(단계 S105).
다음으로, CPU(13)는, 특징량 연산부(6), 블록 매칭부(7) 및 화상 처리부(8)에, 화상 메모리(5)에 일시적으로 기억되어 있는 배경 화상 P2의 YUV 데이터를 기준으로 하여, 피사체 존재 화상 P1의 YUV 데이터를 사영 변환시키기 위한 사영 변환 행렬을 지정된 화상 변환 모델로 산출시킨다(단계 S106).
그 후, CPU(13)는, 화상 처리부(8)에, 사영 변환 행렬의 산출이 성공했는지의 여부를 판정시킨다(단계 S107). 여기서, 사영 변환 행렬의 산출이 성공한 것으로 판정되면(단계 S107: YES), CPU(13)는, 화상 처리부(8)의 위치맞춤부(8a)에, 산출된 사영 변환 행렬에 기초하여, 피사체 존재 화상 P1을 사영 변환함으로써, 피사체 존재 화상 P1의 YUV 데이터와 배경 화상 P2의 YUV 데이터를 위치맞춤하는 처리를 행하게 한다(단계 S108).
이어서, CPU(13)는, 처리를 단계 S19로 이행시킨다.
한편, 단계 S107에서, 사영 변환 행렬의 산출이 성공하고 있지 않다고 판정되면(단계 S107: NO), CPU(13)는, 피사체의 절취 실패에 대한 소정의 메시지(예를 들면, "피사체의 잘라내기에 실패했습니다" 등)를 표시부(11)의 표시 화면에 표시시키고(단계 S109), 피사체 절취 처리를 종료한다.
따라서, 배경이 무지인지의 여부의 판정을 먼저 행함으로써, 배경이 무지인 것으로 판정된 경우에는, 피사체 존재 화상 P1을 사영 변환할 필요가 없어지고, 피 사체 절취 처리를 보다 고속으로 행할 수 있다.
그리고, 배경의 무지 판정보다 먼저 촬상 장치(10O)의 부동 상태의 판정을 행해도 되고, 부동 상태가 계속되고 있었다고 판정된 경우에도 마찬가지로, 피사체 존재 화상 P1을 사영 변환할 필요가 없어져서, 피사체 절취 처리를 보다 고속으로 행할 수 있다.
또한, 전술한 실시예에서는, 촬상 장치(100)가 부동 상태인지의 여부의 판정을, 자이로 센서부(14)로부터 출력된 자이로 데이터에 기초하여 행하도록 했지만, 이에 한정되지 않고, 예를 들면, 촬상 장치(100)의 삼각 고정부(도시 생략)에 삼각대가 고정되어 있는지의 여부에 따라 행하도록 해도 된다. 즉, 피사체 존재 화상 P1과 배경 화상 P2의 촬상 시에, 삼각 고정부(도시 생략)에 삼각대가 고정되어 있는 경우에는, 촬상 장치(100)의 부동 상태가 계속되고 있었다고 판정하고, 삼각 고정부(도시 생략)에 삼각대가 고정되어 있지 않은 경우에는, 부동 상태가 계속하고 있지 않았다고 판정하도록 해도 된다.
그리고, 무지도는 각 블록 내에서의 화소의 각 색성분의 표준 편차나 분산에 의해 불균일을 측정함으로써 산출해도 되고, 근접 화소 사이의 각 색성분의 차이의 절대값 또는 제곱값의 합계로 산출해도 된다. 또한, 색 성분이 없는 그레이 스케일이라도 되고, 전술한 바와 마찬가지로 화소값의 표준 편차나 분산에 의해 불균일을 측정해도 되고, 근접 화소간의 값의 차이의 절대값 또는 제곱값의 합계로 산출해도 된다. 또한, 화상 상의 노이즈량을 예측 또는 정의할 수 있는 경우에는 미리 그 값 이하는 무시함으로써 노이즈 영향을 배제시켜도 된다.
또한, 전술한 실시예에 있어서는, 두 번의 정지화상 촬영으로부터 자동차를 피사체 S로 하여 정지 화상을 촬상하도록 했지만, 이에 한정되지 않고, 예를 들면 피사체 존재 화상 P1의 촬영을 연사 촬영해도 된다. 이 경우, 예를 들면, 골프 스윙을 하는 사람 등의 고속으로 움직이는 피사체를 연사 촬영하고, 그 후, 이 사람이 화각 밖으로 이동한 배경 화상 P2를 촬영한다. 연사된 피사체 존재 화상 P1 각각에 대하여 피사체 영역을 추출하고(단계 S19), 연사 화상의 각각의 알파 맵 M을 생성하도록 해도 된다(단계 S20). 그리고, 소정의 단일색 배경 화상에 대하여 연사 화상을 오래된 순서로 순차적으로 합성해 나가고, 상기 연사 화상으로부터 잘라내어진 골프 스윙하는 사람을 순차적으로 표시하는 모션 JPEG 화상을 생성하도록 해도 된다. 또한, 상기 연사 화상으로부터 잘라내어진 골프 스윙하는 사람을 1장의 화상에 중첩시키고 합성하여, 이른바 스트로보 샷과 같은 화상을 합성하도록 해도 된다.
또한, 알파 맵 M과 피사체 절취 화상 P4의 화상 데이터를 대응시켜 하나의 파일로 보존시키도록 했지만, 알파 맵 M과 피사체 존재 화상 P1의 화상 데이터를 대응시켜 하나의 파일로 기록 매체(기억 수단)(9)에 보존시키도록 해도 된다. 이 경우, 상기 파일의 재생에는, 피사체 존재 화상 P1을 재생시키는 모드와, 재생 시에 알파 맵 M을 적용하여 피사체 절취 화상 P4를 합성하여 표시하는 2개 모드를 준비해 두면 된다.
또한, 얼굴 검출부를 설치하고, 피사체 존재 화상 P1과 배경 화상 P2 각각에 대하여 얼굴 검출을 행하고, 피사체 존재 화상 P1에만 얼굴이 검출된 경우, 그 얼 굴 검출 영역에 대하여 상이도 맵의 상이도가 높아지도록(불일치도가 높아지도록) 오프셋 값을 더해도 된다. 이와 같이 하면 피사체의 가장 중요한 부분인 얼굴이 보다 확실하게 절취 영역에 포함된다. 또한, "얼굴 샘플 모드"를 설치하여, 얼굴이 검출된 영역에 대해서만 라벨링으로 잘라내고, 종래의 라벨링 수순을 생략하면, 보다 가벼운 처리로 얼굴 부분의 샘플 화상을 얻을 수 있다.
또한, 전술한 실시예에 있어서는, 상이도 맵의 2치화 처리(단계 S213) 후에, 수축 처리(단계 S216) 및 팽창 처리(단계 S219)를 행하도록 했지만, 이에 한정되지 않고, 먼저, 수축 처리 및 팽창 처리를 행한 후, 2치화 처리를 행해도 된다.
즉, 전술한 실시예에서의 피사체 추출 처리는 일례이며, 피사체 존재 화상 P1으로부터의 피사체 S의 추출을 적절하게 행할 수 있는 한, 처리 내용은 적절하게 임의로 변경할 수 있다.
또한, 전술한 실시예에 있어서는, 출력 수단으로서 표시부(11)를 예시했지만, 이에 한정되지 않고, 예를 들면, 프린터 등과 접속 가능한 외부 출력 단자(도시 생략)일 수도 있고, 상기 외부 출력 단자로부터 프린터에 합성 화상의 화상 데이터를 출력하여, 합성 화상을 인쇄하도록 해도 된다.
또한, 촬상 장치(100)의 구성은, 전술한 실시예에 예시한 것은 일례이며, 이로 한정되는 것은 아니다.
즉, 예를 들면, 전자 촬상부(2)를 CMOS 이미지 센서로 구성한 경우에는, 각 화소가 전하의 축적을 개시하는 타이밍이 상이한 것에 의해 고속으로 이동하는 피사체를 촬상하면 포컬 플레인(focal plane) 변형이 발생할 우려가 있으므로, 이를 방지하기 위하여, 셔터 제어부(도시 생략)에 의해 구동 제어되는 메커니컬 셔터(도시 생략)를 탑재하여 노출 시간을 제어하도록 해도 된다.
이에 더하여, 전술한 실시예에 있어서는, 제1 촬상 수단 및 제2 촬상 수단으로서의 기능을, CPU(13)의 제어 하에, 렌즈부(1), 전자 촬상부(2) 및 촬상 제어부(3)가 구동함으로써 실현되는 구성으로 하고, 위치맞춤 수단, 차분 생성 수단, 피사체 추출 수단, 좌표 변환식 산출 수단, 위치 정보 생성 수단, 합성 수단으로서의 기능을, CPU(13)의 제어 하에, 화상 처리부(8)가 구동함으로써 실현되는 구성으로 하였으나, 이에 한정되지 않고, CPU(13)에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 해도 된다.
즉, 프로그램을 기억하는 프로그램 메모리(도시 생략)에, 제1 촬상 제어 처리 루틴, 제2 촬상 제어 처리 루틴, 위치맞춤 처리 루틴, 차분 생성 처리 루틴, 피사체 추출 처리 루틴, 좌표 변환식 산출 처리 루틴, 위치 정보 생성 처리 루틴, 합성 처리 루틴을 포함하는 프로그램을 기억시켜 둔다. 그리고, 제1 촬상 제어 처리 루틴에 의해 CPU(13)를, 배경 내에 피사체 S가 존재하는 피사체 존재 화상 P1을 촬상 수단에 촬상시키는 제1 촬상 제어 수단으로서 기능시켜도 된다. 또한, 제2 촬상 제어 처리 루틴에 의해 CPU(13)를, 피사체 존재 화상 P1의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 배경과 동일한 배경 내에 피사체 S가 존재하지 않는 배경 화상 P2를 촬상시키는 제2 촬상 제어 수단으로서 기능시켜도 된다. 또한, 위치맞춤 처리 루틴에 의해 CPU(13)를, 피사체 존재 화상 P1과 배경 화상 P2와의 위치맞춤을 행하는 위치맞춤 수단으로서 기능시켜도 된다. 또한, 차분 생성 처리 루틴 에리 CPU(13)를, 피사체 존재 화상 P1와 배경 화상 P2 사이에서 대응하는 각 화소의 차분 정보를 생성시키는 차분 생성 수단으로서 기능시켜도 해도 된다. 또한, 피사체 추출 처리 루틴에 의해 CPU(13)를, 생성된 차분 정보에 기초하여, 피사체 존재 화상 P1으로부터 피사체 S가 포함된 피사체 영역을 추출하는 피사체 추출 수단으로서 기능시켜도 된다. 또한, 좌표 변환식 산출 처리 루틴에 의해 CPU(13)를, 배경 화상 P2로부터 추출한 특징점에 기초하여, 상기 피사체 존재 화상 P1의 각 화소의 좌표 변환식을 산출하는 좌표 변환식 산출 수단으로서 기능시켜도 된다. 또한, 위치 정보 생성 처리 루틴에 의해 CPU(13)를, 피사체 존재 화상 P1 내에서 추출된 피사체 영역의 위치를 특정하여 위치 정보를 생성하는 위치 정보 생성 수단으로서 기능시켜도 된다. 또한, 합성 처리 루틴에 의해 CPU(13)를, 생성된 위치 정보에 기초하여, 소정의 배경과 피사체 영역의 화상을 합성한 피사체 절취 화상 P4를 생성하는 합성 수단으로서 기능시켜도 된다.
도 1은 본 발명을 적용한 일실시예의 촬상 장치의 개략적인 구성을 나타낸 블록도이다.
도 2는 도 1의 촬상 장치에 의한 피사체 절취 처리에 대한 동작의 일례를 나타낸 흐름도이다.
도 3은 도 2의 피사체 절취 처리의 계속을 나타내는 흐름도이다.
도 4는 도 2의 피사체 절취 처리에 대한 화상 변환 모델의 일례를 나타낸 도면이다.
도 5는 도 2의 피사체 절취 처리에 있어서의 피사체 추출 처리에 대한 동작의 일례를 나타내는 흐름도이다.
도 6은 도 2의 피사체 절취 처리에 있어서의 피사체 절취 화상 생성 처리에 대한 동작의 예를 나타내는 흐름도이다.
도 7은 도 2의 피사체 절취 처리를 설명하기 위한 화상의 일례를 모식적으로 나타낸 도면이다.
도 8은 도 2의 피사체 절취 처리를 설명하기 위한 화상의 일례를 모식적으로 나타낸 도면이다.
도 9는 도 1의 촬상 장치에 의한 피사체 합성 화상 생성 처리에 대한 동작의 일례를 나타낸 흐름도이다.
도 10는 도 9의 피사체 합성 화상 생성 처리에 있어서의 화상 합성 처리에 대한 동작의 일례를 나타내는 흐름도이다.
도 11은 도 1의 촬상 장치에 의한 피사체 절취 처리에 대한 동작의 일례를 나타낸 흐름도이다.
도 12는 도 11의 피사체 절취 처리의 계속을 나타내는 흐름도이다.
[부호의 설명]
100: 촬상 장치 1: 렌즈부
2: 전자 촬상부 3: 촬상 제어부
6: 특징량 연산부 7: 블록 매칭부
8: 화상 처리부 8a: 위치맞춤부
8b: 좌표 변환식 산출부 8c: 차분 생성부
8d: 피사체 영역 추출부 8e: 위치 정보 생성부
8f: 화상 합성부 11: 표시부
13: CPU 14: 자이로 센서부

Claims (20)

  1. 배경 내에 피사체가 존재하는 피사체 존재 화상을 촬상하는 제1 촬상 수단;
    상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 촬상하는 제2 촬상 수단;
    상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 위치맞춤 수단;
    상기 위치맞춤 수단에 의해 위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상 사이에서 대응하는 각 화소의 차분 정보를 생성하는 차분 생성 수단; 및
    상기 차분 생성 수단에 의해 생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함된 피사체 영역을 추출하는 피사체 추출 수단;
    을 포함하는 촬상 장치.
  2. 제1항에 있어서,
    상기 배경 화상으로부터 추출한 특징점에 기초하여, 상기 피사체 존재 화상의 각 화소의 좌표 변환식을 산출하는 좌표 변환식 산출 수단을 더 포함하고,
    상기 차분 생성 수단은,
    상기 좌표 변환식 산출 수단에 의해 산출된 상기 좌표 변환식에 따라 각 화소가 좌표 변환된 피사체 존재 화상과 상기 배경 화상과의 사이에서 대응하는 각 화소의 차분 정보를 생성하는, 촬상 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 피사체 추출 수단은,
    상기 차분 생성 수단에 의해 생성된 상기 차분 정보에 기초하여, 소정값보다 작은 화소 집합을 제거함으로써 상기 피사체 존재 화상으로부터 상기 피사체 영역을 특정하여 추출하는, 촬상 장치.
  4. 제3항에 있어서,
    상기 피사체 추출 수단은,
    상기 피사체 존재 화상으로부터 상기 피사체 영역을 추출할 때, 상기 배경 화상의 특징량에 따라 상기 소정값보다 작은 화소 집합을 제거하는 처리를 행할 것인지의 여부를 결정하는, 촬상 장치.
  5. 제3항에 있어서,
    상기 피사체 추출 수단은,
    상기 피사체 존재 화상으로부터 상기 피사체 영역을 추출할 때, 손떨림 량에 따라 수축 팽창을 행함으로써 상기 피사체 존재 화상으로부터 상기 소정값보다 작은 화소 집합을 제거하는, 촬상 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 피사체 추출 수단은,
    추출된 피사체 영역 내에서, 상기 피사체 영역의 구성 화소수에 있어서의 소정 비율 이하의 영역을, 피사체를 구성하는 유효 영역으로 간주하는, 촬상 장치.
  7. 제1항 또는 제2항에 있어서,
    피사체까지의 거리가 소정값 이상인지의 여부를 판정하는 거리 판정 수단을 더 포함하고,
    상기 위치맞춤 수단은,
    상기 거리 판정 수단에 의해 피사체까지의 거리가 상기 소정값 이상으로 판정된 경우에는, 상기 소정값 미만인 경우에 비해 간략화된 위치맞춤을 행하는, 촬상 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 제1 촬상 수단에 의한 상기 피사체 존재 화상의 촬상 시와 상기 제2 촬상 수단에 의한 상기 배경 화상의 촬상 시에 상기 촬상 장치 본체의 위치가 상대적으로 변화했는지의 여부를 판정하는 위치 판정 수단을 더 포함하고,
    상기 위치 판정 수단에 의해 상기 촬상 장치 본체의 위치가 상대적으로 변화되어 있지 않은 것으로 판정된 경우에는, 상기 위치맞춤 수단에 의한 위치맞춤을 생략하는, 촬상 장치.
  9. 제1항 또는 제2항에 있어서,
    상기 제2 촬상 수단에 의해 촬상된 배경 화상의 무지도가 소정값 이상인지의 여부를 판정하는 무지도 판정 수단을 더 포함하고,
    상기 무지도 판정 수단에 의해 상기 무지도가 소정값 이상으로 판정된 경우에는, 상기 위치맞춤 수단에 의한 위치맞춤을 생략하는, 촬상 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 피사체 존재 화상 내에서 상기 피사체 추출 수단에 의해 추출된 상기 피사체 영역의 위치를 특정하여 위치 정보를 생성하는 위치 정보 생성 수단을 더 포함하는, 촬상 장치.
  11. 제10항에 있어서,
    상기 피사체 존재 화상과 상기 위치 정보를 대응시켜 기억하는 기억 수단을 더 포함하는, 촬상 장치.
  12. 제1항 또는 제2항에 있어서,
    상기 피사체 추출 수단에 의해 추출된 피사체 영역에 대한 피사체 영역 정보에 기초하여, 소정의 배경과 상기 피사체 영역의 화상을 합성한 합성 화상을 생성하는 합성 수단을 더 포함하는, 촬상 장치.
  13. 제10항에 있어서,
    상기 피사체 추출 수단에 의해 추출된 피사체 영역에 대한 피사체 영역 정보에 기초하여, 소정의 배경과 상기 피사체 영역의 화상을 합성한 합성 화상을 생성하는 합성 수단을 더 포함하고,
    상기 합성 수단은, 상기 위치 정보 생성 수단에 의해 생성된 상기 위치 정보에 기초하여, 상기 합성 화상을 생성하는, 촬상 장치.
  14. 제13항에 있어서,
    상기 합성 수단은,
    상기 합성 화상으로서, 소정의 단일색 배경과 상기 피사체 영역의 화상을 합성한 피사체 절취 화상을 생성하는, 촬상 장치.
  15. 제14항에 있어서,
    상기 합성 수단은,
    상기 합성 화상으로서, 소정의 배경과 상기 피사체 절취 화상을 합성한 피사체 합성 화상을 생성하는, 촬상 장치.
  16. 제13항에 있어서,
    상기 합성 화상과 상기 위치 정보를 대응시켜 기억하는 기억 수단을 더 포함 하는, 촬상 장치.
  17. 제1항 또는 제2항에 있어서,
    표시 수단을 더 포함하고,
    상기 제2 촬상 수단에 의한 상기 배경 화상의 촬상 시에, 상기 제1 촬상 수단에 의해 촬상된 상기 피사체 존재 화상을 반투과의 표시 태양으로 상기 표시 수단에 표시시키는, 촬상 장치.
  18. 제12항에 있어서,
    표시 수단을 더 포함하고,
    상기 합성 수단에 의해 합성된 상기 합성 화상을 상기 표시 수단에 표시시키는, 촬상 장치.
  19. 촬상 수단을 포함하는 촬상 장치에,
    배경 내에 피사체가 존재하는 피사체 존재 화상을 상기 촬상 수단에 촬상시키는 처리;
    상기 피사체 존재 화상을 촬상 후, 상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 상기 촬상 수단에 촬상시키는 처리;
    상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 처리;
    위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상 사이에 대응하는 각 화소의 차분 정보를 생성하는 처리; 및
    생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함된 피사체 영역을 추출하는 처리;
    를 실행시키는, 화상 처리 방법.
  20. 촬상 수단을 포함하는 촬상 장치의 컴퓨터를,
    배경 내에 피사체가 존재하는 피사체 존재 화상을 상기 촬상 수단에 촬상시키는 제1 촬상 제어 수단;
    상기 피사체 존재 화상의 촬상 시의 촬상 조건과 동일한 촬상 조건으로, 상기 배경과 동일한 배경 내에 상기 피사체가 존재하지 않는 상기 배경 화상을 상기 촬상 수단에 촬상시키는 제2 촬상 제어 수단;
    상기 피사체 존재 화상과 상기 배경 화상과의 위치맞춤을 행하는 위치맞춤 수단;
    상기 위치맞춤 수단에 의해 위치맞춤된 상기 피사체 존재 화상과 상기 배경 화상과의 사이에서 대응하는 각 화소의 차분 정보를 생성하는 차분 생성 수단;
    상기 차분 생성 수단에 의해 생성된 상기 차분 정보에 기초하여, 상기 피사체 존재 화상으로부터 피사체가 포함되는 피사체 영역을 추출하는 피사체 추출 수단;
    으로서 기능시키는 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
KR1020090121554A 2008-12-16 2009-12-09 촬상 장치, 화상 처리 방법 및 기록 매체 KR101156991B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2008319633 2008-12-16
JPJP-P-2008-319633 2008-12-16
JP2009001484 2009-01-07
JPJP-P-2009-001484 2009-01-07
JPJP-P-2009-278378 2009-12-08
JP2009278378A JP4760973B2 (ja) 2008-12-16 2009-12-08 撮像装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20100069582A true KR20100069582A (ko) 2010-06-24
KR101156991B1 KR101156991B1 (ko) 2012-07-03

Family

ID=42077660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121554A KR101156991B1 (ko) 2008-12-16 2009-12-09 촬상 장치, 화상 처리 방법 및 기록 매체

Country Status (6)

Country Link
US (1) US20100149210A1 (ko)
EP (1) EP2199978B1 (ko)
JP (1) JP4760973B2 (ko)
KR (1) KR101156991B1 (ko)
CN (1) CN101764934A (ko)
TW (1) TWI414178B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5322416B2 (ja) * 2007-09-12 2013-10-23 株式会社メガチップス ブロックマッチング回路及びデータ更新方法
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
JP5565227B2 (ja) * 2010-09-13 2014-08-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5494386B2 (ja) * 2010-09-17 2014-05-14 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5621473B2 (ja) * 2010-09-28 2014-11-12 カシオ計算機株式会社 画像処理装置、及びその方法
TWI413019B (zh) 2010-12-07 2013-10-21 Novatek Microelectronics Corp 影像調整電路及影像調整方法
CN102572453A (zh) * 2010-12-17 2012-07-11 联咏科技股份有限公司 影像调整电路及影像调整方法
TWI484823B (zh) * 2011-02-18 2015-05-11 Pixart Imaging Inc 影像系統及其去干擾方法
US9020241B2 (en) 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012249175A (ja) * 2011-05-30 2012-12-13 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
JP2013013063A (ja) * 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム
CN103067679B (zh) * 2011-10-20 2015-09-16 四川长虹电器股份有限公司 一种电视机本地图片显示方法
JP6153318B2 (ja) 2012-11-30 2017-06-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2014124015A1 (en) * 2013-02-05 2014-08-14 Vanderbilt University Microlens array for enhanced imaging of multiregion targets
CN104038700B (zh) * 2014-06-26 2017-11-14 Tcl集团股份有限公司 一种拍照方法及装置
JP6516510B2 (ja) * 2015-03-02 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN106161977A (zh) * 2016-07-19 2016-11-23 卢锦霞 采用灯光寻找物体轮廓的拍摄抠图方法
JP6956659B2 (ja) * 2018-03-19 2021-11-02 三菱電機株式会社 画像処理装置およびレーザ照射装置
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
CN113947652A (zh) * 2020-07-15 2022-01-18 北京芯海视界三维科技有限公司 实现目标物体定位的方法、装置及显示器件
CN112017352B (zh) * 2020-09-03 2022-12-06 平安科技（深圳）有限公司 证件鉴伪方法、装置、设备及可读存储介质
JP2022082127A (ja) * 2020-11-20 2022-06-01 キヤノン株式会社 撮像システム及び表示装置とその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置
JP2003338977A (ja) * 2002-05-20 2003-11-28 Casio Comput Co Ltd 撮像装置及び画像合成方法
JP3983623B2 (ja) * 2002-08-09 2007-09-26 シャープ株式会社 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
WO2004015987A1 (ja) * 2002-08-09 2004-02-19 Sharp Kabushiki Kaisha 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
US7024054B2 (en) * 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
JP3801137B2 (ja) * 2003-01-21 2006-07-26 コニカミノルタホールディングス株式会社 侵入物体検出装置
US7574070B2 (en) * 2003-09-30 2009-08-11 Canon Kabushiki Kaisha Correction of subject area detection information, and image combining apparatus and method using the correction
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2006033178A1 (ja) * 2004-09-22 2006-03-30 Polygon Magic, Inc. 画像処理装置、方法、およびプログラム
JP2006121275A (ja) * 2004-10-20 2006-05-11 Fuji Photo Film Co Ltd 撮影方法および撮影装置
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US8565525B2 (en) * 2005-12-30 2013-10-22 Telecom Italia S.P.A. Edge comparison in segmentation of video sequences
WO2007076891A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Average calculation in color space, particularly for segmentation of video sequences
JP5246159B2 (ja) * 2007-06-08 2013-07-24 株式会社ニコン 撮像装置、画像表示装置、プログラム
JP4807432B2 (ja) * 2009-03-31 2011-11-02 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2010183560A (ja) 2010-08-19
KR101156991B1 (ko) 2012-07-03
JP4760973B2 (ja) 2011-08-31
CN101764934A (zh) 2010-06-30
TW201043014A (en) 2010-12-01
US20100149210A1 (en) 2010-06-17
EP2199978B1 (en) 2016-03-02
TWI414178B (zh) 2013-11-01
EP2199978A1 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
KR101156991B1 (ko) 촬상 장치, 화상 처리 방법 및 기록 매체
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
JP4513906B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5051156B2 (ja) 画像処理装置及びプログラム
TWI399977B (zh) 攝影裝置及程式
JP4798236B2 (ja) 撮像装置、画像処理方法及びプログラム
JP7030442B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010224607A (ja) 画像合成装置及びプログラム
US20120057747A1 (en) Image processing system and image processing method
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP4803319B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2006254198A (ja) 画像合成装置，カメラの手ぶれ補正装置およびカメラ
JP2010278701A (ja) 画像合成装置、画像合成方法及びプログラム
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP5494537B2 (ja) 画像処理装置及びプログラム
JP2011182084A (ja) 画像処理装置および画像処理プログラム
JP2023125905A (ja) 画像処理装置、画像処理方法およびプログラム
JP5381207B2 (ja) 画像合成装置及びプログラム
JP2021180366A (ja) 撮像装置及びその制御方法、並びにプログラム
JP5310361B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5637400B2 (ja) 撮像装置、及びプログラム
JP5402361B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2021097350A (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 8