KR101830077B1

KR101830077B1 - 화상처리장치, 그 제어 방법 및 기억매체

Info

Publication number: KR101830077B1
Application number: KR1020170129637A
Authority: KR
Inventors: 켄이치 미야사코
Original assignee: 캐논 가부시끼가이샤
Priority date: 2014-06-24
Filing date: 2017-10-11
Publication date: 2018-02-20
Also published as: JP2016010014A; DE102015110026A1; GB2553447B; DE102015110026B4; GB2529296A; CN105208263B; KR20170117991A; CN105208263A; GB2529296B; JP6336341B2; KR20160000423A; US20150371090A1; GB201510251D0; US10430660B2; GB201715875D0; GB2553447A

Abstract

화상처리장치는, 움직임 벡터 검출부와, 상기 움직임 벡터에 정보를 메타데이터로서 생성하는 생성부와, 각 프레임의 화상과 상기 메타데이터를 관련지어서 기록하는 기록부와, 상기 움직임 벡터 검출부에, 축소 처리 또는 선별 처리를 행한 화상신호를 사용해서 움직임 벡터의 검출을 행하게 함과 아울러, 상기 움직임 벡터 검출부에, 상기 메타데이터에 의거하여 화상영역을 결정시키고, 또한, 축소 처리 또는 선별 처리를 행하지 않거나, 촬상동작중보다도 축소율이 작은 축소 처리 또는 선별율이 작은 선별 처리를 행한 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어부를 구비한다.

Description

화상처리장치, 그 제어 방법 및 기억매체{IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND STORAGE MEDIUM}

본 발명은, 촬상장치에 있어서의 화상 블러(blur)를 기계적 혹은 전자적으로 보정하는 기술에 관한 것이다.

최근, 동화상 촬영이 가능한 촬상장치의 화소들의 수가 급속하게 증가하고 있다. 풀 HD(Full HD) 사이즈의 동화상을 촬영하는 촬상장치는, 이미 널리 보급되고, 4K 동화상 촬영이 가능한 촬상장치도 서서히 시장에 출시되고 있다. 또한, 장래 이용 가능하다고 예상되는 8K 수퍼 하이비전의 방송을 향해서, 기술개발도 진행되고 있다.

이러한 동화상의 고선명화에 의해, 촬상장치의 화상 블러를 보정하는 기술에 대해서, 보다 미세한 화상 블러를 보정하기 위한 고정밀도의 기술의 요구가 높아지고 있다. 촬상화상의 블러를 보정하는 화상 안정화 기능에 대해서는, 종래부터 여러 가지의 제안이 행해지고 있다. 예를 들면, 일본국 공개특허공보 특개2009-152802호에서는, 촬상장치에서 검출된 영상의 움직임 벡터 정보를, 영상신호와 함께 기록하고, 그 영상을 재생시에 화상 안정화 처리를 행하는 기술이 개시되어 있다.

그렇지만, 영상신호의 화상 사이즈가 커지면, 상기한 종래의 기술에서 화상 블러를 검출하기 위해서 사용된 움직임 벡터 검출 회로에서, 이하와 같은 문제가 생긴다.

움직임 벡터는, 화상에 엣지 등의 특징적인 형상이 있을 경우에, 현재의 프레임 화상과 과거의 프레임 화상간에, 그 특징적인 형상의 화상상에서의 위치 변화를 연산하여서 검출된다. 이에 따라서, 움직임 벡터를 검출하는 화상에서의 검출 에어리어는, 상기 화상의 특징적인 형상을 포함하기에 충분한 크기를 갖는 것이 필요하다. 작은 검출 에어리어는, 움직임 벡터 검출 정밀도의 열화를 초래한다. 화상 사이즈가 큰 동화상은, 화상 사이즈가 작은 동화상과 비교하여, 같은 크기의 피사체를 포함하는 화상 영역내의 화소수가 커진다. 예를 들면, 풀HD(1920×1080화소)사이즈의 동화상을 4K(3840×2160화소)동화상과 비교하면, 화소수는 4배 증가하고, 8K(7680×4320화소)동화상과 비교하면, 화소수가 16배 증가하여, 회로 규모가 증대하고 그 회로 규모의 증가에 의해 생긴 소비 전력이 증가하게 되는 것을 피할 수 없다.

본 발명은 상술한 과제를 감안하여 이루어진 것으로서, 회로 규모의 증대를 억제하면서, 움직임 벡터 검출 정밀도를 향상시킨다.

본 발명의 제1 국면에 따른 화상처리장치는, 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터를 검출하는 움직임 벡터 검출부; 상기 움직임 벡터의 검출 결과에 관한 정보를 메타데이터로서 생성하는 생성부; 상기 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 상기 메타데이터를 관련지어서 기록 매체에 기록하는 기록부; 및 촬상동작중에, 상기 움직임 벡터 검출부에, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터의 검출을 행하게 함과 아울러, 기록된 화상을 재생하는 재생동작중에, 상기 움직임 벡터 검출부에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시키고, 또 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리가 행해지지 않았거나, 상기 제2 축소 처리된 상기 프레임 화상의 화소들의 수가 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 상기 제2 축소 처리가 행해진, 상기 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어부를 구비한다.

본 발명의 제2 국면에 따른 화상처리장치는, 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 관련지어서 기록된 움직임 벡터의 검출 결과에 관한 정보인 메타데이터를 해석하는 해석부; 및 기록된 화상을 재생하는 재생 동작중에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시킴과 아울러, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해지지 않았거나, 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수가 촬상 동작중의 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 제1 축소 처리가 행해진, 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어부를 구비하는, 화상처리장치로서, 상기 메타데이터는, 상기 제2 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용하여 행해진 움직임 벡터 검출에 의해 얻어진 데이터이다.

본 발명의 제3 국면에 따른 화상처리장치의 제어 방법은, 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터를 검출하는 움직임 벡터 검출 스텝; 상기 움직임 벡터의 검출 결과에 관한 정보를 메타데이터로서 생성하는 생성스텝; 상기 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 상기 메타데이터를 관련지어서 기록 매체에 기록하는 기록스텝; 및 촬상동작중에, 상기 움직임 벡터 검출 스텝에, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터의 검출을 행하게 함과 아울러, 기록된 화상을 재생하는 재생동작중에, 상기 움직임 벡터 검출 스텝에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시키고, 또 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리가 행해지지 않았거나, 상기 제2 축소 처리된 상기 프레임 화상의 화소들의 수가 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 상기 제2 축소 처리가 행해진, 상기 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어스텝을 포함한다.

본 발명의 제4 국면에 따른 화상처리장치의 제어 방법은, 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 관련지어서 기록된 움직임 벡터의 검출 결과에 관한 정보인 메타데이터를 해석하는 해석스텝; 및 기록된 화상을 재생하는 재생 동작중에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시킴과 아울러, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해지지 않았거나, 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수가 촬상 동작중의 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 제1 축소 처리가 행해진, 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어스텝을 포함하는, 화상처리장치의 제어 방법으로서, 상기 메타데이터는, 상기 제2 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용하여 행해진 움직임 벡터 검출에 의해 얻어진 데이터이다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.

도 1a 및 1b는, 본 발명의 촬상장치의 제1의 실시예인 비디오카메라의 구성을 나타내는 블록도다.
도 2a 내지 도 2e는, 움직임 벡터 검출부(112)에서 행해진 동작을 설명하기 위한 도면이다.
도 3a 및 3b는, 촬상 화상 사이즈의 차이로 인해 생성된 움직임 벡터 검출 블록의 사이즈의 차이를 설명하기 위한 도면이다.
도 4a 및 4b는, 동화상 촬영시의 움직임 벡터 검출부(112)에서 행해진 움직임 벡터 검출의 결과를 설명하기 위한 도면이다.
도 5는, 기록 동화상 재생시의 움직임 벡터 검출부(112)에서 설정된 템플릿 화상과 서치(search) 화상의 배치의 예를 나타내는 도면이다.
도 6a 내지 6c는, 움직임 벡터 검출의 신뢰성을 설명하기 위한 도면이다.
도 7a 및 7b는, 기록 동화상 재생시의 움직임 벡터 검출부(112)에서 설정된 템플릿 화상과 서치 화상의 배치의 다른 예를 나타내는 도면이다.
도 8a 및 8b는, 화면상에 이동 피사체가 존재할 때 움직임 벡터 검출부(112)에서 행해진 움직임 벡터 검출의 결과를 설명하기 위한 도면이다.

이하, 본 발명의 실시예들에 대해서, 첨부도면을 참조해서 상세하게 설명한다.

제1의 실시예

도 1a 및 도 1b는, 본 발명에 따른 촬상장치의 제1의 실시예인 비디오카메라의 구성을 나타내는 블록도다. 도 1a는 동화상 촬영시에 사용하는 촬상장치의 블록들을 나타내고, 도 1b는 동화상 재생시에 사용하는 촬상장치의 블록들을 나타낸다. 도 1a 및 1b에 도시된 블록들은, 촬상장치에 설치된 (도면에 나타내지 않은) 제어부에 의해 제어된다.

우선, 도 1a를 참조하여, 촬상장치(100)의 동화상 촬영시에 사용된 구성요소와 그 구성요소로 행해진 동작에 대해서 구체적으로 설명한다. 촬상장치에 입력된 피사체상은, 주밍, 포커싱 등의 동작을 행하는 촬영 광학계(101) 및 보정 광학계(102)를 거쳐서, 촬상소자(103)에 결상된다. 보정 광학계(102)는, 예를 들면 쉬프트 렌즈이며, 광축에 수직한 방향으로 이동됨으로써 광축의 방향을 편향하는, 광학적으로 블러를 보정 가능한 보정계다. 보정 광학계(102)는, 조금씩 움직이는 상기 장치에 의해 생긴 촬상면상의 피사체상의 이동을 보정하고, 피사체상은 촬상소자(103)에 결상된다.

촬상소자(103)는, 촬영 광학계(101)에 의해 결상된 피사체상을 촬상 화상신호로서의 전기신호로 변환하고, 그 신호를 신호 처리부(104)에 공급한다. 신호 처리부(104)는, 촬상소자(103)로부터 입력된 화상을 2계통으로 분배한다.

신호 처리부(104)는, 메타데이터(metadata) 생성부(108)에 대하여는, 촬상소자(103)로부터 출력된 베이어(Bayer) 배열의 RAW화상을 그대로 출력한다. 메타데이터 생성부(108)는, 움직임 벡터 검출부(112)로부터의 정보에 근거해서 소정의 메타데이터를 생성하고, 그 RAW화상과 함께 기록 매체(109)에 기록한다. 메타데이터 생성부(108)에서 행해진 동작의 상세에 관해서는 후술한다.

또한, 신호 처리부(104)는, 촬상소자(103)로부터 출력되는 베이어 배열의 RAW화상에 대하여, 선별 처리 혹은 가산 처리(축소 처리)등을 행하여, 그 화상 사이즈를 촬상소자(103)로부터 출력되는 화상보다도 작은 화상 사이즈로 축소한 후에, 현상부(105)와 휘도생성부(110)에 공급한다.

휘도생성부(110)에서는, 신호 처리부(104)에서 공급된 화상신호로부터 휘도신호를 생성하여, 화상 메모리(111) 및 움직임 벡터 검출부(112)에 공급한다. 움직임 벡터 검출부(112)는, 휘도생성부(110)에서 생성된 현재의 프레임의 화상의 휘도신호와, 화상 메모리(111)에 일시 보존된 현재 프레임 화상 앞의 1프레임인 화상의 휘도신호에 의거하여, 화상의 움직임 벡터를 검출한다. 움직임 벡터 검출부(112)에 의해 검출된 움직임 벡터 출력은, 화상처리 보정량 연산부(113) 및 광학보정량 연산부(115)에 공급된다.

광학보정량 연산부(115)는, 움직임 벡터 검출부(112)로부터의 출력과 각속도 센서(114)로부터의 출력의 공급을 수신한다. 각속도 센서(114)는, 촬상장치(100)에 가해진 진동을 각속도 신호로서 검출하고, 그 각속도 신호를 광학보정량 연산부(115)에 공급한다. 광학보정량 연산부(115)는, 각속도 센서(114) 및 움직임 벡터 검출부(112)의 출력에 의거하여 촬상소자(103)의 촬상면상에서 생성된 화상 블러를 보정하는데 필요한, 보정 광학계(102)의 구동량을 산출하고, 모터 구동부(116)에 지시를 보낸다. 모터(117)는 보정 광학계(102)의 구동용의 보이스 코일형 모터이며, 모터 구동부(116)로 모터(117)를 구동한 결과, 보정 광학계(102)는 광축에 수직한 방향으로 이동된다. 이렇게 하여, 화상 블러 보정이 행해진다.

현상부(105)는, 표시 디바이스(107)에 현재 촬상되어 있는 화상을 표시하기 위해서, 신호 처리부(104)로부터 공급된 베이어 배열의 화상 데이터를, YUV형식등의 표시 디바이스에 적합한 데이터 형식으로 변환하여, 화상처리부(106)에 공급한다. 화상처리부(106)는, 화상처리 보정량 연산부(113)로부터의 지시에 따라 현상부(105)로부터 출력되는 화상에 대하여 전자식의 화상 안정화 처리등의 소정의 화상처리를 행하고, 표시 디바이스(107)에 그 화상을 출력한다. 화상처리보정량 연산부(113)는, 움직임 벡터 검출부(112)로부터의 출력에 의거하여 화상처리부(106)에 공급하는 출력을 결정한다. 화상처리부(106) 및 화상처리 보정량 연산부(113)에서 행해진 처리에 관해서는 후술한다.

다음에, 도 1b를 참조하여, 촬상장치(100)의 기록 동화상 재생 부분을 구성하는 구성요소와 그 구성요소가 행한 동작에 대해서 구체적으로 설명한다. 도 1b에 있어서, 도 1a와 같은 블록에는 동일한 참조부호를 부착하고, 상세한 설명을 여기에서는 생략한다.

촬상장치(100)에 대하여, 유저로부터 조작부재(도면에 나타내지 않는다)에 의해, 기록 동화상의 재생이 지시되면, 기록 매체(109)로부터 동화상 촬영시에 기록된 데이터가 판독된다. 그 판독된 데이터 중, RAW화상 데이터는 현상부(120) 및 휘도생성부(110)에 공급되고, 메타데이터 생성부(108)에 의해 생성된 메타데이터는, 메타데이터 해석부(123)에 공급된다.

움직임 벡터 검출부(112)는, 메타데이터 해석부(123)에 의해 공급된, 동화상 촬영시의 정보에 의거하여 동화상 촬영시보다도 고정밀도의 움직임 벡터 검출을 행한다. 화상처리 보정량 연산부(122)는, 움직임 벡터 검출부(112)로부터의 출력에 의거하여 화상처리부(121)에 공급하는 출력을 결정한다. 이 동화상 재생시에 행해진 동작을 상세하게 후술한다.

현상부(120)는, 외부 모니터(200)와 외부 기록매체(201)에 현재 재생된 화상을 출력하기 위해서, 기록 매체(109)로부터 공급되는 베이어 배열의 화상 데이터를, YUV형식등의 표시 디바이스에 적합한 데이터 형식으로 변환하여, 화상처리부(121)에 공급한다. 화상처리부(121)는, 화상처리 보정량 연산부(122)의 지시에 응답하여 현상부(120)로부터 출력되는 화상에 대하여 소정의 화상처리를 행하고, 외부 모니터(200) 및 외부 기록매체(201)에 출력하기 위한 영상 데이터를 출력한다. 외부 모니터(200)와 외부 기록매체(201)는, 예를 들면 촬상장치(100)의 외부단자를 거쳐서 케이블로 접속되어, 화상처리부(121)로부터 SDI(Serial Digital Interface) 규격등에 준거한 형식의 영상신호가 출력된다.

다음에, 본 실시예의 특징이 되는 블록에 대해서, 상세하게 설명한다. 움직임 벡터 검출부(112)는, 휘도생성부(110)에 의해 생성된 현재의 화상의 휘도 데이터와, 화상 메모리(111)에 일시적으로 기억된 과거의 화상의 휘도 데이터를 비교하여, 화상의 움직임량을 산출한다. 산출 방법으로서는, 화상의 엣지 등의 특징점을 서치하고, 특징점 주변의 화상끼리를 비교하는 특징점 추출법이나, 화상을 복수 블록으로 분할하고, 블록마다(검출 영역마다) 화상의 움직임량을 연산하는 블록 매칭법 등, 어느 쪽의 방법도 사용할 수 있다. 본 실시예에서는, 블록 매칭법을 사용하여 설명한다.

도 2a는, 복수의 블록으로 분할된 화상의 예를 나타내는 도면이다. 도 2a는, 점선으로 나타낸, 움직임 벡터 검출에 사용하는 화상을 8(횡)×5(종)개의 블록으로 분할한 화상의 일례를 나타낸다. 도 2b는, 도 2b의 피사체의 위치가, 도 2a의 피사체의 위치에 대해 상기 촬상장치에 가해진 진동의 영향으로 상방으로 쉬프트된 도 2a 후에 생성된 다음(미래)의 화상을 도시한 것이다.

도 2c 및 도 2d는, 도 2a에 도시된 블록A에 있어서의 화상의 움직임량의 산출 방법을 설명하는 도면이다. 블록A에 있어서의 화상의 움직임량을 산출하기 위해서는, 우선, 블록A에 대응하는 도 2b의 화상의 블록A' 내부에 있고, 블록A'보다도 작고 중심위치는 일치하고 있는 화상을, 템플릿 화상B로서 설정한다. 블록A와 템플릿 화상B는 정방형의 화상 데이터로서 사용되고, 도 2c 및 도 2d에 나타나 있는 바와 같이, 한변의 길이를 블록A와 템플릿 화상B에서 각각 N, M(N>M)이라고 한다. 설명을 이해하기 쉽게 하기 위해서, 블록A의 화상의 좌상측 모퉁이를 원점(0, 0)으로 해서, 가로방향을 Ⅹ축, 세로방향을 Y축으로 하고, 화상의 좌표를 정의한다.

화상의 움직임량은 이하의 순서에 따라 산출된다. 우선, 도 2c의 원점(0, 0)과 도 2d의 점P의 위치를 일치시키도록 화상을 포개고, 전체 화소에서의 휘도값의 차분의 총 합계(차분 절대값 합=SAD)를 산출한다. 다음에, 템플릿 화상B의 위치를, 블록A의 화상내에서 Ⅹ방향, Y방향으로 1화소씩 움직이면서, 도 2d의 점P'와 도 2c의 좌표(N, N)가 일치할 때까지, 각 위치에서 SAD를 연산한다. SAD는, 화상의 일치율이 높을수록 작은 값이 되기 때문에, SAD가 최소값이 되는 위치를 구하면, 화상의 움직임량을 산출할 수 있다. 도 2e는 SAD가 최소값이 될 때의 블록A와 템플릿 화상B간의 위치 관계를 나타내고, 도 2e에 도시된 블록A의 중심좌표(N/2, N/2)와 템플릿 화상B의 중심좌표 0의 위치간의 차분이, 블록A에 있어서의 화상의 움직임량이 된다(도 2e의 화살표로 나타냄). 또한, 템플릿 화상을 블록A의 화상의 범위내에서 이동시켜서 SAD가 최소값이 되는 위치를 서치하기 때문에, 블록A의 화상을 "서치 화상"이라고 부른다.

움직임 벡터 검출부(112)의 회로 규모는, 상기 서치 화상 및 템플릿 화상의 화소수가 증가함에 따라 커진다. 이에 따라, 각 블록의 화소수는, 가능한 한 작은 쪽이 회로 규모의 관점에서는 바람직하다. 한편, 움직임 벡터의 검출을 고정밀도로 행하기 위해서는, 각 블록에, 피사체의 엣지 등의 특징적인 패턴이 포함되어야 한다. 따라서, 각 블록의 화상 전체에서 차지하는 비율은, 어느 정도 큰 것이 바람직하다.

움직임 벡터를 검출하는데 사용된 화상의 화소수가 증가하지만, 움직임 벡터 검출을 행하는 각 블록의 화소수가 그대로이면, 화상 전체에서 각 블록이 차지하는 비율은 작아진다. 예를 들면, 풀HD사이즈의 화상과 8K사이즈의 화상에 있어서, 움직임 벡터 검출 블록의 화소수를 같게 하면, 화상 전체에서 각 블록이 차지하는 비율은 1/16으로 축소된다. 도 3a의 화상을 풀HD사이즈, 도3b의 화상을 8K사이즈로서 도시하면, 화소수가 같은 경우의 8K사이즈의 화상에 있어서의 각 블록의 크기는, 도 3b의 작은 정방형으로 나타낸 크기가 된다. 도 3b로부터 분명하게 나타나 있는 바와 같이, 움직임 벡터 검출에 사용하는 각 블록의 화상 전체에서 차지하는 비율이 작으면, 각 블록에 피사체의 엣지 등의 특징적인 패턴이 포함될 확률이 작아서, 움직임 벡터 검출의 정밀도 열화를 회피할 수 없다. 반대로, 움직임 벡터 검출의 검출 정밀도 열화를 막기 위해서, 각 움직임 벡터 검출 블록에서의 화소수를 증가시키면, 움직임 벡터 검출을 행하기 위한 회로 규모가 증대하여, 소비 전력의 증가와 연산 시간의 증가등의 여러 가지 문제가 생긴다.

본 실시예에서는, 상기한 바와 같이, 신호 처리부(104)는, 촬상소자(103)로부터 출력되는 화상을, 선별 혹은 가산등을 행하여, 촬상소자(103)로부터 출력되는 화상보다도 작은 화상 사이즈로 축소한 후에, 그 화상을 현상부(105)와 휘도생성부(110)에 공급하도록 구성된다. 예를 들면, 촬상소자(103)로부터 출력되는 화상이 8K데이터일 경우, 그 화상 사이즈는 풀 HD사이즈 등으로 축소된다.

표시 디바이스(107)는, 촬상장치(100)에 탑재되는 LCD등의 소형의 표시 디바이스를 상정하고, 촬상소자(103)로부터 출력되는 전체 화소를 사용하여 그 화상을 공급할 필요 없이, 축소 화상에서도 충분한 화질을 제공할 수 있다. 또한, 휘도생성부(110)를 거쳐서 움직임 벡터 검출부(112)에 공급되는 화상에서 화소수를 작게 한 결과, 회로 규모의 증대를 초래하지 않고, 도 3a에 나타나 있는 바와 같은 광범위에서의 움직임 벡터 검출이 가능해진다.

화상처리부(106)는, 현상부(120)로부터 공급된 영상신호에 대하여, 움직임 벡터를 사용해서 실현될 수 있는 화상처리를 실행한 후에, 표시 디바이스(107)에 영상신호를 공급하도록 구성된다. 예를 들면, 보정 광학계(102)에서 보정되지 않았던 화상 블러는, 움직임 벡터 검출부(112)에서 검출될 수 있다. 이때, 화상처리 보정량 연산부(113)에서는, 움직임 벡터 검출부(112)에서 연산된 각 움직임 벡터 검출 블록에 있어서의 움직임 벡터에 의거하여 화상의 움직임 보정량을 연산한다. 그리고, 그 연산된 보정량에 따라 화상처리부(106)는, 화상의 표시 범위를 변경하는 화상처리를 행한다. 또한, 예를 들면 화상처리부(106)가 HDR(High Dynamic Range) 합성 등의 화상합성을 행하는 경우에도, 화상처리 보정량 연산부(113)는, 움직임 벡터 검출부(112)에서 연산된 움직임 벡터에 의거하여 화상합성시의 화상 쉬프트량을 연산한다. 그리고, 화상처리부(106)는, 그 연산된 화상 쉬프트량을 사용해서 상기 HDR합성 등의 화상합성처리를 실행한다.

표시 디바이스(107)에 표시된 축소 화상에 적용된 화상처리에 있어서는, 축소 화상을 사용한 움직임 벡터의 검출 정밀도로 충분하다. 그러나, 기록 매체(109)에 기록된 원래의 화상에 적용된 화상처리에 있어서는, 축소 화상을 사용한 움직임 벡터 검출의 정밀도가 불충분하다. 따라서, 본 실시예에 있어서는 이하에 나타나 있는 바와 같은 처리를 행하여, 충분한 검출 정밀도를 확보한다. 이하의 설명에 있어서는, 설명을 간략화하기 위해서, 동화상 촬영시에 휘도생성부(110)에 공급된 화상의 사이즈는, 풀 HD이며, 기록 매체(109)에 기록된 화상의 사이즈는 8K인 것으로 가정한다.

도 4a는, 신호 처리부(104)로부터 휘도생성부(110)에 공급되는 축소 화상을 사용해서, 움직임 벡터 검출 블록들에서, 움직임 벡터 연산을 행한 결과를 화살표로 나타낸 도면이다. 도 4a에 있어서, 화상의 좌상측 모퉁이의 좌표를 원점(0, 0)으로 해서, 가로방향을 Ⅹ축, 세로방향을 Y축으로서, 화상의 좌표를 정의한다. 도 4b는, 도 4a에 나타낸 블록C의 확대도이며, 그 블록C는 중심좌표(a, b)를 갖는다. 또한, 좌표(a, b)를 중심으로 해서 설정한 템플릿 화상을, 서치 화상상에서 이동했을 때의 SAD가 최소값이 되는 좌표를 (c, d)로 나타낸다.

메타데이터 생성부(108)는, 각 블록의 중심좌표와 SAD가 최소값이 되는 좌표를, 신호 처리부(104)로부터 메타데이터 생성부(108)에 공급된 화상 사이즈에 적합한 좌표로 변환하여, 메타데이터로서 그 화상과 관련지어 기록 매체(109)에 기록한다. 휘도생성부(110)에 공급되는 화상이 풀HD사이즈의 화상이고, 메타데이터 생성부(108)에 공급되는 화상이 8K사이즈의 화상인 경우에는, 상기 각 블록의 중심좌표와 SAD가 최소값이 되는 좌표를 4배로 함으로써 좌표의 변환을 행할 수 있다.

기록 화상 재생시는, 메타데이터 생성부(108)에서 생성된 메타데이터를 이용하여서, 보다 고정밀도의 움직임 벡터 검출을 행한다. 도 1b를 참조하면, 상기 메타데이터는, 기록 매체(109)로부터 메타데이터 해석부(123)에 의해 판독된다. 메타데이터 해석부(123)는, 상기 움직임 벡터 검출을 행하기 위한 각 블록의 중심좌표와, SAD가 최소값이 되는 좌표를, 움직임 벡터 검출부(112)에 공급한다.

움직임 벡터 검출부(112)는, 메타데이터 해석부(123)로부터의 정보를 사용하여서, 화상 메모리(111) 및 휘도생성부(110)로부터 공급된 화상에 설정할, 서치 화상범위와 템플릿 화상범위를 결정한다. 도 5는, 기록 매체(109)에 기록된 비축소 화상에서 도 4a의 블록C에 대응한 위치의 화상을 나타낸다. 도 5에 나타낸 화상의 화소수는, 도 4b에 나타낸 화소수보다 16배 커서, 도 4b에서 SAD가 최소값이 되는 좌표(c, d)에 대응하는 좌표는 (C, D)는 (4c, 4d)이고, 중심좌표는 (A, B)는 (4a, 4b)이다. 이것들의 좌표정보는, 메타데이터 해석부(123)로부터 공급된다. 템플릿 화상은, 도 5의 좌표(A, B)를 중심으로 하여, 동화상 촬영중에 설정된 템플릿 화상과 같은 화상 사이즈의 범위에 설정된다. 한편, 서치 화상은, 도 5의 좌표(C, D)를 중심으로 하여, 동화상 촬영중에 설정된 서치 화상, 즉 도 4b의 화상과 같거나, 혹은 보다 작은 화소수의 범위에 설정한다. 이때, 템플릿 화상의 화면 전체에서 차지하는 비율은 작기 때문에, 템플릿 화상내에 특징적인 패턴이 포함되지 않게 되는 리스크는 있다. 그러나, 서치 범위를, 동화상 기록시에 검출된 움직임 벡터가 나타내는 범위를 초과하지 않는 범위에 한정하면(예를 들면, 8K사이즈의 화상을 풀 HD사이즈의 화상으로 축소하였던 경우에는, ±4화소), 움직임 벡터 검출에서 오류 검출이 일어나는 것을 막는 것이 가능하다.

이렇게 함으로써, 동화상 촬영중에 축소 화상에서 검출한 SAD가 최소값이 되는 에어리어 부근을, 비축소의 화상에서 고정밀도로 서치하는 것이 가능해진다. 또한, 기록 동화상 재생시에 행해진 벡터 검출에 있어서, 서치 화상과 템플릿 화상의 화소수를 동화상 촬영시로부터 증가시키지 않으므로, 회로 규모가 대폭 증가하는 것을 막는 것이 가능하다.

기록 동화상 재생시의 화상처리 보정량 연산부(122)에서 행해진 연산은, 동화상 촬영시의 화상처리 보정량 연산부(113)와 거의 같은 연산을 행한다. 그렇지만, 화상처리부(106)와 화상처리부(121)에서 처리한 화상 사이즈가 다르기 때문에, 움직임 벡터 검출부(112)로부터 화상처리 보정량 연산부(122)에 공급되는 움직임 벡터 검출 결과도, 화상처리 보정량 연산부(122)로부터 화상처리부(121)에 공급되는 데이터도, 화상 사이즈에 적합한 분해능으로 출력되어야 한다.

화상처리부(121)는, 현상부(120)로부터의 영상신호에 대하여, 화상처리부(106)와 같은 화상처리를 실행한 후에, 외부 모니터(200) 및 외부 기록매체(201)에 출력하기 위한 영상데이터를 출력한다. 상기한 바와 같이, 화상처리 보정량 연산부(122)로부터의 데이터의 분해능을 화상처리 보정량 연산부(113)보다도 높게 했기 때문에, 화상처리부(121)는 화상 사이즈에 적합한 고정밀도의 화상처리를 행할 수 있다. 한편, 화상처리 보정량 연산부(113)의 출력과 화상처리 보정량 연산부(122)의 출력은, 화상 사이즈에 따라 분해능이 변경된다는 점에서만 다르다. 이에 따라, 동화상 촬영중에 표시 디바이스(107)에 표시된 화상과, 기록 동화상 재생시의 외부 모니터(200)등에 표시된 화상도, 화소수의 관점에서만 다르다.

이상에서 설명한 것처럼, 본 실시예는, 동화상 촬영시에, 움직임 벡터 검출이나 표시 디바이스 출력용에 사용하는 화상 사이즈를 축소시켜, 회로 규모의 증가를 억제하면서 충분한 정밀도로 움직임 벡터 검출만을 행하도록 구성된다. 한편, 기록 동화상 재생시에, 동화상 촬영중에 행해진 움직임 벡터 검출에 관한 메타데이터를 이용하여, 회로 규모의 증가를 초래하지 않고, 재생 동화상 사이즈에 적합한 고정밀도의 움직임 벡터 검출을 행하게 한다. 이 구성에 의해, 동화상 촬영시와 기록 동화상 재생시에 최적인, 블러 보정이나 화상 합성등의 화상처리를 행하는 것이 가능하다.

도 1a에 도시된 블록도에서는, 보정 광학계(102)에 의해, 광학적으로 블러 보정을 행한 후의 나머지 블러를, 움직임 벡터 검출부로 검출하는 구성을 설명했지만, 보정 광학계(102)는 생략되어도 된다. 추가로, 움직임 벡터의 검출 방법과 메타데이터의 생성 방법은 어디까지나 일례에 지나지 않고, 메타데이터가 움직임 벡터 검출을 행하기 위한 화상 에어리어에 관한 정보와, 움직임 벡터 검출 결과에 관한 정보를 포함하면, 어떠한 데이터 형식이어도 된다.

또한, 본 실시예는, 기록 동화상 재생시의 움직임 벡터 검출부(112)에서 행해진 움직임 벡터 검출 처리에 있어서, 기록 매체(109)에 기록된 화상을 그 사이즈를 축소하지 않고 사용하도록 구성되지만, 그 구성은 이에 한정되는 것은 아니다. 또한, 동화상 촬영중보다도 축소율이 작은 범위에서 사이즈 축소, 선별 처리 등을 행하는 구성도 가능하다. 예를 들면, 동화상 촬영중에 8K사이즈 화상을 풀HD사이즈 화상으로 축소한 화상을 사용해서 움직임 벡터 검출을 행하고, 기록 동화상 재생중에는 8K사이즈 화상을 4K사이즈 화상으로 축소한 화상을 사용해서 움직임 벡터 검출을 행하는 구성을 사용하는 것이 가능하다.

* 제2의 실시예

여태까지는 본 발명의 기본적인 실시예를 설명하였다. 이 기본적인 실시예에서는, 메타데이터에 다른 정보를 부여함으로써, 이하 설명할 효율적인 처리와 벡터 검출 정밀도의 향상을 실현할 수 있다.

움직임 벡터 검출부(112)에서 행한 움직임 벡터의 검출은, 움직임 벡터 검출 블록들내의 패턴에 따라, 움직임 벡터 검출 결과의 정밀도가 낮거나, 혹은 움직임 벡터 검출 결과가 옳지 않는, 등의 신뢰성 문제를 갖는다. 이하, 그 움직임 벡터의 신뢰성에 관하여 설명한다.

도 6a 내지 도 6c는, 도 2a 내지 도 2e를 참조하여 설명한 축소 화상을 사용한 움직임 벡터 검출에 있어서 Ⅹ방향의 SAD의 변화의 예들을 나타내는 도면이다. 보통 때는, SAD는 ⅩY의 이차원 맵으로 도시되지만, 설명을 이해하기 쉽게 하기 위해서, Ⅹ축방향으로만 SAD가 도시된다. 도 6a 내지 도 6c에 도시된 그래프는, 템플릿 화상의 중심에서의 Ⅹ좌표가, 서치 화상의 중심의 Ⅹ좌표와 일치하고 있을 때의 이동량을 0으로 하고, 가로축이 템플릿 화상의 이동 화소를 나타내고, 세로축이 SAD의 연산 결과를 나타내는 그래프다. 템플릿 화상의 최대 이동량은, 서치 화상의 크기와 템플릿 화상의 크기로 결정되고, 도 2c와 도 2d에 도시된 화상의 경우에는, ±(N-M)/2가 된다.

템플릿 화상의 이동에 대응한 SAD의 변화는 촬상한 화상에 좌우된다. 예를 들면, 높은 콘트라스트 피사체가 촬상되어 있는 블록에 있어서는, 서치 화상의 패턴과 템플릿 화상의 패턴이 일치할 때의 휘도값의 차분이 0에 가깝다. 그 때문에, 도 6a에 나타나 있는 바와 같이, SAD의 최대값과 최소값간의 차이가 분명히 관찰되어서, 화상의 움직임량의 연산 결과의 정밀도는 높다.

그러나, 예를 들면 타일 패턴 등의 같은 패턴이 반복되는 피사체가 촬상되어 있는 블록에 있어서는, 서치 화상과 템플릿 화상간에 패턴이 일치하는 복수의 에어리어가 관찰된다. 이에 따라, 도 6b에 나타나 있는 바와 같이, SAD가 최소값 근방이 되는 복수의 에어리가 보이기 때문에, 화상의 움직임량의 연산 결과의 정밀도는 낮다. SAD의 피크가 복수개 존재하는지를 판단하기 위해서는, 예를 들면 소정의 역치(SAD_TH)와 SAD 최소값(SAD_MIN) 사이의 범위내에 있는 SAD의 피크가 적어도 2개가 존재하는지에 의거하여 판정한다.

또한, 예를 들면, 하늘 등의 저 콘트라스트의 피사체가 촬상되어 있는 블록에 있어서는, 서치 화상과 템플릿 화상간의 일치 정도가 낮다. 그 때문에, 도 6c에 나타나 있는 바와 같이, SAD의 최대값과 최소값간의 차이가 작아서, 화상의 움직임량의 연산 결과의 정밀도는 낮다. 신뢰성은, SAD의 최대값(SAD_MAX)과 SAD의 최소값(SAD_MIN)간의 차분의 크기에 의거하여 정량적으로 판단할 수 있다.

본 실시예에서는, 메타데이터 생성부(108)는, 상술한 각 블록의 중심좌표와 SAD가 최소값이 되는 좌표와 아울러, 상기 신뢰성의 판정 결과를 메타데이터로서 화상과 관련지어 기록 매체(109)에 기록한다. 기록 화상 재생시에, 상기한 바와 같이, 상기 메타데이터를 이용해서 고정밀도의 움직임 벡터 검출을 행하지만, 본 실시예에서는 상기 신뢰성의 판정 결과를 나타내는 메타데이터를 사용하여서, 이하에 설명한 것 같은 처리를 행한다.

제1예에서는, 상기 신뢰성의 판정 결과로서, 신뢰성이 낮다고 판정된 움직임 벡터 검출 블록에서는, 비축소의 화상을 사용한 기록 화상재생시의 움직임 벡터 검출은 행하지 않지만, 신뢰성이 높다고 판정된 블록들에서만 움직임 벡터 검출을 행한다. 예를 들면, 상술한 바와 같이 복수의 SAD의 피크가 존재하는 것을 나타내는 메타데이터가 기록되어 있는 경우나, SAD의 최대값과 최소값간의 차분이 소정값이하일 경우에는, 신뢰성이 낮다고 판단한다. 또는, 기록 화상재생시의 움직임 벡터 검출이 이루어진 블록들의 수를 미리 지정하고, 상기 SAD의 최대값과 최소값간의 차분이 가장 큰 블록으로부터, 또는 다시 말해, 움직임 벡터 검출의 신뢰성이 가장 높은 블록으로부터, 내림차순으로 움직임 벡터 검출이 행해지는 구성이 가능하다. 이 구성에 의해, 신뢰성이 높은 움직임 벡터 검출 블록들을 중심으로 움직임 벡터 검출을 행하기 때문에, 고정밀도의 움직임 벡터 검출을 행할 수 있고, 쓸데없는 소비 전력을 삭감할 수 있다.

제2예는, 도 7a 및 도 7b를 참조하여 설명한다. 도 7a 및 도 7b는, 도 5를 참조하여 설명 한 기록 화상재생시의 움직임 벡터 검출시의 서치 화상과 템플릿 화상의 배치의 다른 예를 나타내는 도면이다. 본 예에 있어서는, 우선, 기록 화상재생시의 움직임 벡터 검출 블록의 개수를, 동화상 촬영중에 설정된 움직임 벡터 검출 블록의 개수의 8분의 1로 설정한다. 그리고, 제1예에서와 마찬가지로, 움직임 벡터 검출의 신뢰성이 가장 높은 블록으로부터 내림차순으로 우선적으로 움직임 벡터 검출을 행하는 블록들을 획득하고, 이 블록들에 대하여 템플릿 화상과 서치 화상을 설정한다.

도 7a는 템플릿 화상의 설정 예를 나타내고, 도 7b는 서치 화상의 설정 예를 나타낸다. 도 5에서는, 좌표(A, B)를 중심좌표로서 설정한 템플릿 화상을 설정하였었다. 그렇지만, 도 7a에서는, 동화상 촬영중에 설정된 템플릿 화상범위내의 8개 블록(b1∼b8)을 포함하는 가능한 한 넓은 범위에서 템플릿 화상이 배치된다. 마찬가지로, 도 7b에 나타낸 서치 화상은, 상기 b1∼b8의 위치로부터, 동화상 촬영중에 검출된 움직임 벡터 검출 결과에 대응한 양만큼 쉬프트한 위치에 배치된다(B1∼B8).

상술한 것처럼, 본 예에서는, 원래 움직임 벡터 검출의 신뢰성이 높은 움직임 벡터 검출 블록에 대하여, 동화상 촬영중에 설정된 템플릿 화상 영역의 범위내에서 템플릿 화상을 복수 배치한다. 이것에 의해, 어느 하나의 템플릿 화상내에 피사체의 엣지 등의 특징적인 패턴이 포함되는 확률이 높아지기 때문에, 움직임 벡터 검출의 고정밀도화를 실현할 수 있다. 또한, 본 예시에서는, 움직임 벡터 검출을 행하는 블록의 수를 삭감하고, 움직임 벡터 검출의 신뢰성이 높은 블록들내의 복수의 장소에서 움직임 벡터 검출을 행하기 때문에, 움직임 벡터 검출을 행하기 위한 처리부하가 커지는 것에 의한 소비 전력의 증가도 막을 수 있다.

제3의 실시예

움직임 벡터 검출부(112)에서 행한 움직임 벡터의 검출에 있어서는, 전술한 움직임 벡터 검출 신뢰성과 아울러, 화면내에 이동 피사체가 존재하는 것인가 아닌가에 관해 주의할 필요가 있다. 도 8a 및 도 8b는, 화면내에 이동 피사체가 존재할 경우의 움직임 벡터 검출 결과를 설명하기 위한 도면이다.

도 8a는, 화면중앙에서 이동 피사체가 존재하는 화상을 나타낸다. 도 8b는, 움직임 벡터 검출 블록에서 행해진 움직임 벡터 검출의 결과를, 화살표의 방향과 크기로 보이고 있다. 굵은 박스내에 위치된 움직임 벡터는, 이동 피사체의 움직임 벡터를 나타내고, 그 굵은 박스밖에 위치된 움직임 벡터는, 배경영역을 구성하는 나머지 영역의 움직임 벡터를 보이고 있다. 도 8b로부터 알 수 있듯이, 화면내에 이동 피사체가 1개이상 존재하는 경우에는, 움직임 벡터의 크기가 다른 영역이 2개이상 존재한다. 화상처리 보정량 연산부(113)는, 상기 크기가 다른 복수의 움직임 벡터에 대해서, 어느 영역의 움직임 벡터를 사용할지에 관해 결정한다. 이 결정 방법으로서는, 이미 여러 가지의 제안이 이루어지고, 임의의 공지의 방법을 사용할 수 있다. 예를 들면, 손 지터링 등에 의해 생긴 화상 블러를 보정하는 경우에는, 배경영역의 움직임 벡터의 크기를 사용한다.

본 실시예에서는, 메타데이터 생성부(108)는, 상술한 각 블록의 중심좌표와 SAD가 최소값이 되는 좌표와 아울러, 움직임 벡터의 크기의 분류 정보를 메타데이터로서 화상과 관련지어 기록 매체(109)에 기록한다.

기록 화상재생시에, 상기 분류 정보를 나타내는 메타데이터를 사용하여, 화상처리 보정량 연산부(122)에서 행한 처리를 결정한다. 기록 동화상 재생시의 화상처리 보정량 연산부(122)에서 행한 연산으로서, 동화상 촬영시의 화상처리 보정량 연산부(113)와, 분해능의 차이이외는 같은 연산을 행할 필요가 있다. 이에 따라, 본 실시예에 있어서는, 메타데이터로서 기록된 상기 움직임 벡터의 크기의 분류 정보를 사용함으로써, 어느 영역의 움직임 벡터 검출 결과를 채용해야할지에 관해 결정한다. 이렇게 함으로써, 화상처리 보정량 연산부(113)와 화상처리 보정량 연산부(122)가 상반하는 처리동작을 행하는 경우를 방지하는 것이 가능하다. 또한, 화상처리 보정량 연산부(113)와 화상처리 보정량 연산부(122)에서, 복수개 영역의 움직임 벡터 검출 결과 중, 1개의 영역의 데이터만 사용하는 경우에는, 기록 화상재생시에 상세한 움직임 벡터 검출을 행하는 영역을, 움직임 벡터의 크기의 분류 정보에 따라 화상처리 보정량 연산부(122)에서 사용하는 영역으로서 설정하여도 된다. 이에 따라, 쓸데없는 소비 전력을 삭감할 수 있다.

그 밖의 실시예

또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims

촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터를 검출하는 움직임 벡터 검출부;
상기 움직임 벡터의 검출 결과에 관한 정보를 메타데이터로서 생성하는 생성부;
상기 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 상기 메타데이터를 관련지어서 기록 매체에 기록하는 기록부; 및
촬상동작중에, 상기 움직임 벡터 검출부에, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터의 검출을 행하게 함과 아울러,
기록된 화상을 재생하는 재생동작중에, 상기 움직임 벡터 검출부에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시키고, 또 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리가 행해지지 않았거나, 상기 제2 축소 처리된 상기 프레임 화상의 화소들의 수가 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 상기 제2 축소 처리가 행해진, 상기 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어부를 구비한, 화상처리장치.
제 1 항에 있어서,
상기 촬상동작중의 상기 움직임 벡터의 검출 결과를 사용해서 화상처리를 행하는 제1의 화상처리부; 및
상기 기록된 화상을 재생하는 재생동작중의 상기 움직임 벡터의 검출 결과를 사용해서 화상처리를 행하는 제2의 화상처리부를 더 구비하고,
상기 제1의 화상처리부에서 행해진 화상처리보다도 상기 제2의 화상처리부에서 행해진 화상처리가 분해능이 높은, 화상처리장치.
제 2 항에 있어서,
상기 제1의 화상처리부 및 상기 제2의 화상처리부에서 행해진 화상처리는, 전자식의 화상 안정화 처리 혹은 화상 합성처리인, 화상처리장치.
제 1 항에 있어서,
상기 생성부는, 상기 촬상동작중에 상기 움직임 벡터 검출부가 움직임 벡터 검출을 행하는 화상상에서의 위치와, 상기 움직임 벡터의 검출 결과를 포함하는 정보를, 메타데이터로서 생성하는, 화상처리장치.
제 1 항에 있어서,
상기 생성부는, 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한 정보를 메타데이터로서 생성하고,
상기 움직임 벡터 검출부는, 상기 기록된 화상을 재생하는 재생 동작중에, 상기 메타데이터에 의거하여 신뢰성이 낮다고 판정된 영역의 움직임 벡터의 검출을 행하지 않는, 화상처리장치.
제 1 항에 있어서,
상기 생성부는, 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한 정보를 메타데이터로서 생성하고,
상기 움직임 벡터 검출부는, 상기 기록된 화상을 재생하는 재생동작중에 상기 움직임 벡터의 검출 영역의 수를 상기 촬상동작중보다도 적은 수로 설정하고, 상기 메타데이터에 의거해 신뢰성이 높다고 판정된 영역의 움직임 벡터의 검출을 우선적으로 행하는, 화상처리장치.
제 1 항에 있어서,
상기 생성부는, 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한 정보를 메타데이터로서 생성하고,
상기 움직임 벡터 검출부는, 상기 기록된 화상을 재생하는 재생동작중에 상기 움직임 벡터의 검출 영역의 수를 상기 촬상동작중보다도 적은 수로 설정하고, 상기 메타데이터에 의거해 신뢰성이 높다고 판정된 영역을 한층 더 분할하여서 얻어진 복수개 영역에 대해서 움직임 벡터의 검출을 행하는, 화상처리장치.
제 2 항에 있어서,
상기 생성부는, 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 이동 피사체가 존재하는 것인가 아닌가를 나타내는 정보를 메타데이터로서 생성하고,
상기 제2의 화상처리부는, 상기 기록된 화상을 재생하는 재생 동작중에 상기 메타데이터에 의거하여 선택된 영역의 움직임 벡터의 검출 결과를 사용해서 화상처리를 행하는, 화상처리장치.
촬상소자로부터 출력되는 동화상의 각 프레임 화상과 관련지어서 기록된 움직임 벡터의 검출 결과에 관한 정보인 메타데이터를 해석하는 해석부; 및
기록된 화상을 재생하는 재생 동작중에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시킴과 아울러,
상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해지지 않았거나, 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수가 촬상 동작중의 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 제1 축소 처리가 행해진, 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어부를 구비하는, 화상처리장치로서,
상기 메타데이터는, 상기 제2 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용하여 행해진 움직임 벡터 검출에 의해 얻어진 데이터인, 화상처리장치.
제 9 항에 있어서,
상기 기록된 화상을 재생하는 재생 동작중의 상기 움직임 벡터의 검출 결과를 사용해서 행해지는 제2 화상처리는, 상기 촬상 동작중의 상기 움직임 벡터의 검출 결과를 사용해서 행해지는 제1 화상처리보다 분해능이 높은, 화상처리장치.
제 10 항에 있어서,
상기 제1 화상처리 및 상기 제2 화상처리에서 행해진 화상처리는, 전자식의 화상 안정화 처리 혹은 화상 합성처리인, 화상처리장치.
제 9 항에 있어서,
상기 메타데이터는, 상기 촬상동작중에 상기 움직임 벡터 검출을 행하는 화상상에서의 위치와, 상기 움직임 벡터의 검출 결과를 포함하는, 정보인, 화상처리장치.
제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 해석부는 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한, 메타데이터로서 기록된 정보를 해석하고, 상기 제어부는 상기 기록된 화상을 재생하는 재생 동작중에, 상기 메타데이터에 의거하여 신뢰성이 낮다고 판정된 영역의 움직임 벡터의 검출을 행하지 않는, 화상처리장치.
제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 해석부는 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한, 메타데이터로서 기록된 정보를 해석하고, 상기 제어부는 상기 기록된 화상을 재생하는 재생동작중에 상기 움직임 벡터의 검출 영역의 수를 상기 촬상동작중보다도 적은 수로 설정하고, 상기 메타데이터에 의거해 신뢰성이 높다고 판정된 영역의 움직임 벡터의 검출을 우선적으로 행하는, 화상처리장치.
제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 해석부는 상기 촬상동작중에 상기 움직임 벡터 검출부에 의해 얻어진 각 움직임 벡터의 검출 영역의 신뢰성에 관한, 메타데이터로서 기록된 정보를 해석하고, 상기 제어부는 상기 기록된 화상을 재생하는 재생동작중에 상기 움직임 벡터의 검출 영역의 수를 상기 촬상동작중보다도 적은 수로 설정하고, 상기 메타데이터에 의거해 신뢰성이 높다고 판정된 영역을 한층 더 분할하여서 얻어진 복수개 영역에 대해서 움직임 벡터의 검출을 행하는, 화상처리장치.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 해석부는 상기 촬상동작중에 상기 움직임 벡터 검출에 의해 얻어진 이동 피사체가 존재하는 것인가 아닌가를 나타내는, 메타데이터로서 기록된 정보를 해석하고, 제2 화상처리는 상기 기록된 화상을 재생하는 재생 동작중에 상기 메타데이터에 의거하여 선택된 영역의 움직임 벡터의 검출 결과를 사용해서 행해지는, 화상처리장치.
촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터를 검출하는 움직임 벡터 검출 스텝;
상기 움직임 벡터의 검출 결과에 관한 정보를 메타데이터로서 생성하는 생성스텝;
상기 촬상소자로부터 출력되는 동화상의 각 프레임 화상과 상기 메타데이터를 관련지어서 기록 매체에 기록하는 기록스텝; 및
촬상동작중에, 상기 움직임 벡터 검출 스텝에, 상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용해서 움직임 벡터의 검출을 행하게 함과 아울러,
기록된 화상을 재생하는 재생동작중에, 상기 움직임 벡터 검출 스텝에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시키고, 또 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리가 행해지지 않았거나, 상기 제2 축소 처리된 상기 프레임 화상의 화소들의 수가 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 상기 제2 축소 처리가 행해진, 상기 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어스텝을 포함하는, 화상처리장치의 제어 방법.
청구항 17에 따른 제어 방법의 단계들을 컴퓨터에 실행시키기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.
촬상소자로부터 출력되는 동화상의 각 프레임 화상과 관련지어서 기록된 움직임 벡터의 검출 결과에 관한 정보인 메타데이터를 해석하는 해석스텝; 및
기록된 화상을 재생하는 재생 동작중에, 움직임 벡터의 검출을 행하는 상기 각 프레임 화상의 화상영역을 상기 메타데이터에 의거하여 결정시킴과 아울러,
상기 프레임 화상의 화소들의 수를 축소하는 제1 축소 처리가 행해지지 않았거나, 상기 제1 축소 처리된 상기 프레임 화상의 화소들의 수가 촬상 동작중의 상기 프레임 화상의 화소들의 수를 축소하는 제2 축소 처리된 상기 프레임 화상의 화소들의 수보다 크도록 제1 축소 처리가 행해진, 기록 매체로부터 출력되는 화상신호를 사용해서, 움직임 벡터의 검출을 행하게 하는 제어스텝을 포함하는, 화상처리장치의 제어 방법으로서,
상기 메타데이터는, 상기 제2 축소 처리가 행해진 상기 촬상소자로부터 출력되는 화상신호를 사용하여 행해진 움직임 벡터 검출에 의해 얻어진 데이터인, 화상처리장치의 제어 방법.
청구항 19에 따른 제어 방법의 단계들을 컴퓨터에 실행시키기 위한 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.