KR20120073098A - 화상처리장치 및 화상처리장치의 제어방법 - Google Patents

Abstract

입력 화상에 대하여 그레인 노이즈와 스크래치를 랜덤 노이즈(random noise)로서 부가하여 합성 화상을 생성한다. 2차원 노이즈 데이터로부터 클리핑된 그레인 노이즈를 입력 화상에 부가할 경우에, 클리핑을 행할 때마다, 전회의 클리핑 위치로부터 위치의 차분을 평가한다. 이 위치의 차분이 작다고 판정된 경우에는, 이번의 클리핑 위치를 변경한다. 또, 복수 패턴의 노이즈 데이터로부터 클리핑된 스크래치를 입력 화상에 부가할 경우에, 일정 기간 연속해서 스크래치를 부가하는 조건이 선택되면, 전회의 위치로부터의 위치의 차분을 평가한다. 위치의 차분이 큰 경우에는, 스크래치의 부가를 무효로 한다.

Description

화상처리장치 및 화상처리장치의 제어방법{IMAGE PROCESSING APPARATUS AND METHOD FOR CONTROLLING THE SAME}

본 발명은 디지털 화상 데이터에 대하여 필름풍의 효과(film-like effect)를 주는 화상처리장치에 관한 것이다.

최근, 디지털 카메라의 화상표현의 방법으로서, 그레인(grain) 노이즈와 디지털 화상을 합성해서 촬상 화상에 대하여 필름풍 그레인 효과를 적용하는 방법이 제안되어 있다. 일본국 공개특허공보 특개평 11-085955호에서는, 그레인 패턴 데이터(원래의 그레인 노이즈)를 필름으로부터 산출하고, 복수의 노이즈 데이터를 그레인 패턴 데이터 상의 랜덤한 위치에서 잘라내고, 복수의 노이즈 데이터를 배치함으로써, 그레인 노이즈를 부가하고 있다.

그렇지만, 필름을 영사기에서 재생했을 경우에, 필름 화상은 상기와 같은 화상 전체에 영향을 주는 그레인 노이즈뿐만 아니라 다양한 현상도 갖는다.

본 발명은, 서로 다른 특성을 갖는 2개의 노이즈를 촬영된 화상에 부여하는 것이 가능한 화상처리장치를 제공하는 것을 지향한다.

본 발명의 일 국면에 의하면, 입력되는 복수의 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치는, 2차원으로 형성된 제1 노이즈 데이터를 기억하는 제1 기억 유닛과, 상기 제1 노이즈 데이터로부터 입력 화상의 프레임 전체에 대응한 노이즈 데이터를 클리핑하는 클리핑 유닛과, 상기 클리핑 유닛이 클리핑하는 상기 제1 노이즈 데이터 상의 클리핑 위치를 지정하는 제1 지정 유닛과, 상기 클리핑 유닛에 의해 클리핑된 노이즈 데이터를 상기 입력 화상과 합성하는 제1 합성 유닛과, 상기 제1 노이즈 데이터와는 다른, 복수의 패턴의 노이즈 데이터를 포함하는 제2 노이즈 데이터를 기억하는 제2 기억 유닛과, 상기 제2 노이즈 데이터로부터, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는 선택 유닛과, 상기 이번의 프레임의 화상 상의 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅(pasting) 위치를 지정하는 제2 지정 유닛과, 상기 제2 지정 유닛에 의해 지정된 페이스팅 위치에서 상기 선택 유닛에 의해 선택된 노이즈 데이터를 합성하는 제2 합성 유닛을 구비하고, 상기 제1 지정 유닛은, 상기 제1 노이즈 데이터 상의 클리핑 위치를 랜덤한 값에 의거하여 지정하고, 상기 제2 지정 유닛은, 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치를, 랜덤한 값에 의거하여 지정한다.

본 발명의 그외의 특징 및 국면은 첨부된 도면을 참조하면서 이하의 예시적인 실시 예로부터 밝혀질 것이다.

도 1은 본 발명의 제1 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.
도 2는 본 발명의 제2 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 제1 실시예에 있어서의 그레인 노이즈 데이터를 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 있어서의 촬상 화상과 그레인 노이즈와의 합성 화상의 구조를 도시한 도면이다.
도 5는 본 발명의 제2 실시예에 있어서의 스크래치 노이즈 데이터를 도시한 도면이다.
도 6은 본 발명의 제2 실시예에 있어서의 촬상 화상과 스크래치 노이즈 데이터와의 합성 화상의 구조를 도시한 도면이다.
도 7은 본 발명의 제1 실시예에 있어서의 그레인 노이즈 데이터의 클리핑(clipping) 위치를 결정하는 처리를 나타내는 플로차트이다.
도 8은 본 발명의 제1 실시예에 있어서의 그레인 노이즈 데이터의 클리핑 위치를 도시한 도면이다.
도 9는 본 발명의 제1 실시예에 있어서의 그레인 노이즈 데이터의 보정된 클리핑 위치를 나타내는 테이블이다.
도 10은 본 발명의 제1 실시예에 있어서의 그레인 노이즈 데이터의 보정 위치 간의 차에 의한 중복도를 도시한 도면이다.
도 11(도 11a 및 11b를 포함)은 본 발명의 제2 실시예에 있어서의 스크래치 노이즈 데이터의 페이스팅(pasting) 위치를 결정하는 처리를 나타내는 플로차트이다.
도 12는 본 발명의 제2 실시예에 있어서의 스크래치 부가의 필요의 시간 변화를 도시한 도면이다.
도 13은 본 발명의 제3 실시예에 있어서의 화상처리장치의 블럭도이다.
도 14는 본 발명의 제3 실시예에 있어서의 프레임 메모리와 화상의 화상 클리핑을 도시한 도면이다.
도 15는 본 발명의 제3 실시예에 있어서의 화상 클리핑에 의한 노이즈를 은폐하는 처리를 도시한 도면이다.
도 16은 본 발명의 제3 실시예에 있어서의 상하 셔터 처리를 부가하는 처리를 나타내는 플로차트이다.
도 17은 본 발명의 제3 실시예에 있어서의 상하 셔터 처리에 사용하는 복수의 쉐이킹 타입과 그 조합을 도시한 도면이다.
도 18a 및 18b는 본 발명의 제4 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.
도 19는 본 발명의 제4 실시예에 있어서의 명멸을 실현하기 위한 휘도신호의 보정처리를 도시한 도면이다.
도 20은 본 발명의 제4 실시예에 있어서의 휘도신호의 보정처리의 플로차트이다.
도 21a 및 21b는 본 발명의 제5 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.
도 22는 본 발명의 제5 실시예에 있어서의 복수의 필름풍의 효과를 중첩하는 처리의 플로차트이다.
도 23은 본 발명의 제6 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.
도 24는 본 발명의 제6 실시예에 있어서의 필름을 기록 매체로서 사용한 동영상 촬영에 있어서의 기록으로부터 재생까지의 처리를 설명한 도면이다.
도 25는 도 24에 나타낸 각 처리에 있어서, 상영 결과에 영향을 주는 사상과, 그 사상에 의한 효과, 및 그 효과를 시뮬레이션 기반에 의한 화상처리를 통해서 실현하기 위한 방법을 나타내는 테이블이다.
도 26은 본 발명의 제6 실시예에 있어서의 복수의 필름풍의 효과를 중첩하는 처리를 나타내는 플로차트이다.
도 27은 본 발명의 기타의 실시예에 있어서의 화상처리장치의 일례를 나타내는 블럭도이다.

이하, 본 발명의 다양한 실시예, 특징 및 국면에 대해서 상세히 설명한다.

본 제1 실시예에서는, 필름풍의 노이즈 효과로서 그레인 효과를 주기 위해서 그레인 노이즈를 촬상 화상에 부가하는 것이 가능한 화상처리장치를 나타낸다. 도 1은 제1 실시예에 있어서의 화상처리장치로서의 디지털 비디오 카메라를 나타내는 블럭도다.

촬상소자(100)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(101)에 입력된다. 카메라 신호 처리부(101)는 광전 변환된 신호에 대하여 각종의 화상처리를 행해서 영상신호로 변환하고, 그 영상신호를 엔코더부(111)에 출력한다. 엔코더부(111)는 소정의 기록 포맷으로 카메라 신호 처리부(101)로부터 수신된 영상신호를 부호화하고, 그 결과의 영상신호를 기록매체(112)에 기록한다.

다음에, 카메라 신호 처리부(101)에서의 신호 처리에 관하여 설명한다. 카메라 신호 처리부(101)에 신호가 입력되면, 우선 화상처리부(104)는 신호에 대해서 각종 신호 처리를 행한다. 각종 신호 처리는, 일반적인 촬영 시에 화상 데이터에 대하여 행해지는, 화이트 밸런스 처리, 감마 처리, 색 공간 변환 처리, 컬러 게인 처리, 컬러 밸런스 처리를 포함한다. 화상처리부(104)는 처리 후의 신호를 촬상 화상으로서 제1 프레임 메모리(108)에 기억한다.

메모리(109)는 그레인 노이즈로서 2차원 노이즈 데이터(301)를 기억한다. 클리핑(clipping) 처리부(106)는 노이즈 데이터(301)를 메모리(109)로부터 판독하고, 노이즈 데이터(301)로부터 소정의 위치와 크기를 갖는 노이즈 데이터(302)를 클리핑한다.

다음에, 클리핑 처리부(106)는 클리핑한 노이즈 데이터(302)를 제2 프레임 메모리(110)에 저장한다. 확대 처리부(107)는 제2 프레임 메모리(110)로부터 판독한 노이즈 데이터(302)를 판독하고, 촬상 화상과의 합성에 필요한 크기의 노이즈 데이터(402)를 취득하기 위해서 이 노이즈 데이터(302)에 대해서 리사이징(resizing) 처리를 행한다.

합성 처리부(105)는 소정의 타이밍에서 제1 프레임 메모리(108)로부터 촬상 화상(401)을 판독하고, 확대 처리부(107)로부터 노이즈 데이터(402)를 판독하며, 촬상 화상(401)과 노이즈 데이터(402)를 합성하고, 합성 화상을 출력한다. 합성 처리부(105)는 촬상 화상(401)과 노이즈 데이터(402)의 합성 비율을 변경하는 것이 가능하다. 합성 비율을 바꾸는 것으로, 합성 처리부(105)는 촬상 화상(401)에 부가하는 그레인 노이즈의 강도를 바꿀 수도 있다. 그레인 노이즈의 생성 방법 및 그레인 노이즈의 부가 방법에 관해서는 후에 상세히 설명한다.

신호 발생기(103)는 촬상소자(100)의 구동 타이밍을 제어하는 신호를 발생하고, 발생한 신호는 촬상소자(100)에 공급한다.

시스템 컨트롤러(102)는, 촬상소자(100)와 카메라 신호 처리부(101)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(102)는, 촬상소자(100)에 대해서는, 신호의 축적기간과 신호 판독 타이밍의 지시를 행한다. 시스템 컨트롤러(102)는, 화상 처리부(104)에 대해서는, 각종 신호 처리로 화질 설정에 필요한 파라미터의 설정을 행한다. 시스템 컨트롤러(102)는, 합성 처리부(105)에 대해서는, 합성 대상이 되는 프레임 메모리의 지정 지시, 합성 비율의 지정 지시 및 합성 타이밍의 지시를 행한다.

시스템 컨트롤러(102)는, 클리핑 처리부(106)에 대해서는, 메모리(109)로부터 판독을 행하는 타이밍의 지시, 클리핑 위치와 크기의 지시, 및 클리핑한 데이터를 제2 프레임 메모리(110)에 저장하는 타이밍의 지시를 행한다.

시스템 컨트롤러(102)는, 확대 처리부(107)에 대해서는, 제2 프레임 메모리(110)로부터 판독을 행하는 타이밍의 지시, 및 리사이징시의 크기의 지시를 행한다. 시스템 컨트롤러(102)는, 신호 발생기(103)에 대해서는, 촬상소자(100)를 구동하는 구동 타이밍의 지시를 행한다.

여기에서, 도 3 및 도 4를 참조하여, (본 실시예의 특징적인 처리인) 화상 데이터에 필름풍의 그레인 효과를 주는 그레인 노이즈의 생성 방법과, 그레인 노이즈를 화상 데이터에 부가하는 방법에 대해서 상세히 설명한다.

일본국 공개특허공보 특개 11-085995호에 개시된 그레인 패턴 데이터를 복수배치하는 방법에서는, 동화상의 갱신 주기, 즉 프레임 레이트(frame rate)에 동기해서 그레인 패턴 데이터를 배치하기 위해서, 프레임 레이트 주기 이내에서 매회 다르게 패턴 데이터를 배치하는 것이 가능한 고속 처리 시스템이 필요하게 된다. 또한, 복수의 그레인 노이즈 패턴으로부터 선택해서 이것을 화상 데이터에 부가하는 방법에서는, 그레인 노이즈를 기억하는 메모리 영역이 복수 필요하게 된다.

따라서, 본 실시예에서는 미리 그레인 노이즈를 2차원 데이터로서 저장하고, 임의의 위치에서 입력되는 화상의 프레임 전체에 대응하는 노이즈 데이터를 클리핑하고, 클리핑된 노이즈 데이터를 동화상과 합성한다.

이때, 클리핑의 타이밍을 동화상의 프레임 레이트와 동기시켜, 클리핑의 위치를 복수 프레임에서 매회 변화시킴으로써 공간적으로 시간적으로 임의의 그레인 노이즈를 동화상과 합성하는 것이 가능해진다.

도 3은 2차원의 노이즈 데이터(그레인 노이즈 데이터(301))와 거기에서 클리핑하는 클리핑 노이즈 데이터(302)와의 관계를 나타낸 도면이다. 도 4는 클리핑 노이즈 데이터(302)와 촬상 화상의 합성의 개념을 나타낸 도면이다.

그레인 노이즈 데이터(301)는, 가우스 분포에 따른 난수가 화소값으로서 1화소마다 기록되어 있는 화소군이다. 본 실시예에서는, 최소 그레인 단위를 1화소로 한다. 난수는 가우스 분포에 따른 난수 또는 어떤 다른 특정 형태의 난수에 한정되는 것이 아니며, 동일한 난수, 지수 난수, 및 많은 다른 종류의 난수여도 된다.

실제의 노이즈 데이터의 형태는, 특정한 형태에 한정되지 않고, 화상 데이터, 데이터 열, 및 많은 다른 형태여도 된다. 또한, 최소 그레인 단위는 1화소에 한정되지 않지만, 당연 단위가 작을수록 랜덤성이 높다.

시스템 컨트롤러(102)는, 처리 시간과 카메라의 자세정보 및 위치 정보 등의 카메라 내에서 취득할 수 있는 동적인 값을 이용해서 그레인 노이즈 데이터(301)의 클리핑 시작 위치(X, Y)를 랜덤하게 결정한다. 시스템 컨트롤러(102)는, 그레인 노이즈 데이터(301) 상에서 결정된 클리핑 시작 위치부터 소정 사이즈의 데이터를 클리핑 노이즈 데이터(302)로서 클리핑하고, 도 4과 같이 클리핑 노이즈 데이터(302)와 촬상 화상을 합성함으로써, 촬상 화상에 그레인 노이즈를 부가한다.

여기에서, 클리핑의 시작 위치를 랜덤하게 매회 변화시킬 때, 전회의 클리핑의 위치와 이번의 클리핑의 위치가 서로 가까운 경우나 단지 수평 혹은 수직방향으로 벗어나 있는 경우에는, 합성 결과로서 2차원의 패턴이 이동하고 있는 것처럼 보인다.

따라서, 본 실시예에서는, 시스템 컨트롤러(102)는, 전회의 클리핑 위치부터 이번의 클리핑 위치로의 이동량이, 소정의 범위 내에 있지 않도록 이번의 클리핑 위치를 설정한다.

시스템 컨트롤러(102)는, 클리핑 처리부(106)에 지시해서 노이즈 데이터(301)에 대해서 클리핑 제어를 행하게 한다. 도 7을 참조해서 본 실시예에 있어서의 클리핑 제어에 관하여 설명한다. 이 클리핑 제어는, 촬상 화상에 대하여 필름풍의 노이즈 효과를 부가하는 촬영 모드 시에 행해진다. 또는, 기록매체(212) 등의 메모리로부터 동화상을 연속적으로 판독한 후에 사후 처리로서 행해진다.

스텝 S701에서는, 시스템 컨트롤러(102)는, 메모리(109)에 기억되어 있는 노이즈 데이터로부터 상기의 동적인 값을 이용해서 이번에 어느 위치부터 클리핑하기 시작할 것인지의 후보 위치(이하, 이번의 클리핑 시작 위치 또는 이번의 클리핑 위치라고 칭함)를 산출한다. 클리핑된 데이터를 그레인 노이즈로서 합성하기 위해서, 시스템 컨트롤러(102)는, 매회 랜덤하게 전회의 클리핑 위치와는 다른 이번의 클리핑 위치를 결정한다. 지정하는 이번의 클리핑 위치의 결정이 완료하면, 처리는 스텝 S702로 진행된다.

스텝 S702에서는, 시스템 컨트롤러(102)는, 신호 발생기(103)에 지정하는 구동 타이밍 신호에 근거해 현재의 촬상소자(100)의 프레임 레이트 정보를 취득한다. 프레임 레이트 정보를 취득하면, 처리는 스텝 S703로 진행된다.

스텝 S703에서는, 시스템 컨트롤러(102)는, 이번에 지정된 클리핑 위치(이하, 이번의 클리핑 위치)가 일시 메모리(도면에 나타내지 않는다)에 보존되어 있는 전회의 클리핑 위치로부터 어느 정도 떨어진 위치에 있는지를 판정하는 기준값을 산출한다.

시스템 컨트롤러(102)는, 프레임 레이트에 동기해서 합성하는 그레인 노이즈의 갱신을 행한다. 따라서, 프레임 레이트가 작을수록, 즉 촬상 화상의 갱신 주기가 길수록, 그레인 노이즈의 갱신 주기가 더 길어지고, 즉, 더 길게 그레인 노이즈가 눈에 보이게 남아 있다. 그 때문에, 전회의 클리핑 위치와 이번의 클리핑 위치가 서로 가까운 경우에는, 합성된 그레인 노이즈가 이동하고 있는 것처럼 보인다.

시스템 컨트롤러(102)는, 스텝 S702에서 취득한 프레임 레이트 정보에 따라, 이번의 클리핑 위치와 전회의 클리핑 위치가 어느 정도 가까운 위치에 있는지를 판정하는 기준(소정값)을 변경한다. 예를 들면, 60fps의 프레임 레이트(제1 프레임 레이트)에서는, 전회의 클리핑 위치 주변의 10화소(제1 소정값) 이내에 이번의 클리핑 위치가 있는 경우에, 이번의 위치가 전회의 위치에 가깝다고 판정한다.

한편, 시스템 컨트롤러(102)는, 30fps의 프레임 레이트(제2 프레임 레이트)에서는, 전회의 클리핑 위치 주변의 20화소(제2 소정값) 이내에 이번의 클리핑 위치가 있는 경우에, 현재의 위치가 전회의 위치(그 사이의 거리가 소정값 이하이다)에 가깝다고 판정하도록 기준을 결정한다. 판정 기준을 결정하면, 처리는 스텝 S704로 진행된다.

스텝 S704에서는, 시스템 컨트롤러(102)는, 그레인 노이즈 데이터 상의 전회의 클리핑 위치와 스텝 S701에서 산출한 이번의 클리핑 위치 간의 그레인 노이즈 상의 거리(변화량)를 산출한다. 거리의 산출이 완료하면, 처리는 스텝 S705로 진행된다.

스텝 S705에서는, 시스템 컨트롤러(102)는, 스텝 S704에서 산출한 전회의 클리핑 위치와 이번의 클리핑 위치와의 거리와 스텝 S703에서 산출한 기준을 비교한다. 거리가 기준보다 크면(스텝 S705에서 YES), 즉 시스템 컨트롤러(102)가, 클리핑 위치가 전회의 클리핑 위치로부터 크게 변화되었다고 판정한 경우에는, 처리는 스텝 S707로 진행된다. 한편, 거리가 기준보다 작으면(스텝 S705에서 NO), 즉 시스템 컨트롤러(102)가, 클리핑 위치가 전회의 클리핑 위치로부터 작게 변화되었다고 판정한 경우에는, 처리가 스텝 S706로 진행된다.

스텝 S706에서는, 시스템 컨트롤러(102)는, 스텝 S701에서 산출한 이번에 지정된 클리핑 위치의 위치 정보를 보정한다. 클리핑 위치의 위치 정보의 보정 방법에 관해서는 후술한다. 클리핑 위치 정보의 보정을 행하면, 처리는 스텝 S707로 진행된다.

스텝 S707에서는, 시스템 컨트롤러(102)는, 스텝 S706에서 보정한 클리핑 위치의 위치 정보를 다음의 클리핑 위치의 제어에 이용하기 위해서, 일시 메모리에 보존하고, 처리는 스텝 S708로 진행된다. 스텝 S708에서는, 시스템 컨트롤러(102)는, 스텝 S706에서 보정한 클리핑 위치를 클리핑 처리부(106)에 지정하고, 처리를 종료한다.

다음에 스텝 S706에 있어서의 클리핑 위치의 보정 처리에 관하여 설명한다. 도 8, 도 9, 및 도 10은, 메모리(103)에 기억되어 있는 노이즈 데이터(301)의 클리핑 위치를 보정하는 경우의 보정 조건과 보정 위치를 설명하는 도면이다.

노이즈 데이터(301)의 폭과 높이를 각각 W화소 및 H화소라고 한다(Ｗ≥4, H≥4). 또한, 노이즈 데이터(301)의 클리핑은 좌측 위쪽의 위치를 클리핑 위치의 원점(0,0)으로서 사용하여, 화소 단위로 행해질 것이다. 또한 클리핑하는 클리핑 노이즈 데이터(302)의 크기를 폭(W/2) 화소 및 높이 (H/2) 화소라고 한다.

예를 들면, 도 3에 나타나 있는 바와 같이, 이번의 클리핑 위치가 (X, Y)이었을 경우에, 상기 크기의 클리핑 노이즈 데이터(302)를 클리핑하기 시작하는 클리핑 시작 위치(X, Y)는 (0 ≤ X < W/2, 0≤ Y < Y/2)의 범위 내에서 지정될 수 있다(도 8).

한층 더, 이 클리핑 시작 위치를 지정할 수 있는 범위를 도 8에 나타내는 4개의 영역, 영역 1, 2, 3 및 4로 나눈다. 영역 1은 클리핑 시작 위치를 (0 ≤ X < W/4, 0 ≤ Y < H/4)의 범위 내에 포함한다. 영역 2는 클리핑 시작 위치를 (W/4 ≤ X < W/2, 0 ≤ Y < H/4)의 범위 내에 포함한다. 한층 더, 영역 3은 클리핑 시작 위치를 (0 ≤ X < W/4, H/4 ≤ Y < H/2)의 범위 내에 포함한다. 영역 4는 클리핑 시작 위치를 (W/4 ≤ X < W/2, H/4 ≤ Y < H/2)의 범위 내에 포함한다.

클리핑 위치를 보정할 경우, 전회의 클리핑 위치에서 클리핑된 노이즈 데이터와 이번의 클리핑 위치에서 클리핑된 노이즈 데이터와의 중첩하는 면적이 적고, 한층 더 그 2개의 위치가 분리되어 있는 것이 바람직하다. 이것에 의해 합성시의 랜덤성이 향상할 것이다.

보정 제어에서는, 시스템 컨트롤러(102)는 이번의 클리핑 위치가 상기 영역 1∼4의 어디에 있는지를 판정하고, 그 판정된 영역의 대각선의 영역에 있어서의 위치로 이번의 클리핑 위치를 보정한다. 이때, 도 9의 테이블에 나타나 있는 바와 같이, 시스템 컨트롤러(102)는 클리핑 시작 위치(X, Y)를 보정 클리핑 위치(X'，Y'）로 보정한다.

예를 들면, 이번의 클리핑 위치가 영역 1에 존재하는 경우, 이번의 클리핑 위치를 영역 4로 이동시키면(도 10에서 노이즈 데이터 1003), 영역 2 및 영역 3으로 이동시키는 경우(도 10에서 노이즈 데이터 1001, 1002)와 비교해서 클리핑된 노이즈 데이터가 중첩하는 면적이 더 적어진다. 그 결과, 노이즈 데이터의 이동이 눈에 띄기 어려워져, 그레인 노이즈의 시간적인 랜덤성이 향상한다.

이상과 같이, 제1 실시예에서는, 시스템 컨트롤러(102)는 2차원 노이즈 데이터의 범위를 임의로 클리핑하고, 촬상 화상의 갱신에 맞춰서 매회 클리핑된 노이즈 데이터와 촬상 화상을 합성한다. 이 방법은 동화상이어도 그레인 노이즈를 부가하는 것을 가능하게 한다.

랜덤하게 결정한 클리핑 위치가 전회의 클리핑 위치와 가까운 경우에도, 즉, 소정의 범위 내에서는, 상술한 방법은 그 결정한 클리핑 위치를 소정 범위 외의 위치로 보정함으로써, 노이즈의 랜덤성을 확보하는 것을 가능하게 하고 있다. 본 실시예에서는, 일본국 공개특허공보 특개11-085955호에 기재된 기술과 비교하여, 이미 판독되어 있는 데이터로부터 소정 크기의 데이터를 클리핑하는 것만으로 노이즈 데이터의 생성이 가능해서, 노이즈 데이터 생성에 필요한 시간을 단축하는 것이 가능하다.

한층 더, 본 실시예에서는 이번의 클리핑 위치와 전회의 클리핑 위치를 비교하고, 이 2개의 위치 간의 차가 작은 경우, 즉 2개의 위치가 서로 가까운 경우에는, 이번의 클리핑 위치를 변경함으로써 클리핑된 노이즈 데이터가 이동하는 것처럼 보이는 것을 방지하여, 노이즈의 랜덤성을 향상시킨다.

본 실시예에서는, 그레인 노이즈 데이터(301)가 W화소의 폭과, H화소의 높이를 갖고, 클리핑 노이즈 데이터는 W/2화소의 폭과, H/2화소의 폭을 갖는다. 그러나, 그레인 노이즈 데이터에 대한 클리핑 노이즈 데이터의 크기는 이것에 한정하지 않고, 그레인 노이즈 데이터의 크기를 넘지 않는 한 본 실시예보다 커도 작아도 된다.

다만, 클리핑 노이즈 데이터의 크기가 커지면 랜덤성이 작아질 수도 있다. 한편, 그것의 크기가 작아지면, 필요한 클리핑 노이즈 데이터의 크기와 그레인 노이즈 데이터(301)의 크기와의 비가 커져서, 메모리의 용량을 더 많이 소모할 수도 있다.

따라서, 본 실시예에서는, 그레인 노이즈 데이터(301)의 크기와 클리핑 노이즈 데이터의 크기의 비를 4:1 정도로 설정하고, 전회 및 이번의 클리핑 시작 위치가 서로 가까워지지 않도록 제어하여, 노이즈의 랜덤성의 확보와 메모리 용량의 절약의 양쪽을 더 적합하게 실현하고 있다.

또한, 본 실시예에서는, 클리핑 시작 위치를 특정할 수 있는 범위를 4개의 영역으로 분할했지만, 분할 수 및 분할 면적의 배당은 이것에 한정되지 않는다.

또한, 본 실시예에서는, 시스템 컨트롤러(102)가 이번과 전회의 클리핑 위치간의 거리가 소정값 이하라고 판정하는 경우, 시스템 컨트롤러(102)는 상기와 같은 클리핑 시작 위치를 포함하는 영역을 다른 영역으로 보정한다. 그러나, 클리핑 시작 위치의 보정방법은 이것에 한정하지 않는다. 이번과 전회의 클리핑 위치 간의 거리가 소정값보다 커지도록 클리핑 시작 위치를 이동시켜도 된다.

즉, 60fps의 프레임 레이트로 소정값이 전회의 클리핑 위치 주변의 10화소이었을 경우, 그 주변의 11화소 이상이 되도록 이번의 클리핑 위치(좌표)를 변경해도 된다. 또한, 전회의 클리핑 위치 주변 10화소 이내의 좌표를 후보로부터 제외시키고 이번의 시작 위치를 랜덤하게 지정해도 된다.

또한, 본 실시예에서는, 시스템 컨트롤러(102)가 이번과 전회의 클리핑 위치 간의 거리가 소정값 이하라고 판정한 경우에, 시스템 컨트롤러(102)는 상기와 같은 클리핑 시작 위치를 포함하는 영역을 다른 영역으로 보정한다. 그러나, 클리핑 시작 위치의 보정방법에 관해서는 이것에 한정하지 않는다. 이번과 전회의 클리핑 위치가 도 8의 영역 1, 2, 3, 4 중의 어느 영역에 속해 있는지 판정하여, 같은 영역에 속해 있는 경우에, 이번의 클리핑 위치를 다른 영역으로 이동시키는 것이 가능하다.

이때, 본 실시예와 같이, 이번과 전회의 클리핑 영역이 겹치는 영역을 최소화하기 위해서 이번의 클리핑 위치를 대각의 영역으로 이동시키는 것이 바람직하다. 한층 더, 본 판정 방법과 이번과 전회의 클리핑 위치 간의 거리가 소정값 이하 인지의 여부를 판정하는 방법을 조합하면, 2개의 영역의 경계 근방에 클리핑 시작 위치가 존재하는 경우에도 유효한 판정이 가능해진다.

이하, 제2의 예시적인 실시예에 대해서, 필름 상의 스크래치 등의 필름풍 효과를 촬상 화상에 주기 위해서 스크래치(수직의 선형 노이즈)를 부가하는 것이 가능한 화상처리장치에 근거해서 설명한다. 도 5 및 도 6은, 본 실시예에 있어서의 스크래치 노이즈 데이터의 클리핑과 합성에 관하여 설명한다.

도 5는 복수 패턴의 스크래치를 포함하는 스크래치 노이즈 데이터와 거기에서 클리핑되는 노이즈 데이터와의 관계를 나타낸 도면이다. 스크래치 노이즈 데이터(501)에 의해, 수평방향의 1화소를 최소단위로 하여 난수에 의해 강도가 결정되고, 수직방향으로 스크래치가 기억된다.

또, 수직방향으로 복수의 화소를 최소단위로 해서 강도가 변화하고, 이에 따라 수직방향으로 스크래치의 짙음이나 굵기가 변화되어, 스크래치의 "긁힘"을 표현한다. 난수는 가우스 분포에 따른 것일 수도 있고 많은 다른 종류일 수도 있지만, 특정의 종류에는 한정되지 않는다.

도 6은 클리핑된 스크래치와 촬상 화상의 합성의 개념을 나타낸 도면이다. 본 실시예에서는, 시스템 컨트롤러(102)는 도 5과 같이 스크래치 노이즈 데이터(501)로부터 클리핑 노이즈 데이터(502)를 클리핑하고, 클리핑된 노이즈 데이터(502)를 소정의 화상 사이즈로 리사이징해서 페이스팅 노이즈 데이터(602)를 생성한다. 그리고, 전회의 페이스팅 노이즈 데이터(602)의 페이스팅 위치와 그 위치에서의 페이스팅의 계속시간에 따라, 시스템 컨트롤러(102)는 페이스팅 노이즈 데이터(602)의 페이스팅 위치를 결정하고, 촬상 화상 상의 페이스팅 위치에 붙인다.

도 2는 제2 실시예에 따른 화상처리장치로서의 디지털 비디오 카메라의 블럭도다. 촬상소자(200)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(201)에 입력된다.

카메라 신호 처리부(201)는 광전 변환된 신호에 대하여 각종의 화상처리를 행하여 영상신호로 변환하고 영상신호를 엔코더부(211)에 출력한다. 엔코더부(211)는 카메라 신호 처리부(201)로부터 수신된 영상신호를 소정의 기록 포맷으로 부호화하고, 그 결과의 영상신호를 기록매체(212)에 기록한다.

다음에 카메라 신호 처리부(201)에서의 신호 처리에 관하여 설명한다. 카메라 신호 처리부(201)에 신호가 입력되면, 화상 처리부(204)는 제1 실시예와 같은 신호에 대해서 각종 신호 처리를 행한다. 화상 처리부(204)는 처리된 신호를 촬상 화상으로서 프레임 메모리(209)에 저장한다.

메모리(210)는 복수의 패턴의 스크래치를 갖는 스크래치 노이즈 데이터(501)를 기억하고 있다. 클리핑 처리부(206)는 노이즈 데이터(501)를 메모리(210)로부터 판독한다.

클리핑 처리부(206)는 노이즈 데이터(501) 상의 지정된 위치와 지정된 크기의 스크래치 노이즈 데이터(502)를 클리핑한다. 확대 처리부(207)는 클리핑된 노이즈 데이터(502)를 촬상 화상(601)과의 합성에 필요한 크기의 노이즈 데이터(602)로 리사이징한다. 페이스팅 처리부(208)는 클리핑 위치에 따르지 않는 임의의 위치에서 촬상 화상(601)과 노이즈 데이터(602)를 합성하기 위한 페이스팅 위치를 지정한다.

합성 처리부(205)는 소정의 타이밍에서 프레임 메모리(209)로부터 촬상 화상(601)을, 페이스팅 처리부(208)로부터 노이즈 데이터(602)를 판독하고, 촬상 화상(610)과 노이즈 데이터(602)를 합성하고, 그 합성 화상을 출력한다.

신호 발생기(203)는 촬상소자(200)의 구동 타이밍을 제어하는 신호를 발생하고, 발생한 신호를 촬상소자(200)와 시스템 컨트롤러(202)에 공급한다.

시스템 컨트롤러(202)는, 촬상소자(200)와 카메라 신호 처리부(201)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(202)는, 촬상소자(200)에 대해서는 신호 축적기간과 신호 판독 타이밍의 지시를 행한다. 시스템 컨트롤러(202)는, 화상처리부(204)에 대해서는 각종 신호 처리로 화질 설정에 필요한 파라미터의 설정을 행한다.

시스템 컨트롤러(202)는, 합성 처리부(205)에 대해서는, 합성 대상이 되는 프레임 메모리의 지정 지시, 합성 비율의 지정 지시 및 합성 타이밍의 지시를 행한다. 시스템 컨트롤러(202)는, 클리핑 처리부(206)에 대해서는, 스크래치를 생성하기 위해서, 메모리(210)로부터 판독을 행하는 타이밍의 지시와, 클리핑 위치와 크기의 지시를 행한다.

시스템 컨트롤러(202)는, 확대 처리부(207)에 대해서는, 리사이징시의 크기의 지시를 행한다. 시스템 컨트롤러(202)는, 페이스팅 처리부(208)에 대해서는, 합성시의 페이스팅 위치의 지시를 행한다. 시스템 컨트롤러(202)는, 신호 발생기(203)에 대해서는, 촬상소자(200)를 구동하는 구동 타이밍의 지시를 행한다.

다음에, 본 실시예에 있어서의 시스템 컨트롤러(202)는 페이스팅 처리부(208)에게 지시하여 페이스팅 노이즈 데이터(602)에 대해서 페이스팅 제어를 행한다. 이 페이스팅 제어에 대해서 도 11(도 11a 및 11b) 및 도 12를 참조하여 이하에 설명할 것이다.

상술한 페이스팅 제어는 촬상 화상에 대하여 스크래치의 효과를 부가하기 위한 화상처리를 실행하는 촬영 모드에서 행해진다. 또는, 페이스팅 제어는 기록매체(212) 등의 메모리로부터 동화상을 연속적으로 판독한 후에 사후 처리로서 행해진다. 본 처리는, 수직동기신호와 동기해서 개시되고, 수직동기신호에 의해 일련의 처리가 반복되게 된다.

스텝 S1101에서는, 시스템 컨트롤러(202)는 일시 메모리(도면에 나타내지 않는다)에 보존되어 있는 스크래치가 촬상 화상에 중첩하고 있는 시간을 계측하는 카운터인 중첩 카운터(제1 검출유닛)의 값이, 중첩의 목표시간(제1 소정시간)에 도달했는지 아닌지를 판정한다. 그 값이 중첩의 목표시간에 도달하지 않았으면, 처리는 스텝 S1108로 진행된다.

한편, 그 값이 중첩의 목표시간에 도달한 경우에는(스텝 S1101에서 YES), 처리가 스텝 S1102로 진행된다. 여기에서, 중첩의 목표시간은, 촬상 화상에 대하여 동일한 스크래치를 계속해서 표시하는 동안의 시간을 말한다. 이러한 중첩의 목표시간은 각종 조건 혹은 유저에 의존해서 결정해도 된다. 스텝 S1102에서는, 시스템 컨트롤러(202)는 중첩의 목표시간에 도달한 중첩 카운터를 초기화하고, 처리는 스텝 S1103로 진행된다.

스텝 S1103에서는, 시스템 컨트롤러(202)는 메모리(210)에 기억되어 있는 노이즈 데이터로부터 클리핑된 스크래치를 이번에 중첩할 것인지 아닌지의 유무에 관한 정보를 취득한다(이하, 이 정보를 중첩 유무 정보라고 칭한다). 예를 들면, 스크래치를 랜덤하게 중첩하기 위해서, 시스템 컨트롤러(202)는 중첩 유무 정보로서 난수 발생부로부터 무작위로 값을 취득한다. 중첩 유무 정보를 취득하면, 처리는 스텝 S1104로 진행된다.

스텝 S1104에서는, 시스템 컨트롤러(202)는 스텝 S1103에서 얻은 중첩 유무 정보가 스크래치 노이즈 중첩을 지정하는 것인지 아닌지를 판정한다. 시스템 컨트롤러(202)는 판정 결과를 일시 메모리에 보존한다. 중첩 유무 정보는 이진값으로 정의되어도 된다. 예를 들면, 난수 발생부로부터 얻은 값이, 소정의 스레숄드값보다 크면, 시스템 컨트롤러(202)는 중첩이 있다고 결정하다. 반대로, 그 값이 스레숄드값 이하이면, 시스템 컨트롤러(202)는 중첩이 없다고 결정한다.

시간변화의 관점에서, 스텝 S1104의 처리가 실행됨으로써 도 12에 나타나 있는 바와 같이 소정의 프레임마다 중첩이 있는 기간과 중첩이 없는 기간이 랜덤하게 발생한다. 본 실시예에서는, 시스템 컨트롤러(202)는 프레임마다 중첩의 유무를 결정한다.

시스템 컨트롤러(202)가 중첩이 있다고 판정한 경우에는(스텝 S1104에서 YES), 처리가 스텝 S1105로 진행된다. 한편, 시스템 컨트롤러(202)가 중첩이 없다고 판정한 경우에는(스텝 S1104에서 NO), 처리가 스텝 S1121로 진행된다.

스텝 S1105에서는, 시스템 컨트롤러(202)는 메모리(210)에 기억되어 있는 스크래치 노이즈 데이터(501)로부터 클리핑되는 클리핑 노이즈 데이터(502)의 클리핑 시작 위치, 클리핑의 폭 및 높이를 결정한다.

이들 값을 변경함으로써 중첩하는 스크래치의 패턴(스크래치의 길이, 강도, 개수 등)이 변경된다. 그 때문에, 이들 값(시작 위치, 폭 및 높이)을 매회 다른 위치부터 클리핑을 시작하도록, 난수 발생부를 사용해서 결정해도 된다. 클리핑 위치를 산출하면, 처리는 스텝 S1106로 진행된다.

스텝 S1106에서는, 시스템 컨트롤러(202)는 스텝 S1105에서 결정한 클리핑 위치를 클리핑 처리부(206)에 지시하고, 처리는 스텝 S1107로 진행된다. 스텝 S1107에서는, 시스템 컨트롤러(202)는 중첩의 목표시간을 결정해서 일시 메모리에 보존하고, 처리는 스텝 S1108로 진행된다.

스텝 S1108에서는, 시스템 컨트롤러(202)는 중첩 카운터를 증가시키고, 처리는 스텝 S1109로 진행된다. 스텝 S1109에서는, 스크래치 중첩이 없음의 상태로부터 있다고 판정되고나서의 경과 시간을 계측하기 위해서, 시스템 컨트롤러(202)는 중첩 계속 카운터(제2 검출부)를 증가시키고, 처리는 스텝 S1110로 진행된다.

스텝 S1110에서는, 시스템 컨트롤러(202)는 클리핑 처리부(206)로 클리핑된 노이즈 데이터를 이번 촬상된 화상 상의 어느 페이스팅 위치에 붙일 것인지를 결정한다. 페이스팅 위치는 합성의 타이밍에 의존해 랜덤하게 결정된다.

예를 들면 난수 발생부를 사용하여, 페이스팅 위치를 취득하면, 합성시마다, 화면 상의 다른 위치에 스크래치가 중첩되고, 그 결과의 데이터가 랜덤 노이즈처럼 보인다. 페이스팅 위치를 취득하면, 처리는 스텝 S1111로 진행된다.

스텝 S1111에서는, 시스템 컨트롤러(202)는 신호 발생기(203)에 대해서 지정된 구동 타이밍 신호에 근거해 현재의 촬상소자(200)의 프레임 레이트 정보를 취득한다. 이 현재의 프레임 레이트 정보를 취득하면, 처리는 스텝 S1112로 진행된다.

스텝 S1112에서는, 시스템 컨트롤러(202)는 이번의 페이스팅 위치와 전회의 페이스팅 위치가 어느 정도 떨어진 위치에 있는지를 판정하는 기준(소정값)을 산출한다. 시스템 컨트롤러(202)는 프레임 레이트에 동기하여 합성하는 스크래치를 갱신한다. 이 때문에, 프레임 레이트가 작아질수록, 즉 촬상 화상의 갱신 주기가 길수록, 스크래치 노이즈의 갱신 주기도 길어지고, 즉 스크래치 노이즈가 더 길게 보인다.

전회의 페이스팅 위치와 이번의 페이스팅 위치 간의 거리가 크면, 합성된 스크래치가 이동하고 있는 것처럼 보인다. 따라서, 스텝 S1111에서 취득한 프레임 레이트 정보에 따라, 시스템 컨트롤러(202)는 이번과 전회의 페이스팅 위치가 어느 정도 먼 위치에 있는지를 판정하는 기준을 변경한다.

예를 들면, 60fps의 프레임 레이트(제1 프레임 레이트)에서는, 이번의 페이스팅 위치가 수직 혹은 수평으로 전회의 페이스팅 위치로부터 10화소(제1 소정값) 이상 멀리 떨어져 있는 경우에, 이번의 위치가 전회의 위치로부터 멀리 떨어져 있다고 판정한다(그 사이의 거리는 소정값보다 크다). 한편, 30fps(제2 프레임 레이트)에서는, 시스템 컨트롤러(202)는 이번의 페이스팅 위치가 수직 혹은 수평으로 전회의 페이스팅 위치로부터 20화소(제2 소정값)이상 멀리 떨어져 있는 경우에, 이번의 위치가 전회의 위치로부터 멀리 떨어져 있다고 판정하도록(그 사이의 거리가 소정값보다 크다), 기준을 변경한다. 판정 기준을 결정하면, 처리는 스텝 S1113로 진행된다.

스텝 S1113에서는, 시스템 컨트롤러(202)는 전회의 노이즈 데이터의 페이스팅 위치와 스텝 S1110에서 산출한 이번의 노이즈 데이터의 페이스팅 위치 사이의 거리를 산출한다. 이 거리의 산출이 완료하면, 처리는 스텝 S1114로 진행된다.

스텝 S1114에서는, 시스템 컨트롤러(202)는 스텝 S1113에서 산출한 2개의 페이스팅 위치 간의 거리와 스텝 S1113에서 산출한 기준을 비교한다. 그 거리가 기준(소정값)보다 크면(스텝 S1114에서 YES), 즉 시스템 컨트롤러(202)가, 페이스팅 위치가 전회의 페이스팅 위치로부터 크게 변화되었다고 판정한 경우에는, 처리가 스텝 S1116으로 진행된다. 한편, 그 거리가 기준보다 작으면(스텝 S1114에서 NO), 즉 시스템 컨트롤러(202)가 페이스팅 위치가 전회의 페이스팅 위치로부터 약간 변화되었다고 판정한 경우에는, 처리는 스텝 S1115로 진행된다.

스텝 S1115에서는, 시스템 컨트롤러(202)는 미리 규정되어 있는 중첩 계속 카운터의 최대값(제2 소정 시간)을 좀더 큰 값으로 변경한다. 최대값의 변경이 완료하면, 처리는 스텝 S1117로 진행된다.

스텝 S1116에서는, 시스템 컨트롤러(202)는 미리 규정되어 있는 중첩 계속 카운터의 최대값을 좀더 작은 값으로 변경한다. 최대값의 변경이 완료하면, 처리는 스텝 S1117로 진행된다.

스텝 S1117에서는, 시스템 컨트롤러(202)는 중첩 계속 카운터 최대값과 일시 메모리에 보존되어 있는 중첩 계속 카운터의 값을 비교한다. 중첩 계속 카운터가 최대값에 도달한 경우에는(스텝 S1117에서 YES), 처리가 스텝 S1122로 진행된다. 한편, 중첩 계속 카운터가 최대값에 도달하지 않은 경우에는(스텝 S1117에서 NO), 처리가 스텝 S1118로 진행된다. 스텝 S1118에서는, 시스템 컨트롤러(202)는 결정한 이번의 페이스팅 위치를 일시 메모리에 보존하고, 다음번의 페이스팅 위치 제어에 이용한다. 이번의 페이스팅 위치의 보존을 완료하면, 처리는 스텝 S1119로 진행된다.

스텝 S1119에서는, 시스템 컨트롤러(202)는 이번의 페이스팅 위치를 페이스팅 처리부(208)에 대하여 지정한다. 이번의 페이스팅 위치의 지정이 완료하면, 처리는 스텝 S1120로 진행된다. 스텝 S1120에서는, 시스템 컨트롤러(202)는 합성 처리부(205)에 대하여 촬상 화상 상의 스크래치 중첩의 유효를 지정한다. 중첩을 유효로 하면, 처리는 스크래치 제어를 종료한다.

스텝 S1121에서는, 시스템 컨트롤러(202)는 중첩 계속 카운터의 값을 초기화하고, 그것을 일시 메모리에 보존한다. 중첩 계속 카운터의 보존이 완료하면, 처리는 스텝 S1122로 진행된다.

스텝 S1122에서는, 시스템 컨트롤러(202)는 합성 처리부(205)에 대하여 촬상 화상 상의 스크래치 중첩의 무효를 지정한다. 중첩을 무효로 하는 방법은, 어떤 방법이든 괜찮고, 예를 들면, 합성 처리를 행하지 않고 촬상 화상만을 출력하는 방법이나, 합성 처리를 행하지만, 촬상 화상에 대한 스크래치의 합성 비율을 하강시켜서, 촬상 화상만을 출력하는 방법도 괜찮다. 중첩을 무효로 하면, 처리는 스크래치 제어를 종료한다.

제2 실시예에서는, 시스템 컨트롤러(202)는 (미리 기억부에 기억해 둔) 복수의 패턴의 스크래치로 구성되는 노이즈 데이터를 임의의 위치로부터 촬상 화상의 갱신에 맞춰서 매회 랜덤하게 클리핑하고, 그 클리핑된 노이즈 데이터를 촬상 화상과 합성한다. 이에 따라, 시간적으로 공간적으로 랜덤하게 스크래치 노이즈가 발생하여, 이동하는 스크래치를 동화상에 부가하는 것이 가능해진다.

한층 더, 스크래치의 부가가 일정 기간 이상 계속했을 경우에, 시스템 컨트롤러(202)는 이번의 페이스팅 위치와 전회의 페이스팅 위치를 비교한다. 이때, (위치의 이동이 큰) 먼 위치로의 스크래치의 부가를 제한함으로써 실제의 스크래치의 노이즈 발생에 가까운 동작을 실현하는 것이 가능해 진다.

또한, 상기의 제1 및 제2 실시예에서는, 시스템 컨트롤러 102 및 202는 동화상의 프레임 레이트에 의존해서 그레인 노이즈의 변경 조건 및 스크래치의 무효 조건을 변경해서 그레인 노이즈의 클리핑 위치를 변경하고 스크래치의 부가를 무효로 한다.

그러나, 노이즈 데이터의 합성 비율이 작은 경우에는, 합성 후의 화상에 있어서 노이즈 성분이 시인되기 어렵다. 그 때문에, 그레인 노이즈의 클리핑 제어에 있어서, 이번의 클리핑 위치가 전회의 클리핑 위치에 가까운 경우에도, 노이즈 패턴이 이동하고 있는 것 같이 인식되기 어렵다.

촬상 화상과 노이즈 데이터의 합성 비율을 유저에 의해서 혹은 자동으로 변경할 수 있으면, 노이즈 데이터의 합성 비율에 따라 자동으로 조건을 변경 가능한 것은 말할 필요도 없다. 즉, 촬상 화상에 대한 노이즈 데이터의 합성 비율이 작을수록, 소정값을 크게 할 수 있다.

또한, 상기의 제1 및 제2 실시예에서는 디지털 비디오 카메라의 동화상 촬영시 동작에서 그레인 노이즈 및 스크래치를 부가하는 경우에 근거해서 서술했다.

그러나, 본 발명은 동화상 촬영에 한정되는 것이 아니고, 정지화상 촬영에 있어서 연사 촬영 모드에서, 각 촬영시에 서로 다른 그레인 노이즈 패턴을 부가하는 경우에 사용하는 것도 가능하다. 또, 본 발명은 동화상 혹은 정지화상의 재생에 있어서, 필름풍의 효과를 부가하는 경우에 이용하는 것이 가능한 것도 말할 필요도 없다.

제3의 실시예에 대해서는 필름을 영사기에 걸어서 재생했을 경우에 발생하는 영상의 상하 흔들림의 필름풍 효과를 촬상 화상에 주는 것이 가능한 화상처리장치에 근거해서 이하에 설명한다. 도 14 및 도 15는 본 실시예에 있어서의 상하 흔들림을 실현하기 위한 처리, 즉 프레임 메모리로부터 화상을 클리핑하고, 화상 클리핑에 의한 노이즈(화상정보가 없는 데이터)를 은폐하는 처리에 관하여 설명하고 있다.

도 14는 촬상소자로 촬상한 화상을 기억하고 있는 프레임 메모리 내의 데이터의 구조와 프레임 메모리 데이터가 지정된 위치에서 클리핑되었을 경우에 표시되는 화상을 나타낸 도면이다. 프레임 메모리 데이터는 연속해서 갱신된다. 촬상 화상의 전후의 영역에는 다른 용도의 데이터가 기억되어 있지만, 이 데이터는 촬상 화상 데이터에 대해서는 노이즈 데이터(화상정보가 없는 데이터)라고 간주될 수 있다.

프레임 메모리에 기억되어 있는 촬상 화상은 소정의 클리핑 시작 위치로부터 소정의 클리핑 범위에서 클리핑되고, 표시 화상 1400으로서 출력된다. 클리핑 시작 위치를 난수를 이용해서 결정함으로써 다른 위치에서 언제나 화상을 클리핑하고, 상하 흔들림이 발생한 촬상 화상을 표시 화상 1401 및 1402과 같이 출력하는 것이 가능하다.

클리핑 시작 위치는 화상의 수직방향의 1화소(1라인)를 최소단위로 해서 결정된다. 또한, 클리핑 시작 위치를 결정하는 난수는, 가우스 분포에 따른 난수여도 되고 다양한 다른 종류여도 되지만, 특정의 종류에 한정되지 않는다.

또한, 기준위치부터 클리핑 시작위치까지의 오프셋량의 최대값을 제공함으로써, 일정량 이상의 흔들림이 발생하는 것을 방지하고 있다. 기준 위치는 상하 흔들림의 양이 제로인 상태에 근거한다.

다른 주기로 결정한 두 개의 상하 흔들림의 양의 합을 오프셋량이라고 한다. 오프셋량만큼 좌측 상단으로부터 시프트시킨 화상의 판독 시작 위치를 클리핑 시작 위치라고 설정한다. 이렇게 함으로써, 필름의 송출 동작으로 발생하는 상하 흔들림과 필름의 감아 올리는 동작으로 발생하는 상하 흔들림과 같이, 다른 종류의 흔들림의 조합으로서 상하 흔들림을 표현하는 것이 가능하다.

도 15는, 상하 흔들림의 효과를 부가했을 때에 발생하는 노이즈 데이터의 은폐 방법을 나타낸 도면이다. 촬상 화상 1500에 대해서는, 상하 흔들림이 발생하지 않는다. 촬상 화상 1501, 1505에 대해서는, 임의의 상하 흔들림이 발생하고, 화면 하부에 노이즈 데이터가 표시된다. 어쩌면 마스킹 화상을 부가하거나 혹은 촬상 화상을 확대하는 것으로 노이즈 데이터를 은폐하는 것도 가능하다.

마스킹 화상을 부가하는 방법은, 촬상 화상 1504에 대하여, 상하 흔들림의 최대 흔들림 범위(최대의 오프셋량)를 넘는 크기의 마스킹 화상 1503을 화면 하부에 중첩해서 노이즈 데이터를 은폐한다. 이때, 화면 상부에도 같은 크기의 마스킹 화상을 중첩함으로써, 소위 레터 박스 애스펙트비(letter box aspect ratio)의 촬상 화상 1502를 표시할 수 있다.

한편, 촬상 화상을 확대하는 방법은, 상하 흔들림의 최대 흔들림 범위를 포함하는지 않는 영역 1506을, 영역 1506의 높이가 화면의 애스펙트비를 유지하면서 화면 높이와 일치하도록 확대한다. 이렇게 함으로써, 영역 1506을 표시 화상 1507로서 표시할 수 있다.

도 13은 제3 실시예에 따른 화상처리장치로서의 디지털 비디오 카메라의 블럭도다.

촬상소자(1300)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(1301)에 입력된다. 카메라 신호 처리부(1301)는 광전 변환된 신호에 대하여 각종의 화상 처리를 행해 영상신호로 변환하고, 영상 신호를 엔코더부(1310)에 출력한다. 엔코더부(1310)는 카메라 신호 처리부(1301)로부터 수신된 영상신호를 소정의 기록 포맷으로 부호화하고, 결과의 영상신호를 기록 매체(1311)에 기록한다.

다음에 카메라 신호 처리부(1301)에서의 신호 처리에 관하여 설명한다. 카메라 신호 처리부(1301)에 신호가 입력되면, 우선, 화상 처리부(1304)는 제1 실시예 와 마찬가지로 신호에 대해서 각종 신호 처리를 행한다. 화상 처리부(1304)는 처리된 신호를 촬상 화상으로서 제1 프레임 메모리(1305)에 저장한다.

클리핑 처리부(1306)는 상하 흔들림의 효과를 주기 위해서 제1 프레임 메모리(1305)로부터 미리 정해진 오프셋량의 최대값을 이용해서 임의의 위치를 클리핑한다. 제2 프레임 메모리(1308)는 클리핑 처리에 의해 발생하는 노이즈 데이터를 은폐하기 위한 마스킹 화상을 기억하고 있다. 마스킹 처리부(1307)는 최대 상하 흔들림 범위를 넘는 크기의 마스킹 화상을 생성하고, 그 결과를 제2 프레임 메모리(1308)에 저장한다.

합성 처리부(1309)는 소정의 타이밍에서 제1 프레임 메모리(1305)에 기억되어 있는 촬상 화상 1504과, 마스킹 처리부(1307)에 의해 생성되어 제2 프레임 메모리(1308)에 기억되어 있는 마스킹 화상(1304)을 판독하고, 촬상 화상(1504)과 마스킹 화상(1304)을 합성하고, 합성 화상을 출력한다.

신호 발생기(1303)는 촬상소자(1300)의 구동 타이밍을 제어하는 신호를 발생하고, 발생한 신호를 촬상소자(1300)와 시스템 컨트롤러(1302)에 공급한다.

시스템 컨트롤러(1302)는, 촬상소자(1300)와 카메라 신호 처리부(1301)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(1302)는, 촬상소자(1300)에 대해서는, 신호 축적기간과 신호 판독 타이밍에 대한 지시를 행한다. 시스템 컨트롤러(1302)는, 화상처리부(1304)에 대해서는, 각종 신호 처리로 화질 설정에 필요한 파라미터의 설정을 행한다.

시스템 컨트롤러(1302)는, 합성 처리부(1309)에 대해서는, 합성 대상이 되는 프레임 메모리의 지정 지시와 합성 타이밍에 대한 지시를 행한다. 시스템 컨트롤러(1302)는, 클리핑 처리부(1306)에 대해서는, 제1 프레임 메모리(1305)로부터 판독한 타이밍에 대한 지시와, 클리핑 위치에 대한 지시를 행한다.

시스템 컨트롤러(1302)는, 마스킹 처리부(1307)에 대해서는, 중첩하는 마스킹 화상의 크기 및 색에 대한 지시와, 동작 시작 및 동작 해제에 대한 지시를 행한다. 시스템 컨트롤러(1302)는, 신호 발생기(1303)에 대해서는, 촬상소자(1300)를 구동하는 타이밍에 대한 지시를 행한다.

본 예시적인 실시예에 따른 시스템 컨트롤러(1302)는 클리핑 처리부(1306)와 마스킹 처리부(1307)에게, 촬상 화상에 대하여 클리핑 처리 및 마스킹 처리를 각각 행하도록 지시한다. 이 처리의 플로차트에 관해서는 도 16 및 도 17을 참조하여 후에 설명한다.

상술한 클리핑 및 마스킹 제어는, 촬상 화상에 대하여 상하 흔들림의 효과를 부가하는 화상 처리를 실행하는 촬영 모드에서 행해진다. 또는, 클리핑 및 마스킹 제어는 기록 매체(1311) 등의 메모리로부터 동화상을 연속적으로 판독한 후 사후 처리로서 행해진다.

본 처리는, 수직동기신호에 동기해서 개시되고, 이 수직동기신호에 의해 일련의 처리가 반복되게 된다. 본 실시예에서는, 상하 흔들림을 부가할 것인지 아닌지를 유저에 의해 수동으로 혹은 씬 판별 등에 의해 자동으로 선택할 수 있다.

상하 흔들림을 부가하기 위해서는, 노이즈 데이터가 보이는 것을 방지하도록, 마스킹→상하 흔들림의 순서로 부가한다. 상하 흔들림의 부가를 취소하기 위해서는, 반대로 상하 흔들림 정지 후에 마스킹을 해제한다.

스텝 S1601에서는, 시스템 컨트롤러(1302)는 상하 흔들림의 정지 요구 여부를 판정한다. 시스템 컨트롤러(1302)는 상하 흔들림 정지가 요구된 경우에는(스텝 S1601에서 YES), 촬영 모드 정보 등의 동작 상태를 취득하고, 상하 흔들림이 필요한 촬영 모드가 상하 흔들림이 불필요한 촬영 모드로 변화한 것을 검출한 경우에는, 상하 흔들림 정지 요구를 발행하고, 처리는 스텝 S1609로 진행된다. 반대로, 상하 흔들림 정지가 요구되지 않은 경우에는(스텝 S1601에서 NO), 처리가 스텝 S1602로 진행된다.

스텝 S1602에서는, 시스템 컨트롤러(1302)는 상하 흔들림의 발생 요구 여부를 판정한다. 시스템 컨트롤러(1302)는 상하 흔들림 발생이 요구된 경우에는(스텝 S1602에서 YES), 촬영 모드 정보 등의 동작 상태를 취득하고, 상하 흔들림이 불필요한 촬영 모드가 상하 흔들림이 필요한 촬영 모드로 변화한 것을 검출한 경우에는, 상하 흔들림 발생 요구를 발행하고, 처리는 스텝 S1603로 진행된다. 반대로, 상하 흔들림 발생이 요구된 경우에는(스텝 S1602에서 NO), 처리가 스텝 S1612로 진행된다.

스텝 S1603에서는, 시스템 컨트롤러(1302)는 상하 흔들림 상태를 "발생(GENERATE)"으로 설정한다. 상하 흔들림 상태가 "발생"인 경우에는, 상하 흔들림의 제어가 가능해진다. 상하 흔들림 상태의 설정이 완료하면, 처리는 스텝 S1604로 진행된다. 스텝 S1604에서는, 시스템 컨트롤러(1302)는 촬상 화상의 상하에 부가하는 마스킹 상태를 판정한다. 시스템 컨트롤러(1302)가 상하 마스킹 상태가 "부가(APPLY)"라고 판정한 경우에는(스텝 S1604에서 YES), 처리는 스텝 S1605로 진행된다. 반대로, 시스템 컨트롤러(1302)가 상하 마스킹 상태가 "해제(CANCEL)"라고 판정한 경우에는(스텝 S1604에서 NO), 처리가 스텝 S1607로 진행된다.

스텝 S1605에서는, 시스템 컨트롤러(1302)가 상하 흔들림의 양을 산출한다. 흔들림의 양은 랜덤하게 결정해도 되고, 예를 들면 난수 발생부로부터 얻은 값을 아래의 식에 할당해서 결정해도 된다.

X = Xmax x (r/R)

여기에서 X는 흔들림의 양을 나타내고, Xmax는 최대 흔들림의 양을 나타내며, r은 난수 발생부로부터 취득한 값을 나타내고, R은 난수 발생부에 의해 출력된 최대값을 나타낸다.

상기한 바와 같이, 복수의 종류의 흔들림을 조합하는 것도 가능하다. 예를 들면, 제1 및 제2 흔들림의 조합에 대해서 생각한다. 제1 흔들림은 단주기로 변화하만 흔들림량이 적다. 제2 흔들림은 장주기로 변화하지만, 흔들림량이 많다.

도 17은 제1 흔들림량(1701)의 시간변화와, 제2 흔들림량(1702)의 시간변화와, 제1 및 제2 흔들림량(1703)의 시간 변화의 조합(합계)을 나타낸다.

이때, 흔들림량 X는 난수 발생부로부터 얻은 값에 대하여 이하의 식을 부가함으로써 결정해도 된다.

X = Xmax1 x (r1/R1) + Xmax2 x (r2/R2)

여기에서, Xmax1은 제1 흔들림량의 변화에 있어서의 최대 흔들림량이고, Xmax2은 제2 흔들림량의 변화에 있어서의 최대 흔들림량이며, r1 및 r2는 각각 난수 발생부로부터 얻은 제1, 제2 흔들림량이고, R1, R2은 난수 발생부가 출력하는 최대값이다.

스텝 S1605에서 흔들림량의 결정이 완료하면, 처리는 스텝 S1606로 진행된다. 스텝 S1606에서는, 시스템 컨트롤러(1302)가 스텝 S1605에서 결정한 흔들림량에 의거해서 프레임 메모리 내에 기억되어 있는 촬상 화상의 클리핑 시작 위치를 산출한다. 클리핑 시작 위치의 산출이 완료하면, 상하 흔들림 제어의 처리가 종료한다.

스텝 S1607에서는, 시스템 컨트롤러(1302)가 상하 흔들림 발생시에 보이는 화면 하부의 노이즈 데이터를 은폐하는 마스킹 화상을 부가하도록 마스킹 처리부(1307)에 지시한다. 이때, 시스템 컨트롤러(1302)는 마스킹 화상의 크기에 관한 정보를 마스킹 처리부(1307)에 통지한다. 마스킹 화상의 부가가 완료하면, 처리는 스텝 S1608로 진행된다. 스텝 S1608에서는, 시스템 컨트롤러(1302)가 마스킹 상태를 "부가(APPLY)"로 설정하고, 상하 흔들림 제어를 종료한다.

스텝 S1609에서는, 시스템 컨트롤러(1302)가 상하 흔들림 상태를 판정한다. 마스킹 상태가 "정지(STOP)"인 경우(스텝 S1609에서 YES), 처리는 스텝 S1610로 진행된다. 반대로, 마스킹 상태가 "발생(GENERATE)"인 경우에는(스텝 S1609에서 NO), 처리가 스텝 S1612로 진행된다.

스텝 S1610에서는, 시스템 컨트롤러(1302)가 상하 흔들림 발생시에 보이는 화면 하부의 노이즈 데이터를 은폐하는 마스킹 화상의 부가를 해제하도록 마스킹 처리부(1307)에 지시한다. 시스템 컨트롤러(1302)는 마스킹 화상의 중첩을 무효라고 하는 중첩 무효 정보를 마스킹 처리부(1307)에 통지한다. 중첩 무효화 지시가 완료하면, 처리는 스텝 S1611로 진행된다. 스텝 S1611에서는, 시스템 컨트롤러(1302)가 마스킹 상태를 "해제(CANCEL)"로 설정하고, 상하 흔들림 제어의 처리를 종료한다.

스텝 S1612에서는, 시스템 컨트롤러(1302)는 상하 흔들림 상태를 "정지"로 설정한다. 상하 흔들림 상태가 "정지"인 경우, 상하 흔들림 제어가 무효가 된다. 상하 흔들림 상태 설정이 완료하면, 처리는 스텝 S1613로 진행된다. 스텝 S1613에서는, 시스템 컨트롤러(1302)는 상하 흔들림이 없는 값을 흔들림량으로서 설정한다. 흔들림량을 결정하면, 처리는 스텝 S1614로 진행된다. 스텝 S1614에서는, 시스템 컨트롤러(1302)는 스텝 S1613에서 결정한 흔들림량에 의거해서 프레임 메모리 내에 기억되어 있는 촬상 화상의 클리핑 시작 위치를 산출한다. 이때, 산출한 클리핑 시작 위치는 기준 위치가 된다. 클리핑 시작 위치의 산출이 완료하면, 상하 흔들림 제어를 종료한다.

상기의 스텝을 상황별로 고려한다. (1) 상하 흔들림 부가가 시작할 때에는 상하 흔들림 정지 요구가 없고, 상하 흔들림 발생 요구가 있기 때문에, 처리가 스텝 S1601, S1602, S1603, S1604로 진행한다. 초기의 상하 마스킹 상태는 "해제"이기 때문에(스텝 S1604에서 NO), 처리는 스텝 S1607 및 S1608로 진행된다. 스텝 S1607에서는, 시스템 컨트롤러(1302)는 우선 상하 마스킹을 부가한다. 스텝 S1608에서는, 시스템 컨트롤러(1302)는 상하 마스킹 상태를 "부가"로 변경하고, 제1의 시퀀스의 처리를 종료한다.

다음 프레임에서는, 처리가 스텝 S1604로 진행된다. 스텝 S1604에서는, 상하 마스킹 상태가 "부가"이기 때문에(스텝 S1604에서 YES), 처리가 스텝 S1605, S1606로 진행된다. 스텝 S1605, S1606에서는, 시스템 컨트롤러(1302)는 상하 흔들림을 발생시킨다.

이후, (2) 시스템 컨트롤러(1302)가 스텝 S1601∼S1606의 처리를 각 프레임에 대해서 반복하면, 상하 흔들림의 부가가 계속된다. (3) 시스템 컨트롤러(1302)가, 상하 흔들림 정지가 요구되지만, 상하 흔들림 발생이 요구되지 않는다고 판정한 경우에는, 상하 흔들림의 부가를 종료한다. 이때, 처리는, 스텝 S1601로부터 스텝 S1609로 진행된다.

제1의 시퀀스에서는, 상하 흔들림 상태가 "발생"이므로, 처리가 스텝 S1612로 진행된다. 스텝 S1612에서는, 시스템 컨트롤러(1302)가 상하 흔들림 상태를 "정지"로 설정한다. 스텝 S1613, S1614에서는, 시스템 컨트롤러(1302)는 상하 흔들림을 정지한다. 다음 프레임에서는, 처리가 스텝 S1601, S1609로 진행된다. 스텝 S1609에서는, 상하 흔들림 상태가 "정지"이므로, 처리가 스텝 S1610로 진행된다. 스텝 S1610에서는, 시스템 컨트롤러(1302)는 상하 마스킹을 해제하고, 상하 마스킹 상태를 "해제"로 설정하고, 제2의 시퀀스의 처리를 종료한다. 여기까지 상하 흔들림의 부가를 종료시킨다.

(4) 시스템 컨트롤러(1302)가 상하 흔들림 정지 요구도 상하 흔들림 발생 요구도 없다고 판정한 경우에는 상하 흔들림이 부가되지 않은 상태가 계속된다. 이 경우에, 처리는 스텝 S1601 내지 S1602, 및 S1612로 진행된다. 스텝 S1613, S1614에서는, 시스템 컨트롤러(1302)가 흔들림량이 없는 클리핑 위치에서의 클리핑을 행하여, 상하 흔들림의 없는 상태를 만든다. 이 루프를 계속함으로써 상하 흔들림이 없는 상태를 계속한다.

이상과 같이, 제3 실시예에서는, 랜덤하게 결정한 클리핑 시작 위치에서 클리핑된 화상을 표시함으로써 필름을 영사기에 걸어서 재생했을 경우에 발생하는 상하 화상 흔들림의 필름풍 효과를 촬상 화상에 주는 것을 가능하게 하고 있다.

제4의 예시적인 실시예에 대해서는 필름을 영사기에 걸어서 재생했을 경우에 발생하는 화상 밝기의 불균일(이하, 명멸(明滅)이라고 칭한다)의 필름풍 효과를 촬상 화상에 주는 것이 가능한 화상처리장치에 근거해서 설명한다.

도 19는 본 실시예에 있어서의 명멸을 실현하기 위한 휘도 신호의 보정 처리에 관하여 나타내고 있다. 최종적으로 표시 및 기록되는 화상의 명멸을 실현하기 위해서, 본 실시예에서는 휘도 신호의 입출력 특성을 차별화시키는 방법을 사용한다.

보정처리에서는, 시스템 컨트롤러는 입력된 촬상 화상에 대하여, 휘도 신호 입출력 특성을 차별화시켜서 출력 화상의 휘도 성분을 연속해서 변화시킨다. 본 실시예에서는, 휘도신호의 변화의 최소 단위는 출력 화상 신호의 최소 분해능이며, 시간의 최소 단위는 촬상 화상의 갱신 주기와 같다.

기준 특성의 보정이 특성의 실선 1901, 1902, 1903, 1904의 순으로 행해질 때, 화상 1905, 1906, 1907, 1908이 각각 촬상 화상으로서 취득된다. 이때, 화상 1908, 화상 1905, 화상 1907, 및 화상 1906이 이 순서대로 더 밝다.

예를 들면 복수의 입출력 특성 파라미터 데이터 중에서 어느 파라미터 데이터를 이용할지를 난수를 이용해서 결정하는 것으로 명멸을 랜덤하게 발생시킨다. 이 파라미터 데이터를 결정하는 난수는, 가우스 분포에 따라 발생된 난수여도 되고 다양한 다른 종류여도 되지만, 특정의 종류에 한정되지 않는다.

도 18a는 제4 실시예에 따른 화상처리장치로서의 디지털 비디오 카메라의 블럭도다. 촬상소자(1800)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(1801)에 입력된다. 카메라 신호 처리부(1801)는 광전 변환된 신호에 대하여 각종의 화상처리를 행해 영상신호로 변환하고, 그 영상 신호를 엔코더부(1808)에 출력한다. 엔코더부(1808)는 카메라 신호 처리부(1801)로부터 수신된 영상신호를 소정의 기록 포맷으로 부호화하고, 그 결과의 영상 신호를 기록 매체(1809)에 기록한다.

다음에 카메라 신호 처리부(1801)에서의 신호 처리에 관하여 설명한다. 카메라 신호 처리부(1801)에 신호가 입력되면, 화상 처리부(1804)는 (휘도성분, 색성분, 흑성분의) 각 신호 성분에 대하여, 각종 신호 처리를 행한다. 화상 처리부(1804)는 처리된 신호를 촬상 화상으로서 프레임 메모리(1805)에 저장한다.

특성 데이터 저장부(1807)는 영상신호의 휘도의 입출력 특성을 결정하는 복수의 파라미터 데이터를 저장하고 있다. 예를 들면, 입출력 특성이 실선 1901∼1904과 같이 1차 함수로 표현될 경우, 파라미터 데이터로서는 직선의 기울기와 섹션(section)이 있다. 또, 특성 실선 1904과 같이, 입력이 클 경우에 하나의 포인트에서 출력을 클리핑한다. 이 클리핑된 포인트 및 클리핑된 값도 파라미터 데이터에 포함된다. 그리고나서, 시스템 컨트롤러(1802)는 결정된 파라미터 데이터를 보정 처리부(1806)에 송신한다.

보정 처리부(1806)는 특성 데이터 저장부(1807)로부터 송신된 파라미터 데이터에 따른 휘도의 입출력 특성을 결정하고, 그 입출력 특성에 따라 프레임 메모리(1805)에 기억되어 있는 촬상 화상을 보정하고, 보정 화상을 출력한다.

상술한 보정 처리는 화상처리부(1804)에 의해 휘도(Y) 신호 및 색차(U, V) 신호 뒤에 행해지기 때문에, 그 결과의 보정 처리는 보정에 의해 출력 특성이 변했다고 해도, 화상처리부(1804)로 행해지는 휘도 성분의 처리에 영향을 주는 일이 없다.

신호 발생기(1803)는 촬상소자(1800)의 구동 타이밍을 제어하는 신호를 발생하고, 발생한 신호를 촬상 소자(1800)와 시스템 컨트롤러(1802)에 공급한다.

시스템 컨트롤러(1802)는, 촬상소자(1800)와 카메라 신호 처리부(1801)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(1802)는 촬상소자(1800)에 대해서는, 신호 축적기간과 신호 판독 타이밍에 관한 지시를 행한다.

시스템 컨트롤러(1802)는, 화상처리부(1804)에 대해서는, 각종 신호 처리로 화질 설정에 필요한 파라미터의 설정을 행한다. 시스템 컨트롤러(1802)는, 특성 데이터 저장부(1807)에 대해서는, 입출력 특성의 파라미터 데이터의 지정을 행한다.

시스템 컨트롤러(1802)는, 보정처리부(1806)에 대해서는, 프레임 메모리(1805)로부터 판독한 타이밍에 관한 지시와, 보정처리의 유효 혹은 무효에 관한 지시를 행한다. 시스템 컨트롤러(1802)는, 신호 발생기(1803)에 대해서는, 촬상 소자(1800)를 구동하는 타이밍에 관한 지시를 행한다.

본 실시예에 따른 시스템 컨트롤러(1802)는 보정처리부(1806) 및 특성 데이터 저장부(1807)에 대하여 각각 보정처리 및 특성 데이터의 결정 처리를 행하도록 지시한다. 이하, 이 처리의 플로차트를 도 20을 참조하여 설명한다.

상술한 보정 및 판정 제어는, 촬상 화상에 명멸의 효과를 부가하는 화상처리를 실행하는 촬영 모드에서 행해진다. 또는, 보정 및 판정 제어는 기록 매체(1809) 등의 메모리로부터 동화상을 연속적으로 판독한 후 사후 처리로서 행해진다. 본 처리는, 수직동기신호에 동기해서 개시되고, 수직동기신호에 의해 일련의 처리가 반복되게 된다.

스텝 S2001에서는, 시스템 컨트롤러(1802)는 현재의 촬영 모드 정보에 근거해서 명멸 제어의 동작 상태를 취득하고, 그 명멸의 발생이 필요한지 여부를 판정한다. 시스템 컨트롤러(1802)는 취득한 동작 상태에 근거해서 명멸의 발생이 필요하다고 판정한 경우에는, 처리가 스텝 S2002로 진행된다. 반대로, 시스템 컨트롤러(1802)는 명멸의 발생이 불필요하다고 판정한 경우에는(스텝 S2001에서 NO), 처리가 스텝 S2004로 진행된다.

스텝 S2002에서는, 시스템 컨트롤러(1802)는 명멸을 발생시키기 위해서, 특성 데이터 저장부(1807)에 기억되어 있는 입출력 특성을 변경하는 파라미터 데이터를 결정한다. 이때, 시스템 컨트롤러(1802)는 명멸의 양을 변화시키기 위해서, 복수의 파라미터 데이터 중, 어느 1개의 데이터를 선택한다.

예를 들면, 시스템 컨트롤러(1802)는 명멸의 양을 랜덤하게 발생시키기 위해서, 난수 발생부로부터 무작위로 얻은 값에 의거하여 파라미터 데이터를 결정한다. 파라미터 데이터를 결정하면, 처리는 스텝 S2003로 진행된다. 스텝 S2003에서는, 스텝 S2002에서 결정한 파라미터 데이터를 사용해서 보정 처리부(1806)가 보정처리를 행하고, 명멸 제어 처리를 종료한다.

스텝 S2004에서는, 시스템 컨트롤러(1802)는 명멸을 정지하기 위해서, 특성 데이터 저장부(1807)에 기억되어 있는 입출력 특성 파라미터 데이터 중 기준 파라미터 데이터를 선택한다. 이에 따라, 명멸 정지시에는 항상 같은 특성이 제공된다. 기준 파라미터 데이터의 선택이 완료하면, 처리는 스텝 S2003로 진행된다.

이상과 같이, 제4 실시예에서는, 시스템 컨트롤러(1802)는 촬상 화상에 대하여 일반적인 화상처리뿐 아니라 휘도신호의 입출력 특성을 변화시키는 보정 처리를 행한다. 이에 따라, 필름을 영사기에 걸어서 재생했을 경우에 발생하는 영상의 밝기 불균질의 필름풍의 효과를 촬상 화상에 주는 것을 가능하게 하고 있다.

도 18b는 명멸의 효과를 주는 보정 처리를, 일반적인 촬영 시에도 행해지는 화상 처리부(1804) 내의 감마 처리에 있어서 일괄로 행하는 경우의 실시예를 나타낸 블럭도다.

화이트 밸런스 처리부(1810)는 화이트 밸런스 처리를 행하고, 적색(R), 녹색(G), 청색(B) 신호를 출력한다. 이들 신호를 수신하면, 보정 처리부(1806)는, 휘도신호 및 색 신호에 근거해서 개별적으로 처리를 행한다. 구체적으로는, 보정 처리부(1806)는 휘도신호용의 ＲＧＢ 신호와 색 신호용의 ＲＧＢ 신호를 준비하고, 각 신호에 알맞은 감마 보정을 행한다.

그 후에, 보정 처리부(1806)는 휘도신호용의 ＲＧＢ 신호에 근거해서 휘도(Y) 신호를 생성하고, 색 신호용의 ＲＧＢ 신호에 근거해서 색차(Ｃｂ, Ｃｒ) 신호를 생성하고, 컬러 밸런스 보정부(1811)에 출력된다.

이들의 처리에 있어서, 보정 처리부(1806)는 휘도신호용의 ＲＧＢ 신호에 대하여 적용되는 감마 커브를, 본 실시예에 있어서의 입출력 특성을 고려해서 감마 커브로 변환한다. 이에 따라, 명멸용에 추가로 처리 블록 및 메모리를 설치하지 않고 명멸의 효과를 실현한다.

제5 예시적인 실시예에 대해서는 필름을 영사기에 걸어서 재생했을 경우에 발생하는 상술한 영상효과(visual effect)(스크래치, 명멸, 및 상하 흔들림)를 겹쳐서 화상에 부가하는 것이 가능한 화상처리에 근거해서 설명할 것이다. 스크래치, 명멸, 및 상하 흔들림의 효과를 같은 방식으로 상술한 실시예에 적용하고, 그 상세한 설명은 생략한다.

도 21a 및 21b는, 제5 실시예에 따른 화상처리장치로서의 디지털 비디오 카메라를 나타내는 블럭도다.

촬상소자(2100)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(2101)에 입력된다. 카메라 신호 처리부(2101)는 광전 변환된 신호에 대하여 각종의 화상처리를 행해 영상신호로 변환하고, 그 영상신호를 엔코더부(2113)에 출력한다. 엔코더부(2113)는 카메라 신호 처리부(2101)로부터 수신된 영상 신호를 소정의 기록 포맷으로 부호화하고, 그 결과의 영상신호를 기록매체(2114)에 기록한다.

다음에, 카메라 신호 처리부(2101)에서의 신호 처리에 관하여 설명한다. 카메라 신호 처리부(2101)에 신호가 입력되면, 화상 처리부(2104)는 제1 실시예와 마찬가지로 각종 신호 처리를 행하고, 휘도신호와 색차 신호를 출력한다. 또, 화상 처리부(2104)는 처리된 신호를 촬상 화상으로서 제1 프레임 메모리(2105)에 저장한다.

제2, 제3, 및 제4 프레임 메모리(2106, 2107, 2108)는 필름풍의 효과를 주는 각종 처리 결과를 일시적으로 기억하기 위해서 사용된다.

다음에 필름풍의 효과를 주는 처리부에 관하여 설명한다. 클리핑 처리부(2109)는, 상하 흔들림을 발생시키기 위해서 화상을 소정의 클리핑 위치에서 클리핑한다. 보정 처리부(2110)는, 명멸을 발생시키기 위해서 화상의 휘도의 입출력특성을 보정한다.

합성 처리부(2111)는, 촬상 화상에 스크래치를 부가시키기 위해서 스크래치의 노이즈 화상과 촬상 화상을 합성한다. 마스킹 처리부(2112)는, 클리핑 처리시에 발생하는 노이즈를 은폐하기 위한 마스킹 화상을 부가한다.

신호 발생기(2103)는 촬상소자(2100)의 구동 타이밍을 제어하는 신호를 발생하고, 발생한 신호를 촬상소자(2100)와 시스템 컨트롤러(2102)에 공급한다.

시스템 컨트롤러(2102)는, 촬상소자(2100)와 카메라 신호 처리부(2101)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(2102)는 촬상소자(2100)에 대해서는, 신호 축적기간 및 신호 판독 타이밍에 관한 지시를 행한다. 시스템 컨트롤러(2102)는, 화상처리부(104)에 대해서는, 각종 신호 처리로 화질 설정에 필요한 파라미터의 설정을 행한다.

시스템 컨트롤러(2102)는, 클리핑 처리부(2109)에 대해서는, 클리핑 제어의 유효 혹은 무효에 대한 지시, 제1 프레임 메모리(2105)로부터의 클리핑 위치에 대한 지시, 제1 프레임 메모리(2105)로부터의 판독 타이밍에 대한 지시, 및 제2 프레임 메모리(2106)에의 기록 타이밍에 대한 지시를 행한다.

시스템 컨트롤러(2102)는, 보정처리부(2110)에 대해서는, 보정처리의 유효 혹은 무효에 대한 지시, 입출력 특성 파라미터 데이터의 지정에 대한 지시, 제2 프레임 메모리(2106)로부터의 판독 타이밍에 대한 지시, 및 제3 프레임 메모리(2107)에의 기록 타이밍에 대한 지시를 행한다. 시스템 컨트롤러(2102)는, 합성 처리부(2111)에 대해서는, 합성 제어의 유효 혹은 무효에 대한 지시, 합성 대상이 되는 노이즈 화상(도면에 나타내지 않는다)의 지정에 대한 지시, 제3 프레임 메모리(2107)로부터의 판독 타이밍에 대한 지시, 및 제4 프레임 메모리(2108)에의 기록 타이밍에 대한 지시를 행한다.

시스템 컨트롤러(2102)는, 마스킹 처리부(2112)에 대해서는, 마스킹 화상의 제어에서 중첩하는 마스킹 화상의 크기 및 색에 대한 지시, 제4 프레임 메모리(2108)로부터의 판독 타이밍에 대한 지시, 및 관련 동작의 시작 및 해제에 대한 지시를 행한다. 시스템 컨트롤러(2102)는, 신호 발생기(2103)에 대해서는, 촬상소자(2100)를 구동하는 타이밍에 대한 지시를 행한다.

다음에, 본 실시예에 있어서의 시스템 컨트롤러(2102)가 클리핑 처리부(2109), 보정 처리부(2110), 합성 처리부(2111), 및 마스킹 처리부(2112)를 제어한다. 도 22는, 시스템 컨트롤러(2102)가 행하는 제어 동작과 각부가 행하는 관련 처리를 나타내는 플로차트를 나타낸다.

상술한 제어는, 촬상 화상에 대하여 복수의 필름풍의 효과를 부가하는 화상처리를 실행하는 촬영 모드에서 행해진다. 또는, 기록 매체(2114) 등의 메모리로부터 판독한 동화상을 연속적으로 판독한 후의 사후 처리로서 행해진다. 본 처리는, 수직동기신호에 동기해서 개시되고, 수직동기신호에 의해 일련의 처리가 반복되게 된다.

스텝 S2201에서는, 시스템 컨트롤러(2102)는, 촬영 모드와 각종 설정 등의 정보를 취득하고, 상하 흔들림의 유효 혹은 무효를 판정한다. 시스템 컨트롤러(2102)가 상하 흔들림이 유효라고 판정한 경우에는(스텝 S2201에서 YES), 시스템 컨트롤러(2102)는, 클리핑 처리부(2109)에 클리핑 처리를 행하는 지시를 하고, 처리는 스텝 S2202로 진행된다. 한편, 시스템 컨트롤러(2102)가 상하 흔들림이 무효라고 판정한 경우에는(스텝 S2201에서 NO), 시스템 컨트롤러(2102)는, 클리핑 처리부(2109)에 클리핑 제어를 행하지 않는 지시를 하고, 처리는 스텝 S2203로 진행된다.

스텝 S2202에서는, 클리핑 처리부(2109)는 제1 프레임 메모리(2105)로부터 판독한 화상 데이터에 대하여 제3 실시예에서 설명한 클리핑 처리를 행한다. 클리핑 처리부(2109)는 (도 16의 플로우에 있어서의) 스텝 S1605 및 S1606의 처리와 같은 마스킹 처리를 행하고, 클리핑된 화상 데이터를, 제2 프레임 메모리(2106)에 저장한다. 그리고, 처리는 스텝 S2203로 진행된다.

스텝 S2203에서는, 시스템 컨트롤러(2102)는 촬영 모드와 각종 설정 등의 정보를 취득하고, 명멸의 유효 및 무효를 판정한다. 시스템 컨트롤러(2102)는 명멸이 유효라고 판정된 경우에는(스텝 S2203에서 YES), 시스템 컨트롤러(2102)는 보정처리부(2110)에 보정처리를 실행하는 지시를 행하고, 처리는 스텝 S2204로 진행된다. 한편, 시스템 컨트롤러(2102)가 명멸이 무효라고 판정한 경우에는(스텝 S2203에서 NO), 시스템 컨트롤러(2102)는 보정처리부(2110)에 보정처리를 실행하지 않는 지시를 행하고, 처리는 스텝 S2205로 진행된다.

스텝 S2204에서는, 보정처리부(2110)는 제2 프레임 메모리(2106)로부터 판독한 화상 데이터에 대하여, 제4 실시예와 같이, 휘도 신호의 입출력 특성의 보정을 행함으로써 명멸의 제어를 행한다. 시스템 컨트롤러(2102)는 도 20의 플로우에 따라, 각종 설정에 근거해서 보정처리부(2110)에 1시퀀스에 대한 처리를 행하는 지시를 한다. 보정처리부(2110)는 보정된 화상 데이터를, 제3 프레임 메모리(2107)에 저장하고, 처리는 스텝 S2205로 진행된다.

스텝 S2205에서는, 시스템 컨트롤러(2102)는 촬영 모드와 각종 설정 등의 정보를 취득하고, 스크래치 부가의 유효 혹은 무효를 판정한다. 시스템 컨트롤러(2102)가 스크래치 부가가 유효라고 판정한 경우에는(스텝 S2205에서 YES), 시스템 컨트롤러(2102)는 합성 처리부(2111)에 스크래치 노이즈 합성 처리를 행하는 지시를 하고, 처리는 스텝 S2206로 진행된다. 한편, 시스템 컨트롤러(2102)가 스크래치 부가가 무효라고 판정한 경우에는(스텝 S2205에서 NO), 시스템 컨트롤러(2102)는 합성 처리부(2111)에 스크래치 노이즈 합성 처리를 행하지 않는 지시를 하고, 처리는 스텝 S2206로 진행된다.

스텝 S2206에서는, 합성처리부(2111)는 제3 프레임 메모리(2107)로부터 판독한 화상 데이터에 대하여, 제2 실시예와 같이, 스크래치 노이즈 합성 처리를 행한다. 도 11의 플로챠트에 따라, 각종 설정에 근거해서, 합성 처리부(2111)에 1시퀀스에 대한 처리를 행하는 지시를 한다. 시스템 컨트롤러(2102)는 스크래치 노이즈 데이터의 클리핑 위치 및 합성 위치를 결정한다. 합성 처리부(2111)는 합성된 화상 데이터를 제4 프레임 메모리(2108)에 저장하고, 처리는 스텝 S2207로 진행된다.

스텝 S2207에서는, 시스템 컨트롤러(2102)는 촬영 모드와 각종 설정 등의 정보를 취득하고, 상하 마스킹 부가의 유효 혹은 무효를 판정한다. 시스템 컨트롤러(2102)가 상하 마스킹 부가가 유효라고 판정한 경우에는(스텝 S2207에서 YES), 시스템 컨트롤러(2102)는 마스킹 처리부(2112)에 마스킹 화상 합성 처리를 행하는 지시를 하고, 처리는 스텝 S2208로 진행된다. 한편, 시스템 컨트롤러(2102)가 상하 마스킹 부가가 무효라고 판정한 경우에는(스텝 S2207에서 NO), 시스템 컨트롤러(2102)는 마스킹 처리부(2112)에 마스킹 화상 합성 처리를 행하지 않는 지시를 하고, 제어 시퀀스의 처리를 종료한다.

스텝 S2208에서는, 마스킹 처리부(2112)는 제4 프레임 메모리(2108)로부터 판독한 화상 데이터에 대하여, 제4 실시예와 같이, 마스킹 화상 부가 처리를 행한다. 마스킹 처리부(2112)는 (도 16의 플로차트에 있어서의) 스텝 S1607 및 S1608의 처리와 같은 마스킹 처리를 행한다. 마스킹 처리부(2112)는 처리된 화상 데이터를, 카메라 신호 처리부(2101)로 각종의 신호 처리가 행해진 후의 화상 데이터로서 엔코더부(2113)에 출력하고, 제1 시퀀스의 처리를 종료한다.

이상과 같이, 제5 실시예에서는, 입력되는 화상 데이터의 화상에 대하여, 스크래치, 명멸, 및 상하 흔들림을 겹쳐서 부가한다. 이에 따라, 필름을 영사기에 걸어서 재생했을 경우에 발생하는 영상 효과를, 보다 충실하게 화상에 줄 수 있다.

도 21b는, 일반적인 촬영 모드에 있어서의 각종의 처리와 병행해서 영상효과를 일괄적으로 부가하는 것이 가능한 본 실시예의 화상처리장치를 나타낸다.

이 본 실시예에서는, 클리핑 처리부(2109)는, 통상 촬상소자(2100)로부터 판독한 화상을 일단 프레임 메모리에 버퍼링하여, 센터링(centering)과 불필요한 화소의 커팅 등의 화각(image angle) 조정을 행하고, 다른 클리핑 처리를 행한다. 또한, 클리핑 처리부(2109)는 카메라 흔들림에 의한 화상 전체의 흔들림을 보정하기 위한 전자 화상 안정화 기능으로서도 사용할 수 있다.

본 실시예에서는, 시스템 컨트롤러(2102)는 클리핑 처리부(2109)에 대하여 상하 흔들림을 위한 클리핑 처리를 행하는 지시를 한다. 한층 더, 도 18b와 마찬가지로, 시스템 컨트롤러(2102)는 화상처리부(2104) 내에서 일반적인 촬영시에도 행해지는 휘도신호에 대한 감마 보정을 행하는 보정처리부(2110)에 대하여, 명멸을 위한 휘도 신호의 입출력 특성의 보정을 고려해서 감마 커브에 의거해 감마 보정을 행하는 지시를 한다. 이에 따라 새롭게 설치된 처리 블록의 수도 적어져서, 처리의 고속화도 실현된다.

제6 예시적인 실시예에 관해서는 필름을 영사기에 걸어서 재생했을 경우에 발생하는 영상효과(필름풍의 효과)를 디지털 화상에 중첩하기 위해서, 그레인 노이즈와 스크래치를 겹쳐서 디지털 화상에 부가하는 것이 가능한 화상처리장치에 근거해서 설명한다. 그레인 노이즈와 스크래치를 생성하는 방법은 제1 및 제2 실시예에서 상세히 설명되어 있기 때문에, 여기에서는 중복된 설명을 생략한다.

도 24는 필름을 기록 매체로서 사용한, 기록(이하, 촬영이라고 칭함)으로부터 재생(이하, 상영이라고 칭함)까지의 동화상 촬영 처리를 나타낸다. 도 25는 도 24에 나타낸 각 처리에 대한 사상(事象), 효과, 및 실현 방법을 나타내는 테이블이다. 처리 (1)(촬영)에 대해서는, 테이블은 상영의 결과에 영향을 주는 사상 (Ａ), (B)과, 그 사상에 의한 효과 (A-1), (A-2), (B)와, 그 효과를 의사적으로 화상처리를 통해서 실현하기 위한 방법을 포함한다.

동영상 촬영 처리는 4개의 처리: (1) 촬영, (2) 현상·편집, (3) 보관, 및 (4) 상영으로 그룹화된다. 그레인 노이즈는 처리 (2)(현상·편집)에서 예를 들면 "실버 리텐션(silver retention)"이라고 알려진 현상 기술에 의해 발생한다.

또한, 스크래치는 처리 (4)(상영)에서 주행중의 필름에 스크래치가 있을 때 발생한다. 즉, 그레인 노이즈와 스크래치는, 필름 화상의 상영 처리에 있어서, 별도의 원인에 의해 발생한다, 이들 2종류의 노이즈는 특성이 서로 다른 노이즈다.

제1 및 제2 실시예와, 본 실시예에서는, 이 2종류의 노이즈를, 대상 노이즈를 모방한 각 노이즈 화상과 촬상 화상을 합성함으로써 실현하고 있다.

처리 (1)(촬영)에서는, (Ａ) 촬영에 사용하는 광학계의 광학 특성 효과에 의해 (A-1) 주변 광량 감소 및 (A-2) 왜곡이 발생한다. 또, 처리 (3)(보관)에서는, (A) 필름의 노화에 의한 퇴색 및 (B) 먼지의 부착 및 얼룩의 발생에 의해 (A) 색 바램 및 (B) 노이즈가 각각 발생한다.

처리 (1)에 있어서는, 왜곡의 효과를 (Ａ-2) 표시 화상의 변형을 통해서 화상에 줄 수 있다. 처리 (2) 및 (3)에 있어서는, 노이즈의 효과를 (B) 랜덤한 그레인 노이즈 부가를 통해서 의사적으로 화상에 줄 수 있다. 처리 (3)에 있어서는, 색 바램의 효과를 (Ａ) 컬러 밸런스 및 컬러 게인 보정을 통해서 화상에 줄 수 있다.

복수의 필름풍의 효과를 부가할 경우, 필름 촬영 처리에 대응한 순서로 상술한 효과를 줌으로써 보다 바람직한 결과를 얻을 수 있다. 그레인 노이즈와 스크래치 양쪽을 부가할 경우, 그레인 노이즈의 원인이 되는 현상·편집 처리는 스크래치의 원인이 되는 상영 처리의 전단계에 있다.

그 때문에, 본 실시예에서는, 입력되는 화상 데이터와 그레인 노이즈를 먼저 합성한 후에, 결과의 화상 데이터에 스크래치를 부가한다. 이렇게 함으로써, 보다 충실한 필름풍의 효과를 취득하는 것이 가능해진다.

도 23은, 제6 실시예에 따른 화상처리장치로서의 디지털 비디오 카메라를 나타내는 블럭도다. 촬상소자(2300)는 결상한 입사광을 광전 변환한다. 광전 변환된 신호는 카메라 신호 처리부(2301)에 입력된다.

카메라 신호 처리부(2301)는 광전 변환된 신호에 대하여 각종의 화상처리를 행해 영상신호로 변환하고, 그 영상신호를 엔코더부(2314)에 출력한다. 엔코더부(2314)는 카메라 신호 처리부(2301)로부터 수신된 영상신호를 소정의 기록 포맷으로 부호화하고, 그 결과의 영상 신호를 기록매체(2315)에 기록한다.

다음에 카메라 신호 처리부(2301)에서의 신호 처리에 관하여 설명한다. 신호 처리부(2301)에 신호가 입력되면, 화상 처리부(2304)는 제1 실시예와 마찬가지로 그 신호에 대하여 각종 신호 처리를 행한다. 화상 처리부(2304)는 처리된 신호를 촬상 화상으로서 제1 프레임 메모리(2305)에 저장한다.

스크래치 노이즈 생성부(선택부)(2308)는, 시스템 컨트롤러(2302)(제2 지정부)로부터의 지시에 의거해, 스크래치 노이즈 화상의 생성 및 클리핑을 행한다. 제2 프레임 메모리(2306)(제2 기억부)에 기억된 노이즈 화상 데이터(제2 노이즈 데이터)는 제2 실시예와 같이 처리된 후, 합성 처리부(2310)에 의해 합성된다.

그레인 노이즈 생성부(2309)(클리핑부)는 시스템 컨트롤러(2302)(제1 지정부)로부터의 지시에 의거해, 그레인 노이즈 화상의 생성 및 클리핑을 행한다. 제3 프레임 메모리(2307)(제1 기억부)에 기억된 노이즈 화상 데이터(제1 노이즈 데이터)는 제1 실시예와 같이 처리되고, 합성 처리부(2310)에 의해 합성된다.

합성 처리부(2310)는 제1 프레임 메모리(2305)에 기억되어 있는 촬상 화상을 다른 두 개의 화상과 순차 합성가능하다. 제1 합성부(2311)는 제1 프레임 메모리(2305)에 기억되어 있는 화상 데이터와 그레인 노이즈 화상 데이터를 합성해서 제1 입력 화상을 형성한다.

제2 합성부(2312)는 제1 합성부(2311)로부터 출력된 화상 데이터와 스크래치의 노이즈 화상 데이터를 합성해서 제2 입력 화상을 형성한다.

선택 제어부(2313)는 제1 합성부(2311)와 제2 합성부(2312)에, 합성하는 화상 데이터를 입력할 것인지 아닌지를 선택한다. 선택 제어부(2313)는 서로 독립적으로 제1 합성부(2311)와 제2 합성부(2312)에 입력된 화상 데이터를 선택할 수 있다. 또한, 제1 합성부(2311)나 제2 합성부(2312)에 화상 데이터를 입력하지 않은 경우에는, 제1 프레임 메모리(2305)에 기억되어 있는 화상 데이터 혹은 제1 합성부(2311)로부터 출력된 화상 데이터가 그대로 출력된다.

신호 발생기(2303)는 촬상소자(2300)의 구동 타이밍을 제어하는 신호를 발생한다. 신호 발생기(2303)는 발생한 신호를 촬상소자(300)와 시스템 컨트롤러(2302)에 공급한다.

시스템 컨트롤러(2302)는, 촬상소자(2300)와 카메라 신호 처리부(2301)로 구성되는 카메라 블록을 제어한다. 시스템 컨트롤러(2302)는, 촬상소자(2300)에 대해서는, 신호 축적기간 및 신호 판독 타이밍에 대한 지시를 행한다. 시스템 컨트롤러(2302)는, 화상처리부(2304)에 대해서는, 각종 신호 처리로 화질설정에 필요한 파라미터의 설정을 행한다.

시스템 컨트롤러(2302)는, 합성 처리부(2310)에 대해서는, 제1 프레임 메모리(2305)에서 합성하는 촬상 화상의 판독 타이밍에 대한 지시, 제1 합성부(2311)와 제2 합성부의 합성 비율에 대한 지시, 및 제1 합성부(2311)와 제2 합성부(2312)가 합성을 행할 것인지 아닌지에 대한 지시를 행한다.

시스템 컨트롤러(2302)는, 스크래치 노이즈 생성부(2308)에 대해서는, 스크래치를 생성하기 위해서, 제2 프레임 메모리(2306)로부터/에의 노이즈 데이터의 판독 및 기록의 타이밍에 대한 지시, 클리핑 위치와 크기에 대한 지시, 리사이징시의 크기에 대한 지시 및 합성시의 페이스팅 위치에 대한 지시를 행한다.

시스템 컨트롤러(2302)는, 그레인 노이즈 생성부(2309)에 대해서는, 그레인 노이즈를 생성하기 위해서, 제3 프레임 메모리(2307)로부터/에의 노이즈 데이터의 판독 및 기록의 타이밍에 대한 지시, 클리핑 위치와 크기에 대한 지시, 리사이징시의 크기에 대한 지시 및 합성시의 페이스팅 위치에 대한 지시를 행한다.

시스템 컨트롤러(2302)는, 신호 발생기(2303)에 대해서는, 촬상소자(200)를 구동하는 타이밍에 대한 지시를 행한다.

본 실시예에 있어서의 시스템 컨트롤러(2302)는 합성 처리부(2310)에 대하여 합성 화상 선택 제어를 행하도록 지시한다. 도 26은 그 제어 동작과 각부에 의해 행해지는 관련 처리를 나타내는 플로차트이다.

상술한 선택 제어는, 촬상 화상에 대하여 복수의 노이즈 필름풍의 효과를 부가하는 촬영 모드에서 행해진다. 또는, 선택 제어는 기록 매체(2315) 등의 메모리로부터 동화상을 연속적으로 판독한 후의 사후 처리로서 행해진다. 본 처리는, 수직동기신호에 동기해서 개시되고, 이 수직동기신호에 의해 일련의 처리가 반복되게 된다.

촬상 화상과 그레인 노이즈 및 스크래치를 겹쳐서 합성할 경우, 상기한 바와 같이 그레인 노이즈 및 스크래치의 순으로 합성하면, 실제로 필름을 상영했을 때에 가까운 효과를 취득할 수 있다. 따라서, 합성 처리부(2310)는 제1 합성부(2311)에 의한 합성용의 화상으로서 그레인 노이즈 생성부(2309)로부터 노이즈 화상을 입력하고, 제2 합성부(2312)에 의한 합성용 화상으로서 스크래치 노이즈 생성부(2308)로부터 노이즈 화상을 입력한다.

스텝 S2601에서는, 시스템 컨트롤러(2302)는 제1 프레임 메모리(2305)에 기억되어 있는 촬상 화상에 부가하는 노이즈 효과의 종별을 취득하고, 처리는 스텝 S2602로 진행된다. 스텝 S2602에서는, 시스템 컨트롤러(2302)는 스텝 S2601에서 취득한 노이즈 효과의 종별에 그레인 노이즈가 포함되어 있는지 아닌지를 판정한다. 그레인 노이즈가 포함되어 있는 경우에는(스텝 S2602에서 YES), 처리가 스텝 S2603로 진행된다. 반대로, 그레인 노이즈가 포함되어 있지 않은 경우에는(스텝 S2602에서 NO), 처리가 스텝 S2604로 진행된다.

스텝 S2603에서는, 시스템 컨트롤러(2302)는 그레인 노이즈의 합성을 유효로 하고, 제1 실시예에서 나타나 있는 바와 같이, 그레인 노이즈의 합성 처리를 행한다. 시스템 컨트롤러(2302)는 도 7의 플로차트에 따라, 각종 설정에 의거해서 그레인 노이즈 생성부(2309) 및 합성 처리부(2310)에게 1시퀀스에 대한 처리를 행하도록 지시한다.

본 실시예에서는 제1 합성부(2311)는, 제1 프레임 메모리(2305)로부터 입력되는 화상 데이터와 그레인 노이즈 데이터를 합성한다. 제1 합성부(2311)는, 합성된 데이터를 제2 합성부(2312)에 출력하고, 처리는 스텝 S2605로 진행된다. 스텝 S2604에서는, 시스템 컨트롤러(2302)는 그레인 노이즈 합성을 무효라고 하는 설정을 결정하고, 처리는 스텝 S2605로 진행된다.

스텝 S2605에서는, 시스템 컨트롤러(2302)는 스텝 S2605에서 취 득한 노이즈 효과의 종별에 스크래치가 포함되어 있는지 아닌지를 판정한다. 스크래치 노이즈가 포함되어 있는 경우에는(스텝 S2605에서 YES), 처리가 스텝 S2606로 진행된다. 한편, 스크래치 노이즈가 포함되어 있지 않은 경우에는(스텝 S2605에서 NO), 처리가 스텝 S2607로 진행된다.

스텝 S2606에서는, 시스템 컨트롤러(2302)는 스크래치의 합성을 유효로 하고, 제2 실시예에서 나타나 있는 바와 같이, 스크래치 노이즈 합성 처리를 행한다. 도 11의 플로차트에 따라, 각종 설정에 의거해서, 스크래치 노이즈 생성부(2308) 및 합성 처리부(2310)에게 1시퀀스에 대한 처리를 행하도록 지시한다.

본 실시예에서는, 스크래치 노이즈 생성부(2308)는 스크래치 노이즈 데이터를 생성하고, 제2 합성부(2312)는, 제1 합성부(2311)에 의해 출력된 결과의 화상 데이터와, 스크래치 노이즈 데이터를 합성한다. 합성 처리부(2310)는 그 결과의 합성 데이터를 카메라 신호 처리부(2301)의 출력으로서 출력하고, 제어 시퀀스의 처리를 종료한다.

스텝 S2607에서는, 시스템 컨트롤러(2302)는 스크래치 합성을 무효라고 하는 설정을 결정하고, 제어 시퀀스의 처리를 종료한다.

이상과 같이, 제6 실시예에서는, 시간적 및 공간적인 랜덤성이 서로 다른 그레인 노이즈와 스크래치의 2종류의 노이즈를 개별적으로 생성한 후에 화상 데이터와 겹쳐서 합성한다. 이에 따라, 필름을 영사기에 걸어서 재생했을 경우에 발생한 영상효과를, 보다 충실하게 화상에 줄 수 있다.

한층 더, 필름 촬영 처리의 순으로 화상 데이터와 각 노이즈를 합성함으로써 보다 충실한 노이즈 효과를 취득하는 것을 가능하게 하고 있다.

본 실시예에서는, 먼저 입력되는 화상 데이터와 그레인 노이즈 화상 데이터를 합성한 후에, 그 결과의 화상 데이터와 스크래치 노이즈 화상 데이터를 합성한다. 이 경우에, 합성 방법은, 이것에 한정하지 않는다. 먼저 그레인 노이즈 화상 데이터와 스크래치 노이즈 화상 데이터를 합성한 후에, 그 결과의 합성 데이터를 입력되는 화상 데이터를 합성해도 된다.

이 경우에, 그레인 노이즈 화상 데이터와 스크래치 노이즈 화상 데이터를 합성기 전에, 미리 그레인 노이즈 화성 데이터에 투과성을 준다. 그리고나서, 그레인 노이즈 화상 데이터와 스크래치 노이즈 화상 데이터를 0:1의 비율로 합성한다(붙인다). 그리고, 입력되는 화상 데이터와 그 결과의 합성 노이즈 화상 데이터를 0:1의 비율로 합성한다. 그레인 노이즈는 투과성에 대응한 합성 비율로 합성되고, 출력 화상은 스크래치가 그 위에 붙여지는 것과 같은 것이므로, 본 실시예에서 설명한 것과 같이 보다 충실한 화상이 완성된다.

본 발명의 국면들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (17)

1. 입력되는 복수의 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치로서,
   2차원으로 형성된 제1 노이즈 데이터를 기억하는 제1 기억 유닛과,
   상기 제1 노이즈 데이터로부터 입력 화상의 프레임 전체에 대응한 노이즈 데이터를 클리핑하는 클리핑 유닛과,
   상기 클리핑 유닛이 클리핑하는 상기 제1 노이즈 데이터 상의 클리핑 위치를 지정하는 제1 지정 유닛과,
   상기 클리핑 유닛에 의해 클리핑된 노이즈 데이터를 상기 입력 화상과 합성하는 제1 합성 유닛과,
   상기 제1 노이즈 데이터와는 다른, 복수의 패턴의 노이즈 데이터를 포함하는 제2 노이즈 데이터를 기억하는 제2 기억 유닛과,
   상기 제2 노이즈 데이터로부터, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는 선택 유닛과,
   상기 이번의 프레임의 화상 상의 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치를 지정하는 제2 지정 유닛과,
   상기 제2 지정 유닛에 의해 지정된 페이스팅 위치에서 상기 선택 유닛에 의해 선택된 노이즈 데이터를 합성하는 제2 합성 유닛을 구비하고,
   상기 제1 지정 유닛은, 상기 제1 노이즈 데이터 상의 클리핑 위치를 랜덤한 값에 의거하여 지정하고,
   상기 제2 지정 유닛은, 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치를, 랜덤한 값에 의거하여 지정하는, 화상처리장치.
   
2. 제 1 항에 있어서,
   상기 제1 노이즈 데이터는 난수에 의해 결정된 화소값을 각각 갖는 화소군을 포함하고, 상기 노이즈 효과는 필름풍(film-like)의 그레인 효과인, 화상처리장치.
   
3. 제 1 항에 있어서,
   상기 제2 노이즈 데이터의 강도는 수평방향으로 1화소를 최소값으로 하고 수직방향으로 복수의 화소를 최소단위로 하는 난수에 의해 결정되는, 화상처리장치.
   
4. 제 1 항에 있어서,
   상기 제1 지정 유닛은, 상기 제1 노이즈 데이터 상에서의 전회의 클리핑 위치와 이번의 클리핑 위치와의 거리가 제1 미리 정한 값보다 커지도록 이번의 클리핑 위치를 지정하는, 화상처리장치.
   
5. 제 1 항에 있어서,
   상기 제1 지정 유닛은,
   상기 클리핑 위치를 랜덤한 값에 의거하여 지정하는 지시 유닛과,
   상기 지시 유닛에 의해 지시된 상기 이번의 클리핑 위치와 상기 전회의 클리핑 위치와의 거리가 미리 정한 값보다 작은 경우에, 상기 지시 유닛에 의해 지시된 상기 이번의 클리핑 위치를 상기 거리가 상기 제1 미리 정한 값보다 커지도록 변경하는 변경 유닛을 구비하는, 화상처리장치.
   
6. 제 1 항에 있어서,
   상기 제2 합성 유닛은, 전회의 프레임의 화상에 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치와, 이번의 프레임의 화상에 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치와의 거리가 제2 미리 정한 값보다 큰 경우, 상기 선택 유닛에 의해 선택된 이번의 노이즈 데이터의 페이스팅을 제한하는, 화상처리장치.
   
7. 제 1 항에 있어서,
   상기 제2 노이즈 데이터는 2차원 데이터를 포함하고,
   상기 선택 유닛은, 상기 제2 노이즈 데이터 상의 랜덤하게 지정된 위치로부터 2차원의 노이즈 데이터를 클리핑함으로써 상기 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는, 화상처리장치.
   
8. 제 1 항에 있어서,
   상기 선택 유닛에 의해 선택된 동일한 노이즈 데이터를 연속해서 붙이는 시간을 검출하는 제1 검출유닛을 더 구비하고,
   상기 제1 검출유닛이, 동일한 노이즈 데이터를 연속해서 붙이는 시간이 제1 미리 정한 시간을 초과한다는 것을 검출한 경우에는, 상기 선택 유닛이 또 다른 노이즈 데이터를 선택하는, 화상처리장치.
   
9. 제 1 항에 있어서,
   상기 복수의 프레임의 입력 화상에 연속해서 상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이는 계속시간을 검출하는 제2 검출유닛을 더 구비하고,
   상기 제2 검출유닛이, 상기 계속시간이 제2 미리 정한 시간을 초과한다는 것을 검출한 경우에, 노이즈 데이터의 페이스팅을 무효로 하는, 화상처리장치.
   
10. 2차원으로 형성된 제1 노이즈 데이터를 기억하는 제1 기억 유닛과, 상기 제1 노이즈 데이터와는 다른, 복수의 패턴의 노이즈 데이터를 포함하는 제2 노이즈 데이터를 기억하는 제2 기억 유닛과, 상기 노이즈 데이터를 화상과 합성하는 합성 유닛을 포함하고, 입력되는 복수 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치의 제어방법으로서,
    상기 제1 노이즈 데이터로부터 입력 화상의 프레임 전체에 대응한 노이즈 데이터를 클리핑하는 단계와,
    클리핑하는 상기 노이즈 데이터 상의 클리핑 위치를 지정하는 단계와,
    상기 제2 노이즈 데이터로부터, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는 단계와,
    상기 이번의 프레임의 화상 상의 상기 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치를 지정하는 단계를 포함하고,
    상기 제1 노이즈 데이터 상의 클리핑 위치를, 랜덤한 값에 의거하여 지정하고,
    상기 선택된 노이즈 데이터를 붙이기 위한 페이스팅 위치를, 랜덤한 값에 의거하여 지정하는, 화상처리장치의 제어방법.
    
11. 청구항 10에 기재된 제어방법을 화상처리장치에 실행시키는 컴퓨터 실행가능한 명령들을 포함하는 비일시(non-transitory) 컴퓨터 판독가능한 기억매체.
    
12. 입력되는 복수의 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치로서,
    2차원으로 형성된 노이즈 데이터를 기억하는 기억 유닛과,
    상기 노이즈 데이터로부터 입력된 프레임 전체에 대응한 노이즈 데이터를 상기 노이즈 데이터로부터 클리핑하는 클리핑 유닛과,
    상기 클리핑 유닛이 클리핑하는 상기 노이즈 데이터 상의 클리핑 위치를 지정하는 지정 유닛과,
    상기 클리핑 유닛에 의해 클리핑된 노이즈 데이터를 입력 화상과 합성하는 합성 유닛을 구비하고,
    상기 지정 유닛은, 상기 노이즈 데이터 상의 전회의 클리핑 위치와 상기 노이즈 데이터 상의 이번의 클리핑 위치와의 거리가 미리 정한 값보다 크도록 이번의 클리핑 위치를 지정하는, 화상처리장치.
    
13. 입력되는 복수의 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치로서,
    복수의 패턴의 노이즈 데이터를 기억하는 기억 유닛과,
    상기 복수의 패턴의 노이즈 데이터 중에서, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는 선택 유닛과,
    상기 선택 유닛에 의해 선택된 노이즈 데이터를 붙이는, 상기 이번의 프레임의 화상 상의 위치를 결정하는 결정 유닛과,
    상기 결정 유닛에 의해 결정된 위치에서 상기 선택 유닛에 의해 선택된 노이즈 데이터를 합성함으로써 상기 노이즈 데이터를 붙이는 합성 유닛을 구비하고,
    상기 합성 유닛은, 전회의 프레임의 화상 상에 붙여진 노이즈 데이터의 페이스팅 위치와 이번의 프레임의 화상 상에 붙이게 되는 노이즈 데이터의 페이스팅 위치와의 거리가 미리 정한 값보다 큰 경우에, 이번의 노이즈 데이터의 페이스팅을 제한하는, 화상처리장치.
    
14. 2차원으로 형성된 노이즈 데이터를 기억하는 기억 유닛과, 상기 노이즈 데이터로부터 클리핑된 미리 정한 크기의 노이즈 데이터를 입력 화상과 합성하는 합성 유닛을 포함하고, 입력되는 복수 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치의 제어방법으로서,
    상기 노이즈 데이터로부터 미리 정한 크기의 노이즈 데이터를 클리핑하는 단계와,
    클리핑하는 상기 노이즈 데이터 상의 클리핑 위치를 지정하는 단계와,
    상기 미리 정한 크기의 클리핑된 노이즈 데이터에 근거해 노이즈 데이터를, 상기 입력 화상과 합성하는 단계를 포함하고,
    상기 노이즈 데이터 상의 전회의 클리핑 위치와 상기 노이즈 데이터 상의 이번의 클리핑 위치와의 거리가 미리 정한 값보다 크도록 이번의 클리핑 위치를 지정하는, 화상처리장치의 제어방법.
    
15. 복수의 패턴의 노이즈 데이터를 기억하는 기억 유닛과, 상기 복수의 패턴의 노이즈 데이터로부터 선택된 노이즈 데이터를 입력 화상과 합성함으로써 노이즈 데이터를 붙이는 합성 유닛을 포함하고, 입력되는 복수 프레임의 화상에 노이즈 효과를 주는 것이 가능한 화상처리장치의 제어방법으로서,
    상기 복수의 패턴의 노이즈 데이터로부터, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터를 선택하는 단계와,
    상기 선택된 노이즈 데이터를 붙이는, 이번의 프레임의 화상의 위치를 결정하는 단계와,
    상기 결정된 화상의 위치에서 상기 선택된 노이즈 데이터를 합성해서 상기 선택된 노이즈 데이터를 붙이는 단계를 포함하고,
    전회의 프레임의 화상에 붙여진 노이즈 데이터의 페이스팅 위치와, 이번의 프레임의 화상에 붙이게 되는 노이즈 데이터의 페이스팅 위치와의 거리가 미리 정한 값보다 클 경우, 이번의 노이즈 데이터의 페이스팅을 제한하는, 화상처리장치의 제어방법.
    
16. 청구항 14에 기재된 제어방법을 화상처리장치에 실행시키는 컴퓨터 실행가능한 명령들을 포함하는 비일시 컴퓨터 판독가능한 기억매체.
    
17. 청구항 15에 기재된 제어방법을 화상처리장치에 실행시키는 컴퓨터 실행가능한 명령들을 포함하는 비일시 컴퓨터 판독가능한 기억매체.

Images