KR20100038168A - 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

바람직한 구도를 얻기 위한 구도 해석을 용이하게 실시할 수 있는 기술이 개시된다. 화상 데이터를 취득하고(S1), 상기 화상 데이터를 해석하여 상기 화상 데이터의 구도상의 특징을 나타내는 복수의 구도선을 획득하며(S6), 상기 획득한 복수의 구도선으로 형성되는 구도상에서, 상기 복수의 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비가 소정의 값(예를 들면 황금비)인 것을 검출한다(S7).

화상, 구도 해석, 구도선, 영역, 트리밍, 종횡비, 영역

Description

구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체{COMPOSITION ANALYSIS METHOD, IMAGE DEVICE HAVING COMPOSITION ANALYSIS FUNCTION, COMPOSITION ANALYSIS PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM}

본 발명은 화상 상에서 구도를 해석하는 구도 해석 방법, 또는 해당 구도 해석 방법을 실장한 화상 장치에 관한 것이다. 또한, 상기 구도 해석 방법은 컴퓨터 판독 가능한 기록 매체 상에 기록된 구조 해석 프로그램에 실장하여도 된다. 또한, 상기 화상 장치의 바람직한 일례로서는 디지털 카메라나 디지털 비디오 카메라, 또는 디지털 사이니지나 포토프레임 등의 화상 표시 장치가 있다.

화상에 있어서 구도(composition)는 중요하다. 구도는 어레인지먼트(arrangement), 배치(disposition), 레이아웃(layout), 비율 관계(proportion), 밸런스(balance) 등이라 불리는 것도 있다.

화상 중에 있어서, 바람직한 구도를 제시하는 기술이 몇가지 제안되어 있다.

예를 들면, 일본 공개 특허2002-218306호 공보에 기재된 화상 기록 편집 장치는, 미리 바람직한 구도를 나타내는 템플릿을 장치 내에 구비하는 것이다. 이 화상 기록 편집 장치는, 촬영된 화상으로부터 화상 처리에 의해 피사체의 윤곽선 정보를 추출하고, 상기 템플릿과 상기 윤곽선 정보의 차분을 연산하여, 그 차분이 최소로 되도록 줌 렌즈를 구동한다. 이 기술에 의하면, 템플릿에 잘 매치된 크기로 인물 등의 피사체를 촬상할 수 있다. 그 결과로서, 바람직한 구도의 화상이 얻어지는 경우가 많다.

한편, 종래부터, 미적으로 바람직한 비율로서, 황금비(Golden ratio)가 저명하다. 황금비는 1:(1+√5)/2의 비율이며, 근사값은 1:1.618로서 약 5:8이다. 또한, 피보나치 수열은 F₁=1, F₂=1, F_n+2=F_n+F_n+1로 정의되는 수열이며, 이 피보나치 수열의 인접하는 2항의 비율은 황금비에 수렴하는 것이 알려져 있다.

르네상스기에서의 서양 회화에 빈번하게 보이듯이, 구도나 프로포션의 결정에 있어서, 황금비를 중심으로 한 기하학적 구성은 중요한 요소로서 취급되어 왔다.

또한, 미적으로 바람직한 비율의 다른 예로서는, 백은비(silver ratio)가 있다. 백은비는 1:(1+√2) 또는 1:√2 중 어느 하나를 가리킨다. 백은비는 미적으로도 우수하지만, 백은비의 직사각형을 길이 방향으로 절반으로 하면, 원과 닮은 형상으로 되는 이점도 있다. 그 이유도 있어서 그런지, 백은비의 용도로서는, 용지의 형상(A4, A3 등)이 저명하다.

또한, 바람직한 비율의 결정에 있어서, 미적 이외의 관점도 가능하다. 예를 들면, 촬상한 화상을 고품위 텔레비전에서 재현할 예정이 있으면, 고품위 텔레비전의 어스펙트비를 촬상 시에 의식하여, 피사체가 상기 어스펙트비의 화상 범위에 밸 런스 좋게 들어가게 하는 것이 바람직하다.

그러나, 전술한 바와 같이, 템플릿에 기초하여 바람직한 구도를 제안하는 기술에서는, 다양한 촬상 대상에 대응하기 위해서는, 방대한 수의 템플릿을 준비할 필요가 있었다. 또한, 이와 같이 많은 템플릿을 준비했다고 하여도, 실제의 촬상 시에, 수많은 템플릿으로부터 촬상 대상의 피사체에 알맞은 템플릿을 신속하게 선택하는 것은 곤란했다.

또한, 피사체가 동체인 경우에는, 시시각각 변화되는 피사체의 형상이나 위치 변화에 대응하여, 동적으로 템플릿을 절환시키는 것은 곤란했다.

또한, 전술한 바와 같이, 미적 또는 다른 관점으로부터 바람직한 비율의 지견은 이전부터 있었지만, 화상 처리에 있어서 이 지견을 구도에 활용하는 것은 제안되어 있지 않았다.

본 발명은 상기의 점을 감안하여 이루어진 것으로서, 바람직한 구도를 얻기 위한 구도 해석을 용이하게 실시할 수 있는 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치를 제공하는 것을 목적으로 한다.

본 발명은 화상 데이터의 구도상 특징을 나타내는 복수의 선분(구도선; composition lines)을 획득하고, 이 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석하는 것이다.

이와 같이, 본 발명에서는, 구도의 해석에 있어서, 화상 데이터 상의 2차원 요소인 피사체나 배경의 차원을 떨어뜨려 1차원의 구도선으로 환원하고 있다. 이와 같이 데이터량을 떨어뜨리고 있기 때문에, 화상 데이터의 세세한 디테일이 생략되어, 화상 데이터의 구조적인 특징을 보다 적은 데이터량으로 파악할 수 있다. 즉, 화상의 전체적인 특징을 보다 적은 연산 파워로 파악할 수 있다.

또한, 본 발명은 상기 구도선에 의해 구획된 영역에 착안하여, 상기 영역의 형상을 「비율」이라는 시점에서 인식한다. 이 비율은 스칼라이기 때문에, 화상 데이터 전체의 구도를 정량적으로 파악할 수 있다.

상기 비율로서는, 예를 들면 황금비율, 백은비율, 모니터의 어스펙트비 등이 있지만, 이것에 한정되지 않는다. 상기 비율로서 황금비나 백은비를 채용한 경우에는, 화상 데이터의 구도를 미적 관점에서 해석할 수 있다.

본 발명에 관한 바람직하지만 필수는 아닌 부가 사항(optional feature)에서는, 상기 획득한 구도선의 전부 또는 일부는 유저에 대하여 표시된다. 상기 표시는, 예를 들면 본 발명을 실장한 장치의 모니터 상에 상기 화상 데이터를 표시하고, 그 화상 데이터에 획득한 구도선을 중첩 표시함으로써 실현시킨다. 이에 의해, 본 발명의 유저에 대하여 구도 해석의 근거로 되는 구도선의 존재를 정확하게 인식시킬 수 있다.

이 경우, 유저의 인식을 보다 향상시키기 위해, 다양한 연구가 가능하다. 예를 들면, 소정의 비율이 검출된 영역을 생성하는 구도선(영역 정의 구도선; region defining composition lines)만을 표시하는 것이나, 다른 구도선보다도 상기 영역 정의 구도선을 강조 표시하는 것이 가능하다. 또한, 상기 영역 정의 구도선이 생성하는 영역을 강조 표시할 수 있다(예를 들면, 영역 정의 구도선 중, 영역의 주위 부분만을 표시 또는 강조한다).

구도선의 획득에 있어서는 다양한 방법이 가능하다. 예를 들면, 화상 내의 영역의 경계선을 연장함으로써 구도선을 획득할 수 있다. 예를 들면, 화상 내에 있는 담이나 테이블이나 빌딩의 끝의 선을 연장한다. 또는, 인물의 중심선이나, 서있는 나무의 중심선 등을 구도선으로서 획득하여도 된다. 또한, 복잡한 형상의 선을 근사하는 직선이나 단순 곡선을 구도선으로서 획득하여도 된다. 또한, 화상 내의 어느 영역을 황금비율로 분할하는 선분 등도 이용가능하다. 물론, 구도선의 획득 방법은 이것에 한정되지 않는다. 구도선은 화면의 끝까지 그려도 되고, 도중까지만 그려도 된다.

본 발명에 관한 바람직하지만 필수는 아닌 응용(optional application)에서는, 본 발명에서 실시한 화상의 구도 해석의 결과를 이용하여 넓은 화상 범위로부터 부분 영역을 추출한다. 예를 들면, 넓은 영역을 갖는 화상 데이터를 고품위 텔레비전에서 표시하는 경우, 상기 넓은 화상 범위로부터 부분 영역을 추출하여 해당 부분 영역만을 고품위 텔레비전의 전체화면에 표시하거나, 해당 부분 영역에 줌업하는 케이스가 있다. 이 경우, 본 발명의 구도 해석 결과를 이용하여 소정의 기준(예를 들면, 미적 스케일)으로 바람직한 부분 영역을 선택할 수 있다.

또는, 본 발명의 구도 해석 결과를 이용하여 바람직한 부분 영역을 복수 선택하고, 상기 복수의 부분 영역을 마치 카메라가 연속적으로(절환 없이) 촬영한 것처럼 표시하는 동화상을 생성하는 응용도 가능하다.

또는, 본 발명에 관한 바람직하지만 필수는 아닌 다른 응용(optional application)에서는, 본 발명에서 실시한 화상의 구도 해석의 결과를 이용하여 촬상 장치(예를 들면, 디지털 카메라, 캠코더, 디지털 비디오 카메라)나 촬상 장치로 촬상한 화상의 편집 장치의 유저에게 촬영 시의 구도를 어드바이스할 수도 있다.

본 발명의 구도 해석 방법은, 예를 들면 화상 데이터를 취득하는 스텝과, 상기 화상 데이터를 해석하고, 상기 화상 데이터의 구도상의 특징을 나타내는 복수의 선분을 획득하는 스텝과, 상기 획득한 복수의 선분으로 형성되는 구도상에서, 상기 복수의 선분에 의해 구획된 영역을 검출하는 스텝과, 상기 검출된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석하는 스텝을 구비한다.

또한, 본 발명은 상기 구조 해석 방법을 실행하는 기능을 갖는 화상 장치, 예를 들면 디지털 카메라의 발명으로서도 이해할 수 있다. 또한, 상기 구조 해석 방법을 컴퓨터에 실행시키는 프로그램 및 상기 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체의 발명으로서도 이해할 수 있다.

본 발명에 의하면, 바람직한 구도를 얻기 위한 구도 해석을 용이하게 실시할 수 있는 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.

도 1은 본 발명의 제1 실시예에 따른 화상 장치로서의 컴퓨터 시스템의 블록도.

도 2는 CPU의 동작을 설명하는 플로우차트.

도 3A는 오델로 알고리즘에 의한 화상 상의 티끌의 제거를 설명하기 위한, 중심 화소가 흑색이며, 주위의 8화소 모두가 백색인 경우를 나타내는 도면.

도 3B는 오델로 알고리즘에 의한 화상 상의 티끌의 보완을 설명하기 위한, 중심 화소가 백색이며, 주위의 8화소가 모두 흑색인 경우를 나타내는 도면.

도 3C는 오델로 알고리즘을 적용하기 전의 화상을 나타내는 도면.

도 3D는 오델로 알고리즘을 적용한 후의 화상을 나타내는 도면.

도 4A는 구조 검출 모듈을 나타내는 도면.

도 4B는 도 4A의 구조 검출 모듈을 포함시킨 4종류의 구조 검출 모듈을 나타내는 도면.

도 5A는 구도의 해석 대상 픽셀을 포함하는 화상을 나타내는 도면.

도 5B는 해석 대상 화상의 경계선의 화소에 있어서 3개의 구도선이 획득된 모습을 나타내는 도면.

도 5C는 획득된 3개의 구도선만을 추출하여 나타내는 도면.

도 6은 사선 검출을 하는 4종류의 구조 검출 모듈을 나타내는 도면.

도 7A는 곡선 검출을 하는 구조 검출 모듈을 나타내는 도면.

도 7B는 도 7A의 구조 검출 모듈에 의해 검출 가능한 경계선(곡선)을 갖는 화상의 예를 나타내는 도면.

도 7C는 구도선(곡선)이 획득된 모습을 나타내는 도면.

도 8은 황금비 사선을 검출하는 2종류의 구조 검출 모듈을 나타내는 도면.

도 9A는 해석 대상 화상으로부터 얻어진 구도의 예를 나타내는 도면.

도 9B는 도 9A의 구도에 대하여 구도를 보다 정합시키는 처리를 행한 결과를 나타내는 도면.

도 10은 최종적으로 얻어지는 구도를 설명하는 도면.

도 11은 출력 애니메이션을 생성하는 처리를 설명하는 플로우차트.

도 12는 구도로부터 생성된 복수의 마스크 정보를 나타내는 도면.

도 13A는 2개의 화상을 나타내는 도면.

도 13B는 도 13A의 2개의 화상을 접속한 상태를 나타내는 도면.

도 13C는, 도 13B의 2개의 접속한 화상에 있어서, 인접하는 영역간의 색채 정보를 정합하는 처리를 행한 결과를 나타내는 도면.

도 14는 본 발명의 제2 실시예에 따른 화상 장치로서의 디지털 카메라의 블록 구성도.

도 15는 CPU의 동작을 설명하는 플로우차트.

도 16A는 모니터에 표시되는 라이브 화상의 예를 나타내는 도면.

도 16B는 획득된 복수의 구도선이 중첩 표시된 라이브 화상의 예를 나타내는 도면.

도 16C는 황금비가 검출된 구도선을 포함하는 복수의 구도선이 중첩 표시된 라이브 화상의 예를 나타내는 도면.

도 16D는 구도로서 충분히 미적이라고 판단되는 경우의 표시 예를 나타내는 도면.

도 17은 본 발명의 제3 실시예에서의 CPU의 동작을 설명하는 플로우차트.

도 18A는 가로 화상에서의 화소 수를 줄이는 변환을 설명하기 위한 도면.

도 18B는 세로 화상에서의 화소 수를 줄이는 변환을 설명하기 위한 도면.

도 19는 변환 후의 화상의 어느 영역에 입력 화상이 존재하는지의 좌표값 스택을 설명하기 위한 도면.

도 20은 화상 상의 티끌의 제거와 보완에 이용하는 복수의 템플릿을 나타내는 도면.

도 21A는 3개의 흑색 화소가 가로로 연속되어 있는 화소 열의 수가 1개 이상인 행을 집계한 경우를 설명하는 도면.

도 21B는 3개의 흑색 화소가 가로로 연속되어 있는 화소 열의 수가 2개 이상인 행을 집계한 경우를 설명하는 도면.

도 21C는 3개의 흑색 화소가 세로로 연속되어 있는 화소 열의 수가 1개 이상인 행을 집계한 경우를 설명하는 도면.

도 21D는 3개의 흑색 화소가 세로로 연속되어 있는 화소 열의 수가 2개 이상인 행을 집계한 경우를 설명하는 도면.

도 22A는 축척된 화소 열을 나타내는 도면.

도 22B는 도 22A의 화소 열을 단순하게 10배로 한 경우의 화소 열을 나타내는 도면.

도 22C는 제3 실시예에서의 도 22A의 화소 열을 10배로 한 경우의 화소 열을 나타내는 도면.

도 23은 획득한 구도선의 각 교점 좌표의 스택을 설명하기 위한 도면.

도 24는 지정점에 대한 트리밍 영역을 연산하는 처리를 설명하는 플로우차 트.

도 25A는 기울기가 작은 경우의 지정점으로부터 황금비 사선과 16:9 사선을 그은 모습을 나타내는 도면.

도 25B는 기울기가 큰 경우의 지정점으로부터 황금비 사선과 16:9 사선을 그은 모습을 나타내는 도면.

도 26A는 제1 트리밍 포인트의 결정 예를 나타내는 도면.

도 26B는 제1 트리밍 포인트의 다른 결정 예를 나타내는 도면.

도 26C는 제1 트리밍 포인트의 또 다른 결정 예를 나타내는 도면.

도 27A는 제2 트리밍 포인트의 결정 예를 나타내는 도면.

도 27B는 제2 트리밍 포인트의 다른 결정 예를 나타내는 도면.

도 27C는 제2 트리밍 포인트의 또 다른 결정 예를 나타내는 도면.

도 27D는 제2 트리밍 포인트의 다른 결정 예를 나타내는 도면.

도 28A는 제1 및 제2 트리밍 포인트로부터 결정된 영역을 나타내는 도면.

도 28B는 도 28A의 영역을 황금비의 프로포션에 기초하여 더 확장한 트리밍 영역을 나타내는 도면.

도 29A는 트리밍 영역과 원래 영역의 위치 관계의 제1 예를 나타내는 도면.

도 29B는 트리밍 영역과 원래 영역의 위치 관계의 제2 예를 나타내는 도면.

도 29C는 트리밍 영역과 원래 영역의 위치 관계의 제3 예를 나타내는 도면.

도 29D는 트리밍 영역과 원래 영역의 위치 관계의 제4 예를 나타내는 도면.

도 29E는 트리밍 영역과 원래 영역의 위치 관계의 제5 예를 나타내는 도면.

도 30A는 지정점이 복수 설정되는 것을 나타내는 도면.

도 3Ob는 각 지정점에서 트리밍 영역이 결정되는 것을 나타내는 도면.

도 30C는 각 지정점에서의 황금비 사선의 교점을 나타내는 도면.

도 30D는 동화상의 표시 방법을 설명하기 위한 도면.

이하, 본 발명을 실시하기 위한 바람직한 형태를 도면을 참조하여 설명한다.

또한, 이하의 실시예에서는 가장 바람직한 비율로서 황금비를 채용하고 있지만, 일예이며, 본 발명은 이것에 한정되지 않는다. 황금비 이외에도, 전술한 백은비나 그 밖의 비율을 적용 가능하다.

[제1 실시예]

제1 실시예에서는 상기 취득한 화상 데이터로부터 복수의 구도선을 획득하고, 상기 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석한다. 구체적으로는, 상기 변의 길이의 비가 소정 범위인 것을 검출하고, 그 비를 보다 황금비에 근접시키도록 구도를 변경한다. 또한, 제1 실시예에서는 상기 변경 후의 구도를 이용하여 유동적 애니메이션을 생성한다.

도 1에 나타낸 바와 같이, 본 발명의 제1 실시예에 따른 화상 장치로서의 컴퓨터 시스템(1)은 컴퓨터 본체(2), 키보드(3), 외부 기억 장치(4) 및 디스플레이(5)를 포함한다. 컴퓨터 본체(2) 내에는 CPU(6)가 메모리(7)에 데이터 버스(8)를 통하여 접속되어 있다. CPU(6)는 또한, 상기 데이터 버스(8)를 통하여 입력 장치용 I/F(인터페이스)(10)와, 외부 기억 장치용 I/F(11)와, 외부 디스플레이용 I/F(9)와 접속되어 있다. 상기 키보드(3)는 상기 입력 장치용 I/F(10)에 접속된다. 상기 외부 기억 장치(4)는, 예를 들면 외부 HDD(하드디스크 드라이브)이며, 상기 외부 기억 장치용 I/F(11)에 접속된다. 상기 디스플레이(5)는, 예를 들면 고정밀 디스플레이 장치이며, 상기 외부 디스플레이용 I/F(9)에 접속된다.

또한, 외부 기억 장치(4)는 본 실시예와 같이 컴퓨터 본체(2)에 케이블을 통하여 접속하여도 되지만, 네트워크를 경유하여 접속하여도 된다. 예를 들면, 인터넷 상의 서버 등도 외부 기억 장치(4)로서 채용 가능하다.

외부 기억 장치(4) 내에는 복수의 화상 데이터가 수납되어 있다. 또한, 컴퓨터 판독 가능한 기억 매체인 메모리(7)에는, 본 발명에 관한 구도 해석 방법을 실현하는 구도 해석 프로그램이 기록되어 있다.

상기 구성의 컴퓨터 시스템(1)에 있어서, 유저가 소정의 조작을 실행함으로써, 메모리(7)로부터 구도 해석 프로그램이 판독되어 실행된다.

이하, 상기 구도 해석 프로그램을 실행하는 CPU(6)의 동작을 도 2를 참조하여 설명한다.

(1) 스텝 S1: 화상의 읽어 들이기

유저가 키보드(3)를 사용하여 소정의 조작을 하면, CPU(6)는 외부 기억 장치(4)에 저장되어 있는 복수의 화상 데이터로부터, 원하는 화상 데이터를 컴퓨터 본체(2) 내부의 메모리(7)에 읽어 들인다. 읽어 들인 화상 데이터는 구도 해석 프로그램의 처리 대상으로 된다.

이 경우, 화상은 정지 화상이어도 되고, 동화상이어도 된다. 동화상의 경우 는, CPU(6)의 처리 능력에 적합한 프레임 레이트까지 레이트(단위 시간의 프레임 매수)를 떨어뜨려 판독하여도 된다. 본 실시예에서는 정지 화상을 취급하는 것으로서 설명한다.

(2) 스텝 S2: 화상의 그레이 스케일화

다음으로, 화상의 색채를 그레이 스케일로 변환한다. 이것은 이후의 스텝에서 행하는 화상의 윤곽 추출을 위한 준비 단계이다. 본 실시예에서는 화상의 각 화소의 명도를 256단계로 구분하여 그레이 스케일화하고 있다.

단, 그레이 스케일화의 방법은 이것에 한정되지 않는다. 예를 들면, 더 세세한 단계에서 그레이 스케일화하여도 되고, 더 성기게 그레이 스케일화하여도 된다. 또한, 예를 들면 화상의 종류에 따라서는, 특정 색 성분만을 추출하고, 그 색 성분의 강도에만 기초하여 그레이 스케일화하여도 된다. 예를 들면, 주피사체의 색이 황색 성분이 강한 경우에는, 배경의 구조를 가능한 한 평가하지 않는 목적으로, 황색 성분의 강도만에 의해 그레이 스케일화하여도 된다.

또한, 이후의 스텝에서 행하는 화상의 윤곽 추출이 색 성분을 고려하고 있는 경우에는, 본 스텝 S2는 생략하여도 된다.

(3) 스텝 S3: 화상의 사이즈 변경

다음으로, CPU(6)의 처리 능력이나, 디스플레이(5)의 정밀도를 고려하여 화상 세부의 변경을 행한다. 본 실시예에서는 화소 수에 따른 64×48, 96×72, 128×96, 320×240, 640×480의 5단계로부터 유저가 적절히 선택 가능하게 되어 있다. 물론, 640×480을 상회하는 단계 등, 본 구도 해석 프로그램이 실행되는 환경에 따 라, 적절한 화상 사이즈는 결정된다. 또한, 처리 능력이 허용한다면, 본 스텝에 의한 화상 사이즈의 변경을 하지 않고, 읽어들인 화상의 사이즈를 그대로 채용하여도 된다.

(4) 스텝 S4: 화상의 2치화

다음으로, 화상 처리를 용이하게 하여 처리 속도를 향상시키는 목적으로, 화상의 2치화를 행한다. 본 실시예에서는, 상기 스텝 S2에서 실시한 그레이 스케일화의 결과를 이용하여, 처리 화상의 전체 화소 중, 최대의 스케일 값 Imax와 최소의 스케일 값 Imin의 중간값을 임계값으로 한다. 이 임계값보다도 스케일 값이 높거나(밝거나) 동일한 경우에는, 해당 화소를 백색(값 「1」)으로 하고, 그 이외의 경우는 해당 화소를 흑색(값 「0」)으로 한다.

단, 2치화의 방법은 이것에 한정되지 않는다. 예를 들면, 백색과 흑색의 화소의 비율이 소정 비율(예를 들면 4:1)로 되는 임계값을 본 구도 해석 프로그램이 자동적으로 구하고, 이것을 각 화소의 그레이 스케일 값에 적용하여 각 화소를 백색 또는 흑색으로 구별하여도 된다.

(5) 스텝 S5: 화상 상의 티끌의 제거와 보완

화상의 그레이 스케일화, 사이즈 변경, 2치화 등을 실시하면, 부산물로서 화상 내에 화소의 변환 처리 시의 노이즈(티끌)가 남는 경우가 있다. 화상 상의 「티끌」은, 그 이외에도, 원래 화상을 촬상할 때에 촬상 소자의 광전 변환면에 부착되어 있던 먼지 등에 의해서도 발생하는 것이 있다. 본 스텝 S5에서는, 「티끌」로서 남은 불필요한 화소 데이터의 삭제와 필요한 화소 데이터의 보완을 행한다.

도면을 참조하여, 본 실시예에서의 화상 상의 티끌의 제거와 보완을 설명한다.

본 실시예에서는, 1개의 중심 화소 주위의 8화소 모두가 상기 중심 화소와 흑백이 상이한 경우에는, 상기 중심 화소의 흑백을 반전시키고 있다. 예를 들면, 도 3A에 나타낸 바와 같이, 중심 화소가 흑색이며, 주위의 8화소 모두가 백색인 경우에는, 중심 화소를 반전시켜 백색으로 한다(티끌의 제거). 또한, 도 3B에 나타낸 바와 같이, 중심 화소가 백색이며, 주위의 8화소가 모두가 흑색인 경우에는, 중심 화소를 반전시켜 흑색으로 한다(티끌의 보완). 이 알고리즘은 흑백을 반전시키기 때문에, 이하 「오델로 알고리즘」이라 호칭한다.

도 3C에 나타낸 바와 같은 화상에, 이 오델로 알고리즘을 적용하면, 도 3D에 나타낸 바와 같이 된다. 도 3D에서는, 도 3C에 보여진, 1화소만 주위의 8화소와 흑백이 상이한 화소가 없어져 있다. 그 결과, 화상이 갈끔하게 보기 쉬워진다.

실제 프로그램 상의 연산으로서는, 도 3A와 도 3B의 형상을 템플릿으로서 이용하고, 예를 들면 도 3C의 화상의 각 영역과 매칭을 행하여 가고, 매칭한 영역에 대해서 중심 화소의 흑백을 반전시키고 있다.

단, 처리 대상의 화상 상의 「티끌」이 적은 경우, 또는 「티끌」이 있어도 처리에 지장을 주지 않는 경우는, 본 스텝 S5를 생략하는 것도 가능하다.

또한, 「티끌」의 제거와 보완의 단위는, 본 실시예의 1화소 단위가 아니라, 더 큰 「티끌」을 단위로 하여 제거와 보완을 하여도 된다.

(6) 스텝 S6: 구도 계산과 추출

다음으로, 화상 데이터로부터 구도의 구성을 행한다.

본 실시예에서는, 구도 계산에 도 4A에 나타낸 바와 같은 구조 검출 모듈(12)을 이용한다. 이 구조 검출 모듈(12)은, 최소 단위를 정사각형으로 배열된 9매스(화소에 대응)로 한다. 이 구조 검출 모듈(12)의 각 매스에는 조건이 각각 정해져 있고, 이 조건에 합치하는 부분을 처리 대상의 화상으로부터 검출한다.

구조 모듈(12)의 9매스에 있어서, 「!」 마크가 표시되어 있는 매스는 비교 대상의 매스를 나타낸다. 흑색 매스는 윤곽 상이 아닌 매스를 나타낸다. 백색 매스는 윤곽 상의 매스를 나타낸다. 또한, 「?」 마크의 매스는 (윤곽선 상이어도 윤곽선 상이 아니어도) 어느 쪽이어도 좋은 매스를 나타낸다.

도 4A에서는, 좌측 열의 매스는 모두 흑색이므로 윤곽 상이 아닌 것을 의미하고, 중앙 열의 매스는 모두 백색이므로 윤곽 상인 것을 의미하며, 우측 열의 매스는 모두 「어느 쪽이어도 좋다」는 것을 의미한다. 따라서, 도 4A의 구조 검출 모듈(12)은 적어도 중앙 열의 매스 모두가 윤곽선 상에 있고, 좌측 열의 매스 모두가 윤곽선 상에 없는 화상 부분을 검출하는 기능이 있다. 또한, 우측 열의 매스는 각각 윤곽선 상에 있어도 되고, 없어도 된다. 이와 같이, 이 구조 검출 모듈(12)은 세로 방향으로 배열된 3화소로 이루어진 윤곽선이며, 적어도 그 좌측이 윤곽선으로 되어 있지 않은 것을 검출한다.

또한, 도 4B에 나타낸 바와 같이, 도 4A와 같이 3매스로 이루어진 윤곽선(수선과 수평선)을 검출하는 구조 검출 모듈(12) 이외에도 다양한 종류가 있다. 도 4B에 있어서, 좌측 위의 구조 검출 모듈(12)은 도 4A와 동일하다. 좌측 아래의 구 조 검출 모듈(13)은 가로 방향으로 배열된 3화소로 이루어진 윤곽선이며, 적어도 그 상측이 윤곽선으로 되어 있지 않은 것을 검출한다. 우측 위의 구조 검출 모듈(14)은 세로 방향으로 배열된 3화소로 이루어진 윤곽선이며, 적어도 그 우측이 윤곽선으로 되어 있지 않은 것을 검출한다. 우측 아래의 구조 검출 모듈(15)은 가로 방향으로 배열된 3화소로 이루어진 윤곽선이며, 적어도 그 하측이 윤곽선으로 되어 있지 않은 것을 검출한다.

또한, 상하좌우 어느 쪽으로부터도 윤곽선의 검출이 가능하도록, 본 실시예에서는 이들 4개의 구조 검출 모듈(12~15)에 의해 1세트로 하고 있다.

이러한 구조 검출 모듈(12~15)에 있어서, 조건을 충족시키는 화소가 발견된 경우의 처리를 설명한다.

도 5A에 나타낸 바와 같이, 해석 대상의 화상의 중앙 부분에는 세로 방향으로 3화소분의 경계선이 있고, 그 상방에는 가로 방향으로 3화소분의 경계선이 있다. 또한, 화상의 우측 아래에는 가로 방향의 2화소분의 경계선과, 이 화소에 일부가 접속되어 가로 방향으로 3화소분의 경계선이 있다.

이러한 도 5A의 화상에 전술한 구조 검출 모듈(12~15)을 적용하여, 구조 검출 모듈(12~15)의 조건에 맞는 화소를 검색한다. 그 결과, 세로 방향 또는 가로 방향으로 3화소 이상 화소가 연속된 경계선을 검출할 수 있다. 상기 검출의 결과, 도 5B에 나타낸 바와 같이, 해석 대상의 화상의 경계선의 화소에 있어서, 3개의 직선(구도선)이 획득된다. 또한, 도 5C는, 상기 검출의 결과, 획득된 3개의 구도선만을 추출한 도면이다.

또한, 도 4A 및 도 4B에 나타낸 구조 검출 모듈(12~15)은 3×3의 정사각형 모듈이지만, 이 최소 단위의 모듈만으로는 구도에서의 중요한 화상 부분의 검출이 곤란한 경우가 있다. 그 경우는, 도 6에 나타낸 구조 검출 모듈(16~19)과 같이 구조화 모듈의 크기를 확장하여도 된다. 이들 구조 검출 모듈(16~19)은 4×4의 정사각형 모듈이며, 사선을 검출하는 것이다.

또한, 구조 검출 모듈을 확장하여 곡선 검출을 행하여도 된다. 이에 의해, 직선적인 해석만으로는 검출할 수 없는 구도 요소도 검출 가능하게 된다. 도 7A는 곡선을 검출하는 구조 검출 모듈(20)의 일례를 나타내는 도면이다. 도 7B는 이 구조 검출 모듈(20)에 의해 검출 가능한 경계선(곡선)을 갖는 화상의 예를 나타내는 도면이며, 상기 구조 검출 모듈(20)에서, 상기 경계선을 검출하면, 그 결과, 도 7C에 나타낸 바와 같이 구도선(곡선)이 획득된다.

단, 곡선의 검출에서는, 해석 화상의 화소 수를 고려하여 구조 검출 모듈을 결정할 필요가 있다. 예를 들면, 96×72 화소의 화상과 320×240 화소의 화상에서는, 동일한 곡률의 곡선을 검출하기 위해서는, 서로 다른 구조 검출 모듈을 사용할 필요가 있다.

또한, 종직선, 횡직선, 사선, 곡선 이외를 검출하는 구조 검출 모듈을 채용할 수도 있다.

도 8은 황금비 사선(종변·횡변의 길이의 비가 황금비인 직각삼각형에서의 사변의 기울기와 동일한 기울기를 갖는 사선)을 검출하는 구조 검출 모듈(21, 22)을 나타내는 도면이다. 본 구조 검출 모듈(21, 22)은 해석 대상의 화상의 화소 수 에 따라, 단계적으로 구성 매스 수가 변화되는 동적 모듈이다. 초기값은 도 8에 나타낸 바와 같이 3×5의 직사각형으로 정의되어 있지만, 해석 대상의 화상의 화소 수가 증가함에 따라, 구조 검출 모듈(21, 22)의 구성 매스 수가 증가한다. 그 경우, 피보나치 수열에 따라, 검출하는 사선의 기울기가 점차 황금비에 근사되어 가게 되어 있다.

또한, 구성 화소 수를 동적으로 변화시키는 것이 아니라, 미리 복수 단계의 구조 검출 모듈을 준비하여 두어도 된다. 본 실시예에서는 12단계의 구조 검출 모듈을 정의하고 있다.

이상 설명한 구조 검출 모듈(12~22)을 본 실시예에서는 채용하고 있다. 물론, 그 이외에도 다양한 구조 검출 모듈을 적용하여도 된다.

또한, 구조 검출 모듈 이외의 방법을 사용하여 구도선을 획득하여도 된다. 예를 들면, 흑백 2치의 메인 화상이 있는 경우, 흑백을 반전시킨 서브 화상을 작성하고, 서브 화상을 세로 또는 가로로 1화소분 어긋나게 한 상태에서 메인 화상과 서브 화상의 화소마다의 배타적 논리합의 부정을 연산하여도, 구도선(어긋나게 한 방향의 구도선을 제외함)을 얻을 수 있다. 또는, 하프 변환을 실시하여도 화상 내의 특징점으로부터 구도선을 얻을 수 있다.

또한, 본 실시예에서는 화상의 가장자리를 구도선으로서 인식하지 않는다. 그러나, 화상의 가장자리를 구도선으로서 인식하도록 구성하는 것도 가능하다.

(7) 스텝 S7: 구도의 결정

상기 스텝 S6에서는 해석 대상 화상으로부터 구도선을 획득했다. 본 스텝 S7에서는, 그 구도를 미학적으로 재구성하는 구도 정형 알고리즘에 의해 최종적인 구도를 결정한다. 또한, 본 스텝은 어디까지나 검출한 구도만을 변화시키는 것이며, 구도를 변화시켜도 해석 대상 화상은 변경되지 않는다.

상기 스텝 S6에 의해, 예를 들면 도 9A에 나타낸 바와 같은 구도가 얻어진다. 이 구도는 다음 룰에 의해 작성되고 있다.

1. 구도선은 종선, 횡선, 사선, 곡선의 순서로 획득된다.

2. 획득된 구도선 중 직선(종선, 횡선, 사선)에 대해서는, 도면 영역의 끝까지 연장된다.

3. 획득된 구도선 중 곡선에 대해서는, 직선의 구도선과의 교점에까지 연장시한다.

CPU(6)는, 우선, 검출된 복수의 구도선으로부터 거리나 관계성에 대한 수정을 행한다. 이 수정에서는, 어느 일정 거리 내에 교점이나 접촉점이 존재했을 경우에, 가장 정합성을 취할 수 있는 위치에 직선의 구도선의 이동을 행한다. 또한, 매우 인접한 평행선은 1개의 선에 병합한다. 또한, 곡선의 구도선은 고정하여 둔다.

도 9A에서는 곡선이 2점에서 사선과 접촉하고 있으며, 상방의 접촉점의 근방에는 횡선이 존재한다. 상기 상방의 접촉점 상에 횡선이 오면, 구도적으로 보다 정합되기 때문에, 상기 횡선을 아래쪽으로 이동시켜 횡선이 접촉점 상에 올라타도록 한다.

그 결과, 도 9B에 도시된 바와 같이, 화상 상에서 구도선에 의해 구획된 영 역의 수가 감소하고, 또한 영역의 형상도 보다 기본 도형에 가까워진다. 이와 같이, (a) 화상 상에서 구도선에 의해 구획된 영역의 수가 감소하는 것, (b) 어느 하나의 영역의 형상이 보다 기본 도형에 가까워지는 것 중 적어도 한쪽이 실현되면, 구도가 보다 정합되었다고 한다.

본 실시예에서는, 직선의 이동 거리가 대상 화상의 대각선 길이의 8% 이내이면, 직선을 이동시켜, 직선이 바로 근처의 교점이나 접촉점 상에 올라타도록 하고 있다. 또한, 화상 내에 평행선이 있는 경우, 선간의 거리가 화상의 대각선 길이의 2% 이내이면, 한쪽 직선을 다른쪽 직선 상에 이동시켜, 직선을 1개로 한다. 물론, 이것은 일례이며, 본 수정은 이것에 한정되지 않는다. 직선뿐만 아니라, 곡선도 이동하도록 하여도 된다. 또한, 단순한 구도의 경우에는, 본 수정을 생략하는 것도 가능하다.

다음으로, 상기 복수의 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석한다. 구체적으로는, 상기 비가 황금비에 대하여 소정의 범위에 있는지 판단하고, 소정의 범위에 있는 경우에는, 그 비율이 보다 황금비율에 근사하도록 구도를 변경하는 조작을 행한다.

본 실시예에서는, 유저의 지정에 의해, 황금비에 근사시키는 정도를 단계적으로 정할 수 있게 되어 있다. 전술한 바와 같이, 피보나치 수열의 인접하는 2항의 비율은 황금비에 수렴하는 것이 알려져 있다. 이것을 이용하여, 「구도의 조정을 행하지 않는」것을 포함시켜 15단계에서 황금비에 근사시키는 정도를 지정할 수 있다. 물론, 그 이외에 다양한 양태도 가능하다. 예를 들면, 황금비와 함께 백금 비를 채용하여도 되고, 단계도 16단계 등의 다양한 단계를 채용할 수 있다.

구체적으로는, 황금비 검출용의 구조 검출 모듈의 사이즈 N×M의 N과 M을 피보나치 수열의 수(1, 1, 2, 3, 5, 8, 13, 21, …)로 하면, 단계적으로 황금비에 대한 근사도가 서로 다른 복수의 구조 검출 모듈을 준비할 수 있다. 예를 들면, 도 8에 나타낸 황금비 사선 검출용의 구조 검출 모듈(21, 22)의 사이즈는 3×5이지만, 다음 단계의 사이즈로서 5×8, 그 다음 사이즈로서 8×13을 준비한다.

예를 들면, 도 9B의 구도에 있어서, 영역의 사선을 황금비에 보다 적합하도록 변형하는 경우를 설명한다. 우선, 도 8에 나타낸 3×5의 황금비용 구조 검출 모듈(21, 22)을 적용하여 사선을 검출한다. 이 때, 도면 좌측의 사선(23)이 상기 구조 검출 모듈에 적합하다. 즉, 사선(23)을 갖는 횡변(24)과 종변(25)의 길이의 비가 황금비에 가까운 것이 검출된다. 즉, 사선(23)은 성기게 황금비 사선이라고 검출된다. 이와 같이, 3×5의 황금비용 구조 검출 모듈이 사선에 적합하면, 상기 사선을 갖는 3각형의 종변(25)과 횡변(24)의 비율이 소정의 값(황금비에 대하여 소정의 범위에 있는 값)인 것이 검출된다.

다음으로, 상기 구조 검출 모듈을 보다 고정밀한 것으로 절환한다. 이 때, 사선(23)이 검출되지 않은 경우에는, 도 9B의 구도를 변화시켜 사선(23)의 기울기를 보다 황금비에 근사한 기울기로 변경한다. 구체적으로는, 사선(23)의 상방 끝점은 고정하고, 사선(23)의 하측 끝점을 이동시킨다. 이에 따라, 상기 하측 끝점과 접촉하는 종선(종변(25))의 위치도 평행 이동한다.

이와 같이, 차례차례로 구조 검출 모듈의 정밀도를 올려 가 유저가 원하는 단계까지 구도를 변경한다.

직사각형의 영역에 대해서 2변의 길이의 비를 평가할 경우는, 해당 직사각형의 대각선을 연산하고, 그 대각선에 대해서 상기 도 8에 나타낸 3×5의 황금비용 구조 검출 모듈(21, 22)을 적용한다. 상기 3×5의 황금비용 구조 검출 모듈(21, 22)의 적용이 적합하면, 상기 직사각형의 영역에 있어서, 종변과 횡변의 비율은 소정의 값(황금비에 대하여 소정의 범위에 있는 값)인 것이 검출된다. 그리고, 차례차례로 구조 검출 모듈의 정밀도를 올려 가면서, 유저가 원하는 단계까지 구도를 변경한다.

본 실시예에서는 구도선을 곡선, 사선, 직선의 순서로 순위 매김하여, 순위가 보다 낮은 것을 이동시킴으로써, 구도를 변화시키도록 하고 있다. 또한, 각 구도선의 끝점 좌표를 이동시켜 새로운 구도선을 연산하고 있다. 이 경우, 끝점을 위치에 따라, 화상의 끝, 화상의 변, 화상의 내부 순으로 순위 매김하여, 순위가 보다 낮은 것을 이동시키도록 하고 있다.

단, 구도의 결정 방법은 전술한 것 이외에도 다양한 변형이 가능한 것은 물론이다.

(8) 스텝 S8: 구도의 출력

전술한 바와 같이 하여 작성된 구도는 출력되어, 메모리(7)에 기록됨과 함께, 디스플레이(5)에 표시된다.

출력되는 구도는, 도 10에 나타낸 바와 같이, 구도선의 끝점 좌표와, 각 끝점간의 접속 양태의 정보를 갖는 데이터이다. 메모리(7)에 기록되는 구도는 원래 의 화상의 레이어와는 상이한 레이어에 기록된다.

(9) 스텝 S9: 동화상 처리·출력

상기 스텝 S1~S8에서, 구도의 생성이 완료된다. 본 실시예에서는, CPU(6)는 이 구도를 이용하여 유동적 애니메이션을 생성한다. 단, 이 처리는 전술한 구도 해석 프로그램의 본체가 아니라, 이 구도 해석 프로그램에 종속되는 다른 프로그램 모듈에 따라 실시된다.

본 스텝 S9의 개략을 설명하면, CPU(6)는, 도 11의 서브 스텝 S9A에서, 상기 구도 해석 프로그램의 본체에 의해 생성한 구도 데이터를 읽어들인다. 서브 스텝 S9B에서는, 상기 구도의 각 영역에, 원하는 화상, 또는 원하는 화상의 일부분을 붙인다. 서브 스텝 S9C에서는, 1개의 구도로부터 다른 구도로 연속적으로 변화시키는 기하학적 애니메이션을 생성한다. 서브 스텝 S9D에서는, 상기 생성한 기하학적 애니메이션에 상기 서브 스텝 S9B에서 붙인 화상을 초기값으로 하는 화상을 합성하여 출력한다.

이하, 각 서브 스텝을 상세하게 설명한다.

(10) 서브 스텝 S9A

우선, 서브 스텝 S9A에서, 본 모듈은 구도 해석 프로그램 본체에서 생성한 구도를 자동적으로 읽어들인다. 또한, 구도 해석 프로그램은, 제1 회째의 구도 생성에 이어서, 다른 화상을 처리하여 구도를 생성하는 처리를 순차적으로 실행하고 있는 것으로 한다.

(11) 서브 스텝 S9B

다음으로, 서브 스텝 S9B에서, 애니메이션의 최초의 화상(프레임)을 생성한다. 구체적으로는, 상기 서브 스텝 S9A에서 읽어들인 구도 중 최초의 구도를 사용하여, 구도의 각 영역에 각각 화상을 붙여 화상을 생성한다. 붙여지는 화상은, 다음 조건에 따라, 외부 기억 장치(4)에 저장되어 있는 복수의 화상(포토 데이터베이스)으로부터 선택된다.

1. 색채의 유사도

외부 기억 장치(4) 내에 저장되어 있는 화상을 색채로 분류하여, 동일 또는 유사한 색채에 속하는 화상끼리가 선택되도록 한다.

우선, 1개의 화상과 다른 화상을 비교한다. 그 비교의 결과, 색채 분포가 일치한 경우에는, 이들 화상을 그 색채에 관한 후보 리스트에 추가한다.

또한, 색채가 일치하지 않는 화상끼리에 대해서는, 명도, 채도, 색상을 소정의 범위에서 변화시켜 보아, 색채 분포가 일치하는지를 판단한다. 그 결과, 일치한 경우에는, 그 화상을 후보 리스트에 추가한다. 또한, 일치하지 않은 경우에는 후보 리스트에는 추가하지 않는다. 이와 같이 하여, 후보 리스트를 작성하여 간다.

2. 형상의 유사도

외부 기억 장치(4) 내에 저장되어 있는 화상은 보존 시점에서 한번 구조 해석이 행해지고 있고, 기하학 도형의 파트로서 보존되어 있다. 이들 파트의 형상과, 읽어들인 구도 내의 각 영역의 형상을 비교하여, 형상의 유사도(합동뿐만 아니라 상사도 포함함)에 따라, 유사도가 높은 화상을 후보 리스트에 추가한다.

즉, 사진 전체의 구도로부터 추출된 형상의 유사도가 아니라, 구도를 구성하는 선분에 의해 구획된 기하학 영역 레벨의 트리밍 화상에 대해서도 내부의 화상 배치 형상을 대조 가능하다.

3. 태그 정보

외부 기억 장치(4)에 저장되어 있는 화상에는 키워드가 부가되어 있다. 이 키워드는, 예를 들면 「바다」, 「여행」, 「야구」, 「춥다」와 같은 것이다. 키워드는 1매의 화상에 복수 부가하여도 된다. 본 실시예에서는 키워드를 유저에 의해 지정 가능하며, 동일한 키워드의 범위에 속하는 화상이 해당 키워드에 관한 후보 리스트에 등록된다.

상기 3개의 조건에 기초하여, 읽어들여진 구도의 각 영역에 외부 기억 장치(4)로부터 추출된 화상이 붙여져, 화상의 재구성이 이루어진다.

(12) 서브 스텝 S9C

이 서브 스텝 S9C에서는, 상기 서브 스텝 S9A에서 읽어들인 복수의 구도를 대상으로, 1개의 구도로부터 다른 구도로 연속적으로 변화되는 애니메이션을 작성한다.

1개의 구도 K(i)로부터 다른 구도 K(i+1)로의 변화는 항상 1개의 점씩 실행된다. 구도 K(i)로부터 1개의 정점이 추출되고, 이 정점에 대응하는 구도 K(i+l)의 정점이 검출된다. 이 때, 대응하는 정점이 구도 K(i+1) 내에 없으면, 다른 정점이 구도 K(i)로부터 선택된다.

다음으로, 이 구도 K(i)의 상기 정점으로부터 구도 K(i+1)의 대응 정점으로 의 이동을 행한다. 이 경우, 상기 정점이 황금비율에 따른 것인 경우에는, 황금비율을 유지한 채로 이동하여 간다. 즉, 애니메이션이기는 하지만, 어느 순간에 정지 화상으로서 절취되어도, 그 프레임이 항상 황금비율에 기초한 구도를 유지하고 있도록 한다. 또한, 선택되는 정점의 순번에 있어서도, 피보나치 수열에 기초한 룰에 의해 선택된다.

또한, 구도 K(i)로부터 구도 K(i+1)로의 변화에 있어서, 영역 수의 과부족이 있는 경우는, 영역의 분열·융합 동작을 변화의 도중에 실행한다.

애니메이션에 있어서, 구도 K(i)로부터 구도 K(i+1)로의 변화가 모두 완료된 시점에서, 구도 K(i+1)로부터 구도 K(i+2)로 변화되는 애니메이션의 제작을 개시한다. 이와 같이, 순차적으로 구도로부터 구도로의 애니메이션이 연속적으로 생성된다.

상기 생성한 애니메이션의 내부에 보여지는 정점에 의해 구획된 영역은, 다음 프로세스에서의 동작 작성에서, 모두 독립된 레이어 정보로서 처리된다. 그 때문에, 정점에 의해 둘러싸인 영역을 정점 좌표 정보를 이용하여 마스크 정보로서 메모리(7)에 보존한다.

도 10에 나타낸 구도를 예로 들면, 도 12에 나타낸 바와 같은 마스크 정보(마스크 화상)가 그 구도로부터 절취된다.

(13) 서브 스텝 S9D

다음으로, 상기 서브 스텝 S9B와 S9C의 처리 결과를 입력으로 한 애니메이션의 제작을 행한다. 이 시점에서 준비되어 있는 것은, 애니메이션을 위해 준비된 최초의 프레임(서브 스텝 S9B의 출력)과, 이 프레임으로부터 시작되는 기하학 애니메이션 및 그 마스크 정보(서브 스텝 S9C의 출력)이다. 이 2개의 소재를 기초로, 하기에 열거하는 효과를 사용하여 애니메이션을 작성한다.

1. 형상과 색채에 의한 내부 화상의 치환

출력 애니메이션에서는, 1개의 정점이 이동하여 정지할 때마다, 변화된 영역(정점은 최소 2개의 영역에서 공유되어 있으므로, 최소 2개의 영역이 변화됨)의 화상이 외부 기억 장치(4)로부터 읽어들여지는 다른 화상과 치환된다. 이 치환 룰은 상기 서브 스텝 S9B에서 설명한 1~3의 룰에 따르는데, 색상, 명도, 채도에 의한 색채 변화도 애니메이션으로서 표시된다.

2. 색채 변화(카멜레온 알고리즘)

2개의 서로 다른 화상이 인접했을 때에, 경계의 상위를 해석하여 리니어하게 접속함과 함께, 색채 변화를 애니메이션에 의해 표현하기 위해, 이하의 처리(카멜레온 알고리즘)를 실시한다.

도 13A의 좌측의 사각형은 색을 변화시키는 속성(카멜레온 속성)이 부여된 구도의 구성 영역(화상)이다. 또한, 우측의 사각형은 상기 속성이 부여되지 않은 구도의 구성 영역(화상)이다. 도 13B에 나타낸 바와 같이, 상기 2개의 영역이 접촉하면, 도 13C에 나타낸 바와 같이, 색을 변화시키는 속성이 부여된 영역은 상대의 색채 정보(명도·채도·색채)의 영향을 받아, 자체의 색채를 변화시킨다.

이와 같이, 영역의 색채 정보가 인접한 영역의 색채 정보의 영향을 받아 변화하는 경우, 그 변화는 색상환(PCCS 색상환, 먼셀 색상환, 오스트발트 색상환 등) 의 배열에 따라 전체가 변화되도록 하고 있다. 구체적으로는, 경계 부근의 색이 적색으로부터 황색으로 변화된 경우를 상정하여 설명한다. 또한, 적색으로부터 황색으로의 변화가 색상환 상의 거리에 있어서 2색 분이라고 하면, 동일한 영역 상의 물색에 대해서도 2색 분의 변화를 한다(예를 들면, 짙은 청색으로 변화된다). 이에 의해, 단조로운 색채 변화가 방지된다.

또한, 상기 색채 변화는 경계로부터의 거리가 멀어짐에 따라 약해지고, 영역의 무게 중심으로부터 끝으로는 그 영향이 미치지 않는다.

3. 기타 변화

상기 이외에도, 화상의 투명도, 회전, 확대·축소를 적절히 실시함으로써, 보다 유동적인 애니메이션을 실시한다.

이와 같이, 본 실시예에 의하면, 화상으로부터 구도를 추출하고, 그 구도의 적어도 일부를 황금비에 기초하여 변화시키고 있다. 이에 의해, 화상으로부터 미적으로 우수한 구도를 용이하게 생성할 수 있다.

또한, 황금비를 유지하면서, 1개의 구도로부터 다른 구도로의 천이를 유동적으로 행하는 애니메이션을 생성하고 있다. 이에 의해, 미적으로 우수한 구도 변화를 나타낼 수 있다.

또한, 상기 구도 천이의 애니메이션에서는, 구도의 영역에 화상이 붙여져 있으며, 그 화상이 동적으로 변화된다. 이에 의해, 미적으로 우수한 화상의 동적 표시가 실현된다.

[제2 실시예]

다음으로, 본 발명의 제2 실시예를 설명한다. 본 실시예는, 상기 제1 실시예에서 설명한 화상에 있어서 황금비를 고려하여 구도를 해석하는 기능을, 화상 장치로서의 디지털 카메라에 응용한 것이다.

구체적으로는, 디지털 카메라의 모니터에 피사체의 모니터 화상에 중첩하여 구도선을 표시한다. 또한, 카메라의 위치·자세·초점거리 등의 변화에 의해 구도가 황금비를 반영한 것으로 된 경우에는, 구도선의 색을 변화시켜 그것을 유저에게 인지시킨다. 또한, 카메라의 모니터에 있어서, 카메라의 위치·자세·초점거리 등을 어떻게 변화시키면 좋은지를 나타내는 어드바이스 정보를 유저에게 제시한다.

또한, 본 실시예의 디지털 카메라에서는, 상기한 바와 같은 구도 해석을 실시하기 위해, 유저가 파인더에서 관찰하고 있는 범위보다도, 카메라가 실제로 촬상하고 있는 범위가 넓은 상태, 소위 오버 프레이밍으로 하고 있다.

도 14에 나타낸 바와 같이, 본 실시예의 디지털 카메라(26)는 촬상 렌즈(27)와, 그 촬상 렌즈(27)가 피사체상을 결상시키는 촬상 소자(28)와, 상기 촬상 소자(28)가 출력하는 화상 신호를 처리하는 화상 처리 유닛(29)을 갖는다. 화상 처리 유닛(29)에는 모니터(30)가 접속되어 있다. 또한, 디지털 카메라(26) 전체의 동작을 제어하는 CPU(31)가 상기 화상 처리 유닛(29)에 접속되어 있다. CPU(31)에는, 제어 프로그램이 저장된 기록 매체인 ROM(32)과, 화상을 기록하는 기록 매체(33)가 접속되어 있다.

ROM(32)에는, 본 발명에 관한 구도 해석 방법을 실현하는 구도 해석 프로그램이 기록되어 있다.

상기 구성의 디지털 카메라(26)에 있어서, 유저가 촬영 준비로서 모니터(30)에 라이브 화상을 표시시키고 있는 상황 하에서, 본 구도 해석 프로그램의 기능이 액티브로 되어 있으면, 도 15의 플로우차트에 나타낸 처리가 실행된다.

도 15의 플로우차트는 ROM(32)으로부터 본 구도 해석 프로그램이 CPU(31)에 의해 읽어내어지고 실행되는 것이다. 또한, 도 15의 플로우차트는 많은 처리가 도 2의 플로우차트와 동일하다. 이 때문에, 이하, 차이가 있는 부분만 설명한다.

(14) 스텝 S10: 화상의 읽어들이기

디지털 카메라(26)에 있어서, 유저가 피사체상을 모니터(30)에 라이브 표시시키고 있는 경우, 촬상 소자(28)에 의해 읽어내어지고, 화상 처리 유닛(29)에서 처리된 화상 데이터는 리얼타임으로 CPU(31)에 공급된다.

(15) 스텝 S11~S15

스텝 S11 내지 스텝 S15의 처리는 도 2의 플로우차트의 스텝 S2 내지 스텝 S6과 동일하므로, 설명을 생략한다.

또한, 본 실시예에서는, 스텝 S15(스텝 S6과 동일)에서 획득되는 구도선으로 이루어진 구도를 제1 구도라고 호칭한다.

(16) 스텝 S16: 모니터로의 출력

다음으로, 스텝 S16에 있어서, 상기 생성된 제1 구도를 모니터 화상에 중첩하여 모니터(30)에 표시한다.

예를 들면, 도 16A에 나타낸 바와 같이 모니터(30)에 구도선이 중첩 표시되지 않은 라이브 화상이 표시되고 있는 상태에서, 본 구도 해석 기능이 액티브로 되 면, 도 16B에 나타낸 바와 같은 화상이 표시된다. 도 16B의 화상에서는, 획득된 구도선(도면에서는 파선으로 나타냄)이 라이브 화상에 중첩 표시된다. 이 화상은 리얼타임으로 갱신된다.

여기서, 카메라의 구도가 변화되고 화상의 구도 내에 황금비가 검출되면, 해당 부분을 검출하는 구도선의 색이 변화되고, 화면 상에서 자동적으로 로크온된다. 황금비의 검출 정밀도는, 상기 제1 실시예에서 설명한 바와 같이, 복수 단계 설정할 수 있지만, 본 실시예에서는 정밀도에 따라 구도선이 변화되는 색을 바꾸도록 하고 있다(예를 들면, 청색→녹색→핑크). 따라서, 색에 따라 어느 정도의 정밀도로 황금비가 검출되었는지를 판단할 수 있다. 이 모습을 도 16C에 나타낸다. 굵은 선이 색이 변화된 구도선을 나타낸다.

또한, 구도선의 대부분에 황금비의 관계가 보여지고, 구도로서 충분히 미적이라고 판단되는 경우에는, 도 16D에 나타낸 바와 같이, 그 취지를 나타내는 표시 「OK!」를 모니터(30)에 표시한다. 본 실시예에서는, 7할 이상의 구도선의 색이 변화된 경우에 상기 표시를 하고 있다.

이에 의해, 유저는 모니터(30) 상에 있어서 화상이 구도적으로 아름다운지의 여부를 용이하게 판단할 수 있다.

물론, 보다 상세하게 유저를 보다 바람직한 구도로 유도하도록 구성하여도 된다. 예를 들면, 피사체까지의 거리를 디지털 카메라(26)의 거리 측정 유닛(도시 생략)에 의해 알 수 있기 때문에, 피사체와 디지털 카메라(26)의 적절한 거리를 모니터 상에 표시하여, 화상이 보다 구도적으로 바람직해지도록 유도하여도 된다. 예를 들면, 「나중에 1m 근접한다」 또는 「나중에 30㎝ 우측으로 이동한다」와 같은 표시가 가능하다.

또한, 디지털 카메라(26)가 줌 렌즈를 구비한 줌 카메라인 경우는, 줌에 의해 프레이밍의 범위를 변화시켜 구도를 조정하여도 된다. 또는, 다른 렌즈를 사용함으로써 초점거리를 변화시키도록 유저에게 지시하여도 된다.

또한, 실제로 획득된 구도선과 함께, 황금비를 실현하는 목표 구도선을 동시에 표시하여, 양쪽 구도선이 일치하도록, 카메라의 파라미터(위치, 자세, 초점거리 등)를 변화시키는 것을 유저에게 재촉하여도 된다.

또한, 본 실시예에서는, 유저가 파인더에서 관찰하고 있는 범위보다도 카메라가 실제로 촬상하고 있는 범위가 넓은 상태, 소위 오버 프레이밍을 실시하고 있다. 실제로 촬상되는 범위는 유저의 관찰 범위보다 넓기 때문에, 다양한 구도 베리에이션을 유저에게 제공할 수 있다. 또한, 촬영 후에도, 풍부한 구도 베리에이션을 유저에게 제공할 수 있다.

본 실시예에 의하면, 용이하게 구도적으로 우수한 화상을 촬상할 수 있는 디지털 카메라를 얻을 수 있다.

[제3 실시예]

다음으로, 본 발명의 제3 실시예를 설명한다.

본 실시예에서는 상기 취득한 화상 데이터로부터 복수의 구도선을 획득하고, 상기 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석함으로써 트리밍 영역을 복수 결정한다(제1 트리밍 영역군). 그리고, 이와 같 이 하여 결정된 복수의 트리밍 영역을 연결하는 경로를 결정한다. 그 경로 상의 복수의 점에 있어서, 상기 구도선에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석함으로써 트리밍 영역을 결정한다(제2 트리밍 영역군). 이와 같이 결정된 제1 트리밍 영역군과 제2 트리밍 영역군을 상기 경로를 따라 차례로 표시함으로써, 마치 제1 트리밍 영역군의 각 트리밍 영역을 원활한 카메라 워크로 경로를 따라 차례로 촬영한 동화상과 같은 표시를 실현한다.

또한, 본 제3 실시예에서는 트리밍한 결과는 하이비전으로 재생되는 것을 전제로 하고 있으며, 트리밍 영역의 어스펙트비는 16:9(하이비전의 어스펙트비) 또는 9:16의 비율을 가진 종형 디스플레이를 전제로 한 비율로 일정하게 한다. 트리밍 영역의 화소 수는 특별히 제한하지 않지만, 하이비전의 모니터로 표시하여도 일정한 퀄리티가 얻어지는 화소 수를 갖는 것으로 한다. 입력 화상은 어스펙트비에는 제한이 없지만, 트리밍 영역을 복수 지정할 수 있을 만큼의 충분한 화소 수를 갖는 고정밀 화상으로 한다.

본 제3 실시예가 실현되는 환경은, 상기 제1 실시예의 도 1에서 나타낸 구성과 동일하므로, 그 설명은 생략한다.

컴퓨터 판독 가능한 기억 매체인 메모리(7)에는, 본 실시예에 관한 구도 해석 방법을 실현하는 구도 해석 프로그램이 기록되어 있다. 유저가 소정의 조작을 실행함으로써, CPU(6)는 메모리(7)로부터 구도 해석 프로그램을 읽어내어 실행한다.

이하, 상기 구도 해석 프로그램을 실행하는 CPU(6)의 동작을 도 17을 참조하 여 설명한다. 또한, 도 17의 플로우차트는 대부분의 처리가 도 2의 플로우차트와 동일하다. 이 때문에, 이하, 차이가 있는 부분만 설명한다.

(17) 스텝 S21: 화상의 읽어들이기

기본적으로, 도 2의 플로우차트의 스텝 S1과 동일하다. 단, 입력 화상의 화소 수가 컴퓨터의 처리 능력을 상회할 만큼 많은 경우에는, 화소 수를 감소하는 변환을 하는 것이 좋다.

이 화소 수를 감소하는 처리의 일례를 도 18A 및 도 18B를 참조하여 설명한다. 이들 도면에 있어서, 백색 부분은 화소 수를 감소한 변환 후의 입력 화상이다. 여기서, 입력 화상은 짧은 변의 화소 수가 540픽셀로 되도록 화소 수를 감소시킨다. 이 540픽셀의 값은, 풀 스펙 하이비전의 1920×1080의 화소 수의 4분의 1의 면적을 차지하는 화상(940×540)의 짧은 변으로부터 결정한 것이다.

백색으로 나타낸 입력 화상(화소 수를 감소시킨 것)의 상하, 또는 좌우에 검은 띠 부분이 부가되어, 처리 화상 전체의 어스펙트비(a:b)는 하이비전의 어스펙트비(16:9)와 동일하게 조정시킨다. 이에 의해, 처리의 표준화가 실현된다.

또한, 트리밍 처리를 할 때에, 검은 띠 부분을 제외하기 위해, 화상의 검은 띠 부분을 추가하기 전에 픽셀 수를 확인하고, 도 19에 나타낸 바와 같이, 변환 후의 화상의 어느 영역에 입력 화상(화소 수를 감소시킨 것)이 존재하는지의 좌표값을 스택한다.

(18) 스텝 S22: 화상의 그레이 스케일화

기본적으로, 도 2의 플로우차트의 스텝 S2와 동일하다. 단, 그레이 스케일 화의 전처리를 설정하여 화상 변환을 개선하여도 된다. 본 제3 실시예에서는, 전처리로서 화상을 27치화하고 있다.

27치화는, 입력 화상의 RGB 각 색의 휘도를 3단계로 구분하여 3×3×3=27의 합계 27종류로 분류하는 것이다. 3단계의 분류의 경계값은 입력 화상의 종류에 따라 결정된다. 예를 들면, 각 색의 휘도를 0~1의 스케일로 표현하면, 입력 화상이 황색계의 배경을 특징으로 하는 일본화인 경우에는, R이 0.6과 0.3, G가 0.8과 0.3, B가 0.5와 0.2를 경계값으로 하고 있다.

이 27치화에 의해, 입력 화상의 종류에 따른 색채의 가중치 부여가 실현된다. 예를 들면, 목시로는 일견 거의 균일하게 보이는 색, 특히 회화의 구도에 대하여 기여하지 않는 배경색이 많은 단계로 분류되는 것이 방지된다.

(19) 스텝 S23: 사이즈 변경

기본적으로, 도 2의 플로우차트의 스텝 S3과 동일하므로, 설명을 생략한다.

(20) 스텝 S24: 2치화

기본적으로, 도 2의 플로우차트의 스텝 S4와 동일하므로, 설명을 생략한다.

(21) 스텝 S25: 화상 상의 티끌의 제거와 보간

기본적으로, 도 2의 플로우차트의 스텝 S5와 동일하다. 단, 본 제3 실시예에서는, 도 20에 나타낸 바와 같은 템플릿을 이용하여 보다 상세하게 티끌을 제거한다. 또한, 도 20에서는, 내측에 흑색 부분을 갖고, 주변에 백색 부분을 갖는 템플릿만이 기재되어 있지만, 흑색과 백색을 교체한 템플릿도 마찬가지로 준비된다. 이 각 템플릿을 2치화 후의 화상에 적용시켜 가고, 매칭된 경우에는, 그 템플릿의 내측의 화소에 대해서 흑색과 백색을 반전시킨다.

이 경우, 템플릿의 수가 방대해지는 것을 방지하기 위해, 입력 화상의 화소 수를 조정하고 나서 티끌의 제거를 하고 있다. 본 제3 실시예에서는 32×18 픽셀, 64×36 픽셀, 128×72 픽셀, 256×144 픽셀의 4종류의 해상도가 준비되어 있다. 32×18 픽셀의 경우는, 제1 실시예와 마찬가지로 1픽셀 단위로 티끌을 제거한다. 다른 해상도의 경우는, 1픽셀 단위로 티끌을 제거하는 동시에, 1픽셀 이상의 임의의 픽셀 수의 티끌의 제거를 행한다. 예를 들면, 3픽셀까지의 티끌의 제거에서는, 도 20의 템플릿을 적용한다.

(22) 스텝 S26: 구도 계산과 추출

본 제3 실시예에서는, 세로와 가로의 구도선 추출은, 처리 시간의 단축을 위해, 이하의 방법을 실시하고 있다. 경사의 구도선에 대해서는, 상기 제1 실시예와 마찬가지로 템플릿을 사용한다.

가로의 구도선에 대해서는, 이하의 순서로 구도선을 획득한다.

1. 화상 내의 각 행에 대해서 3개 또는 그 이상의 흑색 화소가 가로로 연속되어 있는 화소 열을 추출한다.

2. 상기 화소 열의 수를 각 행마다 집계한다.

3. 상기 화소 열의 수가 소정 이상(예를 들면, 3 이상)인 경우에, 가로의 구도선을 획득한다.

세로의 구도선도 마찬가지로 하여, 이하의 순서로 획득한다.

1. 화상 내의 각 열에 대해서 3개 또는 그 이상의 흑색 화소가 세로로 연속 되어 있는 화소 열을 추출한다.

2. 상기 화소 열의 수를 각 열마다 집계한다.

3. 상기 화소 열의 수가 소정 이상(예를 들면, 3 이상)인 경우에, 세로의 구도선을 획득한다.

상기 소정 수를 변경함으로써, 구도선 획득의 감도를 조정할 수 있다.

도 21A 내지 도 21D는 이 조작의 모습을 모식적으로 설명하는 도면이다. 도 21A 및 도 21B에서는, 3개의 흑색 화소가 가로로 연속되어 있는 화소 열의 하나가 1개의 흑색 사각으로 표시된다. 흑색 사각이 우변에 치우쳐 있는 것은, 화소 열의 수를 각 행마다 집계함에 있어서, 모든 흑색 사각을 우측으로 치우치게 하여 흑색 사각으로 막대 그래프를 생성하고, 이 막대 그래프의 길이에 의해 각 행마다의 화소 열의 수의 집계 결과를 판단하고 있기 때문이다.

도 21A에서는 가장 우측의 열을 참조하고 있다. 이 참조에 있어서, 흑색 사각이 존재하는 행은 3개의 흑색 화소가 가로로 연속되어 있는 화소 열이 적어도 1개 존재하는 행이다. 또한, 도 21B에서는 우측으로부터 2번째의 열을 참조하고 있다. 이 참조에 있어서, 흑색 사각이 존재하는 행은 3개의 흑색 화소가 가로로 연속되어 있는 화소 열이 적어도 2개 존재하는 행이다. 도 21B에서는 상기 2개의 화소 열은 연속되어 있는 경우도 있고, 분리되어 있는 경우도 있다.

도 21C 및 도 21D에서는, 3개의 흑색 화소가 세로로 연속되어 있는 화소 열의 하나가 1개의 흑색 사각으로 표시된다. 흑색 사각이 저변에 치우쳐 있는 것은, 화소 열의 수를 각 열마다 집계함에 있어서, 모든 흑색 사각을 저변으로 치우치게 하여 흑색 사각으로 막대 그래프를 생성하고, 이 막대 그래프의 길이에 의해 각 열마다의 화소 열의 수의 집계 결과를 판단하고 있기 때문이다.

도 21C에서는 가장 아래의 열을 참조하고 있다. 이 참조에 있어서, 흑색 사각이 존재하는 열은 3개의 흑색 화소가 세로로 연속되어 있는 화소 열이 적어도 1개 존재하는 열이다. 또한, 도 21D에서는 아래로부터 2번째의 열을 참조하고 있다. 이 참조에 있어서, 흑색 사각이 존재하는 열은 3개의 흑색 화소가 세로로 연속되어 있는 화소 열이 적어도 2개 존재하는 열이다. 도 21D에서는 상기 2개의 화소 열은 연속되어 있는 경우도 있고, 분리되어 있는 경우도 있다.

(23) 스텝 S27: 입력 화상의 해상도에 구도를 맞춘다.

선행 스텝에서 처리 속도 향상을 위해 입력 화상의 화소 수를 감소시키고 있다. 본 스텝에서는 구도 데이터의 정밀도를 입력 화상에 맞춘다.

여기서, 좌표 위치는 단순히 상수 배로 하는 것이 아니라, 데이터 확대에 수반한 부정합을 조정한다. 예를 들면, 도 22A에 나타낸 바와 같은 축척된 화소 열을 10배로 한 경우, 단순히 상수 배로 하면, 도 22B에 나타낸 바와 같이, 확대된 화소 열의 10화소 구분의 선두 화소가 흑색으로 된다. 그러나, 본 제3 실시예에서는, 도 22C에 나타낸 바와 같이, 10화소 구분의 중앙 부근의 화소를 흑색으로 하고 있다.

(24) 스텝 S28: 교점 좌표의 스택

도 23에 나타낸 바와 같이, 획득한 구도선의 각 교점 좌표를 스택한다.

(25) 스텝 S29: 취출 중심점의 지정

유저는, 입력 화상 내에 있어서, 트리밍 영역에 포함시키고 싶은 점을 지정한다. 예를 들면, 인물의 얼굴을 트리밍 영역에 포함시키고 싶은 경우에는, 상기 얼굴 내의 1점을 지정한다. 이 지정은, 예를 들면 디스플레이(5) 상에 입력 화상을 표시시키고, 그 중의 1점을 유저가 마우스로 포인트하여 클릭 동작을 함으로써 행한다. 여기서, 중심점은 유저의 관심 영역의 중심이라는 의미이며, 트리밍 영역의 중심이라는 의미는 아니다. 따라서, 중심점이 반드시 최종적인 트리밍 영역의 중심과 일치하지는 않는다.

물론, 트리밍 영역에 포함시키고 싶은 점을 복수 지정할 수 있게 구성하여도 된다. 또한, 유저가 중심점을 지정하는 것이 아니라, 시스템이 자동적으로 입력 화상 내의 특징점을 검출하여 지정하도록 구성하여도 된다.

(26) 스텝 S30: 지정점에 대한 트리밍 영역을 연산

이 스텝은, 상기 지정한 점에 대하여, 황금비를 고려한 최량의 트리밍 영역을 산출하는 스텝이다. 도 24를 참조하여 본 처리 스텝을 설명한다.

(27) 서브 스텝 S30A: 지정점으로부터 방사선 형상으로 복수의 사선을 그린다.

우선, 상기 지정점을 중심으로 하여 몇 개의 사선을 연산한다. 도 25A 및 도 25B는, 지정점 P로부터 사선으로서 황금비 사선(34)과 16:9 사선(35)을 연산하여 그린 모습을 나타낸다. 도 25A는 기울기가 작은 경우, 도 25B는 기울기가 큰 경우이다. 그 이외에도, 예를 들면 백은비 사선 등을 연산하여 그려도 된다. 예를 들면, 황금비 사선의 경우는, 사선의 저변과 높이가 황금비의 관계성을 유지하 고 있다.

(28) 서브 스텝 S30B: 제1 트리밍 포인트 결정

상기 서브 스텝 S30A에서 그린 사선을 이용하여 제1 트리밍 포인트를 지정한다. 본 실시예에서는 황금비 사선(34)을 주로 이용하여 제1 트리밍 포인트를 결정한다.

제1 트리밍 포인트는 다음의 우선 순위로 결정된다.

1. 황금비 사선(34)과 종횡의 구도선의 교점이 교차된다.

2. 황금비 사선(34)이 종횡의 구도선의 교점으로부터 25픽셀 이내를 통과한다.

3. 기울기가 작은 경우에, 황금비 사선(34)과 16:9 사선(35) 사이에 종횡의 구도선의 교점이 위치한다.

4. 기울기가 큰 경우에, 황금비 사선(34)과 16:9 사선(35) 사이에 종횡의 구도선의 교점이 위치한다.

도 26A는 상기 조건 1에 합치하는 경우, 도 26B는 상기 조건 2에 합치하는 경우, 도 26C는 상기 조건 3에 합치하는 경우를 각각 도시하고 있다. 각각 제1 트리밍 포인트 Q가 결정된다.

또한, 제1 트리밍 포인트 Q를 결정할 수 없는 경우는, 그 취지를 유저에게 표시하여 지정점 P를 다시 입력하도록 재촉한다.

(29) 서브 스텝 S30C: 제2 트리밍 포인트 결정

다음으로, 제2 트리밍 포인트를 결정한다.

절취하는 영역은 16:9의 어스펙트비를 갖는다고 결정되어 있기 때문에, 제1 및 제2 트리밍 포인트가 결정되면, 영역이 일의적으로 결정된다.

제2 트리밍 포인트는 종횡 구도선의 다른 교점에 결정하거나, 사선과 구도선의 교점에 결정할 수 있다.

도 27A 내지 도 27D에 제2 트리밍 포인트 R을 결정하는 예를 나타낸다.

도 27A는 제1 트리밍 포인트 Q와 동일한 세로의 구도선 상에 있는 종횡의 구도선의 다른 교점을 제2 트리밍 포인트 R로 하는 예이다.

도 27B는 제1 트리밍 포인트 Q에 따른 사선과 지정점 P에 대하여 좌우대칭인 사선이, 제1 트리밍 포인트 Q에 따른 가로의 구도선과 교차하는 점을 제2 트리밍 포인트 R로 하는 예이다.

도 27C는 제1 트리밍 포인트 Q와 동일한 가로의 구도선 상에 있는 종횡의 구도선의 다른 교점을 제2 트리밍 포인트 R로 하는 예이다.

도 27D는 16:9의 어스펙트비를 갖는 영역을 화상의 하단까지 확보한 예이다.

본 실시예에서는 종횡 구도선의 다른 교점의 우선도를 높게 하여 결정하고 있다.

(30) 서브 스텝 S30D: 트리밍 영역 결정

상기한 바와 같이 하여 제1 트리밍 포인트 Q와 제2 트리밍 포인트 R이 결정되면, 제1 트리밍 포인트 Q와 제2 트리밍 포인트 R을 정점에 갖고, 지정점 P를 내부에 포함하는 어스펙트비 16:9(가로:세로)의 영역(36)이 일의적으로 결정된다.

따라서, 다음으로, 이 영역(36)을 황금비를 이용하여 확장하여 트리밍 영역 을 결정한다.

예를 들면, 제1 트리밍 포인트 Q와 제2 트리밍 포인트 R로부터 도 28A에 나타낸 바와 같은 영역(36)이 결정되었다고 한다. 본 서브 스텝에서는, 이 영역(36)의 변의 길이(α)에 대하여 황금비율의 관계가 생성되는 β(α>β)를 계산하고, 도 28B에 나타낸 바와 같이 변의 길이(α+β)를 갖는 영역을 트리밍 영역(37)으로서 결정한다.

이 트리밍 영역(37)과 원래의 영역(36)의 위치 관계는, 도 29A 내지 도 29E에 나타낸 바와 같이, 다양한 패턴을 생각할 수 있다. 본 실시예에서는 구도선이 화면의 끝에 위치하지 않는 점을 평가하여, 도 29E에 나타낸 바와 같은, 원래의 영역(36)과 트리밍 영역(37)의 중심이 일치하는 위치 관계를 채용하고 있다.

또한, 이에 의해 트리밍 영역(37)이 원래의 화상 영역을 초과하게 되는 경우에는, 영역의 확장은 행하지 않도록 하고 있다. 그러나, 이것에 한정되지 않고, 트리밍 영역이 원래의 화상 영역을 초과하게 되는 경우에 트리밍 영역을 어긋나게 하여 대응하는 것도 가능하다. 이것은 트리밍 영역이 입력 화상 데이터 영역으로부터 비어져 나오거나, 도 19의 검은 띠 부분에 들어가 있는 경우에 해당한다.

(31) 서브 스텝 S30E: 트리밍

상기 서브 스텝 S30D에 의해 결정한 트리밍 영역(37)을 트리밍한다.

(32) 스텝 S31: 지정 완료인지를 판단

상기 서브 스텝 S30A 내지 S30E에서 1개의 영역의 트리밍이 완료된다. 여기서, 다음 지정점이 있는지를 판단하여, 있는 경우에는, 상기 스텝 S29로 되돌아가 상기 처리(취출 중심점의 지정으로부터 트리밍 영역 결정까지)를 반복한다. 이와 같이, 화상 내에서 복수의 지정점 P가 지정되고, 각 지정점 P에 따라 트리밍 영역이 결정된다.

(33) 스텝 S32: 동화상 처리

도 30A 내지 도 30D를 참조하여 이 동화상 처리의 개요를 설명한다.

도 30A는 본 스텝 S32 이전의 처리이며, 전술한 바와 같이, 지정점 P가 복수 설정되는 것을 나타낸다.

도 30B는 본 스텝 S32 이전의 처리이며, 전술한 바와 같이, 각 지정점 P에 있어서 트리밍 영역(37)이 결정되는 것을 나타낸다.

이하는, 본 스텝 S32의 처리이다.

도 30C에 나타낸 바와 같이, 각 지정점 P에서의 황금비 사선(34)(서브 스텝 S30A에서 구한 것과 동일)을 연장하고, 그들의 교점(도면에서는 검은 삼각으로 나타냄)을 구한다.

다음으로, 도 30D에 나타낸 바와 같이, 상기 교점을 중간점으로 하고, 각 지정점 P를 연결하는 곡선을 연산한다. 예를 들면, 베제 곡선(38)을 연산한다. 이 베제 곡선(38)을 따라 각 트리밍 영역(37)을 연속적으로 표시한다. 이에 의해, 카메라를 절환하지 않고 각 트리밍 영역(37)을 차례로 찍어 가는 화상을 얻는다. 또한, 트리밍 영역(37)의 중간에서는, 화상의 사이즈를 자연스럽게 변화시킨다. 본 실시예에서는 화상 사이즈 변화의 변화율은 2차함수를 채용하고, 변화의 처음과 끝에서 변화율을 작게 하고 있다. 이에 의해, 매끄러운 사이즈 변화의 표현을 실현 하고 있다. 곡선의 연산에 대해서, 예로서 베쥬 곡선을 들고 있지만, 스플라인 곡선이나, 황금비를 상수로 하는 곡선 함수, 피보나치 수열에 의해 생성되는 곡선미를 이용한 곡선 등을 이용하는 것도 가능하다.

이와 같이, 동화상 처리는 상기 복수의 트리밍 영역(37)을 연결하는 경로를 설정하여, 마치 1개의 트리밍 영역(37)의 화상으로부터 다른 트리밍 영역(37)의 화상까지, 상기 경로를 따라 카메라로 연속 촬영한 것처럼 화상을 표시한다.

이상 실시예에 기초하여 본 발명을 설명했지만, 본 발명은 전술한 실시예에 한정되는 것이 아니라, 본 발명의 요지의 범위 내에서 다양한 변형이나 응용이 가능한 것은 물론이다.

Claims (14)

1. 화상 데이터를 취득하는 스텝(S1;S10;S21)과,

   상기 취득한 화상 데이터를 해석하여, 상기 화상 데이터의 구도상 특징을 나타내는 복수의 선분을 획득하는 스텝(S6;S15;S26)과,

   상기 획득한 복수의 선분으로 형성되는 구도상에서, 상기 복수의 선분에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비를 해석하는 스텝(S7;S15;S26)

   을 구비하는 것을 특징으로 하는 화상의 구도 해석 방법.
2. 제 1 항에 있어서,

   상기 소정의 값은, 황금비 또는 피보나치 수열의 인접하는 2개의 수의 비율의 값인 것을 특징으로 하는 구도 해석 방법.
3. 제 1 항에 있어서,

   상기 2변의 길이의 해석 결과에 기초하여, 상기 복수의 선분으로부터 선택된 적어도 1개의 선분 위치를 상기 구도상에서 이동시키는 스텝(S7;S15;S26)을 더 포함하는 것을 특징으로 하는 구도 해석 방법.
4. 제 1 항에 있어서,

   상기 복수의 선분에 의해 구획된 영역에 화상을 붙이는 스텝(S9)을 더 포함하는 것을 특징으로 하는 구도 해석 방법.
5. 제 1 항에 있어서,

   상기 붙인 화상을 순차적으로 변경하는 스텝(S9)을 더 포함하는 것을 특징으로 하는 구도 해석 방법.
6. 제 1 항에 있어서,

   상기 2변의 길이의 해석 결과에 기초하여, 상기 취득한 화상으로부터 소정의 부분 화상을 트리밍하는 스텝(S30)을 더 포함하는 것을 특징으로 하는 구도 해석 방법.
7. 제 6 항에 있어서,

   상기 트리밍되는 부분 화상은, 종횡비가 16:9 또는 9:16인 사각형을 이루고 있는 것을 특징으로 하는 구도 해석 방법.
8. 제 6 항의 방법에 의해 복수의 부분 화상을 트리밍하는 스텝(S30)과,

   상기 트리밍한 복수의 부분 화상을 연결하는 경로를 설정하는 스텝(S32)과,

   상기 경로 상에서, 제 6 항의 방법에 의해 복수의 부분 화상을 더 트리밍하는 스텝(S30)을 더 포함하고,

   상기 트리밍한 부분 화상은, 상기 경로의 순서에 따라 순차적으로 표시되는 것을 특징으로 하는 구도 해석 방법.
9. 제 1 항의 구도 해석 방법을 실행하는 기능을 갖는 것을 특징으로 하는 화상 장치.
10. 제 9 항에 있어서,

    상기 화상 장치는 디지털 카메라인 것을 특징으로 하는 화상 장치.
11. 촬상 렌즈(27)를 통과한 광이 결상되는 촬상 소자(28)와,

    상기 촬상 소자가 취득한 화상 데이터를 해석하여, 상기 화상 데이터의 구도상 특징을 나타내는 복수의 선분을 획득하는 CPU(31)와,

    상기 CPU가 획득한 복수의 선분을, 상기 촬상 소자가 취득한 화상에 중첩하여 표시하는 모니터(30)를 구비하고,

    상기 복수의 선분에 의해 구획된 영역의 복수의 변으로부터 선택된 2변의 길이의 비가 소정의 값인 것을 고지하는 기능을 갖는 것을 특징으로 하는 디지털 카메라.
12. 제 1 항의 구도 해석 방법을 컴퓨터에 실행시키는 것을 특징으로 하는 구도 해석 프로그램.
13. 제 12 항의 구도 해석 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
14. 제 12 항에 있어서,

    컴퓨터에, 또한

    구도 해석 결과를 이용하여, 취득한 화상으로부터 소정의 경로를 따라 복수의 부분을 순차적으로 트리밍시키고(S30), 그 트리밍한 복수의 부분으로부터 동화상을 생성시키는(S32) 것을 특징으로 하는 구도 해석 프로그램.

Images