KR102133533B1 - 촬상 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 촬상 장치. - Google Patents

Abstract

일 실시 예에 따르면, 제1 분광 방사 특성을 가진 제1 조명광과 제2 분광 방사 특성을 가진 제2 조명광을 각각 투광하는 복수의 투광 광원; 상기 투광 광원을 이용하여 피사체를 촬상하는 촬상 소자; 상기 제1 조명광에 대응되는 제1 참조 출력 비율 및 상기 제2 조명광에 대응되는 제2 참조 출력 비율을 저장하는 저장부; 및 상기 제1 조명광을 이용하여 상기 피사체를 촬상한 제1 촬상 화상, 상기 제2 조명광을 이용하여 피사체를 촬상한 제2 촬상 화상, 제1 참조 출력 비율 및 제2 참조 출력 비율을 이용하여, 상기 복수의 투광 광원의 정반사 영역을 결정하는 판단부를 구비하는, 촬상 장치를 개시한다.

Description

촬상 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 촬상 장치. {Method of photographing digital image, Computer readable storage medium of recording the method and a digital photographing apparatus}

본 발명은 촬상 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 촬상 장치에 관한 것이다.

촬상 장치를 이용하여 사진을 찍을 경우, 주위가 어두울 때에는 촬영 보조 조명의 투광을 이용하여 촬상하는 경우가 있다. 이 때 피사체의 상황에 따라서는 보조 조명에 의한 정반사가 사진에 같이 찍혀 부자연스러운 화상이 생성되는 경우가 있다.

일 실시 예에 따른 촬상 방법은 분광 방사 특성이 다른 복수의 조명광을 각각 이용하여 복수의 화상을 촬상하고, 복수의 화상과 미리 저장되어 있는 참조 출력 비율에 근거하여 보다 간편하게 복수의 조명광의 정반사 영역을 결정할 수 있는 촬상 방법을 제공한다.

일 실시 예에 따른 촬상 장치는 제1 분광 방사 특성을 가진 제1 조명광과 제2 분광 방사 특성을 가진 제2 조명광을 각각 투광하는 복수의 투광 광원; 상기 투광 광원을 이용하여 피사체를 촬상하는 촬상 소자; 상기 제1 조명광에 대응되는 제1 참조 출력 비율 및 상기 제2 조명광에 대응되는 제2 참조 출력 비율을 저장하는 저장부; 및 상기 제1 조명광을 이용하여 상기 피사체를 촬상한 제1 촬상 화상, 상기 제2 조명광을 이용하여 피사체를 촬상한 제2 촬상 화상, 제1 참조 출력 비율 및 제2 참조 출력 비율을 이용하여, 상기 복수의 투광 광원의 정반사 영역을 결정하는 판단부를 구비할 수 있다.

일 실시 예에 따른 상기 제1 참조 출력 비율은 상기 제1 조명광을 이용하여 촬상 하였을 때 상기 촬상 소자에서 출력되는 화소 간의 출력 비율이고, 상기 제2 참조 출력 비율은 상기 제2 조명광을 이용하여 촬상 하였을 때 상기 촬상 소자에서 출력되는 화소 간의 출력 비율일 수 있다.

일 실시 예에 따른 상기 판단부는, 상기 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하고, 상기 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하여, 상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 복수의 투광 광원의 정반사 영역으로 결정할 수 있다.

일 실시 예에 따른 상기 제1 조명광의 투사각과 상기 제2 조명각의 투사각은 동일할 수 있다.

일 실시 예에 따른 촬상 장치는 상기 정반사 영역에 포함되는 화소에 대하여 보간 처리를 하는 보간 처리부를 더 구비할 수 있다.

일 실시 예에 따른 상기 보간 처리부는 상기 정반사 영역의 인접 화소, 상기 정반사 영역을 포함하는 촬상 화상의 전후에 촬상된 촬상 화상 또는 상기 복수의 투광 광원의 강도 변조의 정도에 기초하여, 상기 정반사 영역에 포함되는 화소를 보간할 수 있다.

일 실시 예에 따른 상기 보간 처리부는 상기 정반사 영역이 미리 결정된 임계 값 이상의 크기의 영역인 경우, 사용자에게 상기 정반사 영역에 포함된 화소에 대한 보간 방법을 선택하기 위한 정보를 출력할 수 있다.

일 실시 예에 따른 상기 보간 처리부는 상기 정반사 영역이 미리 결정된 임계 값 이상의 크기의 영역인 경우, 사용자에게 촬상 오류를 알리는 정보를 출력할 수 있다.

일 실시 예에 따른 상기 복수의 투광 광원 중 적어도 하나는 상기 촬상 장치에 착탈 가능하게 설치될 수 있다.

일 실시 예에 따른 촬상 방법은 제1 분광 방사 특성을 가진 제1 조명광을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득하는 단계; 제2 분광 방사 특성을 가진 제2 조명광을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득하는 단계; 제1 조명광에 대응되는 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하는 단계; 제2 조명광에 대응되는 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하는 단계; 및 상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 제1 조명광과 상기 제2 조명광을 포함하는 투광 광원의 정반사 영역으로 결정하는 단계; 를 포함하는 촬상 방법을 제공한다.

일 실시 예에 따른 촬상 방법은 상기 결정된 정반사 영역에 포함되는 화소에 대하여 보간 처리 하는 단계; 를 더 포함하는 촬상 방법을 제공한다.

일 실시 예에 따른 프로세서에 의해 도출되어 실행되었을 때, 촬상 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 촬상 방법은, 제1 분광 방사 특성을 가진 제1 조명광을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득하는 단계; 제2 분광 방사 특성을 가진 제2 조명광을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득하는 단계;

제1 조명광에 대응되는 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하는 단계; 제2 조명광에 대응되는 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하는 단계; 및 상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 제1 조명광과 상기 제2 조명광을 포함하는 투광 광원의 정반사 영역으로 결정하는 단계; 를 포함하는, 컴퓨터 판독가능 저장매체를 제공한다.

일 실시 예에 따른 프로세서에 의해 도출되어 실행되었을 때, 촬상 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 촬상 방법은, 상기 결정된 정반사 영역에 포함되는 화소에 대하여 보간 처리 하는 단계; 를 더 포함하는 컴퓨터 판독가능 저장매체를 제공한다.

도1 은 일반적인 물질의 반사 특성에 대하여 설명하기 위한 개념도이다.
도2 는 일반적인 촬상 장치에서 조명광에 의한 정반사의 영향을 설명하기 위한 개념도이다.
도3은 일 실시 예에 따른 촬상 장치에서 복수의 조명광에 의한 정반사의 영향을 설명하기 위한 개념도이다.
도4 는 일 실시 예에 따른 촬상 장치에서 복수의 조명광의 정반사 영역을 결정하는 일 예를 도시한 개념도이다.
도5 는 일 실시 예에 따른 촬상 장치의 블록도이다.
도6는 일 실시 예에 따른 촬상 장치의 화상 처리부의 블록도이다.
도7은 일 실시 예에 따른 촬상 장치에 탑재된 복수의 조명 광의 다양한 예를 도시한 도면이다.
도8 은 일 실시 예에 따른 촬상 방법의 흐름도이다.

본 발명은 다양한 변형을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 다양한 실시 예들은 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도1 은 일반적인 물질의 반사 특성에 대하여 설명하기 위한 개념도이다.

물질은, 어느 파장의 광이 조사된 경우에 어떠한 파장의 광을 반사하는지의 특성을 나타낸 고유의 분광 반사 특성을 가지고 있다.

도1에서 도시한 바와 같이, 태양광 등 분위기광의 광)에서 사출된 광이 피사체 등의 물질(10)에 조사된 경우, 조사광이 물질 내부에 침입하여 확산/반사가 발생하고 고유의 분광 방사 특성에 기초하여 분위기광의 스펙트럼과의 관계에 의한 반사 스펙트럼(20) 을 방사한다. 이 때 광원과 물질의 배치 상태가 표면계에서의 반사인 정반사 조건을 만족한 경우, 광원의 스펙트럼을 그대로 유지한 채 광원으로부터의 광(30)을 반사한다.

도2 는 일반적인 촬상 장치에서 조명광에 의한 정반사의 영향을 설명하기 위한 개념도이다.

도2 에서 도시한 바와 같이 카메라 등의 촬상 장치(100)를 이용하여 피사체를 촬상할 때, 플래시광을 조사할 수 있는 투광 장치가 이용되는 경우가 있다.

카메라는 피사체인 물질에서 반사된 분위기광을 촬상하게 되는데, 플래시광(110a)은 분위기광과는 다른 위치에서 조사되기 때문에, 도2 에서 도시한 바와 같이 피사체 상태에 따라서는 분위기광 뿐 아니라 플래시광의 정반사도 카메라에 의해 촬상되는 경우가 많다. 플래시광의 정반사가 촬상된 경우, 플래시광이 정반사되는 부분에서는 플래시광의 정반사가 분위기광의 반사광에 중첩되어 분위기광의 반사광에 관한 정보를 삭제한다. 그 결과, 유리 너머로 피사체를 촬상했을 때에 플래시광의 정반사에 대응하는 부분이 희어지는 등 부자연스러운 화상이 생성된다.

또 일반적인 플래시 촬영은 분위기광의 조도가 낮을 때 이루어지는 경우가 많고, 이러한 상황하에서는 분위기광의 정반사 위치가 불분명한 경우가 많다. 이 때에도 투광된 플래시광의 정반사가 촬상되어 부자연스러운 화상이 생성되는 경우가 있다.

플래시광의 정반사에 따른 부자연스러운 화상이 생성된 경우, 촬상 화상중에 포함되는 플래시광의 정반사 영역을 보정하여 플래시광의 정반사에 관한 정보를 제거하는 것이 바람직하다. 그러기 위해서는 촬상 화상중 어느 부분이 플래시광의 정반사 영역인지를 정확하게 특정하는 것이 중요하다.

도3은 일 실시 예에 따른 촬상 장치에서 복수의 조명광에 의한 정반사의 영향을 설명하기 위한 개념도이다.

일 실시 예에 따른 촬상 장치는 분광 방사 특성이 서로 다른 복수의 조사광을 액티브하게 조사할 수 있는 복수의 광원을 이용할 수 있다.

분광 방사 특성은, 물질이 방사하는 광의 특성을 나타내는 것으로서, 예를 들면, 방사되는 광의 파장이나 밝기(조도) 등을 들 수 있다. 또한, 조사광을 액티브하게 조사한다는 것은, 분위기광에 존재하지 않는(촬상 시야에 존재하지 않는) 가공한 광이나 인공적인 광을 촬영 보조를 위해 능동적으로 조사하는 것을 의미한다.

도3 에서 도시한 바와 같이, 촬상 장치(100) 가 제1 분광 방사 특성을 가진 제1 조명광(110a) 과 제2 분광 방사 특성을 가진 제2 조명광(110b)을 이용할 수 있다.

예를 들면, 제1 분광 방사 특성을 가진 제1 조명광(110a)을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득하고, 제2 분광 방사 특성을 가진 제2 조명광(110b)을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득할 수 있다. 이 경우, 제1 촬상 화상에는 분위기 광의 반사광과 함께 제1 조명광(110a)의 정반사 영역이 포함되어 있을 수 있다. 또한, 제2 촬상 화상에는 분위기 광의 반사광과 함께 제2 조명광(110b)의 정반사 영역이 포함되어 있을 수 있다.

또한, 일 실시 예에 따른 촬상 장치에서 각각의 조명광을 이용하여 촬상했을 때에 촬상 소자에서 출력되는 화소간의 출력 비율이 참조 출력 비율로써 저장될 수 있다. 예를 들면, 참조 출력 비율은 베이어 배열을 가지고 있는 촬상 소자에서 출력되는 R화소, G화소, B화소간의 출력 비율일 수 있다.

일 실시 예에 따르면, 제1 조명광(110a)에 대응되는 제1 참조 출력 비율 및 상기 제2 조명광(110b)에 대응되는 제2 참조 출력 비율이 저장부에 미리 저장되어 있을 수 있다. 이 경우, 제1 참조 출력 비율은 제1 조명광(110a)을 이용하여 촬상 하였을 때 촬상 소자에서 출력되는 화소 간의 출력 비율이고, 제2 참조 출력 비율은 제2 조명광(110b)을 이용하여 촬상 하였을 때 촬상 소자에서 출력되는 화소 간의 출력 비율일 수 있다.

도4 는 일 실시 예에 따른 촬상 장치에서 복수의 조명광의 정반사 영역을 결정하는 일 예를 도시한 개념도이다.

도4 에서 도시한 바와 같이, 제1 조명광을 이용하여 피사체를 촬상한 제1 촬상 화상(200a) 에서, 제1 참조 출력 비율을 이용하여 제1 정반사 후보 영역(210a)을 추출할 수 있다. 또한, 제2 조명광을 이용하여 피사체를 촬상한 제2 촬상 화상(200b) 에서, 제2 참조 출력 비율을 이용하여 제2 정반사 후보 영역(210b)을 추출할 수 있다. 이 경우, 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 복수의 투광 광원의 정반사 영역으로 결정할 수 있다.

일 실시 예에 따른, 제1 조명광과 제2 조명광은 서로 분광 방사 특성이 다르면 되고, 그 외의 다른 요건에 대하여 한정되지는 않는다.

일 실시 예에 따른 분광 방사 특성으로 파장이 포함될 수 있다. 예를 들면, 제1 조명광으로 일반적인 플래시광을 이용할 경우, 제1 조명광은 크세논(Xe) 광원을 이용한 백색광이 이용될 수 있다.

이 경우, 제2 조명광은 발광 파장이 크세논의 주된 발광 파장 이외의 파장을 가진 광원일 수 있다. 예를 들면, 오토 포커스(AF)용으로 촬상 장치에 미리 설치되어 있는 광원이나 적목 보정용으로 미리 설치되어 있는 광원 등 촬상 장치에 미리 설치되어 있는 플래시광용도 이외의 광원을 본 발명에서의 광원으로서 이용해도 좋다. 또 플래시광 이외에 설치된 2개의 발광소자(LED) 등을 본 발명에서의 광원으로서 이용해도 좋다.

도5 는 일 실시 예에 따른 촬상 장치의 블록도이다.

도5 에서 도시한 바와 같이, 일 실시 예에 따른 촬상 장치(100)는 CPU(101), ROM(103), RAM(105), 광학계 구동부(107), 촬상 광학계(109), 촬상 소자(111), 화상 처리부(113), 투광 광원(115), 표시 제어부(117), 표시부(119), 조작 인터페이스(I/F)(121), 조작부(123), 기록 미디어 인터페이스(I/F)(125) 및 기록 미디어(127)을 구비할 수 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

촬상 장치(100)는, 디지털 카메라, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등으로 조명광을 이용하여 피사체를 촬상할 수 있는 모든 장치를 포함할 수 있다.

일 실시 예에 따른 CPU(Central Processing Unit)(101)는 연산 처리 장치 및 제어 장치로서 기능하고 ROM(103)이나 RAM(105) 등에 기록된 각종 프로그램에 따라 촬상 장치(100)내의 동작 전반 또는 그 일부를 제어한다. ROM(Read Only Memory)(103)은 CPU(101)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(Random Access Memory)(105)은 CPU(101)가 사용하는 프로그램이나 프로그램의 실행에 대해 적절히 변화되는 파라미터 등을 일차 기억한다. 이것들은 CPU 버스 등의 내부 버스에 의해 구성되는 버스에 의해 서로 접속되어 있다.

이들 CPU(101), ROM(103), RAM(105) 등이 서로 연계됨으로써 촬상 장치(100)의 오토 포커스(AF)를 제어하는 AF부나, 자동 노광(AE)을 제어하는 AE부나, 화이트 밸런스를 자동 제어하는 AWB부 등이 실현된다.

일 실시 예에 따른 촬상 광학계(109)는, 후술하는 광학계 구동부(107)에 의한 구동 제어하에서 피사체로부터의 광을 후술하는 촬상 소자(111)의 수광면에 입사시킨다. 이로써 촬상 소자(111)에서 수광면에 입사된 광이 전기 신호로 변환되어 촬상 화상이 생성된다. 이 촬상 광학계(109)는, 예를 들면 줌 렌즈나 포커스 렌즈 등의 렌즈군, 조리개, 셔터, ND필터 등으로 구성되어 있다.

촬상 광학계(109)에 의해 도광된 광(분위기광이나 플래시광 등을 포함한다.)은, 촬상 광학계(109)의 후단에 설치된 촬상 소자(111)의 수광면에 입사된다. 촬상 소자(111)는 수광 소자가 2차원 형태로 배열된 수광면을 가지고 있으며, 이 수광면에 입사된 광을 그 광량에 대응한 전기 신호로 변환한다. 이 전기 신호를 1개 또는 복수의 수광 소자로 구성되는 화소마다 차례대로 독출함으로써 입사된 광에 대응한 화상이 생성된다. 아울러 촬상 소자(111)에서 화소 신호가 리셋되는 타이밍이나 화소 신호가 독출되는 타이밍은 후술하는 광학계 구동부(107)에 의해 제어된다. 본 실시형태에 관한 촬상 장치(100)에서는 촬상 소자(111)의 종류는 특별히 한정되지 않으며, CMOS센서나 CCD센서 등과 같이 공지의 촬상 소자를 이용할 수 있다. 촬상 소자(111)에 의해 생성된 전기 신호(즉, 촬상 화상)는 후술하는 화상 처리부(113)에 출력된다.

일 실시 예에 따른 광학계 구동부(107)는 촬상 광학계(109)를 구성하는 렌즈군, 조리개, 셔터, ND필터 등의 부재나, 촬상 소자(109)의 구동 제어를 하는 처리부이다. 광학계 구동부(107)가 렌즈군의 초점 위치나 조리개의 개폐 정도나 셔터의 개폐 타이밍이나 촬상 소자(111)의 독출 타이밍 등을 제어함으로써 피사체를 촬상한 촬상 화상이 생성된다. 광학계 구동부(107)의 구체적인 구성에 대해서는 특별히 한정되지 않으며 공지의 모든 기술을 이용할 수 있다.

일 실시 예에 따른 화상 처리부(113)는, 촬상 소자(111)에 의해 생성된 촬상 화상에 대해 공지의 전처리 및 후처리 등을 포함한 각종 화상 처리를 실시한다. 또 화상 처리부(113)는 촬상 소자(111)에 의해 생성되며 공지의 전처리 및 후처리가 이루어진 촬상 화상을 압축하는 압축 처리를 하는 것도 가능하다. 또한 본 실시형태에 관한 화상 처리부(113)는, 상술한 바와 같은 액티브하게 투광된 광의 정반사 영역을 특정하고 상기 정반사 영역에 대해 보간 처리를 한다. 이 화상 처리부(113)의 상세한 구성에 대해서는 이하에 상술하기로 한다.

일 실시 예에 따른 투광 광원(115)은, 피사체를 촬상할 때에 투광되는 액티브한 광의 광원이다. 본 실시형태에 관한 촬상 장치(100)에는 서로 분광 광학 특성이 다른 복수의 투광 광원이 설치되어 있으며 상술한 정반사 위치의 특정 처리에 이용된다. 이러한 투광 광원(115)으로서, 예를 들면 플래시광으로서 이용되는 크세논 광원이나, 오토 포커스(AF)용으로 촬상 장치에 미리 설치되어 있는 광원이나, 적목 보정용으로 미리 설치되어 있는 광원 등을 들 수 있다. 또 정반사 위치의 특정 처리용으로 1개 또는 복수의 LED가 설치되어 있어도 좋다.

아울러 상기 정반사 위치의 특정 처리에 이용되는 투광 광원(115)은 그 투광각이 서로 동일한 것이 바람직하다. 또 투광각은 완전히 동일하지 않아도 좋고 촬상 화상의 화각이나 피사체까지의 거리에 따라 촬상 화상에 대해 투광각의 차이를 무시할 수 있는 정도라면 복수의 투광 광원간에 투광각에는 소정의 차이가 존재해도 좋다.

일 실시 예에 따른 표시 제어부(117)는, 후술하는 LCD(Liquid Crystal Display：액정 디스플레이)나 EVF(Electronic View Finder：전자 뷰 파인더) 등의 표시부(119)의 표시를 제어한다. 이로써 표시부의 표시 화면에 촬상 화상이나, 촬상 장치(100)이 구비한 각종 기능을 선택하기 위한 메뉴 화면 등이 표시된다.

LCD나 EVF는, 촬상 장치(100)에 설치된 표시부(119)로서 기능하는 것으로서, 표시 제어부(117)에 의해 표시 내용이 제어된다. 촬상 장치(100)의 사용자는 이들 표시부의 표시 화면에 표시되는 내용을 봄으로써 촬상한 화상을 그 자리에서 확인하거나 각종 메뉴를 선택할 수 있다.

일 실시 예에 따른 조작 I/F(121)는 하드 키나 다이얼 등의 조작부(123)에 대해 사용자가 수행한 각종 조작에 관한 정보(조작 정보)를 촬상 장치(100)에 입력하기 위한 인터페이스이다. 조작 I/F(121)에서 입력된 각종 조작 정보는 CPU(101)에 통지되어 조작 정보에 대응한 각종 기능이 실현된다. 아울러 조작부(123)의 구성에 대해서는 특별히 한정되지 않으며 터치 패널 등을 이용한 조작 수단 등 공지의 입력 수단을 적용할 수 있다.

일 실시 예에 따른 기록 미디어 I/F(125)는, 후술하는 기록 미디어(127)를 촬상 장치(100)에 대해 접속시키기 위한 인터페이스로서, 기록 미디어(127)를 구동하기 위한 드라이버로서도 기능한다. 또 기록 미디어(127)는 촬상 장치(100)에 설치된 외부 기억장치의 일례이다. 기록 미디어 I/F(125)는 기록 미디어(127)에 대해 각종 데이터를 기입하거나 기록 미디어(127)로부터 각종 데이터를 독출할 수 있다. 또 기록 미디어 I/F(125)는 표시 제어부(117)와 연계하여 기록 미디어(125)에 기록되어 있는 각종 데이터를 LCD나 EVF 등의 표시부(119)에 표시시킬 수도 있다. 아울러 일 실시 예에 다른 기록 미디어(127)의 종류는 특별히 한정되지 않으며 공지의 각종 기록 미디어를 이용할 수 있다. 또 기록 미디어 I/F(125)의 종류는 기록 미디어(127)의 종류에 따라 적절히 선택할 수 있다.

일 실시 예에 따른 저장부(미도시)는 제1 조명광에 대응되는 제1 참조 출력 비율 및 상기 제2 조명광에 대응되는 제2 참조 출력 비율을 저장할 수 있다. 예를 들면, 저장부(미도시)는 ROM(103)이나 RAM(105)이나 기록 미디어(127)일 수 있다.

도6는 일 실시 예에 따른 촬상 장치의 화상 처리부의 블록도이다.

도6 에서 도시한 바와 같이, 일 실시 예에 따른 화상 처리부(113)는 공지의 전처리 및 후처리나 화상 압축 처리를 하는 처리부(미도시)에 추가하여 데이터 취득부(151), 판단부(153) 및 보간 처리부(155)를 구비할 수 있다.

일 실시 예에 따른 데이터 취득부(151)는 촬상 소자(111)에 의해 촬상된 촬상 화상의 실체 데이터를 취득한다. 상기 실체 데이터는 촬상 소자(111)로부터 직접 취득해도 좋고, 기록 미디어(127)로부터 취득해도 좋다. 데이터 취득부(151)는 취득한 촬상 화상의 실체 데이터를 후술하는 판단부(153) 및 보간 처리부(155)에 출력한다.

일 실시 예에 따른 판단부(153)는 ROM(103)이나 RAM(105)이나 기록 미디어(127) 등에 저장되어 있는 제1 참조 출력 비율 및 제2 참조 비율을 이용하여 데이터 취득부(151)에서 출력된 촬상 화상의 실체 데이터에 대해 상술한 정반사 영역의 특정 처리를 한다.

이하에서는, 제1 분광 방사 특성을 가진 제1 조명광과 제2 분광 방사 특성을 가진 제2 조명광을 이용하여 정반사 위치의 특정 처리를 하는 경우를 예로 들어 설명하기로 한다.

예를 들면 판단부(153)는, 제1 조명광을 이용하여 피사체를 촬상한 제1 촬상 화상과 제2 조명광을 이용하여 피사체를 촬상한 제2 촬상 화상을 각각 취득하면, 제1 조명광에 대응하는 제1 참조 출력 비율과 제2 조명광에 대응하는 제2 참조 출력 비율을 각각 취득한다. 그 후 판단부(153)는, 제1 촬상 화상을 구성하는 화소의 화소치와 제1 조명광에 대응하는 제1 참조 출력 비율을 비교하여 제1 촬상 화상의 화소치에서 산출되는 출력 비율이 제1 참조 출력 비율과 동일해지는 부분을 특정한다.

이 경우, 산출되는 출력 비율이 제1 참조 출력 비율과 같다는 말은, 양자가 완전히 동일한 경우뿐 아니라 양자를 동일하다고 간주할 수 있을 정도로 유사한 경우도 포함하는 것으로 한다. 상기 화소가 존재한 경우, 판단부(153)는 해당하는 화소의 좌표(예를 들면, 촬상 화상에서의 해당 화소의 위치)를 기억한다. 이러한 화소의 집합이 제1 정반사 후보 영역이 된다. 또 판단부(153)는 상기와 같은 방법으로 제2 촬상 화상에서 제2정반사 후보 영역을 추출한다.

또한, 판단부(153)는, 제1 촬상 화상에서 추출한 제1 정반사 후보 영역의 좌표가 제2촬상 화상에서 추출한 제2 정반사 후보 영역의 좌표와 중복되는 것인지 여부를 판단한다.

이 경우, 일 실시 예에 따른 판단부(153)는 제1 정반사 후보 영역과 제2 정반사 후보 영역간에 중복되는 영역이 존재하는 경우, 중복되는 영역을 복수의 투광 광원의 정반사 영역으로 결정할 수 있다.

조명광의 분광 광학 특성(예를 들면 파장)이 다른 경우여도 조명광의 정반사 영역의 위치는 변화되지 않는다고 생각되기 때문이다.

일 실시 예에 따른 판단부(153)는, 복수의 투광 광원의 정반사 영역의 위치를 특정하면 정반사 영역의 위치를 나타내는 정보(정반사 영역 위치 정보)를 후술하는 보간 처리부(155)에 출력한다.

일 실시 예에 따른 보간 처리부(155)는, 판단부(153)에서 출력된 정반사 영역 위치 정보를 참조하여 특정된 정반사 영역에 포함되는 화소에 대해 공지의 보간 처리를 한다. 이로써 조명광의 정반사에 유래하는 촬상 화상의 부위에 대해 보간 처리를 할 수 있게 된다.

예를 들면 보간 처리부(155)는, 촬상 화상에서의 정반사 영역의 인접 화소, 조명광을 이용한 촬상 전후에 얻어진 촬상 화상(즉, 정반사 영역을 포함한 촬상 화상의 전후에 촬상된 촬상 프레임), 또는 조명광의 강도 변조의 정도(조명광의 강도를 변조했을 때에 관계)에 따라 정반사 영역에 포함되는 화소를 보간할 수 있다.

아울러 보간 처리부(155)가 실시하는 정반사 영역의 보간 방법은 상기의 예로 한정되지 않으며 다른 공지의 보간 처리를 적용할 수도 있다.

또한 보간 처리부(155)는, 정반사 영역이 소정 문턱값 이상의 크기(면적)를 가지고 있는 경우, 사용자에게 상기 정반사 영역에 포함된 화소에 대한 보간 방법을 선택하기 위한 정보를 출력할 수 있다. 이로써 사용자는, 예를 들면 상기와 같은 복수의 보간 방법 중 정반사 영역의 보간에 이용하는 보간 방법을 선택할 수 있게 된다.

또한, 보간 처리부(155)는, 정반사 영역이 소정 문턱값 이상의 크기(면적)를 가지고 있는 경우, 사용자에게 촬상 오류를 알리는 정보를 출력할 수 있다. 이로써 사용자는 적절하게 촬상이 이루어지지 않았다는 내용을 확인할 수 있게 된다.

이상 설명한 정반사 영역을 특정하는 촬상 방법은, 플래시를 이용하여 촬상을 하는 경우뿐 아니라 촬영자가 촬영 대상에 대해 의도적으로 투광을 하는 상황에도 적용될 수 있다.

예를 들면, 저조도 환경하에서의 촬영을 들 수 있다. 종래의 촬상 장치에서는, 플래시광으로서 1종류의 분광 방사 특성을 가진 1종류의 조명광만을 이용하는 것이었다. 따라서 분위기광이 저조도인 경우에는 플래시를 이용하여 촬상된 화상중에서, 정반사 영역이 플래시광에 의한 것인지, 분위기광에 기초한 적절한 것인지를 판단할 수 없었다. 그러나 본 실시형태에 관한 정반사 영역의 특정 방법을 이용함으로써 저조도 환경하에서도 플래시광 등의 액티브한 투광에 기인한 정반사 영역을 올바르게 판별할 수 있게 된다.

또한, 일 실시 예에 따른 정반사 영역을 특정하는 촬상 방법은, 태양광 또는 플래시 성분과 동일한 분광 방사 특성을 가진 광원하에서의 촬영에도 적용할 수 있다. 플래시 광원과 분위기광의 분광 방사 특성이 동일한 경우, 분위기광에 의한 정반사 영역을 올바르게 촬영할 것이 요구된다. 플래시 광원이 단일이어서 분위기광과 동일한 경우, 플래시광의 유무로 정반사 영역을 특정할 수 있는데, 복수의 다른 분광 방사 특성의 광원을 이용하여 촬영을 함으로써 보다 고정밀도의 정반사 영역을 특정할 수 있게 된다.

아울러 상기에서는, 플래시광을 이용한 촬영을 예로 들어 설명하였으나, 본 실시형태에 관한 정반사 영역의 특정 방법은 상기 경우 이외에도 촬영자가 의도적으로 피사체에 투광하는 경우에 대해 유효한 것은 물론이다.

도7은 일 실시 예에 따른 촬상 장치에 탑재된 복수의 조명 광의 다양한 예를 도시한 도면이다.

도7에서 도시한 바와 같이, 촬상 장치(100)에는 2개의 광원(115a, 115b)가 다양한 형태로 탑재될 수 있다. 또한, 일 실시 예에 따른 복수의 투광 광원 중 적어도 하나는 촬상 장치(100)에 착탈 가능하게 설치될 수 있다.

도 7(a)에 도시한 바와 같이, 2개의 광원(115a),(115b) 모두가 촬상 장치의 본체에 설치되어 있어도 좋고, 도 7(b)에 도시한 바와 같이, 한쪽 광원(도 7(b)에서는, 광원(115b)이 촬상 장치(100)에 대해 착탈 가능하게 장착되는 외부 유닛에 설치되어 있어도 좋다. 또 도 7(c)에 도시한 것처럼, 2개의 광원(115a),(115b) 모두가 촬상 장치(100)에 대해 착탈 가능하게 장착되는 외부 유닛에 설치되어 있어도 좋다. 또 도 7(d)에 도시한 것처럼, 2개의 광원(115a),(115b)이 촬상 장치 본체와 동기 촬영 가능한 외부 유닛에 설치되어 있어도 좋다.

이러한 구성으로 함으로써 복수의 광원의 촬상 장치(100)에 대한 설치의 자유도를 향상시킬 수 있게 된다.

촬상 장치(100) 의 동작들을 순서대로 상술한다.

도8 은 일 실시 예에 따른 촬상 방법의 흐름도이다.

단계 100에서 촬상 장치(100)는, 제1 분광 방사 특성을 가진 제1 조명광을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득한다.

단계 110에서 촬상 장치(100)는, 제2 분광 방사 특성을 가진 제2 조명광을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득한다.

이 경우, 획득된 제1 촬상 화상은 RAM(105)이나 기록 미디어(127) 등에 저장될 수 있다.

단계 120에서 촬상 장치(100)는, 제1 조명광에 대응되는 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출한다.

이 경우, 획득된 제1 촬상 화상은 RAM(105)이나 기록 미디어(127) 등에 저장될 수 있다.

단계130에서 촬상 장치(100)는, 제2 조명광에 대응되는 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출한다.

단계 140에서 촬상 장치(100)는, 단계 120에서 추출된 제1 정반사 후보 영역과, 단계 130에서 추출된 제2 정반사 후보 영역간에 중복되는 영역을 상기 제1 조명광과 상기 제2 조명광을 포함하는 투광 광원의 정반사 영역으로 결정한다.

단계 150에서 촬상 장치(100)는, 단계 140에서 결정된 정반사 영역에 포함되는 화소에 대하여 보간 처리한다.

아울러 상기 설명에서는, 제1 촬상 화상 및 제2 촬상 화상 모두를 취득한 후에 정반사 후보 영역을 추출하는 경우에 대해 설명하였으나, 각 촬상 화상을 취득한 후에 정반사 후보 영역을 추출할 수도 있다.

다양한 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 메모리(permanent storage), 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.

소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 저장 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 에서 전체적으로 병합하여 나타낸 것과 동일하게 에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100: 촬상 장치 101: CPU 103: ROM 105: RAM
107: 광학계 구동부 109: 촬상 광학계 111: 촬상 소자
113: 화상 처리부 115: 투광 광원 117: 표시 제어부
119: 표시부 121: 조작 인터페이스(I/F)
123: 조작부 125: 기록 미디어 인터페이스(I/F)
127: 기록 미디어 151: 데이터 취득부
153: 판단부 155: 보간 처리부

Claims (13)

1. 제1 분광 방사 특성을 가진 제1 조명광과 제2 분광 방사 특성을 가진 제2 조명광을 각각 투광하는 복수의 투광 광원;
   상기 투광 광원을 이용하여 피사체를 촬상하는 촬상 소자;
   상기 제1 조명광에 대응되는 제1 참조 출력 비율 및 상기 제2 조명광에 대응되는 제2 참조 출력 비율을 저장하는 저장부; 및
   상기 제1 조명광을 이용하여 상기 피사체를 촬상한 제1 촬상 화상, 상기 제2 조명광을 이용하여 피사체를 촬상한 제2 촬상 화상, 제1 참조 출력 비율 및 제2 참조 출력 비율을 이용하여, 상기 복수의 투광 광원의 정반사 영역을 결정하는 판단부를 구비하고,
   상기 판단부는,
   상기 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하고, 상기 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하여, 상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 복수의 투광 광원의 정반사 영역으로 결정하는 것을 특징으로 하는, 촬상 장치.
2. 제1 항에 있어서,
   상기 제1 참조 출력 비율은 상기 제1 조명광을 이용하여 촬상 하였을 때 상기 촬상 소자에서 출력되는 화소 간의 출력 비율이고, 상기 제2 참조 출력 비율은 상기 제2 조명광을 이용하여 촬상 하였을 때 상기 촬상 소자에서 출력되는 화소 간의 출력 비율인 것인, 촬상 장치.
3. 삭제
4. 제1 항에 있어서,
   상기 제1 조명광의 투사각과 상기 제2 조명광의 투사각은 동일한 것을 특징으로 하는, 촬상 장치.
5. 제1 항에 있어서, 상기 정반사 영역에 포함되는 화소에 대하여 보간 처리를 하는 보간 처리부를 더 구비하는 것인, 촬상 장치.
6. 제5 항에 있어서,
   상기 보간 처리부는 상기 정반사 영역의 인접 화소, 상기 정반사 영역을 포함하는 촬상 화상의 전후에 촬상된 촬상 화상 또는 상기 복수의 투광 광원의 강도 변조의 정도에 기초하여, 상기 정반사 영역에 포함되는 화소를 보간하는 것을 특징으로 하는, 촬상 장치.
7. 제5 항에 있어서,
   상기 보간 처리부는 상기 정반사 영역이 미리 결정된 임계 값 이상의 크기의 영역인 경우, 사용자에게 상기 정반사 영역에 포함된 화소에 대한 보간 방법을 선택하기 위한 정보를 출력하는 것을 특징으로 하는, 촬상 장치.
8. 제5 항에 있어서,
   상기 보간 처리부는 상기 정반사 영역이 미리 결정된 임계 값 이상의 크기의 영역인 경우, 사용자에게 촬상 오류를 알리는 정보를 출력하는 것을 특징으로 하는, 촬상 장치.
9. 제1 항에 있어서,
   상기 복수의 투광 광원 중 적어도 하나는 상기 촬상 장치에 착탈 가능하게 설치되는 것을 특징으로 하는, 촬상 장치.
10. 제1 분광 방사 특성을 가진 제1 조명광을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득하는 단계;
    제2 분광 방사 특성을 가진 제2 조명광을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득하는 단계;
    제1 조명광에 대응되는 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하는 단계;
    제2 조명광에 대응되는 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하는 단계; 및
    상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 제1 조명광과 상기 제2 조명광을 포함하는 투광 광원의 정반사 영역으로 결정하는 단계; 를 포함하는 촬상 방법.
11. 제 10항에 있어서, 상기 촬상 방법은,
    상기 결정된 정반사 영역에 포함되는 화소에 대하여 보간 처리 하는 단계; 를 더 포함하는 촬상 방법.
12. 프로세서에 의해 도출되어 실행되었을 때, 촬상 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 촬상 방법은,
    제1 분광 방사 특성을 가진 제1 조명광을 이용하여 피사체를 촬상하여 제1 촬상 화상을 획득하는 단계;
    제2 분광 방사 특성을 가진 제2 조명광을 이용하여 상기 피사체를 촬상하여 제2 촬상 화상을 획득하는 단계;
    제1 조명광에 대응되는 제1 참조 출력 비율을 이용하여 상기 제1 촬상 화상에서 제1 정반사 후보 영역을 추출하는 단계;
    제2 조명광에 대응되는 제2 참조 출력 비율을 이용하여 상기 제2 촬상 화상에서 제2 정반사 후보 영역을 추출하는 단계; 및
    상기 제1 정반사 후보 영역과 상기 제2 정반사 후보 영역간에 중복되는 영역을 상기 제1 조명광과 상기 제2 조명광을 포함하는 투광 광원의 정반사 영역으로 결정하는 단계; 를 포함하는, 컴퓨터 판독가능 저장매체.
13. 제 12항에 있어서, 상기 촬상 방법은,
    상기 결정된 정반사 영역에 포함되는 화소에 대하여 보간 처리 하는 단계; 를 더 포함하는 컴퓨터 판독가능 저장매체.

Images