KR20200024209A

KR20200024209A - 촬상 장치 및 화상 생성 방법

Info

Publication number: KR20200024209A
Application number: KR1020207000225A
Authority: KR
Inventors: 히토시 미타니; 마사후미 와카조노
Original assignee: 소니 주식회사
Priority date: 2017-07-12
Filing date: 2018-06-04
Publication date: 2020-03-06
Also published as: US11531151B2; JP7211364B2; JPWO2019012857A1; US20200183066A1; CN110832842A; WO2019012857A1; EP3654633A1; EP3654633A4; CN110832842B

Abstract

촬상 장치의 자세 변화에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모한다. 본 기술에 관련되는 촬상 장치는, 제1 편광 방향의 광을 수광 가능한 제1 화소와, 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부와, 촬상부의 자세를 검출하는 검출부와, 제1 및 제2 화소의 신호에 기초하여, 검출부의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성부를 구비하고 있다. 이에 의해, 특정한 편광 방향에 대응한 화상, 즉, 편광 필터 효과를 준 것에 상당하는 화상으로서, 촬상부의 자세 변화에 따른 편광 방향에 대응하는 화상을 생성하는 것이 가능하게 된다.

Description

촬상 장치 및 화상 생성 방법

본 기술은 촬상 장치 및 화상 생성 방법에 관한 것이며, 특히, 임의 편광 방향의 직선 편광을 선택적으로 수광하여 얻어지는 편광 화상을 신호 처리에 의해 생성하는 경우에 적용하기에 바람직한 기술에 관한 것이다.

예를 들면, 촬상 장치의 렌즈에 부착된 회전 가능한 편광 필터에 의해, 수면이나 유리의 표면 반사를 억제하거나, 하늘의 푸르스름함을 조정한다고 하는 것이 가능하게 된다. 사용자는, 편광 필터의 회전 각도를 조정함으로써, 필터 효과의 정도를 조정할 수 있다.

또한, 관련되는 종래 기술에 대해서는 하기 특허문헌 1을 들 수 있다.

특허문헌 1: 국제공개 제2008/099589호

상기와 같은 편광 필터를 이용한 촬상을 행하는 경우에 있어서, 예를 들면 촬상 장치의 자세를 횡방향으로부터 종방향으로 회전시키는 등의 경우에는, 편광 필터는 촬상 장치와 일체로 회전하고, 촬상 화상에서 얻어지는 편광 필터 효과에도 변화가 생겨 버린다.

이 경우, 자세 변화 전과 동일한 편광 필터 효과를 얻기 위해서는, 편광 필터의 회전 각도를 재조정하는 것을 필요로 한다.

본 기술은 상기 사정을 감안하여 이루어진 것이며, 촬상 장치의 자세 변화에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모하는 것을 목적으로 한다.

본 기술에 관련되는 촬상 장치는, 제1 편광 방향의 광을 수광 가능한 제1 화소와, 상기 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부와, 상기 촬상부의 자세를 검출하는 검출부와, 상기 제1 및 제2 화소의 신호에 기초하여, 상기 검출부의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성부를 구비하는 것이다.

이에 의해, 특정한 편광 방향에 대응한 화상, 즉, 편광 필터 효과를 준 것에 상당하는 화상으로서, 촬상부의 자세 변화에 따른 편광 방향에 대응하는 화상을 생성하는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 화상 생성부는, 회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정한 경우에 있어서의 상기 편광 필터의 회전 각도에 상당하는 가상 필터 각도를 설정하고, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 기초하여, 상기 화상을 생성하는 것이 바람직하다.

이에 의해, 촬상부의 자세 변화를 캔슬(cancel)하도록 보정된 가상 필터 각도에 따른 화상을 얻는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 촬상부는, 각각이 소정 수의 수광 소자를 가진 복수의 화소와, 상기 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고, 상기 화상 생성부는, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와, 상기 가상 필터 각도와 수광 신호값의 관계를 나타내는 함수 정보에 기초하여, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 상당하는 편광 방향에 대응하는 화상을 생성하는 것이 바람직하다.

이에 의해, 촬상부의 자세가 변화되어도 편광 필터 효과는 불변이 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 가상 필터 각도를 조작 입력 가능하게 되는 것이 바람직하다.

이에 의해, 사용자의 조작에 의한 편광 필터 효과의 조정을 가능하게 한다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 조작 입력이 회전 조작자에 의한 조작 입력으로 되는 것이 바람직하다.

이에 의해, 회전 가능한 편광 필터를 회전 조작하는 경우와 동일한 조작감을 사용자에게 제공하는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 화상 생성부는, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 됨과 함께, 조작에 따라 상기 가상 편광 화상과 상기 가상 통상 화상을 따로따로 생성하는 것이 바람직하다.

이에 의해, 편광 필터 효과의 ON/OFF를 사용자가 조작에 의해 지시 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 표시부에 표시시키는 표시 제어부를 구비하는 것이 바람직하다.

이에 의해, 편광 필터 효과를 사용자에게 확인시키는 것이 가능하게 된다. 또한, 가상 필터 각도를 조작에 의해 지정 가능하게 되는 경우에는, 조작에 대한 편광 필터 효과의 변화를 사용자에게 확인시키는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 촬상부는, 각각이 소정 수의 수광 소자를 가진 복수의 화소와, 상기 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고, 상기 화상 생성부는, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 되고, 상기 표시 제어부는, 상기 표시부에 있어서 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시 중에 행해진 소정 조작에 기초하여, 상기 표시부의 표시 상태를 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시된 상태로부터 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방이 표시된 상태로 전환하는 것이 바람직하다.

이에 의해, 편광 필터 효과의 유무를 사용자에게 파악시키기 쉬워진다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 표시 제어부는, 상기 소정 조작이 계속 중인 동안, 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방의 표시 상태를 유지시키고, 상기 소정 조작의 종료에 따라 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방의 표시 상태로 전환하는 것이 바람직하다.

이에 의해, 사용자는, 가상 편광 화상과 가상 통상 화상 중 어느 타방을 표시시킨 후에 어느 일방의 표시 상태로 되돌리고 싶다고 했을 때에는, 소정 조작을 종료하면 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 가상 필터 각도를 조작 입력 가능하게 되고, 상기 화상 생성부는, 상기 가상 필터 각도를 상기 조작 입력된 각도보다 큰 각도로 했을 때의 상기 가상 편광 화상인 증각(增角) 화상, 또는, 상기 가상 필터 각도를 상기 조작 입력된 각도보다 작은 각도로 했을 때의 상기 가상 편광 화상인 감각(減角) 화상 중 적어도 일방을 생성하고, 상기 표시 제어부는, 상기 증각 화상 또는 상기 감각 화상 중 적어도 일방을 상기 표시부에 표시시키는 것이 바람직하다.

이에 의해, 가상 필터 각도를 현재의 지시 각도로부터 증각(增角)한 경우, 또는 감각(減角)한 경우에 각각 편광 필터 효과가 어떻게 변화되는지를 사용자에게 확인시키는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 가상 필터 각도의 입력 조작이 회전 조작자에 의한 입력 조작으로 되고, 상기 표시 제어부는, 상기 증각 화상을 표시시키는 경우에는, 상기 증각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 크게 하기 위한 상기 회전 조작자의 회전 방향 정보를, 상기 감각 화상을 표시시키는 경우에는 상기 감각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 작게 하기 위한 상기 회전 조작자의 회전 방향 정보를 각각 표시시키는 것이 바람직하다.

이에 의해, 원하는 편광 필터 효과를 얻기 위해서 회전 조작자를 어느 방향으로 회전시키면 되는지를 사용자에게 직감적으로 이해시키는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 조작에 의한 피사체의 지정을 접수하는 접수부를 구비하고, 상기 화상 생성부가, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와 상기 함수 정보에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 생성 가능하게 됨과 함께, 상기 화상 생성부는, 상기 지정된 피사체의 광을 수광하는 화소 위치에 있어서의 수광 신호값에 기초한 상기 함수 정보를 취득하고, 해당 함수 정보에 기초하여, 상기 화소 위치의 수광 신호값을 소정 조건이 만족되는 값으로 하는 상기 가상 필터 각도를 목표 각도로서 계산하고, 상기 목표 각도를 상기 검출부의 검출 결과에 기초하여 보정하여 보정 각도를 얻고, 상기 가상 필터 각도를 상기 보정 각도로 했을 때의 상기 가상 편광 화상을 생성하는 것이 바람직하다.

이에 의해, 사용자는, 피사체를 지정하는 조작을 행함으로써, 원하는 피사체의 광반사 태양이 소정 조건을 만족하는 태양으로 조정된 가상 편광 화상을 얻을 수 있다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 화상 생성부는, 상기 목표 각도로서, 상기 화소 위치의 수광 신호값을 대략 최소로 하는 상기 가상 필터 각도를 계산하는 것이 바람직하다.

이에 의해, 사용자는, 피사체를 지정하는 조작을 행함으로써, 원하는 피사체의 반사가 제거되도록 조정된 가상 편광 화상을 얻을 수 있다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 촬상부에 의한 촬상 화상을 표시부에 표시시키는 표시 제어부를 구비하고, 상기 접수부는, 상기 표시부의 표시 화면에 대한 터치 조작에 의해 행해지는 상기 피사체의 지정을 접수하는 것이 바람직하다.

이에 의해, 피사체의 지정 조작이 용이화된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 표시부를 제어하는 표시 제어부를 구비하고, 상기 화상 생성부는, 상기 촬상부에 있어서의 소정의 화소 위치마다, 상기 함수 정보에 기초하여 상기 가상 필터 각도의 변화에 대한 상기 수광 신호값의 변화 정도를 나타내는 값을 필터 효과 기대값으로서 계산하고, 상기 표시 제어부는, 상기 필터 효과 기대값의 크기를 나타내는 기대값 정보가 상기 소정의 화소 위치마다 나타낸 기대값 화상을 상기 표시부에 표시시키는 것이 바람직하다.

이에 의해, 사용자는, 화상 내의 어느 위치에서 높은 필터 효과를 기대할 수 있는지를 사전에 파악하는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 표시 제어부는, 상기 기대값 화상을 상기 촬상부에 의한 촬상 화상에 중첩 표시시키는 것이 바람직하다.

이에 의해, 사용자는, 높은 필터 효과를 기대할 수 있는 위치를 피사체와의 위치 관계로부터 구체적으로 파악하는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 표시 제어부는, 상기 촬상 화상으로서 단색 화상(monochromatic image)을, 상기 기대값 화상으로서 단색 이외의 특정 색에 의한 화상을 표시시키는 것이 바람직하다.

이에 의해, 촬상 화상과 기대값 화상의 중첩 표시에 의해 서로의 화상의 시인성이 저하되는 것의 억제가 도모된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 화상 생성부는, 상기 필터 효과 기대값으로서 편광도를 계산하는 것이 바람직하다.

이에 의해, 기대값 정보의 신뢰성을 높이는 것이 가능하게 된다.

상기한 본 기술에 관련되는 촬상 장치에 있어서는, 상기 촬상부는, 편광 스플리터와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 편광 스플리터의 분리면을 반사한 반사광의 광축에 대략 직교하는 수광면을 가져서 상기 반사광을 수광하는 제1 종류의 화소와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 분리면을 투과한 투과광의 광축에 대략 직교하는 수광면을 가져서 상기 투과광을 수광하는 제2 종류의 화소를 가진 화소쌍을 복수개 구비하고, 인접 관계에 있는 상기 화소쌍에 있어서, 상기 편광 스플리터에 있어서의 상기 분리면의 편광축의 면내 각도가 다른 것이 바람직하다.

상기 촬상부에 있어서는, 하나의 화소쌍(하나의 화소 위치)에 대해, 편광 방향이 직교 관계에 있는 2종의 직선 편광을 선택적으로 수광 가능하게 되고, 또한, 인접 관계에 있는 2개의 화소쌍에 있어서는, 편광 방향이 각각 다른 4종의 직선 편광을 선택적으로 수광 가능하게 된다.

또한, 본 기술에 관련되는 화상 생성 방법은, 제1 편광 방향의 광을 수광 가능한 제1 화소와, 상기 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부를 갖는 촬상 장치에 대해, 상기 촬상부의 자세를 검출하는 검출 단계와, 상기 제1 및 제2 화소의 신호에 기초하여, 상기 검출 단계의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성 단계를 상기 촬상 장치가 실행하는 것이다.

이러한 화상 생성 방법에 의해서도, 상기한 본 기술에 관련되는 촬상 장치와 동일한 작용이 얻어진다.

본 기술에 의하면, 촬상 장치의 자세 변화에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니며, 본 개시 중에 기재된 어떠한 효과이어도 된다.

도 1은 실시형태로서의 촬상 장치와 렌즈 장치의 외관 예를 나타낸 도면이다.
도 2는 실시형태로서의 촬상 장치의 내부 구성을 설명하기 위한 블록도이다.
도 3은 일반적인 촬상 장치에 의해 회전 가능한 편광 필터를 통하여 촬상을 행한 경우의 편광 필터 효과의 설명도이다.
도 4는 실시형태로서의 촬상 장치가 구비하는 촬상부의 구조에 대한 설명도이다.
도 5는 실시형태에 있어서의 가상 통상 화상의 생성 수법에 대한 설명도이다.
도 6은 실시형태에 있어서의 함수의 피팅에 대한 설명도이다.
도 7은 실시형태에 있어서의 함수의 예의 설명도이다.
도 8은 실시형태의 회전 캔슬 수법에 대한 설명도이다.
도 9는 실시형태로서의 회전 캔슬 수법을 실현하기 위한 처리 순서를 나타낸 플로우 차트이다.
도 10은 사용자에게 편광 필터 효과를 확인시키기 위한 처리 예를 나타낸 플로우 차트이다.
도 11은 지정각 화상, 증각 화상, 감각 화상, 회전 방향 정보의 표시 예를 나타낸 도면이다.
도 12는 지정각 화상, 증각 화상, 감각 화상, 회전 방향 정보의 표시를 실현하기 위한 처리를 예시한 플로우 차트이다.
도 13은 실시형태에 있어서의 터치 모드의 설명도이다.
도 14는 실시형태에 있어서의 접수부에 상당하는 처리의 플로우 차트이다.
도 15는 실시형태에 있어서의 목표 각도로서의 가상 필터 각도의 계산에 관련되는 처리의 플로우 차트이다.
도 16은 상기 목표 각도에 기초하는 가상 편광 화상의 생성에 관련되는 처리 예를 나타낸 플로우 차트이다.
도 17은 표시부에 있어서의 기대값 화상의 표시 예를 나타낸 도면이다.
도 18은 편광도의 설명도이다.
도 19는 기대값 화상의 표시를 위해 화상 생성부가 행해야 할 처리 예를 나타낸 플로우 차트이다.
도 20은 종래 기술에 기초하여 구성하는 것이 가능한 촬상 시스템의 개요를 예시한 도면이다.
도 21은 변형예로서의 촬상 장치의 내부 구성을 나타낸 블록도이다.
도 22는 변형예에 있어서의 가상 편광 화상 생성을 위한 처리를 나타낸 플로우 차트이다.
도 23은 변형예로서의 촬상부의 구조에 대한 설명도이다.
도 24는 변형예로서의 촬상부를 이용한 경우에 있어서의 제1 편광 화상 내지 제4 편광 화상, 및 가상 통상 화상의 생성 수법의 예에 대해 설명하기 위한 도면이다.
도 25는 수술실 시스템의 전체 구성을 개략적으로 나타내는 도면이다.
도 26은 집중 조작 패널에 있어서의 조작 화면의 표시 예를 나타내는 도면이다.
도 27은 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다.
도 28은 도 27에 나타내는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.

이하, 첨부 도면을 참조하여, 본 기술에 관련되는 실시형태를 다음 순서로 설명한다.

<1. 실시형태의 촬상 장치>

[1-1. 촬상 장치의 구성 개요]

[1-2. 편광 필터 효과에 대해]

[1-3. 회전 캔슬 수법]

[1-4. 처리 순서]

[1-5. 편광 필터 효과의 확인]

[1-6. 모니터 표시의 연구]

[1-7. 터치 모드]

[1-8. 기대값 표시 모드]

<2. 변형예>

[2-1. 제1 변형예]

[2-2. 제2 변형예]

<3. 응용예>

<4. 실시형태의 요약>

<5. 그 밖의 변형예>

<6. 본 기술>

<1. 실시형태의 촬상 장치>

[1-1. 촬상 장치의 구성 개요]

도 1에, 본 기술에 관련되는 실시형태로서의 촬상 장치(1)와 렌즈 장치(2)의 외관 예를 나타낸다.

본 실시형태의 촬상 장치(1)는 렌즈 교환 가능한 촬상 장치로 여겨지고, 도 1에서는 렌즈 장치(2)가 장착된 상태의 촬상 장치(1)의 외관 예를 나타내고 있다. 도 1의 A, 도 1의 B는 각각 촬상 장치(1)를 정면에서 보았을 때, 우측면에서 보았을 때의 개략 외관도이다.

여기서, 이하의 설명에서는, 촬상 장치의 전후 상하 좌우의 각 방향을 다음과 같이 정의한다.

전방향은, 촬상 장치의 촬상 방향(피사체에 근접하는 측의 방향)에 일치하는 방향이며, 후방향은, 전방향과는 반대측의 방향이다.

상하, 좌우의 각 방향은, 촬상 장치에 의해 얻어지는 촬상 화상에 있어서의 수직 방향, 수평 방향(수평 라인 방향)을 기준으로 정해지는 방향이다. 구체적으로는, 촬상 화상에 비추어진 피사체의 천지 방향, 수평 방향과, 촬상 화상의 수직 방향, 수평 방향이 일치하도록 촬상 장치의 자세가 취해졌을 때의 상하, 좌우의 각 방향이다.

이 예에서는, 좌, 우의 각 방향에 대해서는, 사용자의 시점을 기준으로 정의하고 있다. 즉, 촬상 장치를 후방에서 보았을 때의 좌방향, 우방향과 각각 일치하는 방향이다.

도 1의 A에서는, 지면 전방 방향, 안쪽 방향이 각각 촬상 장치(1)의 전방향, 후방향에 일치하고, 지면 상방향, 하방향이 각각 촬상 장치(1)의 상방향, 하방향에 일치하고, 지면 좌방향, 우방향이 각각 촬상 장치(1)의 우방향, 좌방향에 일치하고 있다.

이 예의 촬상 장치(1)는, 예를 들면 렌즈 교환식 미러리스 일안 타입의 디지털 카메라 장치로서 구성되고, 내부에, 예를 들면 CCD(Charge Coupled Devices) 센서나 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등에 의한 촬상 소자(12)(도 1에서는 도시하지 않음)를 가지고 있다.

촬상 장치(1)에는, 셔터 버튼(1a)이나, 셔터 버튼(1a) 이외의 버튼 조작자(1b) 등, 사용자가 각종 입력을 행하기 위한 조작자가 마련되어 있다.

렌즈 장치(2)에는, 전단부에 커버 렌즈(2a)가 배치되어, 커버 렌즈(2a)를 거친 피사체로부터의 광이 촬상 장치(1)에 있어서의 촬상 소자(12)의 촬상면에 이끌린다.

또한, 이 예의 렌즈 장치(2)에는, 회전 조작되는, 예를 들면 조작 링으로서의 회전 조작자(2b)가 마련되어 있다. 회전 조작자(2b)는, 이 예에서는 렌즈 장치(2)의 렌즈 경통의 외경과 거의 동일한 직경의 외경을 가지며, 예를 들면 렌즈 장치(2)의 전단부 부근에 위치되어 있다.

도 2는 촬상 장치(1)의 내부 구성을 설명하기 위한 블록도이며, 촬상 장치(1)의 내부 구성과 함께 렌즈 장치(2)의 내부 구성을 아울러 나타내고 있다.

먼저, 렌즈 장치(2)는, 상기한 회전 조작자(2b)와 함께, 광학계(3), 광학계 구동부(4) 및 회전각 검출부(5)를 구비하고 있다.

광학계(3)는, 전술한 커버 렌즈(2a)나 도시하지 않은 줌 렌즈, 포커스 렌즈 등의 각종 렌즈나 조리개 기구를 구비한다. 이 광학계(3)에 의해, 피사체로부터의 광이 촬상 소자(12)의 촬상면에 집광된다.

광학계 구동부(4)는, 촬상 장치(1)에 있어서의 후술하는 제어부(30)의 제어에 기초하여, 광학계(3)에 있어서의 포커스 렌즈를 구동하고, 포커스 동작을 실행한다. 또한, 광학계 구동부(4)는, 제어부(30)의 제어에 기초하여, 광학계(3)에 있어서의 조리개 기구를 구동하고, 노광 조정을 실행한다. 나아가, 광학계 구동부(4)는, 제어부(30)의 제어에 기초하여, 광학계(3)에 있어서의 줌 렌즈를 구동하고, 줌 동작을 실행한다.

회전각 검출부(5)는 회전 조작자(2b)의 회전 각도를 검출한다. 회전각 검출부(5)는 촬상 장치(1)에 있어서의 제어부(30)에 접속되고, 제어부(30)는 회전 조작자(2b)의 회전 각도 정보를 취득 가능하게 된다.

촬상 장치(1)는, 촬상부(11), 기억부(14), 통신부(15), 표시부(16), 각도 검출부(17), 조작부(18), 디지털 신호 처리부(20), 및 제어부(30)를 갖는다.

촬상부(11)는 촬상 소자(12)를 가지며, 촬상 소자(12)에서의 광전변환으로 얻은 전기 신호에 대해, 예를 들면 CDS(Correlated Double Sampling) 처리, AGC(Automatic Gain Control) 처리 등을 실행하고, 나아가 A/D(Analog/Digital) 변환 처리를 행한다. 그리고 디지털 데이터로서의 촬상 신호를, 후단의 디지털 신호 처리부(20)에 출력한다.

또한, 본 실시형태에 있어서의 촬상부(11)의 구조에 대해서는 후술한다.

여기서, 본 명세서에 있어서 「촬상 화상」이라고 했을 때에는, 촬상에 기초하여 얻어지는 화상을 널리 의미하는 것으로 한다. 즉, 촬상부(11)에 의해 얻어지는 화상(각 화소의 수광 신호값의 집합)뿐만 아니라, 해당 화상으로부터 필요한 신호 처리를 거처 생성되는 화상(예를 들면, 후술하는 제1 편광 화상 내지 제4 편광 화상이나 가상 편광 화상, 가상 통상 화상 등)도 포함하는 말인 것으로 한다.

또한, 본 명세서에 있어서 「촬상」이란, 촬상 소자(12)에 있어서 수광 신호를 얻을 때까지의 동작을 의미하는 것으로 한다.

디지털 신호 처리부(20)는, 예를 들면 DSP(Digital Signal Processor) 등에 의해 화상 처리 프로세서로서 구성된다. 이 디지털 신호 처리부(20)는, 촬상부(11)로부터의 디지털 신호(촬상 화상 데이터)에 대해, 각종의 신호 처리를 실시한다.

본 실시형태에 있어서의 디지털 신호 처리부(20)는, 편광 화상 생성부(21), 코덱부(22), 및 표시 데이터 생성부(23)를 적어도 가지고 있다.

편광 화상 생성부(21)는, 촬상부(11)로부터의 디지털 신호에 기초하여, 후술하는 가상 통상 화상이나 가상 편광 화상의 생성을 행한다. 또한, 편광 화상 생성부(21)가 행하는 처리에 대해서는 다시 설명한다.

코덱부(22)는, 편광 화상 생성부(21)에 의해 생성된 화상 데이터에 대해, 예를 들면 기록용이나 통신용의 부호화 처리를 행한다.

표시 데이터 생성부(23)는, 제어부(30)의 제어에 따라, 표시부(16)에 출력하는, 예를 들면 스루 화상(through image)으로서의 표시 데이터를 생성한다. 이 스루 화상으로서의 표시 데이터는, 기본적으로는 해상도 변환된 촬상 화상 데이터로서의 각 프레임의 데이터이다.

또한, 표시 데이터 생성부(23)는 제어부(30)의 지시에 기초하여, 각종의 가이드 화상, 캐릭터 화상, 조작용 화상 등을, 예를 들면 스루 화상 등의 화상에 중첩시키는 형식으로 표시부(16)에 표시시키는 처리도 행한다.

또한, 도 2에서는, 표시 데이터 생성부(23)는 디지털 신호 처리부(20)에 의해 실행되는 기능 구성으로서 나타내고 있지만, 이것은 일례이며, 제어부(30)에 의해 처리가 실행되어도 된다.

제어부(30)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등을 구비한 마이크로 컴퓨터(연산 처리 장치)에 의해 구성된다.

CPU가 ROM이나 플래시 메모리 등에 기억된 프로그램을 실행함으로써, 촬상 장치(1) 전체를 통괄적으로 제어한다.

RAM은 CPU의 각종 데이터 처리 시의 작업 영역으로서, 데이터나 프로그램 등의 일시적인 격납에 이용된다.

ROM이나 플래시 메모리(비휘발성 메모리)는, CPU가 각 부를 제어하기 위한 OS(Operating System)나, 화상 파일 등의 콘텐츠 파일 외에, 각종 동작을 위한 애플리케이션 프로그램이나, 펌웨어 등의 기억에 이용된다.

이러한 제어부(30)는, 디지털 신호 처리부(20)에 있어서의 각종 신호 처리의 지시, 사용자의 조작에 따른 촬상 동작이나 기록 동작, 기록한 화상 파일의 재생 동작, 줌, 포커스, 노광 조정 등의 카메라 동작, 유저 인터페이스 동작 등에 대해, 필요 각 부의 동작을 제어한다.

또한, 제어부(30)는, 표시 제어부(31)로서의 기능을 가지고 있다. 표시 제어부(31)는, 표시 데이터 생성부(23)가 생성한 스루 화상 등의 각종 화상을 표시부(16)에 표시시키는 제어를 행한다.

나아가, 제어부(30)는 접수부(32)로서의 기능을 갖는다. 접수부(32)는, 후술하는 바와 같이 표시부(16)에 형성된 터치 패널의 조작 등, 소정 조작에 의한 피사체의 지정을 접수한다.

또한, 이들 표시 제어부(31) 및 접수부(32)에 대해서는 이후에 다시 설명한다.

표시부(16)는, 사용자(촬상자 등)에 대해 각종 표시를 행하는 표시부이며, 예를 들면 촬상 장치(1)의 케이스 상에 형성되는 LCD(Liquid Crystal Display)나 유기 EL(Electro-Luminescence) 디스플레이 등의 디스플레이 디바이스를 갖고 형성된다. 또한, 이른바 뷰파인더의 형태로, LCD나 유기 EL 디스플레이 등을 이용하여 형성되어도 된다.

표시부(16)는, 상기 디스플레이 디바이스와, 해당 디스플레이 디바이스에 표시를 실행시키는 표시 드라이버로 이루어진다. 표시 드라이버는, 제어부(30)의 지시에 기초하여, 디스플레이 디바이스 상에 각종 표시를 실행시킨다. 예를 들면 표시 드라이버는, 촬상하여 기록 매체에 기록한 정지화상이나 동화상을 재생 표시시키거나, 표시 데이터 생성부(23)로부터의 표시 데이터에 의한 스루 화상을 디스플레이 디바이스의 화면 상에 표시시킨다. 또한 각종 조작 메뉴, 아이콘, 메시지, 가이드 표시 등, 즉 GUI(Graphical User Interface)로서의 표시를 화면 상에 실행시킨다. 또한, 표시 드라이버는, 스루 화상에 중첩해서 필요한 화상을 표시시킬 수도 있다.

각도 검출부(17)는, 장치 자체, 즉, 촬상 장치(1)의 자세를 검출하기 위한, 예를 들면 자이로 센서(각속도 센서), 가속도 센서 등의 소정 센서를 가지고 있고, 장치 자체의 촬상 방향에 대략 직교하는 면내에서의 회전 각도(이하, 「장치 회전 각도」라고 표기함)를 적어도 검출한다.

이 예에 있어서의 각도 검출부(17)는, 촬상 장치(1)가 정립(正立) 상태, 즉, 촬상 장치(1)의 상하 방향과 천지 방향이 거의 일치한 상태를 장치 회전 각도 = 0deg로서 검출한다.

각도 검출부(17)가 검출한 장치 회전 각도의 정보는 제어부(30)로 송신된다. 제어부(30)는, 장치 회전 각도의 정보를 이용하여 각종 제어를 행할 수 있다. 특히, 이 예에서는, 장치 회전 각도의 정보는 디지털 신호 처리부(20)(편광 화상 생성부(21))에 의해 취득되고, 후술하는 실시형태로서의 처리에 이용된다.

또한, 장치 회전 각도는, 예를 들면 디지털 신호 처리부(20)에 의한 화상 처리에 의해 검출할 수도 있다. 예를 들면, 촬상부(11)로부터의 매 프레임의 촬상 화상에 있어서 복수의 특징점을 추출하고, 이들 특징점의 회전을 검출하는 신호 처리 등을 들 수 있다.

또한, 이 예에서는, 촬상부(11)가 촬상 장치(1)와 일체로 자세 변화하는 것을 전제로 하여, 촬상 장치(1)의 장치 회전 각도를 검출하는 예로 하고 있지만, 후술하는 회전 캔슬 수법의 실현 시에는, 회전 각도(촬상 방향에 대략 직교하는 면내에서의 회전 각도)로서는, 촬상부(11)(촬상 소자(12))의 회전 각도를 검출하면 된다.

조작부(18)는, 사용자의 조작을 입력하는 입력 기능을 가지며, 입력된 조작에 따른 신호를 제어부(30)로 보낸다.

이 조작부(18)로서는, 예를 들면 촬상 장치(1)의 케이스 상에 마련된 각종 조작자나, 표시부(16)에 형성된 터치 패널 등으로서 실현된다. 케이스 상의 조작자로서는, 전술한 셔터 버튼(1a)이나 버튼 조작자(1b)를 비롯하여, 십자 키, 슬라이드 키 등의 각종 조작자가 마련된다.

기억부(14)는, 예를 들면 비휘발성 메모리로 이루어지고, 정지화상 데이터나 동화상 데이터 등의 화상 파일(콘텐츠 파일)이나, 화상 파일의 속성 정보, 섬네일 화상 등을 기억하는 기억 영역으로서 기능한다.

화상 파일은, 예를 들면 JPEG(Joint Photographic Experts Group), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format) 등의 형식으로 기억된다.

기억부(14)의 실제 형태는 여러 가지로 생각된다. 예를 들면, 기억부(14)는, 촬상 장치(1)에 내장되는 플래시 메모리라도 되고, 촬상 장치(1)에 탈착할 수 있는 메모리 카드(예를 들면, 휴대형의 플래시 메모리)와 해당 메모리 카드에 대하여 기록 재생 액세스를 행하는 카드 기록 재생부에 의한 형태라도 된다. 또한, 촬상 장치(1)에 내장되어 있는 형태로서 HDD(Hard Disk Drive) 등으로서 실현되는 것도 있다.

통신부(15)는, 외부기기와의 사이의 데이터 통신이나 네트워크 통신을 유선 또는 무선으로 행한다.

예를 들면, 외부의 표시 장치, 기록 장치, 재생 장치 등의 사이에서 촬상 화상 데이터(정지화상 파일이나 동화상 파일)의 통신을 행한다.

또한, 네트워크 통신부로서, 예를 들면 인터넷, 홈 네트워크, LAN(Local Area Network) 등의 각종 네트워크에 의한 통신을 행하여, 네트워크 상의 서버, 단말 등과의 사이에서 각종 데이터 송수신을 행하도록 해도 된다.

[1-2. 편광 필터 효과에 대해]

도 3은 일반적인 촬상 장치에 의해 회전 가능한 편광 필터를 통하여 촬상을 행한 경우의 편광 필터 효과의 설명도이다.

도 3에서는 편광 필터의 편광축 P를 모식적으로 나타내고 있다. 또한, 도면 중의 횡방향 파선은 수평선을 모식적으로 나타내고 있다.

예를 들면, 편광축 P와 수평선이 이루는 각도 a가 도 3의 A에 나타내는 각도일 때를 기준으로 하여 생각한다. 도 3의 A의 상태로부터 편광 필터를 도면 중 화살표 방향으로 회전시키면, 도 3의 B와 같이 편광축 P도 회전되어, 각도 a가 변화된다. 이 예에서는, 편광축 P가 도 3의 B의 각도 a일 때, 촬상 화상에 있어서 일부 피사체의 반사가 도 3의 A일 때보다 저감되는 것으로 한다.

도 3의 A, 도 3의 B에서는, 촬상 장치를 횡방향 자세로 하고 있지만, 도 3의 B의 상태로부터 도 3의 C와 같이 촬상 장치가 종방향 자세로 된 것으로 한다. 이러한 자세 변화가 생기면, 편광축 P와 수평선이 이루는 각도 a도 변화되기 때문에, 촬상 화상에 있어서의 편광 필터 효과에 변화가 생긴다. 여기서는, 도 3의 C의 자세 변화에 의해 각도 a가 도 3의 A의 경우와 마찬가지로 된 경우를 예시하고 있고, 도 3의 C의 촬상 화상은 도 3의 A의 촬상 화상과 거의 일치하고 있다(편광 필터 효과가 거의 일치하고 있다).

가령, 도 3의 B에서 얻어진 편광 필터 효과가 사용자가 바라는 것이었다고 하면, 사용자는, 도 3의 B→도 3의 C와 같이 자세 변화시킨 경우에는, 각도 a가 도 3의 B의 경우와 일치하도록 편광 필터를 다시 회전시키는 것을 강요당한다(도 3의 D 참조). 즉, 사용자는, 일단, 자신이 바라는 편광 필터 효과가 얻어지도록 편광 필터의 회전 각도 조정을 행하였음에도 불구하고, 다시 조정 조작을 행할 것을 강요당한다.

이러한 사태는, 사용자에게 불필요한 조작 부담을 강요하는 것이어서 바람직하지 않다.

이에 본 실시형태에서는, 촬상 장치의 회전에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모한다.

도 4는 촬상 장치(1)가 구비하는 촬상부(11)의 구조에 대한 설명도이며, 도 4의 A는 개략 종단면도, 도 4의 B는 개략 정면도이다.

촬상부(11)에 있어서는, 촬상 소자(12)의 촬상면 상에 광학 부재(13)가 배치되어 있다. 촬상 소자(12)에 있어서는, 복수의 수광 소자(12a)가 2차원(종횡방향)으로 배열되어 있고, 광학 부재(13)에 있어서는, 수광 소자(12a)마다, 수광면 상에 위치하는 편광 필터(13a)가 형성되어 있다.

도 4의 B에서는, 각 편광 필터(13a)의 편광축의 방향(각도)을 양쪽 화살표로 모식적으로 나타내고 있지만, 해당 양쪽 화살표를 참조하여 알 수 있는 바와 같이, 편광 필터(13a)로서는 편광축의 각도가 45deg씩 다른 4종이 이용되고 있다.

이하에서는 가령, 지면의 횡방향, 즉, 촬상 소자(12)의 횡방향(수평 라인 방향)과 일치하는 방향이 수평 방향(수평선)과 일치하는 것으로 하고, 횡방향의 양쪽 화살표로 나타내는 편광축의 각도를 「0deg」, 종방향의 양쪽 화살표로 나타내는 편광축의 각도를 「90deg」, 우측이 올라가게(좌측이 내려가게) 경사진 양쪽 화살표로 나타내는 편광축의 각도를 「45deg」, 좌측이 올라가게(우측이 내려가게) 경사진 양쪽 화살표로 나타내는 편광축의 각도를 「135deg」로 표기한다.

촬상 소자(12)에 있어서, 각 수광 소자(12a)(즉, 이 예에서는 각 화소)는, 수광면 상에 배치된 대응하는 편광 필터(13a)의 편광축 각도에 일치하는 각도의 직선 편광을 선택적으로 수광하게 된다.

이 예에서는, 세로2×가로2 = 4개의 수광 소자(12a)가 하나의 화소 유닛(U)을 구성하고, 화소 유닛(U)에 있어서는, 각 수광 소자(12a) 상의 편광 필터(13a)의 편광축이 45deg씩 다르다.

촬상부(11)에 있어서는, 이러한 화소 유닛(U)이 종방향 및 횡방향으로 복수 배열되어 있다.

상기한 바와 같이 편광 방향이 다른 직선 편광을 선택적으로 수광 가능하게 한 촬상부(11)를 이용함으로써, 편광의 정보를 얻을 수 있다.

구체적으로, 편광 방향이 다른 직선 편광을 각각 개별로 수광한 복수의 수광 신호값을 이용함으로써, 편광 필터의 편광축의 각도와 수광 소자(12a)로 얻어지는 수광 신호값(휘도값)과의 관계를 나타내는 함수를 구할 수 있다. 이는, 즉, 회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정했을 때에 있어서의, 해당 편광 필터의 회전 각도와 수광 신호값(휘도값)과의 관계를 나타내는 함수가 구해지는 것을 의미한다.

여기서, 이하, 상기한 바와 같이 회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정했을 때에 있어서의 해당 편광 필터의 회전 각도를 「가상 필터 각도」라고 표시한다. 또한, 상기 함수를 「함수(F)」라고 표기한다.

함수(F)는 구체적으로는 cos 커브로 된다. 이 cos 커브를 이용함으로써, 가상 필터 각도를 임의 각도로 한 경우에 얻어지는 수광 신호값을 구할 수 있다. 즉, 임의의 편광 필터 효과를 부여한 화상을 얻을 수 있다.

또한, 상기와 같은 촬상부(11)를 이용한 경우, 서로의 편광 방향이 90deg 다른 2개의 직선 편광의 수광 신호값끼리를 가산함으로써, 광학 부재(13)에 의한 편광의 분리를 캔슬한 촬상 화상, 즉, 편광 필터 효과를 제로로 한 통상의 촬상 화상에 상당하는 화상을 얻을 수 있다.

이하, 이와 같이 편광 필터 효과를 제로로 한 통상의 촬상 화상에 상당하는 화상을 「가상 통상 화상」이라고 표기한다.

도 2에 나타낸 편광 화상 생성부(21)가 행하는 가상 통상 화상의 생성, 및 함수(F)의 피팅에 대해 도 5 내지 도 7을 참조하여 설명한다.

도 5는 가상 통상 화상의 생성 수법에 대한 설명도이다.

도 5의 A에서는, 촬상부(11)에 있어서의 화소 배열을 각 편광 필터(13a)의 편광축 각도의 표기와 함께 모식적으로 나타내고 있다.

먼저, 후술하는 바와 같이, 이 예의 cos 커브의 피팅에서는, 각 화소 위치에 있어서 0deg, 90deg, 45deg, 135deg의 4종의 직선 편광의 수광 신호값을 얻는 것을 전제로 하고 있다.

한편, 촬상부(11)에 있어서는, 편광 필터(13a)의 편광축이 0deg, 90deg, 45deg, 135deg인 화소는, 도 5의 B에서 나타내는 바와 같이 종방향 및 횡방향에 있어서 각각 간헐적으로 배치되어 있기 때문에, 그대로는 각 화소 위치에 대해 4종의 직선 편광의 수광 신호값을 얻는 것이 불가능하다.

이 때문에, 0deg, 90deg, 45deg, 135deg의 각 직선 편광에 대해, 도 5의 C에 나타내는 바와 같이 각각 수광 신호값이 누락된 화소 위치의 수광 신호값을 대응하는 직선 편광이 수광되는 화소의 수광 신호값을 이용하여 보간하고, 각 화소 위치에서 0deg의 직선 편광을 선택적으로 수광한 것에 상당하는 화상(이하, 「제1 편광 화상」이라고 표기), 각 화소 위치에서 90deg의 직선 편광을 선택적으로 수광한 것에 상당하는 화상(이하, 「제2 편광 화상」이라고 표기), 각 화소 위치에서 45deg의 직선 편광을 선택적으로 수광한 것에 상당하는 화상(이하, 「제3 편광 화상」이라고 표기), 각 화소 위치에서 135deg의 직선 편광을 선택적으로 수광한 것에 상당하는 화상(이하, 「제4 편광 화상」이라고 표기)을 각각 생성한다.

상술한 바와 같이 가상 통상 화상은, 각 화소 위치에 있어서, 편광 방향이 90deg 다른 2개의 직선 편광의 수광 신호값끼리를 가산함으로서 얻어진다.

구체적으로는, 제1 편광 화상의 각 화소 위치의 수광 신호값에 대해, 제2 편광 화상에 있어서의 각각 동일 화소 위치의 수광 신호값을 가산하든지, 또는 제3 편광 화상의 각 화소 위치의 수광 신호값에 대해, 제4 편광 화상에 있어서의 각각 동일 화소 위치의 수광 신호값을 가산함으로서 얻을 수 있다.

도 5의 D는, 이와 같이 제1 편광 화상과 제2 편광 화상, 또는 제3 편광 화상과 제4 편광 화상으로부터 가상 통상 화상이 생성되는 것을 모식적으로 나타내고 있다.

도 6은 함수(F)(cos 커브)의 피팅에 대한 설명도이며, 도 6의 A는 촬상부(11)의 어떤 화소 위치에 대해 얻어진 4개의 직선 편광에 대한 수광 신호값(휘도값)의 예를, 도 6의 B는 이들 4개의 수광 신호값(휘도값)과 cos 커브와의 관계를 예시하고 있다.

이들 도 6의 A, 도 6의 B로부터, 각 화소 위치에 있어서 4개의 직선 편광의 수광 신호값이 얻어짐으로써, cos 커브를 피팅할 수 있다는 것을 알 수 있다.

함수(F)로서의 cos 커브는, 도 7에 나타내는 바와 같이 수광 신호값을 「I」, 수광 신호값의 최대값, 최소값을 각각 「Imax」「Imin」, 가상 필터 각도를 「θpol」, 「θpol」의 오프셋을 「Φ」로 했을 때, 이하의 [식 1]로 나타낸다.

[식 1]은 다음의 [식 2]로 변환할 수 있다.

[식 2]에 있어서 「A」는 진폭, 「φ」는 원점으로부터의 위상 어긋남, 「c」는 「y」의 오프셋이다.

cos 커브의 피팅은, 0deg, 90deg, 45deg, 135deg의 직선 편광을 각각 수광한 4개의 수광 신호값을 이용하여, 다음의 「식 3」에 기초하여 최소자승법에 의해 행한다. 즉, 「J」를 최소로 하는 「y」를 구한다.

[식 3]에 있어서, 「In」은 실측값, 즉, 대상으로 하는 화소 위치에 대해 얻어진 0deg, 90deg, 45deg, 135deg의 직선 편광에 대한 수광 신호값이다.

상기 「식 3」에 의해 구해진 「J」를 최소로 하는 「y」가 실측값에 피팅 된 cos 커브이다.

cos 커브가 피팅되면, 해당 cos 커브에 임의의 가상 필터 각도의 값을 대입함으로써, 대상으로 하는 화소 위치에 대해, 임의 회전 각도에 의한 편광 필터를 통하여 수광 소자(12a)가 광을 수광했을 때의 수광 신호값(해당 화소 위치의 휘도값)이 얻어진다. 또한, [식 2]에 있어서, 「가상 필터 각도」에 상당하는 항은 「(π/2)*n」이다.

상기와 같은 cos 커브의 피팅, 및 cos 커브와 임의의 가상 필터 각도를 이용한 휘도값의 계산을 각 화소 위치에 대해 행함으로써, 임의 회전 각도의 편광 필터를 통하여 촬상 소자(12)에 의해 촬상을 행하여 얻어지는 화상에 상당하는 화상을 얻을 수 있다.

이하, 상기한 바와 같이 피팅한 cos 커브와 임의의 가상 필터 각도에 기초하여 생성되는 화상을 「가상 편광 화상」이라고 표기한다.

편광 화상 생성부(21)는 상기와 같은 수법에 의해, 각 수광 소자(12a)의 수광 신호값에 기초하여 가상 편광 화상, 가상 통상 화상의 생성을 행한다.

또한, 상기 설명에서는, 가상 편광 화상의 해상도의 저하 방지를 도모하기 위해, 보간 화상으로서의 제1 편광 화상, 제2 편광 화상, 제3 편광 화상, 제4 편광 화상을 생성하는 예를 들었지만, 화소 유닛(U)은 동일한 화소 위치라고 간주하여, 화소 유닛(U)마다 4종의 수광 신호값에 기초하는 cos 커브의 피팅을 행하는 것도 가능하다.

또한, cos 커브의 피팅은, 화소 위치마다 4종의 직선 편광의 수광 신호값을 이용하는 것은 필수적이지 않으며, 적어도 3종의 직선 편광의 수광 신호값을 이용하여 행하는 것이 가능하다. 이 예에서는, 화소 위치마다 4종의 직선 편광의 수광 신호값을 이용하여 상기와 같은 최소자승법을 이용한 피팅으로 하고 있음으로써, 노이즈 내성을 높인 보다 고정밀도인 피팅을 실현하고 있다.

본 실시형태의 촬상 장치(1)에 있어서는, 촬상부(11)에 의해 얻어진 신호에 기초하여 가상 편광 화상을 생성하는 편광 촬상 모드와, 가상 통상 화상을 생성하는 통상 촬상 모드가 마련되고, 이들 편광 촬상 모드와 통상 촬상 모드를 사용자의 조작에 기초하여 전환 가능하게 되어 있다. 구체적으로, 제어부(30)는, 예를 들면 도 1에 나타낸 버튼 조작자(1b)의 조작 등, 소정 조작에 기초하여 편광 촬상 모드/통상 촬상 모드의 모드 전환을 행한다.

편광 촬상 모드 중에는, 제어부(30)에 있어서의 표시 제어부(31)는, 편광 화상 생성부(21)에 의해 생성된 가상 편광 화상이 스루 화상으로서 표시부(16)에 표시되는 바와 같이 표시 데이터 생성부(23)를 제어한다. 또한, 표시 제어부(31)는, 통상 촬상 모드 중에 있어서는, 편광 화상 생성부(21)에 의해 생성된 가상 통상 화상이 스루 화상으로서 표시부(16)에 표시되는 바와 같이 표시 데이터 생성부(23)를 제어한다.

또한, 본 실시형태에서는, 렌즈 장치(2)에 마련된 회전 조작자(2b)가, 가상 편광 화상의 생성에 이용하는 가상 필터 각도의 지시 입력 조작자로서 기능한다.

구체적으로, 제어부(30)는, 편광 촬상 모드 중에 있어서는, 회전 각도 검출부(5)가 검출한 회전 조작자(2b)의 회전 각도의 정보를 순차 취득하고, 취득한 회전 각도의 정보를, 예를 들면 내부의 RAM이나 기억부(14) 등, 소정의 기억 장치에 기억한다.

그리고, 편광 촬상 모드 중에 있어서는, 편광 화상 생성부(21)가 상기한 바와 같이 소정의 기억 장치에 기억된 회전 조작자(2b)의 회전 각도 정보를 취득하고, 취득한 회전 각도 정보를 이용하여 가상 편광 화상의 생성을 행한다.

여기서, 이하, 회전 각도 검출부(5)가 검출하는 회전 조작자(2b)의 회전 각도를 「회전 각도 α」라고 표기한다.

[1-3. 회전 캔슬 수법]

도 8은 실시형태의 회전 캔슬 수법에 대한 설명도이다.

도 8의 A는, 촬상 장치(1)가 정립 상태일 때에, 회전 조작자(2b)의 조작에 의해 가상 필터 각도로서 「α」가 지시된 상태를 예시하고 있다. 여기서는 설명상, 회전 각도 α는 촬상 장치(1)가 정립 상태일 때의 수평선(도면 중 파선으로 나타냄)을 기준으로 한 각도인 것으로 하고 있다.

또한, 도면 중에서는, 상술한 cos 커브를 이용한 신호 처리로 실현되는 가상적인 편광 필터의 편광축을 가상 편광축 P′로서 나타내고 있다.

도 8의 A의 상태에서는, 가상 편광축 P′와 수평선이 이루는 각도가 「α」이지만, 도 8의 B와 같이 촬상 장치(1)가 βdeg 기울어진 경우, 가상 편광축 P′와 수평선이 이루는 각도가 「α」로부터 변화되어 버린다(「α-β」로 변화된다).

도 8의 B와 같은 촬상 장치(1)의 βdeg의 회전에 대하여, 도 8의 A의 상태에서의 편광 필터 효과를 유지하기 위해서는, 도 8의 C에 나타내는 바와 같이 가상 편광축 P′와 수평선이 이루는 각도를 「α」로 되돌리도록 하면 된다. 즉, 회전 조작자(2b)에 의해 지시된 회전 각도「α」에 대하여, 촬상 장치(1)의 회전 각도(장치 자체의 촬상 방향에 대략 직교하는 면내에서의 회전 각도)인 「β」를 가산하고, 그것에 의해 얻어진 「α+β」를 cos 커브에 기초하는 가상 편광 화상의 생성에 이용되는 가상 필터 각도로 하면 된다.

본 실시형태의 편광 화상 생성부(21)는, 제어부(30)가 각도 검출부(17)로부터 취득하는 장치 회전 각도를 상기 「β」로서 취득하고, 상술한 화소 위치마다의 cos 커브에 기초하는 휘도값의 계산 시에 있어서, 해당 「β」와 회전 각도 α를 가산한 「α+β」를 cos 커브에 대입해야 할 가상 필터 각도의 값으로서 이용한다.

이에 의해, 촬상 장치(1)가 회전하더라도 편광 필터 효과는 불변이 되고, 촬상 장치(1)의 회전에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모할 수 있다.

여기서, 상기에 의해 설명한 실시형태로서의 회전 캔슬 수법은, 다음과 같이 환언할 수 있다. 즉, 화소 유닛(U)에 포함되는 복수의 화소의 수광 신호와, 가상 필터 각도와 수광 신호값의 관계를 나타내는 함수 정보에 기초하여, 각도 검출부(17)의 검출 결과에 기초하여 보정된 가상 필터 각도에 상당하는 편광 방향에 대응하는 화상을 생성한다는 것이다. 이 때, 「가상 필터 각도에 상당하는 편광 방향」이란, 회전 가능한 편광 필터의 회전 각도를 해당 가상 필터 각도로 했을 때에 수광되는 직선 편광의 편광 방향을 의미한다. 또한, 「편광 방향에 대응하는 화상」이란, 단일 편광 방향의 성분을 갖는 편광 화상을 의미한다. 환언하면, 단일 편광 방향에 의한 직선 편광을 선택적으로 수광하여 얻어지는 화상을 의미하는 것이다. 또한, 해당 「단일 편광 방향에 의한 직선 편광을 선택적으로 수광하여 얻어지는 화상」에는, 함수(F)를 이용한 신호 처리로 생성되는 가상 편광 화상 등, 촬상부(11)에 의해 얻어진 신호에 대한 처리에 의해 생성되는 화상도 포함된다.

[1-4. 처리 순서]

도 9는 상기에서 설명한 실시형태로서의 회전 캔슬 수법을 실현하기 위한 처리 순서를 나타낸 플로우 차트이다. 또한, 도 9에 나타내는 처리는, 이 예에서는 매 프레임 실행된다.

먼저, 단계(S101)에서 편광 화상 생성부(21)는, 현재가 편광 촬상 모드 중인지 아닌지를 판정한다. 편광 촬상 모드 중이라면, 편광 화상 생성부(21)는 단계(S102)로 진행하고, 회전 각도 α 및 회전 각도 β를 취득한다. 즉, 제어부(30)가 회전각 검출부(5)로부터 취득한 회전 조작자(2a)의 회전 각도를 「α」로 하고, 또한 제어부(30)가 각도 검출부(17)로부터 취득한 장치 회전 각도를 「β」로 하여 각각 취득한다.

또한, 편광 화상 생성부(21)는 단계(S103)에서, 「α+β」를 계산하고, 이어지는 단계(S104)에 있어서 가상 필터 각도를 「α+β」로 한 경우의 가상 편광 화상을 생성한다.

구체적으로, 편광 화상 생성부(21)는 단계(S104)에서, 도면 중의 단계(S201) 내지 단계(S203)의 처리를 실행한다.

먼저, 단계(S201)에서 편광 화상 생성부(21)는, 각 각도의 편광 화상 생성 처리를 행한다. 구체적으로는, 도 5의 C에서 설명한 제1 편광 화상, 제2 편광 화상, 제3 편광 화상, 제4 편광 화상을 생성하는 처리이다.

이어지는 단계(S202)에서 편광 화상 생성부(21)는, 화소 위치마다 cos 커브를 피팅하는 처리를 행한다. 즉, 제1 편광 화상, 제2 편광 화상, 제3 편광 화상, 제4 편광 화상의 생성에 의해 화소 위치마다 4개 얻어지는 수광 신호값을 이용하여, 화소 위치마다 전술한 [식 3]에 기초하여 cos 커브를 피팅한다.

그리고, 단계(S203)에서 편광 화상 생성부(21)는, 화소 위치마다 cos 커브에 「α+β」를 대입하여 휘도값을 산출한다.

이에 의해, 가상 필터 각도를 「α+β」로 한 경우의 가상 편광 화상이 얻어진다.

한편, 앞의 단계(S101)에서 편광 촬상 모드 중이 아니라고 판정한 경우, 즉, 통상 촬상 모드 중인 경우, 편광 화상 생성부(21)는 단계(S105)에서 가상 통상 화상을 생성한다.

구체적으로, 단계(S105)에서 편광 화상 생성부(21)는, 도면 중의 단계(S301) 및 단계(S302)의 처리를 실행한다. 즉, 먼저 단계(S301)에서 편광 화상 생성부(21)는, 앞의 단계(S201)과 동일하게 각 각도의 편광 화상 생성 처리를 행한다. 그리고, 이어지는 단계(S302)에서 편광 화상 생성부(21)는, 화소 위치마다, 편광 방향이 직교하는 2개의 편광 화상의 수광 신호값을 가산한다. 구체적으로는, 제1 편광 화상의 각 화소 위치의 수광 신호값에 대하여, 제2 편광 화상에 있어서의 각각 동일 화소 위치의 수광 신호값을 가산한다. 또는, 제3 편광 화상의 각 화소 위치의 수광 신호값에 대하여, 제4 편광 화상에 있어서의 각각 동일 화소 위치의 수광 신호값을 가산한다.

이에 의해, 가상 통상 화상이 얻어진다.

편광 화상 생성부(21)는, 단계(S104) 또는 단계(S105) 중 어느 하나의 처리를 행함에 따라 도 9에 나타내는 처리를 마친다.

여기서, 이 예의 촬상 장치(1)에서는, 편광 촬상 모드 중에 있어서의 셔터 버튼(1a)의 조작 등의 소정 조작에 따라 가상 편광 화상의 기록이 행해지고, 통상 촬상 모드 중에 있어서의 해당 소정 조작에 따라 가상 통상 화상의 기록이 행해진다.

구체적으로, 제어부(30)는, 편광 촬상 모드 중에 소정 조작을 검출함에 따라, 편광 화상 생성부(21)가 생성한 가상 편광 화상에 기초하는 정지화상 데이터, 또는 동화상 데이터를 기억부(14)에 기억시킨다. 또한, 통상 촬상 모드 중에 소정 조작을 검출함에 따라, 편광 화상 생성부(21)가 생성한 가상 통상 화상에 기초하는 정지화상 데이터, 또는 동화상 데이터를 기억부(14)에 기억시킨다.

또한, 가상 편광 화상으로서 정지화상을 기록하는 경우에는, cos 커브의 피팅 등, 가상 편광 화상을 생성하기 위한 처리는 매 프레임 행할 필요는 없으며, 셔터 버튼(1a) 등에 의한 소정 조작이 행해진 타이밍에서의 프레임에 대해서만 행하도록 할 수도 있다.

또한, 상기에서는, 설명상, 본 기술에 있어서의 「화소」를 구성하는 수광 소자(12a)의 수가 하나인 경우를 예시했지만, 촬상 장치(1)에 의한 촬상 화상(가상 편광 화상, 가상 통상 화상)으로서는, 컬러 화상을 생성할 수도 있고, 그 경우, 「화소」에는, R(적), G(녹), B(청)의 수광 소자(12a)를 적어도 하나씩 마련한다(예를 들면, RGGB형에서는 4개의 수광 소자(12a)를 마련한다). 즉, 소정 수의 수광 소자(12a)를 가진 「화소」마다 편광 필터(13a)를 마련함으로써, 「화소」마다 편광 방향이 다른 직선 편광을 선택적으로 수광시킨다.

컬러 화상으로 하는 경우에는, 화소 위치마다 R, G, B의 각 수광 소자가 존재하기 때문에, 제1 편광 화상 내지 제4 편광 화상으로서는 R, G, B 각각을 생성하게 된다. 그리고, 제1 편광 화상 내지 제4 편광 화상의 각 화소 위치에 대해 행하는 cos 커브의 피팅, 및 cos 커브에 기초하는 가상 편광 화상의 생성은, R, G, B의 각각에 대해 행한다. 이에 의해, 화소 위치마다 R, G, B 각각의 수광 신호값(휘도값)을 가진 가상 편광 화상을 얻을 수 있다. 또한, 가상 통상 화상에 대해서도, 동일하게 R, G, B 각각의 제1 편광 화상 내지 제4 편광 화상에 기초하여, R, G, B 각각에 대해 생성한다.

여기서, 상기에서는, 가상 필터 각도가 조작에 의해 설정되는 예로 했지만, 조작에 의하지 않고 가상 필터 각도가 설정되어도 된다. 즉, 실시형태로서의 회전 캔슬 처리는, 조작뿐만 아니라 설정된 어떤 기준이 되는 가상 필터 각도와, 촬상부(11)의 회전 각도(장치 회전 각도)와의 차이에 기초하여, 촬상부(11)의 회전 각도의 변화가 가상 편광 화상에 미치는 변화를 캔슬하도록 행하는 것이라면 된다. 환언하면, 기준이 되는 가상 필터 각도와 촬상부(11)의 회전 각도의 차이에 기초하여 화상의 생성을 행하는 것이라면 된다.

또한, 상기에서는, 회전 캔슬을 위해, 함수(F)에 기초한 가상 편광 화상의 생성을 필수로 하는 예를 들었지만, 회전 캔슬을 위해 함수(F)에 기초한 가상 편광 화상의 생성은 필수적이지 않다.

예를 들면, α+β가 0deg, 90deg, 45deg, 135deg 중 어느 하나에 일치하는 경우에 있어서는, 촬상부(11)에 있어서의 수광 소자(12a) 중, α+β와 일치하는 각도의 직선 편광을 선택적으로 수광하는 수광 소자(12a)의 수광 신호를 그대로 이용한 화상을 회전 캔슬한 화상으로서 얻을 수도 있다.

또는, α+β가 0deg, 90deg, 45deg, 135deg 중 어느 하나에 근접하고 있는(예를 들면, 차이가 소정값 이하인) 경우에 있어서는, 촬상부(11)에 있어서의 수광 소자(12a) 중 해당 근접하고 있는 각도의 직선 편광을 선택적으로 수광하는 수광 소자(12a)의 수광 신호를 그대로 이용한 화상을 회전 캔슬한 화상으로서 얻을 수도 있다.

이와 같이, 회전 캔슬을 가능하게 하는 데 있어서는, 촬상부(11)의 자세에 대한 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하면 된다.

또한, α+β가 0deg, 90deg, 45deg, 135deg 중 어느 것에 대해서도 일치하지 않거나, 또는 근접하지 않을 때에는, 회전 캔슬한 화상으로서, 함수(F)에 기초한 가상 편광 화상을 생성하면 된다. 구체적으로는, 함수(F)에 기초하여, 가상 필터 각도 = α+β로 했을 때의 가상 편광 화상을 생성하는 것이다.

[1-5. 편광 필터 효과의 확인]

본 실시형태의 촬상 장치(1)는, 편광 촬상 모드 중에 있어서 가상 편광 화상을 스루 화상으로서 표시부(16)에 표시하고 있을 때, 소정 조작에 따라 표시 화상을 가상 편광 화상으로부터 가상 통상 화상으로 전환하는 기능을 갖는다. 즉, 이와 같이 가상 편광 화상으로부터 가상 통상 화상의 표시로 전환함으로써, 사용자가 편광 필터 효과를 확인하기 쉽게 하는 것이다.

이 경우의 표시 전환은, 예를 들면 도 1에 나타낸 버튼 조작자(1b) 등, 소정의 버튼 조작자의 압압 조작에 따라 행한다. 구체적으로는, 압압 조작이 개시됨에 따라 표시 화상을 가상 편광 화상으로부터 가상 통상 화상으로 전환하고, 압압 조작이 계속 중일 때에는 가상 통상 화상의 표시 상태를 유지한다. 그리고, 압압 조작의 종료에 따라 표시 화상을 가상 통상 화상으로부터 가상 편광 화상으로 전환한다.

이러한 가상 편광 화상/가상 통상 화상의 전환은, 제어부(30)에 있어서의 표시 제어부(31)의 제어에 기초하여 실현된다.

도 10의 플로우 차트에 의해 구체적인 처리를 설명한다.

도 10의 A는 제어부(30)(표시 제어부(31))가 실행하는 처리, 도 10의 B는 편광 화상 생성부(21)가 실행하는 처리를 각각 나타내고 있다. 또한, 도 10의 B의 처리는 도 9의 처리와 동일하게, 이 예에서는 매 프레임 실행된다.

여기서, 이하의 설명에 있어서, 이미 설명이 완료된 부분과 동일하게 되는 부분에 대해서는 동일 부호, 동일 단계 번호를 부여하여 설명을 생략한다.

도 10의 A에 있어서, 제어부(30)는 단계(S401)에서, 표시 전환 조작으로서의 소정 조작(이 예에서는 소정 버튼의 압압 조작)의 유무를 확인하고, 표시 전환 조작이 행해진 경우에는 단계(S402)에서 가상 통상 화상의 생성 지시 플래그를 ON으로 한다. 해당 생성 지시 플래그는, 예를 들면 기억부(14) 등에 있어서의 소정의 기억 장치에 기억되는 플래그이며, 편광 화상 생성부(21)가 참조 가능한 플래그로 된다.

단계(S402)로 이어지는 단계(S403)에서 제어부(30)는, 표시 전환 제어로서, 표시부(16)의 표시 화상을 가상 편광 화상으로부터 가상 통상 화상으로 전환하기 위한 제어를 행한다. 후술하는 바와 같이 단계(S402)에서 생성 지시 플래그를 ON으로 함에 따라서는, 편광 화상 생성부(21)에 있어서 가상 통상 화상이 생성되기 때문에, 제어부(30)는 이와 같이 생성된 가상 통상 화상이 표시부(16)에 표시되도록 표시 데이터 생성부(23)와 표시부(16)를 제어한다.

단계(S403)으로 이어지는 단계(S404)에서 제어부(30)는, 앞의 단계(S401)에서 확인된 소정 조작의 종료를 대기(이 예에서는 소정 버튼의 압압 조작 종료를 대기)하고, 소정 조작이 종료한 경우에는 단계(S405)에서 상기 생성 지시 플래그를 OFF로 한 후, 단계(S406)에서 표시 전환 제어를 행한다. 즉, 단계(S402)에서 생성 지시 플래그를 OFF로 함에 따라서는 편광 화상 생성부(21)에 있어서 가상 편광 화상이 생성되기 때문에, 제어부(30)는 이와 같이 생성된 가상 편광 화상이 표시부(16)에 표시되도록 표시 데이터 생성부(23)와 표시부(16)를 제어한다.

이어서, 도 10의 B에 있어서, 편광 화상 생성부(21)는, 단계(S101)에서 편광 촬상 모드 중이라고 판정함에 따라, 단계(S501)에서 생성 지시 플래그가 ON인지 아닌지를 판정한다. 생성 지시 플래그가 ON이라면, 편광 화상 생성부(21)는 단계(S105)에서 처리를 진행한다. 이에 의해, 가상 통상 화상의 생성이 행해진다.

한편, 생성 지시 플래그가 ON이 아니면, 편광 화상 생성부(21)는 단계(S102)로 처리를 진행한다. 즉, 표시 전환 조작이 없는 경우에는 가상 편광 화상의 생성이 행해진다.

한편, 통상 촬상 모드 하에 있어서 가상 통상 화상을 표시 중에 행해진 소정 조작에 따라, 표시 화상을 가상 통상 화상으로부터 가상 편광 화상으로 전환하도록 할 수도 있다. 또한, 이 경우도, 소정 조작의 계속 중에는 가상 편광 화상의 표시 상태가 유지되도록 할 수 있다.

상기한 바와 같이 소정 조작에 기초하여, 표시부(16)의 표시 상태를 가상 편광 화상과 가상 통상 화상 중 어느 일방이 표시된 상태로부터 가상 편광 화상과 가상 통상 화상 중 어느 타방이 표시된 상태로 전환함으로써, 사용자가 편광 필터 효과의 유무를 파악하기 쉬워지도록 할 수 있다.

또한, 상기에서는, 소정 조작이 계속 중인 동안, 가상 편광 화상과 가상 통상 화상 중 어느 타방의 표시 상태를 유지시키고, 소정 조작의 종료에 따라 가상 편광 화상과 가상 통상 화상 중 어느 일방의 표시 상태로 전환하도록 하고 있다.

따라서, 표시 전환에 관련되는 조작 부담의 경감을 도모할 수 있다.

[1-6. 모니터 표시의 연구]

가상 편광 화상을 표시부(16)에 스루 화상으로서 모니터 표시하는 데 있어서는, 도 11에 나타내는 바와 같이, 현재 지시 중인 가상 필터 각도(α)에 의한 가상 편광 화상(이하, 「지시각 화상(Gr)」이라고 표기)과 함께, 현재 지시 중인 가상 필터 각도보다 큰 가상 필터각으로 했을 때의 가상 편광 화상(이하, 「증각 화상(Ga)」이라고 표기)과, 현재 지시 중인 가상 필터 각도보다 작은 가상 필터각으로 했을 때의 가상 편광 화상(이하, 「감각 화상(Gd)」이라고 표기)을 표시부(16)에 표시할 수도 있다.

이 예에서는, 증각 화상(Ga)으로서는 현재 지시 중인 가상 필터 각도에 45deg를 가산한 가상 필터 각도(α+45)에 의한 가상 편광 화상을 표시하고, 감각 화상(Gd)으로서는 현재 지시 중인 가상 필터 각도로부터 45deg를 감산한 가상 필터 각도(α-45)에 의한 가상 편광 화상을 표시한다.

또한, 이 예는, 증각 화상(Ga)에 대응한 표시 위치, 감각 화상(Gd)에 대응한 표시 위치에, 각각 가상 필터 각도를 크게 하기 위한 회전 조작자(2b)의 회전 방향 정보(도면 중 「M1」이라고 표기), 가상 필터 각도를 작게 하기 위한 회전 조작자(2b)의 회전 방향 정보(도면 중 「M2」이라고 표기)를 표시한다.

상기와 같은 증각 화상(Ga), 감각 화상(Gd), 회전 방향 정보의 표시를 위해 편광 화상 생성부(21)가 행하는 처리를 도 12의 플로우 차트에 의해 설명한다.

앞의 도 9에 나타낸 처리와의 차이점은, 단계(S104)의 처리를 대신하여 단계(S106)의 처리를 행하는 점이다. 즉, 가상 필터 각도를 각각 「α+β」「α+β+45」「α+β-45」로 한 경우의 가상 편광 화상을 생성하는 처리이다.

단계(S106)의 처리로서는, 도면 중에 나타내는 바와 같이, 먼저 설명한 단계(S201) 내지 단계(S203)의 처리에 더해서, 단계(S204), 단계(S205)에서, 각각 화소 위치마다 cos 커브에 「α+β+45」, 「α+β-45」를 대입하여 휘도값을 산출하는 처리를 행한다. 이에 의해, 편광 화상 생성부(21)에 있어서 지정각 화상(Gr), 증각 화상(Ga), 감각 화상(Gd)으로서의 가상 편광 화상이 각각 생성된다.

도시는 생략하지만, 이 경우의 표시 제어부(31)는, 상기한 바와 같이 생성된 지정각 화상(Gr), 증각 화상(Ga) 및 감각 화상(Gd)과, 증각 화상(Ga), 감각 화상(Gd) 각각에 대응하는 회전 방향 정보가 표시부(16)에 표시되도록 표시 데이터 생성부(23) 및 표시부(16)를 제어한다. 이 때, 표시 제어부(31)는, 증각 화상(Ga)에 대응하는 표시 위치, 감각 화상(Gd)에 대응하는 표시 위치에 각각 대응하는 회전 방향 정보가 표시되도록 하기 위한 표시 데이터를 표시 데이터 생성부(23)에 생성시킨다.

상기한 바와 같이 지시각 화상(Gr)과 함께 증각 화상(Ga)과 감각 화상(Gd)을 표시함으로써, 가상 필터 각도를 현재의 지시 각도로부터 증각한 경우, 감각한 경우에 각각 편광 필터 효과가 어떻게 변화되는지를 사용자에게 확인시키는 것이 가능하게 되어, 편광 필터 효과의 조정이 용이하게 되도록 사용자를 지원할 수 있다.

또한, 증각 화상(Ga)에 대응하는 표시 위치, 감각 화상(Gd)에 대응하는 표시 위치에 각각 대응하는 회전 방향 정보를 표시하고 있음으로써, 원하는 편광 필터 효과를 얻기 위해 회전 조작자(2b)를 어느 방향으로 회전시키면 되는지를 사용자에게 직감적으로 이해시키는 것이 가능하게 된다.

따라서, 편광 필터 효과의 조정이 보다 용이하게 되도록 사용자를 지원할 수 있다.

또한, 원하는 편광 필터 효과를 얻기 위해 회전 조작자(2b)를 어느 방향으로 회전시키면 되는지를 사용자에게 이해시키기 위해서는, 예를 들면, 표시부(16)에 있어서의 회전 조작자(2b)의 증각 회전 방향 측에 증각 화상(Ga)을, 감각 회전 방향 측에 감각 화상(Gd)을 표시시킬 수도 있다.

이에 의해, 회전 방향 정보를 표시할 필요가 없어지고, 표시부(16)에 있어서의 표시 스페이스의 유용 이용화를 도모할 수 있다.

또한, 상기에서는, 증각 화상(Ga)과 감각 화상(Gd)을 동시에 표시하는 예를 들었지만, 이들 적어도 일방을 표시할 수도 있다. 증각 화상(Ga)과 감각 화상(Gd)의 어느 일방을 표시하는 경우, 회전 방향 정보로서도 어느 일방에 대응하는 정보를 표시하면 된다.

또한, 증각 화상(Ga), 감각 화상(Gd)의 표시는 소정 조건의 성립에 따라 개시하는 것으로 해도 된다. 예를 들면, 회전 조작자(2b) 등, 가상 필터 각도의 지시 조작자에게 사용자가 접촉한 것을 검지할 수 있도록 해 두고, 해당 지시 조작자에게 사용자가 접촉한 것이 검지됨에 따라 증각 화상(Ga), 감각 화상(Gd)의 표시가 개시되도록 하는 등이 생각된다.

[1-7. 터치 모드]

본 실시형태의 촬상 장치(1)에는, 터치 조작으로 지정된 피사체의 광반사 태양이 소정 조건을 만족하는 태양으로 조정된 가상 편광 화상을 생성 가능하게 하는 터치 모드가 마련되어 있다.

구체적으로, 이 예의 터치 모드는, 터치 조작으로 지정된 피사체의 반사가 제거되는(예를 들면, 유리 등의 투명물의 반사가 제거되는) 바와 같이 조정된 가상 편광 화상의 생성을 가능하게 하는 모드로 된다.

예를 들면, 도 13의 A에 나타내는 바와 같이, 표시부(16)에 스루 화상으로서의 가상 편광 화상이 표시되어 있을 때에, 터치 패널 조작에 의해 필요한 피사체(도면 중 「T」)가 터치되었는 것으로 한다.

터치 모드 중에 있어서, 도 2에 나타낸 접수부(32)는, 이러한 터치 조작에 의한 피사체의 지정을 접수한다. 그리고, 접수부(32)는, 지정된 피사체의 가상 편광 화상 내에서의 좌표 정보를 얻고, 편광 화상 생성부(21)에 지시한다.

편광 화상 생성부(21)는, 상기 좌표 정보가 지시됨에 따라, 지정된 피사체의 반사가 제거되도록 조정된 가상 편광 화상을 생성한다.

표시 제어부(30)는, 이와 같이 생성된 가상 편광 화상이 표시부(16)에 표시되도록 제어한다.

도 13의 B에서는, 지정된 피사체의 반사가 제거된 가상 편광 화상(도면의 예에서는 투명물의 반사가 제거된 가상 편광 화상으로 하고 있음)의 표시 상태를 예시하고 있다.

여기서, 지정된 피사체의 반사를 제거하기 위해 설정되어야 할 가상 필터 각도는, 해당 지정된 피사체가 비추어지는 화소 위치에 대해 cos 커브의 피팅을 행하고, 해당 cos 커브에 기초하여 구할 수 있다. 구체적으로는, 해당 cos 커브에 있어서 수광 신호값이 대략 최소(도 7에 있어서의 「Imin」을 참조)가 될 때의 가상 필터 각도가, 지정된 피사체의 반사를 제거하기 위해 설정되어야 할 가상 필터 각도(이하, 「가상 필터 각도 α′」로 표시)에 상당한다.

따라서, 편광 화상 생성부(21)는, 상기한 바와 같이 터치 조작이 행해져 접수부(32)로부터 좌표 정보가 지시됨에 따라, 해당 좌표 정보가 나타내는 화소 위치에 대해 cos 커브의 피팅을 행하고, 해당 피팅한 cos 커브에 있어서의 수광 신호값이 대략 최소가 되는 가상 필터 각도를 가상 필터 각도 α′로서 구한다.

그리고, 이후에는, 가상 필터 각도 α′를 목표 각도로 하여 가상 편광 화상의 생성을 행한다.

도 14 내지 도 16의 플로우 차트를 참조하여, 상기와 같은 터치 모드 시의 동작을 실현하기 위한 처리에 대해 설명한다.

도 14는 상기한 접수부(32)에 상당하는 처리의 플로우 차트이다.

도 14에 있어서, 제어부(30)는 단계(S601)에서, 터치 모드 중인지 아닌지를 판정하고, 터치 모드 중이 아니면 이 도면에 나타내는 처리를 마치고, 터치 모드 중이라면 단계(S602)에서 터치 조작을 대기한다.

터치 조작이 행해진 경우, 제어부(30)는 단계(S603)에서 터치 위치의 좌표를 편광 화상 생성부(21)에 지시하고, 이 도면에 나타내는 처리를 마친다.

도 15는 편광 화상 생성부(21)가 행하는 가상 필터 각도 α′(목표 각도)의 계산에 관련되는 처리의 플로우 차트이다.

도 15에 있어서, 편광 화상 생성부(21)는 단계(S701)에서, 좌표 지시, 즉, 상기한 단계(S603)에 의한 좌표의 지시를 대기하고, 좌표가 지시된 경우에는 단계(S201)에서 각 각도의 편광 화상 생성 처리를 행한 후, 단계(S702)로 처리를 진행한다.

단계(S702)에서 편광 화상 생성부(21)는, 각 편광 화상(단계(S201)에서 생성되는 제1 편광 화상 내지 제4 편광 화상)에 있어서의 지정 좌표가 나타내는 화소 위치의 수광 신호값을 취득한다.

그리고, 이어지는 단계(S703)에서 편광 화상 생성부(21)는, 취득한 수광 신호값에 기초하여 cos 커브를 피팅하고, 게다가, 이어지는 단계(S704)에서 cos 커브에 기초하여 수광 신호값이 대략 최소가 되는 가상 필터 각도, 즉, 가상 필터 각도 α′를 구한다.

편광 화상 생성부(21)는, 단계(S704)에서 구한 가상 필터 각도 α′를 단계(S705)에서 기억하고, 이 도면에 나타내는 처리를 마친다.

도 16은 가상 필터 각도 α′를 이용한 가상 편광 화상의 생성에 관련되는 처리의 플로우 차트이다.

도 16의 처리는 도 9의 처리와 비교하여, 단계(S801) 내지 단계(S804)가 추가된 점이 다르다.

편광 화상 생성부(21)는, 단계(S101)에서 편광 촬상 모드 중이라고 판정함에 따라, 단계(S801)로 처리를 진행하여 가상 필터 각도 α′가 기억되어 있는지를 판정한다. 즉, 터치 조작에 의해 지정된 피사체의 반사를 제거하기 위한 가상 필터 각도가 이미 구해진 상태에 있는지 아닌지를 판정한다.

단계(S801)에 있어서, 가상 필터 각도 α′가 기억되어 있지 않으면, 편광 화상 생성부(21)는 단계(S102)로 처리를 진행한다. 즉, 편광 촬상 모드 중이며 터치 모드 중이 아닌 경우, 또는 터치 모드 중이어도 아직 터치 조작이 행해지고 있지 않는 경우에는, 「α」와 「β」를 이용한(즉, 회전 조작자(2b)의 회전 각도 α에 따른) 가상 편광 화상의 생성이 행해진다.

한편, 가상 필터 각도 α′가 기억되어 있으면, 편광 화상 생성부(21)는 단계(S802)로 진행하여 가상 필터 각도 α′, 및 회전 각도 β를 취득하고, 이어지는 단계(S803)에서 「α′+β」를 계산하는, 즉, 「α′」를 「β」로 보정한 보정 각도를 계산하고, 단계(S804)로 진행한다.

단계(S804)에서 편광 화상 생성부(21)는, 가상 필터 각도를 「α′+β」로 한 경우의 가상 편광 화상을 생성하고, 이 도면에 나타내는 처리를 마친다. 이 단계(S804)의 생성 처리는, 단계(S104)의 생성 처리와 비교하고, 가상 편광 화상의 생성에 이용하는(즉, cos 커브에 대입하는) 가상 필터 각도가 「α+β」로부터 「α′+β」로 변경될 뿐이기 때문에 처리의 중복 설명은 피한다.

또한, 상기에서는, 가상 필터 각도 α′ (목표 각도)로서 cos 커브에서 있어서의 수광 신호값을 대략 최소로 하는 가상 필터 각도를 구함으로서, 지정된 피사체의 반사를 제거한 가상 편광 화상을 생성하는 예를 들었지만, 예를 들면 목표 각도로서 cos 커브에서 있어서의 수광 신호값을 거의 최대로 하는 가상 필터 각도를 구함으로써, 지정된 피사체의 반사를 가장 강조한 가상 편광 화상을 생성할 수도 있다. 또는, 목표 각도는, cos 커브에 있어서의 수광 신호값을 최대값와 최소값의 중간값으로 하는 가상 필터 각도로서 구하는 것도 가능하다.

이와 같이 목표 각도는, 지정된 피사체에 대응하는 화소 위치에 대해 피팅한cos 커브에서 있어서, 수광 신호값을 소정 조건이 만족되는 값으로 하는 가상 필터 각도로서 구하면 된다.

또한, 상기에서는, 피사체의 지정 조작이 터치 조작에 의해 행해지는 예를 들었지만, 예를 들면 표시부(16)에 표시한 커서를 이용한 지정 조작으로 하는 등, 피사체의 지정 조작은 터치 조작에 한정되지 않는다.

상기한 바와 같이 이 예의 편광 화상 생성부(21)는, 지정된 피사체의 광을 수광하는 화소 위치에 있어서의 수광 신호값에 기초한 cos 커브를 취득하고, 해당 cos 커브에 기초하여, 상기 화소 위치의 수광 신호값을 소정 조건이 만족되는 값으로 하는 가상 필터 각도를 목표 각도(α′)로서 계산하고, 목표 각도를 장치 회전 각도(β)에 의해 보정하여 보정 각도(α′+β)를 얻고, 가상 필터 각도를 보정 각도로 했을 때의 가상 편광 화상을 생성하고 있다.

따라서, 소정의 편광 필터 효과를 얻는 데 있어서의 사용자의 조작 부담 경감이 도모된다.

또한, 이 예의 편광 화상 생성부(21)는, 목표 각도로서, 상기 화소 위치의 수광 신호값을 대략 최소로 하는 가상 필터 각도를 계산하고 있다.

따라서, 소정의 피사체가 반사 제거되는 편광 필터 효과를 얻는 데 있어서의 사용자의 조작 부담 경감이 도모된다.

[1-8. 기대값 표시 모드]

촬상 장치(1)에 있어서는, 편광 필터 효과의 기대값을 나타내는 기대값 정보를 표시부(16)에 표시하는 기대값 표시 모드가 마련되어 있다.

구체적으로, 기대값 표시 모드에서는, 화소 위치마다, 가상 필터 각도를 변화시켰을 때의 수광 신호값의 변화 정도를 나타내는 값이 필터 효과 기대값으로서 구해지고, 해당 필터 효과 기대값의 크기를 나타내는 기대값 정보가 화소 위치마다 나타내 기대값 화상이 표시부(16)에 표시된다.

이 예에서는, 기대값 표시 모드는, 편광 촬상 모드 중에 ON 가능한 모드인 것을 전제로 하고 있다.

도 17은 표시부(16)에 있어서의 기대값 화상의 표시 예를 나타내고 있다.

도면 중에서는, 기대값 화상에 있어서의 기대값 정보를 도트에 의해 모식적으로 나타내고 있다.

이 예에서는, 기대값 화상은, 가상 통상 화상에 대하여 중첩 표시한다. 구체적으로, 이 예에서는, 기대값 표시 모드 중에는, 가상 통상 화상으로서 단색 화상(그레이 스케일 화상)을 표시하고, 기대값 화상은 단색 이외의 특정 색(예를 들면, 적색이나 청색)에 의한 화상을 표시한다. 이 때, 기대값 화상에 있어서의 기대값 정보의 표시는, 필터 효과 기대값이 클수록 휘도값이 커지는 태양으로 행한다. 즉, 이 예에 있어서의 기대값 화상은, 필터 효과 기대값이 큰 화소 위치일수록 휘도값이 커지는 화상으로서 생성된다.

이러한 기대값 화상의 표시에 의해, 사용자는, 화상 내의 어느 위치에서 높은 필터 효과를 기대할 수 있는지를 사전에 파악하는 것이 가능해진다.

여기서, 이 예에서는, 필터 효과 기대값은, 기대값 정보의 표시 대상으로 하는 화소 위치마다 cos 커브를 피팅하고, 해당 cos 커브에 기초하여 계산한다. 구체적으로는, cos 커브에 기초하여, 다음 [식 4]에 의해 나타내지는 편광도 ρ를 필터 효과 기대값으로서 계산한다.

도 18에 나타내는 바와 같이, 편광도 ρ는, cos 커브의 진폭이 가상 필터 각도의 변화에 대하여 일정할 때, 즉, 가상 필터 각도를 변화시켜도 편광 필터 효과가 전혀 변화되지 않을 때에 「0」이 된다. 그리고, cos 커브의 진폭의 최대값 Imax와 최소값 Imin의 차이가 커짐에 따라 값이 커지고, 최대값 Imax와 최소값 Imin의 차이가 최대일 때에 ρ=1이 된다. 즉, 편광도 ρ은 「1」을 최대값으로 하여, 가상 필터 각도의 변화에 대한 편광 필터 효과의 변화 정도가 클수록 값이 커진다.

또한, 필터 효과 기대값으로서는, 편광도 ρ에 한정되지 않고, 가상 필터 각도를 변화시켰을 때의 수광 신호값의 변화 정도를 나타내는 값으로서 cos 커브에 기초하여 계산되는 것이라면 된다.

상기와 같은 기대값 화상의 표시를 위해 편광 화상 생성부(21)가 해야 할 처리를 도 19의 플로우 차트에 의해 설명한다.

도 19에 있어서, 이 경우의 편광 화상 생성부(21)는, 단계(S101)에서 편광 촬상 모드 중이라고 판정함에 따라, 단계(S901)에서 기대값 표시 모드 중인지 아닌지를 판정한다. 기대값 표시 모드 중이 아니면, 편광 화상 생성부(21)는 단계(S102)로 처리를 진행한다. 즉, 편광 촬상 모드 중이며 기대값 표시 모드 중이 아닐 경우에는, 「α」와 「β」를 이용한 가상 편광 화상의 생성이 행해진다. 이 가상 편광 화상은, 표시 제어부(31)의 제어에 기초하여 스루 화상으로서 표시부(16)에 표시된다.

한편, 기대값 표시 모드 중이라면, 편광 화상 생성부(21)는 단계(S105)에서 가상 통상 화상을 생성하고, 이어지는 단계(S202)에서 화소 위치마다 cos 커브를 피팅한다. 또한, 전술한 바와 같이, 단계(S105)의 생성 처리에서는 각 각도의 편광 화상의 생성이 행해지고(도 9의 단계(S301) 참조), 단계(S202)에서는 이들 각 각도의 편광 화상에 기초하여 화소 위치마다 cos 커브를 피팅한다.

단계(S202)로 이어지는 단계(S902)에서 편광 화상 생성부(21)는, 화소 위치마다, cos 커브에 기초하여 편광도 ρ를 계산한다. 즉, 단계(S202)에서 화소 위치마다 구해진 cos 커브에 기초하여, 화소 위치마다 상기한 [식 4]에 의해 편광도 ρ를 계산한다.

도시는 생략하지만, 이 경우의 표시 제어부(31)는, 상기한 바와 같이 구해진 화소 위치마다의 편광도 ρ에 기초한 기대값 화상을 표시 데이터 생성부(23)에 생성시킨다. 즉, 이 예에서는, 편광도 ρ의 값이 클수록 특정 색의 휘도값이 커지는 태양에 의한 기대값 화상을 생성시킨다.

그리고, 표시 제어부(31)는, 편광 화상 생성부(21)가 기대값 표시 모드 중에 생성한 가상 통상 화상과 기대값 화상의 중첩 화상을 표시 데이터 생성부(23)에 생성시켜, 해당 중첩 화상이 표시부(16)에 표시되도록 표시 데이터 생성부(23)와 표시부(16)를 제어한다.

또한, 편광 화상 생성부(21)가 생성하는 가상 통상 화상이 컬러 화상인 경우, 표시 제어부(31)는 해당 가상 통상 화상을 표시 데이터 생성부(23)에 의해 단색화시켜, 단색화 후의 가상 통상 화상과 기대값 화상의 중첩 화상을 표시 데이터 생성부(23)에 생성시킨다.

또한, 상기에서는, 기대값 정보의 생성을 촬상부(11)의 모든 화소 위치에 대해 행하는 예를 들었지만, 기대값 정보의 생성은 소정의 일부의 화소 위치에 대해서만 행할 수도 있다.

그 경우, cos 커브의 피팅이나 필터 효과 기대값의 계산은 적어도 그들 소정의 화소 위치에 대해서만 행하면 된다.

또한, 상기에서는, 기대값 화상을 가상 통상 화상에 중첩 표시하는 예를 들었지만, 기대값 화상을 가상 편광 화상에 중첩 표시할 수도 있다. 즉, 기대값 화상 중첩 대상 화상은, 촬상부(11)의 수광 신호에 기초하여 생성된 촬상 화상으로 되면 된다.

상기한 바와 같이 이 예의 편광 화상 생성부(21)는, 촬상부(11)에 있어서의 소정의 화소 위치마다, cos 커브에 기초하여 필터 효과 기대값을 계산하고, 표시 제어부(31)는, 필터 효과 기대값의 크기를 나타내는 기대값 정보가 상기 소정의 화소 위치마다 나타낸 기대값 화상을 표시부(16)에 표시시키고 있다.

따라서, 원하는 편광 필터 효과가 용이하게 얻어지도록 사용자를 지원할 수 있다.

또한, 이 예에 있어서, 표시 제어부(31)는, 기대값 화상을 촬상부(11)에 의한 촬상 화상에 중첩 표시시키고 있다.

따라서, 원하는 편광 필터 효과가 용이하게 얻어지도록 하기 위한 지원 효과를 보다 높일 수 있다.

또한, 이 예에 있어서의 표시 제어부(31)는, 촬상 화상으로서 단색 화상을, 기대값 화상으로서 단색 이외의 특정 색에 의한 화상을 표시시키고 있다.

따라서, 높은 필터 효과를 기대할 수 있는 위치를 사용자에 의해 용이하게 파악시킬 수 있다.

<2. 변형예>

[2-1. 제1 변형예]

이어서, 실시형태의 변형예에 대해 설명한다.

종래, FA(Factory Automation) 등의 분야에서는, 검사 등의 목적으로 워크(피사체)을 촬상 장치에 의해 촬상하는 것이 행해지고 있다. 이 때, 워크가 크고 촬상 장치의 화각에 들어가지 않는 경우에는, 로봇 암에 부착된 촬상 장치를 이동해서 워크 전체를 스캔하는 것이 생각된다.

또한, 종래에는, 워크의 반사광을 억제하기 위해서, 워크에 대하여 직선 편광에 의한 조명광을 조사하고, 해당 조명 광에 직교하는 방향의 편광축을 갖는 편광 필터를 장착한 촬상 장치에 의해 워크를 촬상하는 것이 행해지고 있다.

도 20은 상기와 같은 종래 기술에 기초하여 구성하는 것이 가능한 촬상 시스템(100)의 개요를 예시하고 있다.

도면과 같이 촬상 시스템(100)에 있어서는, 렌즈에 부착된 편광 필터(101a)를 통하여 촬상을 행하는 촬상 장치(101)와, 촬상 장치(101)가 장착된 로봇 암(102)과, 워크(W)에 대하여 직선 편광에 의한 조명광을 조사하는 발광부(103) 및 편광 필터(104)를 구비하고 있다.

도면의 예와 같이 워크(W)가 비교적 크기 때문에, 워크(W)의 전체를 촬상하기 위해서 로봇 암(102)에 의해 촬상 장치(101)를 변위시킨다. 이 때, 로봇 암(102)에 의해 워크(W) 전체를 스캔하기 위해 촬상 장치(101)를 변위시키면, 촬상 장치(101)의 편광 필터(101a)가 회전해 버려, 편광 필터(101a)의 편광축이 조명광의 편광 방향에 직교하는 상태를 유지할 수 없게 된다. 즉, 반사광을 억제한 촬상 화상을 얻을 수 없다. 이 때문에, 로봇 암(102)은, 촬상 장치(101)를 회전 가능하게 지지함과 함께, 자신의 움직임에 의한 각도 변화를 상쇄하도록 촬상 장치(101)를 회전 구동한다.

그러나, 촬상 장치(101)를 회전 구동시키기 위해서는, 회전용의 기구나 모터 등의 구동부를 마련할 필요가 있어, 부품 수의 증가를 초래한다. 또한, 촬상 장치(101)를 회전시키는 경우에는, 신호 케이블의 꼬임이나 단선 등을 막기 위해서 로봇 암(102)의 동작에 제한을 가해야 할 우려도 있다.

이에, 상기와 같은 촬상 시스템(100)에 있어서의 촬상 장치(101)에 대하여, 상술한 실시형태로서의 회전 캔슬 수법을 적용하는 것이 바람직하다.

도 21은 촬상 장치(101)를 대신하여 이용하는 것이 바람직한 촬상 장치(1A)의 내부 구성예를 나타낸 블록도이다.

도 21의 예에서는, 촬상 장치(1A)가 광학계(2)와 광학 구동부(4)를 구비하는 것으로 하고 있다. 또한, 제어부(30)가 표시 제어부(31) 및 접수부(32)로서의 기능을 가지고 있지 않는 예로 하고 있다. 게다가, 촬상 장치(1A)에 있어서는, 사용자가 가상 필터 각도를 지시 입력하기 위한 회전 조작자(2b)는 마련되어 있지 않다.

촬상 장치(1A)에 있어서의 디지털 신호 처리부(20)는, 편광 화상 생성부(21)를 대신하여 편광 화상 생성부(21A)를 갖는다.

도 22는 편광 화상 생성부(21A)가 행하는 가상 편광 화상 생성을 위한 처리를 나타낸 플로우 차트이다.

도 22의 A는, 가상 편광 화상의 생성에 이용하는 목표 각도로서의 가상 필터 각도의 계산에 관련되는 처리를 나타내고 있다.

전제로서, 여기서는, 목표 각도로서의 편광 필터 각도의 계산은, 워크(W)의 촬상을 시작하기 전의 초기 설정 처리로서 행해지는 예로 한다. 또한, 도 22의 A의 처리가 개시되는 데 있어서는, 편광 조명(발광부(102))이 ON되어 있는 것으로 한다.

먼저, 단계(S1001)에서 편광 화상 생성부(21A)는, 초기 설정 지시로서, 예를 들면 사용자에 의한 소정 조작이 행해질 때까지 대기하고, 초기 설정 지시가 있는 경우에는 단계(S201)에서 각 각도의 편광 화상 생성 처리를 행하고, 이어지는 단계(S1002)에서 각 편광 화상에 있어서의 소정 화소 위치의 수광 신호값을 취득한다. 여기서는, 소정 화소 위치는 미리 정해진 하나의 화소 위치인 것으로 하지만, 복수의 화소 위치이어도 된다.

그리고, 편광 화상 생성부(21A)는 이어지는 단계(S1003)에서, 취득한 수광 신호값에 기초하여 cos 커브를 피팅한 후, 단계(S1004)에서 cos 커브에 기초하여 편광 조명의 편광 방향에 크로스 니콜(cross-Nicol)이 되는(즉, 직교하는) 가상 필터 각도 α″를 구한다. 구체적으로는, cos 커브에 있어서 수광 신호값을 최소값으로 하는 가상 필터 각도를 가상 필터 각도 α″로서 구한다. 게다가, 이어지는 단계(S1005)에서 편광 화상 생성부(21A)는, 가상 필터 각도 α″를 기억하고, 도 22의 A의 처리를 마친다.

도 22의 B는, 워크(W)의 촬상 시에 대응하여 실행되어야 할 처리를 나타낸 플로우 차트이다.

단계(S1101)에서 편광 화상 생성부(21A)는, α″ 및 β의 취득 처리, 즉, 단계(S1005)에서 기억한 가상 필터 각도 α″와 각도 검출부(17)에 의해 검출된 회전 각도 β를 취득하는 처리를 행하고, 이어지는 단계(S1102)에서 「α″+β」를 계산한다. 그리고, 단계(S1103)에서 가상 필터 각도를 「α″+β」로 한 경우의 가상 편광 화상을 생성하고, 도 22의 B의 처리를 마친다.

단계(S1103)의 생성 처리는 앞의 단계(S104)의 생성 처리와 비교해서 가상 편광 화상의 생성에 이용하는 가상 필터 각도가 「α+β」로부터 「α″+β」로 변경될 뿐이기 때문에 중복 설명은 피한다.

상기와 같은 촬상 장치(1A)를 종래의 촬상 장치(101)로서 적용함으로써, 워크(W)를 스캔 촬상할 때에 촬상 장치(1A)를 편광 조명의 편광 방향에 맞추어 회전시킬 필요가 없어지고, 로봇 암(102)의 부품 수 삭감, 비용 삭감, 및 구성 간이화에 의한 유지관리성 향상을 도모할 수 있다.

[2-2. 제2 변형예]

도 23은 변형예로서의 촬상부(11A)의 구조에 대한 설명도이며, 도 23의 A는 촬상부(11A)가 구비하는 화소쌍(50)의 개략 종단면도, 도 23의 B는 촬상부(11A)에 있어서의 화소쌍(50)의 배열을 정면에서 보았을 때의 도면이다.

변형예로서의 촬상부(11A)는, 화소쌍(50)으로서 2종의 화소쌍(50)(이하, 「화소쌍(50-1)」「화소쌍(50-2)」이라고 표기함)을 갖는다. 화소쌍(50-1)은, 편광 스플리터(51-1)와, 화소(52) 및 화소(53)를 가지며, 화소쌍(50-2)은 편광 스플리터(51-2)와 화소(52) 및 화소(53)를 가지고 있다.

편광 스플리터(51-1, 51-2)는, 이 예에서는 각각 2개의 직각 프리즘을 라미네이팅한 타입의 것이 이용되고, 이들 직각 프리즘이 접합된 부분에 분리면(51a)이 형성되어 있다. 편광 스플리터(51-1, 51-2)에 있어서는, 입사광에 포함되는 직선 편광 중, 편광 방향이 분리면(51a)의 편광축에 대략 일치하는 직선 편광이 분리면(51a)을 투과하고, 편광 방향이 상기 편광축에 대략 직교하는 직선 편광이 분리면(51a)에 있어서 반사한다.

화소(52, 53)는, 각각 소정 수의 수광 소자(12a)를 가지고 있다. 여기서는 설명상, 화소(52, 53)는 각각 하나의 수광 소자(12a)를 가지고 있는 것으로 한다. 또한, 컬러 화상의 촬상에 대응하는 경우에는, 화소(52, 53)는, 각각 R, G, B에 대응한 3 이상의 수광 소자(12a)를 가지도록 한다.

화소쌍(50-1)에 있어서의 화소(52)는, 자신이 갖는 수광 소자(12a)의 수광면이, 편광 스플리터(51-1)에 있어서의 분리면(51a)의 반사광의 광축에 대략 직교하고 있고, 해당 반사광을 해당 수광 소자(12a)에 의해 수광한다. 또한, 화소쌍(50-1)에 있어서의 화소(53)는, 자신이 갖는 수광 소자(12a)의 수광면이 편광 스플리터(51-1)에 있어서의 분리면(51a)의 투과광의 광축에 대략 직교하고 있고, 해당 투과광을 해당 수광 소자(12a)에 의해 수광한다.

이러한 화소쌍(50-1)에 있어서의 화소(52)와 화소(53)는, 편광 방향이 90deg 다른 직선 편광을 각각이 선택적으로 수광한다.

또한, 화소쌍(50-2)에 있어서의 화소(52)는, 자신이 갖는 수광 소자(12a)의 수광면이 편광 스플리터(51-2)에 있어서의 분리면(51a)의 반사광의 광축에 대략 직교하고 있고, 해당 반사광을 해당 수광 소자(12a)에 의해 수광한다. 게다가, 화소쌍(50-2)에 있어서의 화소(53)는, 자신이 갖는 수광 소자(12a)의 수광면이 편광 스플리터(51-2)에 있어서의 분리면(51a)의 투과광의 광축에 대략 직교하고 있고, 해당 투과광을 해당 수광 소자(12a)에 의해 수광한다.

이러한 화소쌍(50-2)에 있어서의 화소(52)와 화소(53)로서도, 편광 방향이 90deg 다른 직선 편광을 각각이 선택적으로 수광하게 된다.

촬상부(11A)에 있어서는, 화소쌍(50-1)과 화소쌍(50-2)이 2차원으로 교대로 배열되어 있다. 그리고, 인접 관계에 있는 화소쌍(50-1)과 화소쌍(50-2)에 있어서는, 편광 스플리터(51-1)에 있어서의 분리면(51a)의 편광축의 면내 각도와, 편광 스플리터(51-2)에 있어서의 분리면(51a)의 편광축의 면내 각도가 다르다. 구체적으로, 이 예에서는 이 편광축의 면내 각도는 45deg 다르다.

이에 의해, 화소쌍(50-1)에 있어서의 화소(52, 53), 화소쌍(50-2)에 있어서의 화소(52, 53)는, 편광 방향이 45deg씩 다른 직선 편광을 선택적으로 수광하게 된다.

도 23의 B에 나타내는 바와 같이, 이 예에서는, 인접 관계에 있는 화소쌍(50-1)과 화소쌍(50-2)이 하나의 화소 유닛(U′)을 구성하고 있다. 촬상부(11A)에 있어서는, 이러한 화소 유닛(U)이 종방향 및 횡방향으로 복수 배열되어 있다.

또한, 도 23의 B에서는, 각 화소쌍(50)에 의해 선택적으로 수광되는 직선 편광의 편광 방향을, 앞의 도 3의 B에서 편광 필터(13a)의 편광축의 방향으로서 나타낸 양쪽 화살표와 동일한 요령으로 나타내고 있다.

도 24는 촬상부(11A)를 이용한 경우에 있어서의 제1 편광 화상 내지 제4 편광 화상, 및 가상 통상 화상의 생성 수법에 대한 설명도를 앞의 도 5과 동일한 요령으로 나타내고 있다.

촬상부(11A)에 있어서는, 각 화소쌍(50), 즉, 각 화소 위치에 있어서 편광 방향이 직교하는 2개의 직선 편광을 수광할 수 있다. 이 때문에, 촬상부(11)를 이용한 경우(도 5 참조)와 비교하여, 제1 편광 화상 내지 제4 편광 화상의 해상도를 높일 수 있다(도 5의 B 및 도 5의 C와 도 24의 B 및 도 24의 C를 참조). 또한, 세로2×가로2 = 4개의 화소쌍(50)이 하나의 화소 위치라고 간주하여 제1 편광 화상 내지 제4 편광 화상을 화소 보간하지 않고 생성하는 경우에는, 해상도를 높일 수 있다.

또한, 이 예에서는, 화소쌍(50-1)과 화소쌍(50-2)을 종방향 및 횡방향으로 교대로 배열하고 있기 때문에, 종횡의 해상도를 동등하게 할 수 있다. 나아가서는, 제1 편광 화상 내지 제4 편광 화상의 생성을 위한 보간 처리는, 각각 동일한 수법으로 행할 수 있다. 예를 들면, 화소쌍(50-1)과 화소쌍(50-2)을 선 순차적으로 배치한 경우 등에서는, 종방향과 횡방향에서 보간 처리의 수법이 다르고, 또한 보간하지 않는 경우에는 얻어지는 화상의 해상도는 종방향과 횡방향에서 달라져 버리지만, 이 예에서는, 그러한 문제가 해소된다.

또한, 이 경우에도 가상 통상 화상은, 화소 위치마다 편광 방향이 직교하는 2개의 직선 편광(0deg와 90deg의 조, 또는 45deg와 135deg의 조)의 수광 신호값을 가산함으로써 생성된다.

이 경우에도, 제1 편광 화상 내지 제4 편광 화상이 얻어진 이후에 있어서의 cos 커브의 피팅이나 cos 커브에 기초하는 가상 편광 화상의 생성 처리에 대해서는, 지금까지 설명한 것과 동일하게 되기 때문에 중복 설명은 피한다.

상기한 변형예로서의 촬상부(11A)에 있어서는, 하나의 화소쌍(50)(하나의 화소 위치)에 대해, 편광 방향이 직교 관계에 있는 2종의 직선 편광을 선택적으로 수광 가능하게 되고, 또한, 인접 관계에 있는 2개의 화소쌍(50)에 있어서는, 편광 방향이 각각 다른 4종의 직선 편광을 선택적으로 수광 가능하게 된다.

따라서, 가상 편광 화상의 해상도 향상을 도모할 수 있다. 또한, 하나의 화소쌍(50)에 대한 입사광을 복수의 수광 소자(12a)로 수광하기 때문에, 화소 위치마다의 수광 감도의 향상을 도모할 수 있다.

<3. 응용예>

본 개시에 관련되는 기술은, 여러가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은 수술실 시스템에 적용되어도 된다.

도 25는 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 전체 구성을 개략적으로 나타내는 도면이다. 도 25를 참조하면, 수술실 시스템(5100)은 수술실 내에 설치되는 장치군이 시청각 컨트롤러(AV Controller)(5107) 및 수술실 제어 장치(5109)를 거쳐 서로 제휴 가능하게 접속되는 것에 의해 구성된다.

수술실에는 여러 가지 장치가 설치될 수 있다. 도 25에서는, 일례로서 내시경 하 수술을 위한 각종의 장치군(5101)과, 수술실의 천정에 설치되고 시술자의 손 주변을 촬상하는 실링 카메라(ceiling camera)(5187)와, 수술실의 천정에 설치되고 수술실 전체의 모습을 촬상하는 수술실 카메라(5189)와, 복수의 표시 장치(5103A 내지 5103D)와, 레코더(5105)와, 환자 베드(5183)와, 조명(5191)을 도시하고 있다.

여기서, 이들 장치 중, 장치군(5101)은 후술하는 내시경 수술 시스템(5113)에 속하는 것이며, 내시경이나 해당 내시경에 의해 촬상된 화상을 표시하는 표시 장치 등으로 이루어진다. 내시경 수술 시스템(5113)에 속하는 각 장치는 의료용 기기라고도 호칭된다. 한편, 표시 장치(5103A 내지 5103D), 레코더(5105), 환자 베드(5183) 및 조명(5191)은, 내시경 수술 시스템(5113)과는 별개로, 예를 들면 수술실에 비치되어 있는 장치이다. 이들 내시경 수술 시스템(5113)에 속하지 않는 각 장치는 비의료용 기기라고도 호칭된다. 시청각 컨트롤러(5107) 및/또는 수술실 제어 장치(5109)는, 이들 의료기기 및 비의료기기의 동작을 서로 제휴하여 제어한다.

시청각 컨트롤러(5107)는, 의료기기 및 비의료기기에 있어서의 화상 표시에 관한 처리를 통괄적으로 제어한다. 구체적으로는, 수술실 시스템(5100)이 구비하는 장치 중, 장치군(5101), 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술 중에 표시해야 할 정보(이하, 표시 정보라고도 함)를 발신하는 기능을 가지는 장치(이하, 발신원의 장치라고도 호칭함)일 수 있다. 또한, 표시 장치(5103A 내지 5103D)는 표시 정보가 출력되는 장치(이하, 출력처의 장치라고도 호칭함)일 수 있다. 또한, 레코더(5105)는, 발신원의 장치 및 출력처의 장치의 쌍방에 해당하는 장치일 수 있다. 시청각 컨트롤러(5107)는, 발신원의 장치 및 출력처의 장치의 동작을 제어하고, 발신원의 장치로부터 표시 정보를 취득함과 함께, 해당 표시 정보를 출력처의 장치에 송신하고, 표시 또는 기록시키는 기능을 가진다. 또한, 표시 정보란, 수술중에 촬상된 각종의 화상이나, 수술에 관한 각종의 정보(예를 들면, 환자의 신체 정보나, 과거의 검사 결과, 시술방식에 대한 정보 등) 등이다.

구체적으로는, 시청각 컨트롤러(5107)에는, 장치군(5101)으로부터, 표시 정보로서, 내시경에 의해 촬상된 환자의 체강 내의 시술부의 화상에 대한 정보가 송신될 수 있다. 또한, 실링 카메라(5187)으로부터, 표시 정보로서, 해당 실링 카메라(5187)에 의해 촬상된 시술자의 손 주변의 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 카메라(5189)로부터, 표시 정보로서, 해당 수술실 카메라(5189)에 의해 촬상된 수술실 전체의 모습을 나타내는 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 시스템(5100)에 촬상 기능을 가지는 다른 장치가 존재하는 경우에는, 시청각 컨트롤러(5107)는, 표시 정보로서, 해당 다른 장치로부터도 해당 다른 장치에 의해 촬상된 화상에 대한 정보를 취득해도 된다.

또는, 예를 들면, 레코더(5105)에는, 과거에 촬상된 이들 화상에 대한 정보가 시청각 컨트롤러(5107)에 의해 기록되어 있다. 시청각 컨트롤러(5107)는, 표시 정보로서, 레코더(5105)로부터 해당 과거에 촬상된 화상에 대한 정보를 취득할 수 있다. 또한, 레코더(5105)에는, 수술에 관한 각종의 정보도 사전에 기록되어 있어도 된다.

시청각 컨트롤러(5107)는, 출력처의 장치인 표시 장치(5103A 내지 5103D) 중 적어도 어느 하나에 취득한 표시 정보(즉, 수술 중에 촬영된 화상이나, 수술에 관한 각종의 정보)를 표시시킨다. 도시하는 예에서는, 표시 장치(5103A)는 수술실의 천정으로부터 매달려 설치되는 표시 장치이며, 표시 장치(5103B)는 수술실의 벽면에 설치되는 표시 장치이며, 표시 장치(5103C)는 수술실 내의 탁상에 설치되는 표시 장치이며, 표시 장치(5103D)는 표시 기능을 가지는 모바일 기기(예를 들면, 태블릿 PC(PersonalComputer))이다.

또한, 도 25에서는 도시를 생략하고 있지만, 수술실 시스템(5100)에는, 수술실의 외부의 장치가 포함되어도 된다. 수술실의 외부의 장치는, 예를 들면, 병원 내외에 구축된 네트워크에 접속되는 서버나, 의료 스탭이 이용하는 PC, 병원의 회의실에 설치되는 프로젝터 등일 수 있다. 이러한 외부 장치가 병원 밖에 있는 경우에는, 시청각 컨트롤러(5107)는 원격 의료를 위해, TV 회의 시스템 등을 거쳐, 다른 병원의 표시 장치에 표시 정보를 표시시킬 수도 있다.

수술실 제어 장치(5109)는, 비의료기기에 있어서의 화상 표시에 관한 처리 이외의 처리를 통괄적으로 제어한다. 예를 들면, 수술실 제어 장치(5109)는 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)의 구동을 제어한다.

수술실 시스템(5100)에는 집중 조작 패널(5111)이 설치되어 있어, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 시청각 컨트롤러(5107)에 대해서 화상 표시에 대한 지시를 주거나 수술실 제어 장치(5109)에 대해서 비의료기기의 동작에 대한 지시를 줄 수 있다. 집중 조작 패널(5111)은 표시 장치의 표시면 상에 터치 패널이 설치되어 구성된다.

도 26은 집중 조작 패널(5111)에 있어서의 조작 화면의 표시예를 나타내는 도면이다. 도 26에서는, 일례로서, 수술실 시스템(5100)에, 출력처의 장치로서 2개의 표시 장치가 설치되어 있는 경우에 대응하는 조작 화면을 나타내고 있다. 도 26을 참조하면, 조작 화면(5193)에는 발신원 선택 영역(5195)와 프리뷰 영역(5197)과 컨트롤 영역(5201)이 설치된다.

발신원 선택 영역(5195)에는, 수술실 시스템(5100)에 구비되는 발신원 장치와 해당 발신원 장치가 가지는 표시 정보를 나타내는 섬네일 화면(thumbnail screen)이 관련지어 표시된다. 유저는, 표시 장치에 표시시키고 싶은 표시 정보를, 발신원 선택 영역(5195)에 표시되어 있는 어느 발신원 장치로부터 선택할 수 있다.

프리뷰 영역(5197)에는, 출력처의 장치인 2개의 표시 장치(Monitor1, Monitor2)에 표시되는 화면의 프리뷰가 표시된다. 도시하는 예에서는, 1개의 표시 장치에 있어서 4개의 화상이 PinP 표시되어 있다. 해당 4개의 화상은, 발신원 선택 영역(5195)에 있어서 선택된 발신원 장치로부터 발신된 표시 정보에 대응하는 것이다. 4개의 화상 중, 1개는 메인 화상으로서 비교적 크게 표시되고, 나머지 3개는 서브 화상으로서 비교적 작게 표시된다. 유저는, 4개의 화상이 표시된 영역을 적절히 선택함으로써, 메인 화상과 서브 화상을 바꿔 넣을 수 있다. 또한, 4개의 화상이 표시되는 영역의 하부에는, 스테이터스(status) 표시 영역(5199)이 설치되어 있고, 해당 영역에 수술에 관한 스테이터스(예를 들면, 수술의 경과시간이나, 환자의 신체 정보 등)가 적절히 표시될 수 있다.

컨트롤 영역(5201)에는, 발신원의 장치에 대해서 조작을 행하기 위한 GUI(Graphical User Interface) 부품이 표시되는 발신원 조작 영역(5203)과, 출력처의 장치에 대해서 조작을 행하기 위한 GUI 부품이 표시되는 출력처 조작 영역(5205)이 설치된다. 도시하는 예에서는, 발신원 조작 영역(5203)에는, 촬상 기능을 가지는 발신원의 장치에 있어서의 카메라에 대해서 각종의 조작(팬, 틸트 및 줌)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는, 이들 GUI 부품을 적절히 선택함으로써, 발신원의 장치에 있어서의 카메라의 동작을 조작할 수 있다. 또한, 도시는 생략하고 있지만, 발신원 선택 영역(5195)에 있어서 선택되어 있는 발신원의 장치가 레코더인 경우(즉, 프리뷰 영역(5197)에 있어서, 레코더에 과거에 기록된 화상이 표시되어 있는 경우)에는, 발신원 조작 영역(5203)에는, 해당 화상의 재생, 재생 정지, 되감기, 빨리 감기 등의 조작을 행하기 위한 GUI 부품이 설치될 수 있다.

또한, 출력처 조작 영역(5205)에는, 출력처의 장치인 표시 장치에 있어서의 표시에 대한 각종의 조작(스왑(swap), 플립(flip), 색조정, 콘트라스트 조정, 2D 표시와 3D 표시의 전환)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는 이러한 GUI 부품을 적절히 선택함으로써, 표시 장치에 있어서의 표시를 조작할 수 있다.

또한, 집중 조작 패널(5111)에 표시되는 조작 화면은 도시하는 예로 한정되지 않고, 유저는, 집중 조작 패널(5111)을 거쳐, 수술실 시스템(5100)에 구비되는 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)에 의해 제어될 수 있는 각 장치에 대한 조작 입력이 가능해도 된다.

도 27은, 이상 설명한 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다. 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술실의 천정에 설치되고, 환자 베드(5183) 상의 환자(5185)의 환부에 대해서 처치를 행하는 시술자(의사)(5181)의 손 주변 및 수술실 전체의 모습을 촬영 가능하다. 실링 카메라(5187) 및 수술실 카메라(5189)에는, 배율 조정 기능, 초점 거리 조정 기능, 촬영 방향 조정 기능 등이 설치될 수 있다. 조명(5191)은, 수술실의 천정에 설치되고, 적어도 시술자(5181)의 손 주변을 조사한다. 조명(5191)은, 그 조사 광량, 조사광의 파장(색) 및 광의 조사 방향 등을 적절히 조정 가능해도 된다.

내시경 수술 시스템(5113), 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)은, 도 25에 나타내는 바와 같이, 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)(도 27에서는 도시하지 않음)를 거쳐 서로 제휴 가능하게 접속되어 있다. 수술실 내에는, 집중 조작 패널(5111)이 설치되어 있고, 상술한 것처럼, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 수술실 내에 존재하는 이들 장치를 적절히 조작하는 것이 가능하다.

이하, 내시경 수술 시스템(5113)의 구성에 대해 상세하게 설명한다. 도시하는 바와 같이, 내시경 수술 시스템(5113)은, 내시경(5115)과, 그 밖의 시술구(5131)와, 내시경(5115)을 지지하는 지지 암 장치(5141)와, 내시경 하 수술을 위한 각종의 장치가 탑재된 카트(5151)로 구성된다.

내시경 수술에서는, 복벽을 잘라 개복하는 대신에, 트로카(trocar)(5139a 내지 5139d)로 칭해지는 통 형상의 개구 기구가 복벽에 복수 천자(穿刺)된다. 그리고, 트로카(5139a 내지 5139d)로부터, 내시경(5115)의 경통(5117)이나, 그 밖의 시술구(5131)가 환자(5185)의 체강 내에 삽입된다. 도시하는 예에서는, 그 밖의 시술구(5131)로서, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)가, 환자(5185)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5135)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구이다. 다만, 도시하는 시술구(5131)는 어디까지나 일례이고, 시술구(5131)로서는, 예를 들면 섭자, 리트랙터(retractor) 등, 일반적으로 내시경 하 수술에 있어서 이용되는 각종의 시술구가 이용되어도 된다.

내시경(5115)에 의해 촬영된 환자(5185)의 체강 내의 시술부의 화상이, 표시 장치(5155)에 표시된다. 시술자(5181)는, 표시 장치(5155)에 표시된 시술부의 화상을 리얼 타임으로 보면서, 에너지 처치구(5135)나 겸자(5137)를 이용하여, 예를 들면 환부를 절제하는 등의 처치를 행한다. 또한, 도시는 생략하고 있으나, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)는, 수술 중에, 시술자(5181) 또는 조수 등에 의해 지지된다.

(지지 암 장치)

지지 암 장치(5141)는, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 관절부(5147a, 5147b, 5147c), 및 링크(5149a, 5149b)로 구성되어 있고, 암 제어 장치(5159)로부터의 제어에 의해 구동된다. 암부(5145)에 의해 내시경(5115)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5115)의 안정적인 위치의 고정이 실현될 수 있다.

(내시경)

내시경(5115)은, 선단으로부터 소정의 길이의 영역이 환자(5185)의 체강 내에 삽입되는 경통(5117)과, 경통(5117)의 기단에 접속되는 카메라 헤드(5119)로 구성된다. 도시하는 예에서는, 경성의 경통(5117)을 갖는 이른바 경성경으로 구성되는 내시경(5115)을 도시하고 있으나, 내시경(5115)은, 연성의 경통(5117)을 갖는 이른바 연성경으로 구성되어도 된다.

경통(5117)의 선단에는, 대물 렌즈가 삽입된 개구부가 설치되어 있다. 내시경(5115)에는 광원 장치(5157)가 접속되어 있고, 해당 광원 장치(5157)에 의해 생성된 광이, 경통(5117)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(5185)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(5115)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.

카메라 헤드(5119)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU：Camera　Control　Unit)(5153)에 송신된다. 또한, 카메라 헤드(5119)에는, 그 광학계를 적절히 구동시킴으로써, 배율 및 초점 거리를 조정하는 기능이 탑재된다.

또한, 예를 들면 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5119)에는 촬상 소자가 복수 설치되어도 된다. 이 경우, 경통(5117)의 내부에는, 해당 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수 계통 설치된다.

(카트에 탑재되는 각종의 장치)

CCU(5153)는, CPU(Central　Processing　Unit)나 GPU(Graphics　Processing　Unit) 등에 의해 구성되고, 내시경(5115) 및 표시 장치(5155)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5153)는, 카메라 헤드(5119)로부터 수취한 화상 신호에 대해서, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 행한다. CCU(5153)는, 해당 화상 처리를 행한 화상 신호를 표시 장치(5155)에 제공한다. 또한, CCU(5153)에는, 도 25에 나타내는 시청각 컨트롤러(5107)가 접속된다. CCU(5153)는, 화상 처리를 행한 화상 신호를 시청각 컨트롤러(5107)에도 제공한다. 또한, CCU(5153)는, 카메라 헤드(5119)에 대해서 제어 신호를 송신하고, 그 구동을 제어한다. 해당 제어 신호에는, 배율이나 초점 거리 등, 촬상 조건에 관한 정보가 포함될 수 있다. 해당 촬상 조건에 관한 정보는, 입력 장치(5161)를 거쳐 입력되어도 되고, 상술한 집중 조작 패널(5111)을 거쳐 입력되어도 된다.

표시 장치(5155)는, CCU(5153)로부터의 제어에 의해, 해당 CCU(5153)에 의해 화상 처리가 행해진 화상 신호에 기초하는 화상을 표시한다. 내시경(5115)이 예를 들면 4K(수평 화소수 3840 × 수직 화소수 2160) 또는 8K(수평 화소수 7680 × 수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우, 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5155)로서는, 각각에 대응하여, 고해상도의 표시가 가능한 것, 및/또는 3D 표시 가능한 것이 이용될 수 있다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5155)로서 55인치 이상의 사이즈의 것을 이용함으로써 더 몰입감이 얻어진다. 또한, 용도에 따라, 해상도, 사이즈가 다른 복수의 표시 장치(5155)가 설치되어도 된다.

광원 장치(5157)는, 예를 들면 LED(light　emitting　diode) 등의 광원으로 구성되고, 시술부를 촬영할 때의 조사광을 내시경(5115)에 공급한다.

암 제어 장치(5159)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써, 소정의 제어 방식에 따라 지지 암 장치(5141)의 암부(5145)의 구동을 제어한다.

입력 장치(5161)는, 내시경 수술 시스템(5113)에 대한 입력 인터페이스이다. 유저는, 입력 장치(5161)를 거쳐, 내시경 수술 시스템(5113)에 대해서 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 환자의 신체 정보나, 수술의 시술방식에 대한 정보 등, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 암부(5145)를 구동시키는 취지의 지시나, 내시경(5115)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시, 에너지 처치구(5135)를 구동시키는 취지의 지시 등을 입력한다.

입력 장치(5161)의 종류는 한정되지 않고, 입력 장치(5161)는 각종의 공지의 입력 장치이어도 된다. 입력 장치(5161)로는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5171) 및/또는 레버 등이 적용될 수 있다. 입력 장치(5161)로서 터치 패널이 이용되는 경우에는, 해당 터치 패널은 표시 장치(5155)의 표시면 상에 설치되어도 된다.

또는, 입력 장치(5161)는, 예를 들면 안경형 웨어러블 디바이스나 HMD(Head　Mounted　Display) 등의, 유저에 의해 장착되는 디바이스로서, 이들 디바이스에 의해 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 또한, 입력 장치(5161)는, 유저의 움직임을 검출 가능한 카메라를 포함하고, 해당 카메라에 의해 촬상된 영상으로부터 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 나아가, 입력 장치(5161)는, 유저의 소리를 수음 가능한 마이크로폰을 포함하고, 해당 마이크로폰을 거쳐 음성에 의해 각종의 입력이 행해진다. 이와 같이, 입력 장치(5161)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨으로써, 특히 청결역에 속하는 유저(예를 들면 시술자(5181))가, 불결역에 속하는 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 유저는, 소지하고 있는 시술구로부터 손을 떼지 않고 기기를 조작하는 것이 가능해지기 때문에, 유저의 편리성이 향상한다.

처치구 제어 장치(5163)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(5135)의 구동을 제어한다. 기복 장치(5165)는, 내시경(5115)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(5185)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(5133)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(5167)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5169)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.

이하, 내시경 수술 시스템(5113)에 있어서 특히 특징적인 구성에 대해, 더욱 상세하게 설명한다.

(지지 암 장치)

지지 암 장치(5141)는, 기대인 베이스부(5143)와, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 복수의 관절부(5147a, 5147b, 5147c)와, 관절부(5147b)에 의해 연결되는 복수의 링크(5149a, 5149b)로 구성되어 있지만, 도 27에서는, 간단하게 나타내기 위하여, 암부(5145)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5145)가 원하는 자유도를 갖도록, 관절부(5147a 내지 5147c) 및 링크(5149a, 5149b)의 형상, 수 및 배치, 및 관절부(5147a 내지 5147c)의 회전축의 방향 등이 적절히 설정될 수 있다. 예를 들면, 암부(5145)는, 바람직하게, 6 자유도 이상의 자유도를 갖도록 구성될 수 있다. 이에 의해, 암부(5145)의 가동 범위 내에 있어서 내시경(5115)을 자유롭게 이동시키는 것이 가능하게 되기 때문에, 원하는 방향으로부터 내시경(5115)의 경통(5117)을 환자(5185)의 체강 내에 삽입하는 것이 가능하게 된다.

관절부(5147a 내지 5147c)에는 액추에이터가 설치되어 있고, 관절부(5147a 내지 5147c)는 해당 액추에이터의 구동에 의해 소정의 회전축 주위에 회전 가능하게 구성되어 있다. 해당 액추에이터의 구동이 암 제어 장치(5159)에 의해 제어됨으로써, 각 관절부(5147a 내지 5147c)의 회전 각도가 제어되고, 암부(5145)의 구동이 제어된다. 이에 의해, 내시경(5115)의 위치 및 자세의 제어가 실현될 수 있다. 이 때, 암 제어 장치(5159)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5145)의 구동을 제어할 수 있다.

예를 들면, 시술자(5181)가, 입력 장치(5161)(풋 스위치(5171)을 포함함)를 거쳐 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 암 제어 장치(5159)에 의해 암부(5145)의 구동이 적절히 제어되고, 내시경(5115)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 암부(5145)의 선단의 내시경(5115)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5145)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5145)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치(5161)를 거쳐 유저에 의해 원격 조작될 수 있다.

또한, 힘 제어가 적용되는 경우에는, 암 제어 장치(5159)는, 유저로부터의 외력을 받아, 그 외력에 따라 순조롭게 암부(5145)가 이동하도록, 각 관절부(5147a 내지 5147c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행해도 된다. 이에 의해, 유저가 직접 암부(5145)에 접하면서 암부(5145)를 이동시킬 때에, 비교적 가벼운 힘으로 해당 암부(5145)를 이동시킬 수 있다. 따라서, 보다 직감적으로, 보다 간이한 조작으로 내시경(5115)을 이동시키는 것이 가능해지고, 유저의 편리성을 향상시킬 수 있다.

여기서, 일반적으로, 내시경 하 수술에서는, 스코피스트(Scopist)로 불리는 의사에 의해 내시경(5115)이 지지되고 있었다. 이에 대해서, 지지 암 장치(5141)를 이용함으로써, 사람의 손에 의하지 않고 내시경(5115)의 위치를 보다 확실하게 고정하는 것이 가능하게 되기 때문에, 시술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활하게 행하는 것이 가능하게 된다.

또한, 암 제어 장치(5159)는 반드시 카트(5151)에 설치되지 않아도 된다. 또한, 암 제어 장치(5159)는 반드시 1개의 장치가 아니어도 된다. 예를 들면, 암 제어 장치(5159)는, 지지 암 장치(5141)의 암부(5145)의 각 관절부(5147a 내지 5147c)에 각각 설치되어도 되고, 복수의 암 제어 장치(5159)가 서로 협동함으로써, 암부(5145)의 구동 제어가 실현되어도 된다.

(광원 장치)

광원 장치(5157)는, 내시경(5115)으로 시술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5157)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성된다. 이 때, RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5157)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상으로 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.

또한, 광원 장치(5157)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.

또한, 광원 장치(5157)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow　Band　Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도 시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(5157)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.

(카메라 헤드 및 CCU)

도 28을 참조하여, 내시경(5115)의 카메라 헤드(5119) 및 CCU(5153)의 기능에 대해 보다 상세하게 설명한다. 도 28은 도 27에 나타내는 카메라 헤드(5119) 및 CCU(5153)의 기능 구성의 일례를 나타내는 블록도이다.

도 28을 참조하면, 카메라 헤드(5119)는, 그 기능으로서, 렌즈 유닛(5121)과, 촬상부(5123)와, 구동부(5125)와, 통신부(5127)와, 카메라 헤드 제어부(5129)를 갖는다. 또한, CCU(5153)는, 그 기능으로서, 통신부(5173)와, 화상 처리부(5175)와, 제어부(5177)를 갖는다. 카메라 헤드(5119)와 CCU(5153)는, 전송 케이블(5179)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.

우선, 카메라 헤드(5119)의 기능 구성에 대해 설명한다. 렌즈 유닛(5121)은, 경통(5117)과의 접속부에 설치되는 광학계이다. 경통(5117)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(5119)까지 도광되고, 해당 렌즈 유닛(5121)에 입사한다. 렌즈 유닛(5121)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5121)은, 촬상부(5123)의 촬상 소자의 촬상면 상에 관찰광을 집광하도록, 그 광학 특성이 조정되고 있다. 또한, 줌 렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축(J) 상의 위치가 이동 가능하도록 구성된다.

촬상부(5123)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5121)의 후단에 배치된다. 렌즈 유닛(5121)을 통과한 관찰광은, 해당 촬상 소자의 수광면에 집광되고, 광전 변환에 의해, 관찰상에 대응한 화상 신호가 생성된다. 촬상부(5123)에 의해 생성된 화상 신호는, 통신부(5127)에 제공된다.

촬상부(5123)를 구성하는 촬상 소자로는, 예를 들면 CMOS(Complementary　Metal　Oxide　Semiconductor) 타입의 이미지 센서로서, 베이어(Bayer) 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 해당 촬상 소자로는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 된다. 시술부의 화상이 고해상도로 얻어짐으로써, 시술자(5181)는, 해당 시술부의 모습을 보다 상세하게 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.

또한, 촬상부(5123)를 구성하는 촬상 소자는, 3D 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행해짐으로써, 시술자(5181)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(5123)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(5121)도 복수 계통 설치된다.

또한, 촬상부(5123)는, 반드시 카메라 헤드(5119)에 설치되지 않아도 된다. 예를 들면, 촬상부(5123)는, 경통(5117)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.

구동부(5125)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5129)로부터의 제어에 의해, 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 광축(J)에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5123)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.

통신부(5127)는, CCU(5153)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5127)는, 촬상부(5123)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5179)을 거쳐 CCU(5153)에 송신한다. 이 때, 시술부의 촬상 화상을 낮은 레이턴시(latency)로 표시하기 위하여, 해당 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술 시에는, 시술자(5181)가 촬상 화상에 의해 환부 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해, 시술부의 동화상이 가능한 한 리얼 타임에 표시되는 것이 요구되기 때문이다. 광통신이 행해지는 경우에는, 통신부(5127)에는, 전기 신호를 광신호로 변환하는 광전 변환 모듈이 설치된다. 화상 신호는 해당 광전 변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5179)을 거쳐 CCU(5153)에 송신된다.

또한, 통신부(5127)는, CCU(5153)로부터, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 수신한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5127)는, 수신한 제어 신호를 카메라 헤드 제어부(5129)에 제공한다. 또한, CCU(5153)로부터의 제어 신호도, 광통신에 의해 전송되어도 된다. 이 경우, 통신부(5127)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치되고, 제어 신호는 해당 광전 변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5129)에 제공된다.

또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 기초하여 CCU(5153)의 제어부(5177)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto　Exposure) 기능, AF(Auto　Focus) 기능, 및 AWB(Auto　White　Balance) 기능이 내시경(5115)에 탑재된다.

카메라 헤드 제어부(5129)는, 통신부(5127)를 거쳐 수신한 CCU(5153)로부터의 제어 신호에 기초하여, 카메라 헤드(5119)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상 시의 노광을 지정하는 취지의 정보에 기초하여, 촬상부(5123)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 기초하여, 구동부(5125)를 거쳐 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5129)는, 나아가, 경통(5117)이나 카메라 헤드(5119)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 된다.

또한, 렌즈 유닛(5121)이나 촬상부(5123) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5119)에 대해, 오토 클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.

다음으로, CCU(5153)의 기능 구성에 대해 설명한다. 통신부(5173)는, 카메라 헤드(5119)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5173)는, 카메라 헤드(5119)로부터, 전송 케이블(5179)을 거쳐 송신되는 화상 신호를 수신한다. 이 때, 상기와 같이, 해당 화상 신호는 적합하게 광통신에 의해 송신될 수 있다. 이 경우, 광통신에 대응하여, 통신부(5173)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치된다. 통신부(5173)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5175)에 제공한다.

또한, 통신부(5173)는, 카메라 헤드(5119)에 대해서, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 송신한다. 해당 제어 신호도 광통신에 의해 송신되어도 된다.

화상 처리부(5175)는, 카메라 헤드(5119)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다. 해당 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise　reduction) 처리 및/또는 손 블러 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5175)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.

화상 처리부(5175)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 해당 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 화상 처리나 검파 처리가 행해질 수 있다. 또한, 화상 처리부(5175)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5175)는, 화상 신호에 관련되는 정보를 적절히 분할하고, 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.

제어부(5177)는, 내시경(5115)에 의한 시술부의 촬상, 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5177)는, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 생성한다. 이 때, 촬상 조건이 유저에 의해 입력되어 있는 경우에는, 제어부(5177)는, 해당 유저에 의한 입력에 기초하여 제어 신호를 생성한다. 또는, 내시경(5115)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5177)는, 화상 처리부(5175)에 의한 검파 처리의 결과에 따라, 최적인 노출값, 초점 거리 및 화이트 밸런스를 적절히 산출하고, 제어 신호를 생성한다.

또한, 제어부(5177)는, 화상 처리부(5175)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(5155)에 표시시킨다. 이 때, 제어부(5177)는, 각종의 화상 인식 기술을 이용하여 시술부 화상 내에 있어서의 각종의 물체를 인식한다. 예를 들면, 제어부(5177)는, 시술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(5135) 사용 시의 미스트 등을 인식할 수 있다. 제어부(5177)는, 표시 장치(5155)에 시술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되어, 시술자(5181)에 제시됨으로써, 보다 안전하고 또한 확실하게 수술을 진행시키는 것이 가능하게 된다.

카메라 헤드(5119) 및 CCU(5153)를 접속하는 전송 케이블(5179)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광 파이버, 또는 이러한 복합 케이블이다.

여기서, 도시하는 예에서는, 전송 케이블(5179)을 이용하여 유선으로 통신이 행해지고 있었지만, 카메라 헤드(5119)와 CCU(5153)의 사이의 통신은 무선으로 행해져도 된다. 양자 사이의 통신이 무선으로 행해지는 경우에는, 전송 케이블(5179)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에 있어서의 의료 스탭의 이동이 해당 전송 케이블(5179)에 의해 방해할 수 있는 사태가 해소될 수 있다.

이상, 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 일례에 대해 설명하였다. 또한, 여기서는, 일례로서 수술실 시스템(5100)이 적용되는 의료용 시스템이 내시경 수술 시스템(5113)인 경우에 대해 설명했으나, 수술실 시스템(5100)의 구성은 이러한 예로 한정되지 않는다. 예를 들면, 수술실 시스템(5100)은, 내시경 수술 시스템(5113)에 대신하여, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 된다.

본 개시에 관련되는 기술은, 이상 설명한 구성 중, 시술부의 화상 생성에 바람직하게 적용될 수 있다. 구체적으로는, 예를 들면, 카메라 헤드(5119)의 촬상부(5123)로서 실시형태의 촬상부(11 또는 11A)를 적용하고, 카메라 헤드(5119)에 각도 검출부(17)를 설치함과 함께, CCU(5153)에 있어서의 화상 처리부(5175)에서 실시형태의 편광 화상 생성부(21 또는 21A)의 처리를 행하는 것이 생각된다. 또한, 이 경우, 화상 처리부(5175)는, 카메라 헤드(5119)에 설치할 수도 있다. 또한, 화상 처리부(21A)로서의 처리를 행하는 경우에는, 광원 장치(5157)가 특정한 편광 방향에 의한 직선 편광을 선택적으로 조사하는 구성으로 한다.

이와 같이, 시술부의 화상 생성에 대해 본 개시에 관련되는 기술을 적용함으로써, 시술부를 촬상한 화상에 대해, 촬상부의 자세 변화에 따른 편광 필터 효과가 변화되어 버리는 것의 방지를 도모할 수 있다. 또한, 광원 장치(5157)를 편광 조명으로 하는 경우에는, 카메라 헤드(5119)를 편광 조명의 편광 방향에 따라 회전시킬 필요가 없어지고, 신호 케이블의 꼬임이나 단선 등을 막기 위해 암부(5145)의 동작에 제한을 가할 필요를 없앨 수 있다.

<4. 실시형태의 요약>

상기한 바와 같이 실시형태의 촬상 장치(1 또는 1A)는, 제1 편광 방향의 광을 수광 가능한 제1 화소와, 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부(11 또는 11A)와, 촬상부의 자세를 검출하는 검출부(각도 검출부(17))와, 제1 및 제2 화소의 신호에 기초하여, 검출부의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성부(21 또는 21A)를 구비하고 있다.

따라서, 촬상 장치의 자세 변화에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모할 수 있다.

또한, 상기한 실시형태의 촬상 장치에 있어서는, 화상 생성부는, 회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정한 경우에 있어서의 편광 필터의 회전 각도에 상당하는 가상 필터 각도를 설정하고, 검출부의 검출 결과에 기초하여 보정된 가상 필터 각도에 기초하여, 화상을 생성하고 있다.

이에 의해, 촬상부의 자세 변화를 캔슬하도록 보정된 가상 필터 각도에 따른 화상을 얻는 것이 가능하게 된다.

또한, 상기한 실시형태의 촬상 장치에 있어서는, 촬상부는, 각각이 소정 수의 수광 소자를 가진 복수의 화소와, 화소마다 편광 방향이 다른 직선 편광을 선택적으로 수광시키는 편광부(편광 필터(13a), 또는 편광 스플리터(51-1, 51-2))를 갖는 화소 유닛(U, U′)이 복수 배열되고, 화상 생성부는, 화소 유닛에 포함되는 복수의 화소의 수광 신호와, 가상 필터 각도와 수광 신호값의 관계를 나타내는 함수 정보에 기초하여, 검출부의 검출 결과에 기초하여 보정된 가상 필터 각도에 상당하는 편광 방향에 대응하는 화상을 생성하고 있다.

즉, 촬상 장치의 자세 변화에 따라 편광 필터 효과가 변화되어 버리는 것의 방지를 도모할 수 있다.

또한, 실시형태의 촬상 장치(1)에 있어서는, 가상 필터 각도를 조작 입력 가능하게 되어 있다.

이에 의해, 사용자의 조작에 의한 편광 필터 효과의 조정을 가능하게 하고, 촬상의 자유도의 향상을 도모할 수 있다.

게다가, 실시형태의 촬상 장치에 있어서는, 조작 입력이 회전 조작자에 의한 조작 입력으로 되어 있다.

이에 의해, 회전 가능한 편광 필터를 회전 조작하는 경우와 동일한 조작감을 사용자에게 제공할 수 있다.

나아가, 또한, 실시형태의 촬상 장치에 있어서는, 화상 생성부는, 화소 유닛에 포함되는 복수의 화소의 수광 신호에 기초하여, 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 됨과 함께, 조작에 따라 가상 편광 화상과 가상 통상 화상을 따로따로 생성한다.

즉, 사용자의 요구에 따라 편광 필터 효과의 ON/OFF를 전환할 수 있다.

또한, 실시형태의 촬상 장치에 있어서는, 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 표시부에 표시시키는 표시 제어부(31)를 구비하고 있다.

이에 의해, 편광 필터 효과를 사용자에게 확인시킬 수 있다. 또한, 가상 필터 각도를 조작에 의해 지정 가능하게 되는 경우에는, 조작에 대한 편광 필터 효과의 변화를 사용자에게 확인시킬 수 있다.

게다가, 실시형태의 촬상 장치에 있어서는, 촬상부는, 각각이 소정 수의 수광 소자를 가진 복수의 화소와, 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고, 화상 생성부는, 화소 유닛에 포함되는 복수의 화소의 수광 신호에 기초하여, 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 되고, 표시 제어부는, 표시부에 있어서 가상 편광 화상과 가상 통상 화상 중 어느 일방이 표시 중에 행해진 소정 조작에 기초하여, 표시부의 표시 상태를 가상 편광 화상과 가상 통상 화상 중 어느 일방이 표시된 상태로부터 가상 편광 화상과 가상 통상 화상 중 어느 타방이 표시된 상태로 전환하고 있다.

이에 의해, 편광 필터 효과의 유무를 사용자에게 파악시키기 쉬워져, 편리성을 높일 수 있다.

나아가, 또한, 실시형태의 촬상 장치에 있어서는, 표시 제어부는, 소정 조작이 계속 중인 동안, 가상 편광 화상과 가상 통상 화상 중 어느 타방의 표시 상태를 유지시키고, 소정 조작의 종료에 따라 가상 편광 화상과 가상 통상 화상 중 어느 일방의 표시 상태로 전환하고 있다.

게다가, 실시형태의 촬상 장치에 있어서는, 가상 필터 각도를 조작 입력 가능하게 되고, 화상 생성부는, 가상 필터 각도를 조작 입력된 각도보다 큰 각도로 했을 때의 가상 편광 화상인 증각 화상, 또는 가상 필터 각도를 조작 입력된 각도보다 작은 각도로 했을 때의 가상 편광 화상인 감각 화상 중 적어도 일방을 생성하고, 표시 제어부는, 증각 화상 또는 감각 화상 중 적어도 일방을 표시부에 표시시키고 있다.

이에 의해, 가상 필터 각도를 현재의 지시 각도로부터 증각한 경우, 또는 감각한 경우에 각각 편광 필터 효과가 어떻게 변화되는지를 사용자에게 확인시키는 것이 가능하게 된다.

따라서, 편광 필터 효과의 조정이 용이하게 되도록 사용자를 지원할 수 있다.

또한, 실시형태의 촬상 장치에 있어서는, 가상 필터 각도의 입력 조작이 회전 조작자에 의한 입력 조작으로 되고, 표시 제어부는, 증각 화상을 표시시키는 경우에는, 증각 화상에 대응하는 표시 위치에 가상 필터 각도를 크게 하기 위한 회전 조작자의 회전 방향 정보를, 감각 화상을 표시시키는 경우에는 감각 화상에 대응하는 표시 위치에 가상 필터 각도를 작게 하기 위한 회전 조작자의 회전 방향 정보를 각각 표시시키고 있다.

이에 의해, 원하는 편광 필터 효과를 얻기 위해 회전 조작자를 어느 방향으로 회전시키면 되는지를 사용자에게 직감적으로 이해시키는 것이 가능하게 된다.

게다가, 실시형태의 촬상 장치에 있어서는, 조작에 의한 피사체의 지정을 접수하는 접수부(32)를 구비하고, 화상 생성부가, 화소 유닛에 포함되는 복수의 화소의 수광 신호와 함수 정보에 기초하여, 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 생성 가능하게 됨과 함께, 화상 생성부는, 지정된 피사체의 광을 수광하는 화소 위치에 있어서의 수광 신호값에 기초한 함수 정보를 취득하고, 해당 함수 정보에 기초하여, 화소 위치의 수광 신호값을 소정 조건이 만족되는 값으로 하는 가상 필터 각도를 목표 각도로서 계산하고, 목표 각도를 검출부의 검출 결과에 기초하여 보정하여 보정 각도를 얻고, 가상 필터 각도를 보정 각도로 했을 때의 가상 편광 화상을 생성하고 있다.

나아가, 또한, 실시형태의 촬상 장치에 있어서는, 화상 생성부는, 목표 각도로서, 화소 위치의 수광 신호값을 대략 최소로 하는 가상 필터 각도를 계산하고 있다.

또한, 실시형태의 촬상 장치에 있어서는, 촬상부에 의한 촬상 화상을 표시부에 표시시키는 표시 제어부를 구비하고, 접수부는, 표시부의 표시 화면에 대한 터치 조작에 의해 행해지는 피사체의 지정을 접수하고 있다.

이에 의해, 피사체의 지정 조작이 용이화되어, 사용자의 조작 부담 경감을 도모할 수 있다.

게다가, 실시형태의 촬상 장치에 있어서는, 표시부를 제어하는 표시 제어부를 구비하고, 화상 생성부는, 촬상부에 있어서의 소정의 화소 위치마다, 함수 정보에 기초하여 가상 필터 각도의 변화에 대한 수광 신호값의 변화 정도를 나타내는 값을 필터 효과 기대값으로서 계산하고, 표시 제어부는, 필터 효과 기대값의 크기를 나타내는 기대값 정보가 소정의 화소 위치마다 나타낸 기대값 화상을 표시부에 표시시키고 있다.

나아가, 또한, 실시형태의 촬상 장치에 있어서는, 표시 제어부는, 기대값 화상을 촬상부에 의한 촬상 화상에 중첩 표시시키고 있다.

또한, 실시형태의 촬상 장치에 있어서는, 표시 제어부는, 촬상 화상으로서 단색 화상을, 기대값 화상으로서 단색 이외의 특정 색에 의한 화상을 표시시키고 있다.

게다가, 실시형태의 촬상 장치에 있어서는, 화상 생성부는, 필터 효과 기대값으로서 편광도를 계산하고 있다.

이에 의해, 기대값 정보의 신뢰성을 높일 수 있다.

나아가, 또한, 실시형태의 촬상 장치에 있어서는, 촬상부(11A)는, 편광 스플리터(51-1 또는 51-2)와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 편광 스플리터의 분리면을 반사한 반사광의 광축에 대략 직교하는 수광면을 가져서 반사광을 수광하는 제1 종류의 화소(52)와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 분리면을 투과한 투과광의 광축에 대략 직교하는 수광면을 가져서 투과광을 수광하는 제2 종류의 화소(53)를 가진 화소쌍(50-1 또는 50-2)을 복수개 구비하고, 인접 관계에 있는 화소쌍에 있어서, 편광 스플리터에 있어서의 분리면의 편광축의 면내 각도가 다르다.

따라서, 가상 편광 화상의 해상도 향상을 도모할 수 있다. 또한, 하나의 화소쌍에 대한 입사광을 복수의 수광 소자에 의해 수광하기 때문에, 화소 위치마다의 수광 감도의 향상을 도모할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니며, 또한 다른 효과가 있어도 된다.

<5. 그 밖의 변형예>

본 기술은 상기한 구체예에 한정되는 것이 아니며, 다양한 변형예가 생각된다.

예를 들면, 상기에서는 렌즈 장치(2)가 회전 조작자(2b)를 구비하는, 즉, 촬상 장치의 본체에 회전 조작자가 마련되어 있지 않은 예를 나타냈지만, 회전 조작자는, 예를 들면 다이얼 조작자 등의 형태로 촬상 장치 본체에 마련되어도 된다.

또한, 가상 필터 각도를 지시하기 위한 조작자로서는, 회전 조작자뿐만 아니라, 슬라이드 조작자, 버튼 조작자 등의 다른 형태에 의한 조작자로 되어도 된다.

또한, 본 기술에 관련되는 촬상 장치는 렌즈 일체형의 촬상 장치로 할 수도 있다.

<6. 본 기술>

또한, 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1)

제1 편광 방향의 광을 수광 가능한 제1 화소와, 상기 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부와,

상기 촬상부의 자세를 검출하는 검출부와,

상기 제1 및 제2 화소의 신호에 기초하여, 상기 검출부의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성부를 구비하는, 촬상 장치.

(2)

상기 화상 생성부는,

회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정한 경우에 있어서의 상기 편광 필터의 회전 각도에 상당하는 가상 필터 각도를 설정하고, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 기초하여, 상기 화상을 생성하는, 상기 (1)에 기재된 촬상 장치.

(3)

상기 촬상부는,

각각이 소정 수의 수광 소자를 가진 복수의 화소와, 상기 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고,

상기 화상 생성부는,

상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와, 상기 가상 필터 각도와 수광 신호값의 관계를 나타내는 함수 정보에 기초하여, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 상당하는 편광 방향에 대응하는 화상을 생성하는, 상기 (3)에 기재된 촬상 장치.

(4)

상기 가상 필터 각도를 조작 입력 가능하게 된, 상기 (2) 또는 (3)에 기재된 촬상 장치.

(5)

상기 조작 입력이 회전 조작자에 의한 조작 입력으로 된, 상기 (4)에 기재된 촬상 장치.

(6)

상기 화상 생성부는,

상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 됨과 함께, 조작에 따라 상기 가상 편광 화상과 상기 가상 통상 화상을 따로따로 생성하는, 상기 (3) 내지 (5) 중 어느 것에 기재된 촬상 장치.

(7)

상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 표시부에 표시시키는 표시 제어부를 구비하는, 상기 (2) 내지 (6) 중 어느 것에 기재된 촬상 장치.

(8)

상기 촬상부는,

상기 화상 생성부는,

상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 되고,

상기 표시 제어부는,

상기 표시부에 있어서 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시 중에 행해진 소정 조작에 기초하여, 상기 표시부의 표시 상태를 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시된 상태로부터 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방이 표시된 상태로 전환하는, 상기 (7)에 기재된 촬상 장치.

(9)

상기 표시 제어부는,

상기 소정 조작이 계속 중인 동안, 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방의 표시 상태를 유지시키고, 상기 소정 조작의 종료에 따라 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방의 표시 상태로 전환하는, 상기 (8)에 기재된 촬상 장치.

(10)

상기 가상 필터 각도를 조작 입력 가능하게 되고,

상기 화상 생성부는,

상기 가상 필터 각도를 상기 조작 입력된 각도보다 큰 각도로 했을 때의 상기 가상 편광 화상인 증각 화상, 또는 상기 가상 필터 각도를 상기 조작 입력된 각도보다 작은 각도로 했을 때의 상기 가상 편광 화상인 감각 화상 중 적어도 일방을 생성하고,

상기 표시 제어부는,

상기 증각 화상 또는 상기 감각 화상 중 적어도 일방을 상기 표시부에 표시시키는, 상기 (7) 내지 (9) 중 어느 것에 기재된 촬상 장치.

(11)

상기 가상 필터 각도의 입력 조작이 회전 조작자에 의한 입력 조작으로 되고,

상기 표시 제어부는,

상기 증각 화상을 표시시키는 경우에는, 상기 증각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 크게 하기 위한 상기 회전 조작자의 회전 방향 정보를, 상기 감각 화상을 표시시키는 경우에는 상기 감각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 작게 하기 위한 상기 회전 조작자의 회전 방향 정보를 각각 표시시키는, 상기 (10)에 기재된 촬상 장치.

(12)

조작에 의한 피사체의 지정을 접수하는 접수부를 구비하고,

상기 화상 생성부가, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와 상기 함수 정보에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 생성 가능하게 됨과 함께,

상기 화상 생성부는,

상기 지정된 피사체의 광을 수광하는 화소 위치에 있어서의 수광 신호값에 기초한 상기 함수 정보를 취득하고, 해당 함수 정보에 기초하여, 상기 화소 위치의 수광 신호값을 소정 조건이 만족되는 값으로 하는 상기 가상 필터 각도를 목표 각도로서 계산하고, 상기 목표 각도를 상기 검출부의 검출 결과에 기초하여 보정하여 보정 각도를 얻고, 상기 가상 필터 각도를 상기 보정 각도로 했을 때의 상기 가상 편광 화상을 생성하는, 상기 (3) 내지 (11) 중 어느 것에 기재된 촬상 장치.

(13)

상기 화상 생성부는,

상기 목표 각도로서, 상기 화소 위치의 수광 신호값을 대략 최소로 하는 상기 가상 필터 각도를 계산하는, 상기 (12)에 기재된 촬상 장치.

(14)

상기 촬상부에 의한 촬상 화상을 표시부에 표시시키는 표시 제어부를 구비하고,

상기 접수부는,

상기 표시부의 표시 화면에 대한 터치 조작에 의해 행해지는 상기 피사체의 지정을 접수하는, 상기 (12) 또는 (13)에 기재된 촬상 장치.

(15)

표시부를 제어하는 표시 제어부를 구비하고,

상기 화상 생성부는,

상기 촬상부에 있어서의 소정의 화소 위치마다, 상기 함수 정보에 기초하여 상기 가상 필터 각도의 변화에 대한 상기 수광 신호값의 변화 정도를 나타내는 값을 필터 효과 기대값으로서 계산하고,

상기 표시 제어부는,

상기 필터 효과 기대값의 크기를 나타내는 기대값 정보가 상기 소정의 화소 위치마다 나타낸 기대값 화상을 상기 표시부에 표시시키는, 상기 (3) 내지 (14) 중 어느 것에 기재된 촬상 장치.

(16)

상기 표시 제어부는,

상기 기대값 화상을 상기 촬상부에 의한 촬상 화상에 중첩 표시시키는, 상기 (15)에 기재된 촬상 장치.

(17)

상기 표시 제어부는,

상기 촬상 화상으로서 단색 화상을, 상기 기대값 화상으로서 단색 이외의 특정 색에 의한 화상을 표시시키는, 상기 (16)에 기재된 촬상 장치.

(18)

상기 편광 화상 생성부는,

상기 필터 효과 기대값으로서 편광도를 계산하는, 상기 (15) 내지 (17) 중 어느 것에 기재된 촬상 장치.

(19)

상기 촬상부는,

편광 스플리터와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 편광 스플리터의 분리면을 반사한 반사광의 광축에 대략 직교하는 수광면을 가져서 상기 반사광을 수광하는 제1 종류의 화소와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 분리면을 투과한 투과광의 광축에 대략 직교하는 수광면을 가져서 상기 투과광을 수광하는 제2 종류의 화소를 가진 화소쌍을 복수개 구비하고,

인접 관계에 있는 상기 화소쌍에 있어서, 상기 편광 스플리터에 있어서의 상기 분리면의 편광축의 면내 각도가 다른, 상기 (1) 내지 (18) 중 어느 것에 기재된 촬상 장치.

1, 1A: 촬상 장치
2b: 회전 조작자
11, 11A: 촬상부
12: 촬상 소자
12a: 수광 소자
13: 광학 부재
13a: 편광 필터
16: 표시부
17: 각도 검출부
18: 조작부
20: 디지털 신호 처리부
21, 21A: 편광 화상 생성부
23: 표시 데이터 생성부,
30: 제어부
31: 표시 제어부
32: 접수부
50-1, 50-2: 화소쌍
51-1, 51-2: 편광 스플리터
51a: 분리면
52, 53: 화소
U, U′: 화소 유닛
P: 편광축
P′: 가상 편광축
Gr: 지시각 화상
Ga: 증각 화상
Gd: 감각 화상

Claims

제1 편광 방향의 광을 수광 가능한 제1 화소와, 상기 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부와,
상기 촬상부의 자세를 검출하는 검출부와,
상기 제1 및 제2 화소의 신호에 기초하여, 상기 검출부의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성부를 구비하는, 촬상 장치.
제1항에 있어서,
상기 화상 생성부는,
회전 가능한 편광 필터를 거친 광을 수광하여 촬상 화상을 얻는다고 가정한 경우에 있어서의 상기 편광 필터의 회전 각도에 상당하는 가상 필터 각도를 설정하고, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 기초하여, 상기 화상을 생성하는, 촬상 장치.
제2항에 있어서,
상기 촬상부는,
각각이 소정 수의 수광 소자를 가진 복수의 화소와, 상기 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고,
상기 화상 생성부는,
상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와, 상기 가상 필터 각도와 수광 신호값의 관계를 나타내는 함수 정보에 기초하여, 상기 검출부의 검출 결과에 기초하여 보정된 상기 가상 필터 각도에 상당하는 편광 방향에 대응하는 화상을 생성하는, 촬상 장치.
제2항에 있어서,
상기 가상 필터 각도를 조작 입력 가능하게 된, 촬상 장치.
제4항에 있어서,
상기 조작 입력이 회전 조작자에 의한 조작 입력으로 된, 촬상 장치.
제3항에 있어서,
상기 화상 생성부는,
상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬(cancel)한 화상인 가상 통상 화상을 생성 가능하게 됨과 함께, 조작에 따라 상기 가상 편광 화상과 상기 가상 통상 화상을 따로따로 생성하는, 촬상 장치.
제2항에 있어서,
상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 표시부에 표시시키는 표시 제어부를 구비하는, 촬상 장치.
제7항에 있어서,
상기 촬상부는,
각각이 소정 수의 수광 소자를 가진 복수의 화소와, 상기 화소마다 편광 방향이 다른 직선 편광의 광을 수광시키는 편광부를 갖는 화소 유닛이 복수 배열되고,
상기 화상 생성부는,
상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상과, 상기 편광부에 의한 편광의 분리를 캔슬한 화상인 가상 통상 화상을 생성 가능하게 되고,
상기 표시 제어부는,
상기 표시부에 있어서 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시 중에 행해진 소정 조작에 기초하여, 상기 표시부의 표시 상태를 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방이 표시된 상태로부터 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방이 표시된 상태로 전환하는, 촬상 장치.
제8항에 있어서,
상기 표시 제어부는,
상기 소정 조작이 계속 중인 동안, 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 타방의 표시 상태를 유지시키고, 상기 소정 조작의 종료에 따라 상기 가상 편광 화상과 상기 가상 통상 화상 중 어느 일방의 표시 상태로 전환하는, 촬상 장치.
제7항에 있어서,
상기 가상 필터 각도를 조작 입력 가능하게 되고,
상기 화상 생성부는,
상기 가상 필터 각도를 상기 조작 입력된 각도보다 큰 각도로 했을 때의 상기 가상 편광 화상인 증각(增角) 화상, 또는 상기 가상 필터 각도를 상기 조작 입력된 각도보다 작은 각도로 했을 때의 상기 가상 편광 화상인 감각(減角) 화상 중 적어도 일방을 생성하고,
상기 표시 제어부는,
상기 증각 화상 또는 상기 감각 화상 중 적어도 일방을 상기 표시부에 표시시키는, 촬상 장치.
제10항에 있어서,
상기 가상 필터 각도의 입력 조작이 회전 조작자에 의한 입력 조작으로 되고,
상기 표시 제어부는,
상기 증각 화상을 표시시키는 경우에는, 상기 증각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 크게 하기 위한 상기 회전 조작자의 회전 방향 정보를, 상기 감각 화상을 표시시키는 경우에는 상기 감각 화상에 대응하는 표시 위치에 상기 가상 필터 각도를 작게 하기 위한 상기 회전 조작자의 회전 방향 정보를 각각 표시시키는, 촬상 장치.
제3항에 있어서,
조작에 의한 피사체의 지정을 접수하는 접수부를 구비하고,
상기 화상 생성부가, 상기 화소 유닛에 포함되는 상기 복수의 화소의 수광 신호와 상기 함수 정보에 기초하여, 상기 가상 필터 각도를 임의 각도로 하여 얻어지는 화상에 상당하는 가상 편광 화상을 생성 가능하게 됨과 함께,
상기 화상 생성부는,
상기 지정된 피사체의 광을 수광하는 화소 위치에 있어서의 수광 신호값에 기초한 상기 함수 정보를 취득하고, 해당 함수 정보에 기초하여, 상기 화소 위치의 수광 신호값을 소정 조건이 만족되는 값으로 하는 상기 가상 필터 각도를 목표 각도로서 계산하고, 상기 목표 각도를 상기 검출부의 검출 결과에 기초하여 보정하여 보정 각도를 얻고, 상기 가상 필터 각도를 상기 보정 각도로 했을 때의 상기 가상 편광 화상을 생성하는, 촬상 장치.
제12항에 있어서,
상기 화상 생성부는,
상기 목표 각도로서, 상기 화소 위치의 수광 신호값을 대략 최소로 하는 상기 가상 필터 각도를 계산하는, 촬상 장치.
제12항에 있어서,
상기 촬상부에 의한 촬상 화상을 표시부에 표시시키는 표시 제어부를 구비하고,
상기 접수부는,
상기 표시부의 표시 화면에 대한 터치 조작에 의해 행해지는 상기 피사체의 지정을 접수하는, 촬상 장치.
제3항에 있어서,
표시부를 제어하는 표시 제어부를 구비하고,
상기 화상 생성부는,
상기 촬상부에 있어서의 소정의 화소 위치마다, 상기 함수 정보에 기초하여 상기 가상 필터 각도의 변화에 대한 상기 수광 신호값의 변화 정도를 나타내는 값을 필터 효과 기대값으로서 계산하고,
상기 표시 제어부는,
상기 필터 효과 기대값의 크기를 나타내는 기대값 정보가 상기 소정의 화소 위치마다 나타낸 기대값 화상을 상기 표시부에 표시시키는, 촬상 장치.
제15항에 있어서,
상기 표시 제어부는,
상기 기대값 화상을 상기 촬상부에 의한 촬상 화상에 중첩 표시시키는, 촬상 장치.
제16항에 있어서,
상기 표시 제어부는,
상기 촬상 화상으로서 단색 화상을, 상기 기대값 화상으로서 단색 이외의 특정 색에 의한 화상을 표시시키는, 촬상 장치.
제15항에 있어서,
상기 화상 생성부는,
상기 필터 효과 기대값으로서 편광도를 계산하는, 촬상 장치.
제1항에 있어서,
상기 촬상부는,
편광 스플리터와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 편광 스플리터의 분리면을 반사한 반사광의 광축에 대략 직교하는 수광면을 가져서 상기 반사광을 수광하는 제1 종류의 화소와, 소정 수의 수광 소자를 가지며 해당 수광 소자가 상기 분리면을 투과한 투과광의 광축에 대략 직교하는 수광면을 가져서 상기 투과광을 수광하는 제2 종류의 화소를 가진 화소쌍을 복수개 구비하고,
인접 관계에 있는 상기 화소쌍에 있어서, 상기 편광 스플리터에 있어서의 상기 분리면의 편광축의 면내 각도가 다른, 촬상 장치.
제1 편광 방향의 광을 수광 가능한 제1 화소와, 상기 제1 편광 방향과 다른 제2 편광 방향의 광을 수광 가능한 제2 화소를 포함하는 촬상부를 갖는 촬상 장치에 대해, 상기 촬상부의 자세를 검출하는 검출 단계와,
상기 제1 및 제2 화소의 신호에 기초하여, 상기 검출 단계의 검출 결과에 따른 편광 방향에 대응하는 화상을 생성하는 화상 생성 단계
를 상기 촬상 장치가 실행하는, 화상 생성 방법.