KR20200009006A - 촬상 장치 - Google Patents

Abstract

촬상 조작의 간이화를 도모한다. 이를 위해, 케이스와, 상기 케이스를 사용자의 경부에 장착하기 위한 부착부와, 상기 케이스의 하부에 설치되고 수평 방향보다 하방을 향하는 광축을 갖는 광학계를 구비하도록 한다.

Description

촬상 장치

본 기술은 촬상 장치에 대한 기술 분야에 관한 것이다. 특히 어안 렌즈를 가지는 촬상 장치에 관한 것이다.

카메라나 비디오 카메라 등의 촬상 장치로서, 반천구 카메라나 전천구 카메라가 알려져 있다. 예를 들면, 특허 문헌 1에는, 전천구 카메라에 대한 기술이 개시되어 있다.

특허 문헌 1: 일본특허공개 제2016-149752호 공보

그런데, 촬상 장치를 이용하여 촬상을 행하는 경우에, 상황에 따라서는 촬상 조작을 하기 어려운 경우가 있다. 예를 들면, 조리를 행하면서 그 작업 공정을 촬상하는 경우나, 조깅 등의 운동을 하면서 촬상하는 경우 등이다.

이에, 본 기술의 촬상 장치는, 촬상 조작의 간이화를 도모하는 것을 목적으로 한다.

본 기술에 관련되는 촬상 장치는, 케이스와, 상기 케이스를 사용자의 경부에 장착하기 위한 부착부와, 상기 케이스의 하부에 설치되고 수평 방향보다 하방을 향하는 광축을 갖는 광학계를 구비하고 있다.

이에 의해, 사용 상태에 있어서 적합하게 광학계가 배치된다. 또한, 광학계의 화각에 케이스의 상부가 비치는 것이 방지된다.

상기 촬상 장치에 있어서는, 상기 부착부는 상기 케이스의 상부에 설치되어 있어도 된다.

이에 의해, 예를 들면 상방에 매달린 상태로 사용된다.

상기 촬상 장치에 있어서는, 상기 케이스의 후면부를 중력 방향을 따르게 한 상태에 있어서, 상기 광학계의 광축은 수평 방향보다 하방을 향하는 직선으로 되어 있어도 된다.

이에 의해, 광학계의 화각에 케이스의 상부가 비치는 것이 방지된다.

상기 촬상 장치에 있어서는, 수평 방향에 대한 상기 광축의 기울기는 약 10˚이상 약 50˚이하로 되어 있어도 된다.

이에 의해, 흉부에 재치한 상태의 촬상 장치에 있어서, 케이스의 전방 영역이 촬상 범위로서 커버된다.

예를 들면, 상기 촬상 장치에 있어서는, 상기 광축의 기울기α는

（θ－（φ－π）／２）≤ α ≤（θ＋（φ－π）／２）

로 되어 있어도 된다.

단, θ는 직립 상태의 인간의 흉부와 수직면이 이루는 각도를 나타내는 정수, φ는 광학계의 화각, π는 원주율로 한다.

이에 의해, 평균적인 흉부의 기울기를 갖는 촬상자가 흉부에 케이스를 재치한 상태로 사용한 경우에, 케이스의 전방 영역이 촬상 범위로서 커버된다.

상기 촬상 장치에 있어서는, 상기 케이스에 부착되는 스트랩을 구비하고, 상기 케이스는, 상기 스트랩에 의해 매달린 상태에 있어서 가로폭보다 세로폭이 큰 세로로 긴 형상으로 되어 있어도 된다.

이에 의해, 광학계에 있어서의 가장 피사체측의 렌즈를 피사체측으로 돌출시키도록 설치하는 것만으로 좌우 방향의 화각에 케이스가 비치는 것이 방지된다.

상기 촬상 장치에 있어서는, 상기 자세 데이터 생성부로서 3축 자이로 센서를 가지고 있어도 된다.

3축 자이로 센서를 가짐으로써, 촬상 장치의 세밀한 자세 상태가 취득된다.

상기 촬상 장치에 있어서는, 상기 자세 데이터 생성부로서 3축 가속도 센서를 가지고 있어도 된다.

3축 가속도 센서를 가짐으로써, 촬상 장치의 세밀한 자세 상태가 취득된다.

상기 촬상 장치의 상기 케이스의 상면부에는 조작자가 설치되어도 된다.

상기 촬상 장치의 상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되어도 된다.

상기 촬상 장치의 상기 한쪽 측면부에 복수의 조작자가 설치되어도 된다.

상기 촬상 장치의 상기 케이스의 상면부에 조작자가 설치됨과 함께, 상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되어도 된다.

상기 촬상 장치에 있어서는, 상기 케이스는 전면부와 후면부와 상면부와 하면부와 좌우의 측면부를 가짐과 함께 복수의 조작자가 설치되고, 왼쪽의 측면부 또는 오른쪽의 측면부의 어느 한쪽에, 상기 복수의 조작자 중 측면부에 설치되는 조작자 전부가 설치되어 있어도 된다.

이에 의해, 조작자의 오조작의 가능성이 저감된다.

상기 촬상 장치에 있어서는, 상기 상면부에 촬상 중에 있어서 유효하게 기능하는 조작자가 설치되어 있어도 된다.

이에 의해, 조작성의 향상이 도모된다.

특히, 스트랩을 이용하여 목으로부터 내려 촬상 장치를 사용하는 경우에는, 케이스를 손으로 파지하지 않고 상면부에 설치된 조작자를 조작하는 것이 가능해져, 조작성 향상이 도모된다.

상기 촬상 장치의 상기 상면부의 조작자로서 정지 영상 촬상 기능의 조작자가 설치되어도 된다.

상기 촬상 장치의 상기 상면부의 조작자로서 마커 기록 기능의 조작자가 설치되어도 된다.

상기 촬상 장치의 상기 측면부의 조작자로서 동영상 촬상 기능의 조작자가 설치되어도 된다.

상기 측면부의 조작자로서 타임 랩스(time lapse) 동영상 촬상 기능의 조작자가 설치되어도 된다.

상기 촬상 장치에 있어서는, 상기 케이스에 부착되고 일단이 수형 커넥터, 타단이 암형 커넥터로 된 스트랩을 구비하고, 상기 수형 커넥터를 상기 암형 커넥터에 삽입 장착함으로써 환상으로 되어도 된다.

이에 의해, 환상으로 된 부분을 사용자의 머리에 통과시키지 않고 스트랩의 장착을 행할 수 있다.

상기 촬상 장치에 있어서는, 상기 수형 커넥터와 상기 암형 커넥터는 각각 마그넷을 가지며, 상기 수형 커넥터는 상기 마그넷에 의해 상기 암형 커넥터에 대한 착탈이 가능하게 되어 있어도 된다.

이에 의해, 수형 커넥터와 암형 커넥터를 삽입 장착한 상태에 있어서, 수형 커넥터와 암형 커넥터 사이에 인력이 발생한다.

상기 촬상 장치에 있어서는, 상기 암형 커넥터의 내측에는 가이드부가 설치되고, 상기 수형 커넥터가 상기 암형 커넥터에 삽입 장착된 상태에 있어서는 상기 수형 커넥터의 상기 암형 커넥터에 대한 회전이 실질적으로 불가능하게 되어 있어도 된다.

이에 의해, 스트랩이 비틀림이 일어나기 어렵게 된다.

상기 촬상 장치의 부착부는 가이드부를 가지는 스트랩으로 되어 있어도 된다.

상기 촬상 장치의 상기 케이스는, 상기 스트랩이 부착되는 부착부를 가지며, 상기 케이스가 상기 스트랩에 의해 매달린 상태에 있어서, 촬상 장치의 중심과 상기 부착부를 이은 직선은 상기 광학계의 광축에 직교하도록 되어 있어도 된다.

이에 의해, 스트랩에 의해 촬상 장치가 매달린 상태에 있어서, 광학계의 광축이 대략 수평이 된다.

상기 촬상 장치에 있어서는, 촬상 중인 것을 알리는 알림부를 구비하고 있어도 된다.

이에 의해, 피사체로 된 인물이 자각하지 않은 채 촬상이 행해져 버리는 것을 방지한다.

상기 촬상 장치에 있어서는, 상기 광학계를 덮는 것이 가능한 렌즈 커버를 구비하고 있어도 된다.

이에 의해, 비촬상시에 렌즈를 부주의하게 건드리는 것이 방지된다.

상기 촬상 장치에 있어서는, 촬상 중에 전원 전압의 저하를 통지하는 진동부를 구비하고 있어도 된다.

이에 의해, 촬상자가 배터리 저하를 인식할 수 있다.

상기 촬상 장치의 상기 진동부는 상기 케이스 내에 설치되어 있어도 된다.

이에 의해, 케이스를 흉부에 재치한 상태에 있어서, 케이스에 의한 흉부로의 진동 전달이 행해진다.

상기 촬상 장치에 있어서는, 상기 케이스에 부착되는 스트랩을 구비하고, 상기 진동부는 상기 스트랩에 설치되어 있어도 된다.

예를 들면, 스트랩의 커넥터 부분에 진동부가 설치되는 것에 의해, 촬상자의 목 부분에 진동이 전달된다.

상기 촬상 장치에 있어서는, 상기 케이스의 상부 및 하부에 마이크로폰을 구비하고 있어도 된다.

상부 및 하부에 설치함으로써, 목으로부터 내린 상태로 촬상 장치를 사용한 경우에, 상부로부터의 입력이 커지는 촬상자의 음성을 추출 가능하게 된다.

본 기술에 의하면, 촬상 조작의 간이화가 도모된다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과라도 된다.

도 1은 본 기술의 실시 형태의 촬상 장치의 사시도이다.
도 2는 촬상 장치의 측면도이다.
도 3은 덮개부를 분리한 상태를 나타내는 사시도이다.
도 4는 광학계의 화각을 설명하기 위한 도면이다.
도 5는 흉부에 재치한 상태의 촬상 장치를 나타내는 도면이다.
도 6은 촬상 장치의 사시도이다.
도 7은 수형 커넥터 및 암형 커넥터의 사시도이다.
도 8은 수형 커넥터가 암형 커넥터에 대해서 회동하면서 삽입되는 상태를 나타내는 개략도이다.
도 9는 펑션 버튼을 눌렀 때에 커넥터에 가해지는 힘을 설명하기 위한 도면이다.
도 10은 목에 매달린 상태의 촬상 장치를 나타내는 도면이다.
도 11은 촬상 장치의 중심 위치를 나타내는 도면이다.
도 12는 렌즈 커버가 설치된 촬상 장치를 나타내는 개략도이다.
도 13은 케이스가 가로로 긴 형상으로 된 예를 나타내는 사시도이다.
도 14는 케이스의 상부에만 마이크로폰이 설치된 예를 나타내는 사시도이다.
도 15는 스트랩의 커넥터 부분에 진동부가 설치된 예를 나타내는 설명도이다.
도 16은 촬상 장치의 다른 형태를 나타내는 설명도이다.
도 17은 스트랩의 커넥터 부분의 다른 예를 나타내는 도면이다.
도 18은 동작 상태의 상태 천이도이다.
도 19는 촬상 장치의 기능 블록도이다.
도 20은 촬상 장치와 외부 장치의 통신에 대한 설명도이다.
도 21은 정보 처리 장치의 하드웨어 구성에 대한 설명도이다.
도 22는 자세 데이터와 화상 보정용의 처리에 대한 설명도이다.
도 23은 자세 데이터와 화상 보정용의 처리에 대한 설명도이다.
도 24는 조도에 대한 노광 조정 및 게인 조정을 설명하기 위한 그래프이다.
도 25는 자동 노광 제어의 플로우차트이다.
도 26은 마이크로폰에 관한 블록도이다.
도 27은 마이크로폰에 관한 다른 블록도이다.
도 28은 촬상 장치의 다른 형태의 기능 블록도이다.
도 29는 카메라 유닛 및 검출 유닛의 제어의 일례를 나타내는 플로우차트이다.
도 30은 자세 데이터의 검출 및 기억에 관한 타이밍 차트이다.
도 31은 화상 데이터와 자세 데이터의 대응을 설명하기 위한 플로우차트이다.
도 32는 촬상 장치의 또 다른 형태의 기능 블록도이다.
도 33은 카메라 유닛 및 검출 유닛의 제어의 일례를 나타내는 플로우차트이다.
도 34는 자세 데이터의 검출 및 기억에 관한 타이밍 차트이다.
도 35는 범위 외 영역에 발광부로부터의 광을 조사(照射)한 상태를 나타내는 도면이다.
도 36은 실시 형태의 정보 처리 장치의 애플리케이션 화면의 설명도이다.
도 37은 실시 형태의 정보 처리 장치의 애플리케이션 화면의 설명도이다.
도 38은 실시 형태의 화상 데이터의 블러 보정의 설명도이다.
도 39는 실시 형태의 화상의 중력 방향 보정의 설명도이다.
도 40은 실시 형태의 화상 데이터 재생 시의 표시예의 설명도이다.
도 41은 실시 형태의 화상 데이터 재생 시의 표시예의 설명도이다.
도 42는 실시 형태의 정보 처리 장치의 기능 구성의 블록도이다.
도 43은 실시 형태의 화상 보정 처리부의 기능 구성의 블록도이다.
도 44는 실시 형태의 어안 화상과 가상 구면의 대응의 설명도이다.
도 45는 실시 형태의 출력 화상과 가상 구면의 대응의 설명도이다.
도 46은 실시 형태의 출력 화상 평면의 회전과 투시 투영의 설명도이다.
도 47은 실시 형태의 입력 화상과 출력 화상의 설명도이다.
도 48은 실시 형태의 중력 방향 보정의 설명도이다.
도 49는 실시 형태의 재생 처리의 플로우차트이다.
도 50은 실시 형태의 재생 처리의 플로우차트이다.
도 51은 실시 형태의 기록 처리의 플로우차트이다.
도 52는 실시 형태의 기록 처리의 다른 예의 플로우차트이다.
도 53은 수술실 시스템의 전체 구성을 개략적으로 나타내는 도면이다.
도 54는 집중 조작 패널에 있어서의 조작 화면의 표시예를 나타내는 도면이다.
도 55는 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다.
도 56은 도 55에 나타내는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.

이하, 실시 형태에 대해 첨부 도면을 참조하면서 다음의 순서로 설명한다.

〈1. 촬상 장치의 구성〉

〈2. 동작 상태의 천이〉

〈3. 촬상 장치의 내부 구성예 I〉

〈4. 정보 처리 장치의 구성〉

〈5. 자세 데이터〉

〈6. 노광 조정〉

〈7. 마이크로폰〉

〈8. 촬상 장치의 내부 구성예 II〉

〈9. 촬상 장치의 내부 구성예 III〉

〈10. 정보 처리 장치에 있어서의 재생/편집 화면〉

〈11. 재생 시의 화상 보정 처리〉

〈12. 정보 처리 장치의 기능 구성〉

〈13. 정보 처리 장치에 의한 처리예〉

〈14. 정보 처리 장치의 요약〉

〈15. 응용예〉

〈16. 본 기술〉

〈1. 촬상 장치의 구성〉

또한, 이하의 설명에 대해서는, 촬상 장치의 촬상자측을 후방이라고 기재하고, 피사체측을 전방이라고 기재한다. 그리고, 카메라의 촬상자로부터 본 좌우 방향을 기재한다. 또한, 중력 방향을 상하 방향으로서 기재한다. 나아가, 중력 방향에 직교하는 방향을 수평 방향이라고 기재한다.

도 1 및 도 2에 나타내는 바와 같이, 촬상 장치(1)는, 내부에 각종 부재가 수납되는 상자 모양의 케이스(2)와, 케이스(2)에 부착되는 각종 렌즈를 포함하는 광학계(3)와, 케이스(2)에 부착되는 스트랩(4)을 구비하고 있다.

케이스(2)는, 전면부(5)와 후면부(6)(배면부)와 좌우의 측면부(7, 7)와 상면부(8)와 하면부(9)를 구비한 대략 직사각형의 상자 모양으로 되어 있다. 케이스(2)는, 좌우 방향의 폭보다 상하 방향의 폭의 쪽이 크게 되어 있다. 또한, 상면부(8)나 하면부(9)에 대해서는, 케이스(2)를 촬상자(사용자)의 목에 매단 상태에 대해 정의한 것이다. 즉, 도 1이나 도 2에 나타내는 상태(즉, 매단 상태)에 대해 상부에 오는 면부인 것으로부터 상면부(8)라고 기재한다. 하면부(9)도 마찬가지이다.

전면부(5)는, 수평보다 약간 상방으로 향하는 평면부로 된 상방부(5a)와, 상방부(5a)의 하단부로부터 하방으로 연속하고 수평보다 대략 30°하방으로 향하는 평면부로 되고 광학계(3)가 부착되어 있는 하방부(5b)를 구비하고 있다.

후면부(6)의 일부는, 슬라이드식의 덮개부(6a)로 되어 있다(도 3 참조).

케이스(2)에 있어서의 촬상자로부터 본 오른쪽의 측면부(7)에는, 동영상 촬상의 조작을 행하기 위한 동영상 버튼(10)과 타임 랩스(time lapse) 동영상 촬상의 조작을 행하기 위한 타임 랩스 버튼(11)이 설치되어 있다. 타임 랩스 버튼(11)은 동영상 버튼(10)의 하방에 설치되어 있다.

케이스(2)의 상면부(8)에는 각종 기능을 실행하기 위한 펑션 버튼(12)이 설치되어 있다. 각 버튼을 누른 경우의 촬상 장치(1)의 동작 및 기능에 대해서는 후술한다.

케이스(2)에 대해서는, 좌우의 측면부(7, 7)에 설치되는 조작자는 동영상 버튼(10)과 타임 랩스 버튼(11)뿐이고, 그 양쪽 모두의 조작자가 오른쪽의 측면부(7)에 설치되어 있다. 즉, 왼쪽의 측면부(7)에는 조작자가 설치되어 있지 않다.

오른쪽의 측면부(7)에 설치된 동영상 버튼(10)이나 타임 랩스 버튼(11)을 조작할 때에는, 유저는 왼쪽의 측면부(7)에 손가락을 댄 상태로 오른쪽의 버튼을 누른다고 하는 것이 통상 생각된다. 그러면, 만약 좌측에도 버튼이 있으면 잘못하여 그 좌측의 버튼을 눌러 버릴 가능성이 있다.

이에 대해, 본 실시 형태의 촬상 장치(1)에서는, 왼쪽의 측면부(7)에 조작자가 설치되어 있지 않음으로써, 상기와 같은 오조작의 발생을 방지할 수 있다. 특히, 어떠한 작업 중의 모습을 촬상하는 경우 등에 있어서는, 오조작의 방지에 의해 손 주변을 보지 않고 각 조작자를 누르는 것이 용이해지기 때문에, 작업 효율을 방해해 버리는 일이 없고, 양호한 촬상 상태를 유지하는 것이 용이해진다.

케이스(2)의 상면부(8)에는, 스트랩(4)을 부착하기 위한 부착부(13, 13)가 좌우로 이격되어 설치되어 있다. 부착부(13)는, 예를 들면 상면부(8)를 향해 개방된 U자형으로 되어 있다.

케이스(2)의 상하 방향에 있어서의 중앙부에는, 오른쪽의 측면부(7)와 전면부(5)의 상방부(5a)와 왼쪽의 측면부(7)에 걸쳐 알림부(14)가 설치되어 있다. 알림부(14)는, 촬상 장치의 상태 등을 촬상자 및 주위의 사람에게 알리기 위해 발광하는 기능을 가지며, 예를 들면, LED(Light Emitting Diode) 등의 광원과 광원의 구동 회로와 광원으로부터 출사되는 광을 확산하기 위한 커버 렌즈를 구비하고 있다.

케이스(2)의 왼쪽의 측면부(7)의 상단 내지 하단 및 하면부(9)의 좌단 내지 우단 및 오른쪽의 측면부(7)의 하단 내지 중앙부에 걸쳐, 커넥터 케이블(15)을 수납하기 위한 수납 오목부(16)가 설치되어 있다.

커넥터 케이블(15)은, 예를 들면, 왼쪽의 측면부(7)의 상단에 있어서 케이스(2)의 내부로부터 외부로 끌어내져 있고, 도 1에 나타내는 상태에 대해서는 왼쪽의 측면부(7) 및 하면부(9) 및 오른쪽의 측면부(7)에 걸쳐 수납 오목부(16)에 수납되어 있다. 커넥터 케이블(15)은, 촬상 장치(1)로 촬상한 화상 데이터 등을 외부 단말 등으로 송신하기 위해 이용된다.

커넥터 케이블은, 예를 들면 USB(Universal Serial Bus) 케이블 등으로 된다.

케이스(2)의 내부에는, 광학계(3)에 의해 형성된 상을 촬상하는 촬상 기판(17)과, 촬상 장치(1)에 관한 각종 처리를 행하기 위한 제어 기판(18)과, 각부에 구동 전압을 공급하기 위한 배터리(19)가 배치되어 있다(도 2 참조).

촬상 기판(17)은 촬상 소자 및 주변 회로 등을 포함하여 구성되어 있다.

배터리(19)는, 덮개부(6a)를 슬라이딩시킴으로써 분리가 가능하게 되어 있다.

케이스(2)의 내부에는, 그 밖에도, 카드형의 기억 매체를 삽입하기 위한 카드 슬롯(도시하지 않음)이나 촬상 장치(1)를 진동시키기 위한 진동부(20)나 음성 입력(녹음)하기 위한 마이크로폰(후술) 등이 적절히 배치되어 있다. 또한, 케이스(2)에 무선 통신 버튼(37)도 배치되어 있다. 무선 통신 버튼(37)은, 예를 들면, 덮개부(6a)를 슬라이딩시킴으로써 노출 상태로 되고, 누름 가능하게 된다(도 3 참조).

광학계(3)는, 가장 피사체 측에 배치된 어안 렌즈(21)와 도시하지 않는 다른 렌즈군을 구비하고 있다. 또한, 어안 렌즈(21)는, 투영 방식으로서 일반적인 중심 투영 방식 이외의 방식으로 상을 형성하는 광학계의 일례이다. 중심 투영 방식 이외의 방식이란, 예를 들면, 등거리 투영 방식이나 등입체각 투영 방식이나 정사영 방식이나 입체 투영 방식 등이다.

도 4의 A는 촬상 장치(1)의 측면도이며, 도 4의 B는 촬상 장치(1)를 대략 상방으로부터 나타낸 도면이다. 각 도면에 일점쇄선으로 나타낸 것은, 광학계(3)가 갖는 어안 렌즈(21)의 화각이다. 도시하는 바와 같이, 어안 렌즈(21)의 화각은 180°이상이며, 예를 들면 220°로 되어 있다.

본 실시 형태의 촬상 장치(1)는, 도 4의 B에 나타내는 바와 같이, 케이스(2)의 좌우 방향의 폭이 상하 방향의 폭보다 작게 되어 있다. 이에 의해, 광학계(3)를 전방으로 돌출시키도록 설치하는 것만으로 좌우 방향의 화각에 케이스(2)가 비치는 것이 방지된다.

이에 의해, 화각이 넓은 어안 렌즈(21) 등을 가지는 광학계(3)의 성능을 충분히 끌어내어 촬상을 실시하는 것이 가능해진다.

또한, 도 4의 A에 나타내는 바와 같이, 후면부(6)를 중력 방향(연직 방향)을 따르게 한 상태에 대해, 어안 렌즈(21)의 광축(J)은, 피사체에 대해서 수평 방향보다 하방을 향하는 직선으로 되어 있다. 구체적으로는, 전면부(5) 중 수평보다 대략 30°하방을 향하는 하방부(5b)에 광학계(3)가 부착되어 있고, 또한, 하방부(5b)의 면의 방향과 광학계의 광축(J)이 평행하게 되도록 광학계(3)가 부착되어 있기 때문에, 어안 렌즈(21)의 화각에 케이스(2)의 상부가 비치는 것이 방지된다.

이에 의해, 어안 렌즈(21)가 가지는 넓은 화각을 살려 광범위의 촬상을 행하는 것이 가능해진다.

또한, 도 4의 A 등에 나타낸 후면부(6)는, 평면으로 되어 있지만, 비평면이어도 된다. 예를 들면, 일부에 만곡면을 포함한 후면부(6)나, 파상의 형상으로 된 후면부(6)이어도 된다. 그러한 후면부(6)이더라도, 중력 방향으로 후면부(6)를 따르게 한 상태에 대해서는, 어안 렌즈(21)의 광축(J)은, 피사체에 대해서 수평 방향보다 하방을 향하는 직선으로 된다.

도 5의 A는 수평 방향에 대한 일반적인 인간의 흉부의 방향을 나타내는 도면이다. 직립 상태의 인간의 흉부와 수직면이 이루는 각도를 θ1로 하면, 케이스(2)의 후면부(6)와 전면부(5)의 하방부(5b)가 이루는 각도가 θ1로 되는 것이 바람직하다. 이에 의해, 후면부(6)를 직립한 촬상자의 흉부에 재치한 상태에 대해 광학계(3)의 광축(J)이 대략 전방을 향하도록 된다. 따라서, 촬상자의 시야와 대략 동일한 경치를 촬상할 수 있고, 촬상자의 체험을 촬상 화상을 통해 공유하는 바와 같은 현장감이 있는 촬상 화상을 찍을 수 있다.

구체적인 예를 든다.

여성의 흉부 두께(W1)의 평균이 220.7, 경측점 높이와 유두 높이의 차분(T1)의 평균이 195.7이라고 하면, θ1=arctan((W1/2)/T1)이 되어, θ1이 29.4°가 된다. 이러한 구체적인 예에 대해서는, 본 실시 형태와 같이 전면부(5) 중 수평보다 대략 30°하방을 향하는 하방부(5b)에 광학계(3)가 부착되는 것에 의해, 실제로 목에 매달아 사용하는 경우에 촬상 장치(1)가 양호한 몸의 자세로 된다.

또한, 이 예에 있어서 개인간의 격차(3σ)를 고려하여, W1의 격차를 156.50702 내지 284.893, T1의 격차를 187.2749 내지 204.1251로 한다. 이 경우, θ1의 격차는 22.7°내지 34.9°가 된다. 또한, σ는 표준 편차를 나타낸다.

또한, 촬상 장치(1)의 전방 180°(도 5의 B에 사선으로 나타내는 범위(R))를 촬상 범위로 하고 싶은 경우를 생각한다.

어안 렌즈의 화각을 φ로 하면, 어안 렌즈의 화각의 마진(M)은 이하의 식으로 나타낼 수 있다.

Ｍ＝（φ－π）／２

예를 들면, φ=220°인 경우에는, M이 20°가 된다. 즉, 흉부에 재치한 상태의 촬상 장치(1)의 광학계의 광축(J)이 수직 방향으로 되어 있는 상태에서는, 어안 렌즈에 있어서의 상방측의 마진 및 하방측의 마진이 모두 20°씩으로 된다.

이러한 상태에 대해, 사선으로 나타내는 범위(R)를 촬상 범위로서 커버하기 위해서는, 후면부(6)와 직교하는 선(H)과 광학계(3)의 광축(J)이 이루는 각도(α)(즉, 광축(J)의 기울기)는,（θ１－（φ－π）／２）이상, 또한, （θ１＋（φ－π）／２）이하로 하는 것이 필요하다.

만일 흉부와 수직면이 이루는 각도(θ1)가 30°, 화각(φ)이 220°로 하면, 각도(α)는 10°내지 50°가 된다. 이 조건을 만족시키는 것에 의해, 평균적인 흉부의 기울기를 가진 촬상자가 자신의 전방 180°의 범위를 무리없이 촬상하는 것이 가능해진다.

즉, 케이스(2)를 단지 매단 상태에 대해 광학계(3)의 광축(J)이 대략 30°하방을 향해, 케이스(2)를 촬상자 흉부에 재치한 상태에 대해서는 광축(J)이 대략 전방(대략 수평)을 향하도록 촬상 장치(1)가 구성되어 있다.

또한, 흉부에 케이스(2)를 재치한 상태로 사용하는 경우에, 케이스(2)의 내부에 진동부(20)가 설치되어 있는 것에 의해, 진동부(20)의 진동을 촬상자의 흉부에 전달할 수 있다. 즉, 각종 경보 기능을 유효하게 작용시킬 수 있다.

또한, 일반적으로 촬상 장치(1)에서는 케이스(2)에 설치된 진동부(20)를 촬상 중에 진동시키면, 촬상 화상에 블러가 생길 우려가 있다. 그 때문에, 통상은 케이스(2)를 진동시키는 바와 같은 처리를 행하지 않는 것이 생각된다. 그러나, 본 실시 형태의 촬상 장치(1)는, 촬상 화상의 재생 시에 후술하는 바와 같은 블러 보정용의 처리를 행하는 것이 가능하게 구성되어 있기 때문에, 케이스(2)를 촬상 중에 진동시키는 것이 가능하다.

스트랩(4)은 2개의 끈 형상부(22, 22)를 가지고 있다. 한쪽의 끈 형상부(22)에는, 일단부에 수형 커넥터(23)가 부착되고, 타단부에 환상의 피부착부(24)가 설치되어 있다.

다른 한쪽의 끈 형상부(22)에는, 일단부에 암형 커넥터(25)가 부착되고, 타단부에 피부착부(24)가 설치되어 있다.

수형 커넥터(23)가 암형 커넥터(25)에 삽입 장착됨으로써, 2개의 끈 형상부(22, 22)가 결합된다. 그리고, 각각의 끈 형상부(22)의 피부착부(24)가 케이스(2)의 부착부(13, 13)에 각각 부착되는 것에 의해, 스트랩(4)과 케이스(2)의 상면부(8)가 환상부(26)를 형성한다(도 6 참조).

환상부(26)는, 예를 들면, 인간의 목보다 큰 환상으로 되고, 또한, 인간의 머리둘레보다 작은 환상으로 되어 있다. 이에 의해, 촬상자가 머리를 숙였을 때에 스트랩(4)이 머리로부터 빠져 버리는 것을 방지할 수 있기 때문에, 촬상 장치(1)의 파손 등을 방지할 수 있다. 그리고, 촬상자가 여러 가지 몸의 자세를 취한 상태로 촬상 장치(1)를 삽입 장착할 수 있기 때문에, 여러 가지 상황에서 촬상을 행할 수 있다.

수형 커넥터(23) 및 암형 커넥터(25)는 자력에 의해 삽입 장착된다. 구체적으로 도 7을 참조하여 설명한다.

수형 커넥터(23)는, 원주 형상의 베이스부(27)와, 베이스부(27)로부터 축방향으로 돌출된 타원형 돌출부(28)를 구비하고 있다. 베이스부(27)의 축방향의 일단은, 끈 형상부(22)가 부착되는 부착면(27a)(도 8 참조)으로 되어 있다. 타원형 돌출부(28)는, 축방향에 직교하는 단면 형상이 타원 형상으로 되고, 중앙부에 자석 장착구멍(29)이 형성되어 있다. 자석 장착구멍(29)에는 마그넷(30)이 삽입되어 있다.

암형 커넥터(25)는, 원통형의 통 형상부(31)와, 통 형상부(31)의 내부에 설치된 칸막이 판(32)을 구비하고 있다. 통 형상부(31)의 일단은, 끈 형상부(22)가 부착되는 부착단(31a)으로 되고, 타단은 개구단(31b)으로 되어 있다. 칸막이 판(32)은, 수형 커넥터(23)의 타원형 돌출부(28)의 단면 형상과 대략 동일한 형상(타원 형상)으로 된 타원면부(32a)를 구비하고 있다. 또한, 칸막이 판(32b)은, 타원면부(32a)의 외측의 부분은 경사면부(32b)로 되어 있다. 경사면부(32b)는, 외주측에 가까워짐에 따라 개구단(31b)에 가까워지는 경사면을 구비하고 있고, 그 경사면은 가이드부(33)로서 기능한다.

칸막이 판(32)과 부착단(31a)의 사이에는 마그넷(34)이 부착되어 있다. 마그넷(30) 및 마그넷(34)은, 수형 커넥터(23)가 암형 커넥터(25)에 삽입 장착된 상태에 있어서 서로 끌어당기는 바와 같은 방향으로 부착되어 있다.

가이드부(33)의 기능에 대해, 도 8을 참조하여 설명한다. 또한, 도 8에 나타내는 수형 커넥터(23) 및 암형 커넥터(25)는, 외형을 개략적으로 나타낸 도면이다.

도 8의 A는 수형 커넥터(23)를 암형 커넥터(25)에 삽입 장착하기 전의 상태를 나타내고 있다. 이 상태로부터, 타원형 돌출부(28)가 가이드부(33)로서의 경사면부(32b)에 접촉할 때까지 수형 커넥터(23)를 암형 커넥터(25)에 삽입한 상태가 도 8의 B에 나타내는 상태이다.

나아가, 수형 커넥터(23)를 암형 커넥터(25)에 삽입하기 위해서는, 수형 커넥터(23)를 어느 한쪽으로 회동시킬 필요가 있다. 수형 커넥터(23)의 타원형 돌출부(28)의 단면 형상은 진원은 아니고 타원 형상으로 되어 있기 때문에, 회동시키는 것에 의해 타원형 돌출부(28)가 가이드부(33, 33)의 사이를 안쪽으로 이동하는 것이 가능하다.

도 8의 C는 도 8의 B에 나타내는 상태로부터 수형 커넥터(23)를 대략 45°회동시킨 상태를 나타내고 있다. 도 8의 D는 도 8의 B에 나타내는 상태로부터 수형 커넥터(23)를 대략 90°회동시킨 상태를 나타내고 있다.

최종적으로는, 도 8의 D에 나타내는 바와 같이, 타원형 돌출부(28)의 선단면과 타원면부(32a)가 밀착하는 것에 의해, 수형 커넥터(23)와 암형 커넥터(25)의 삽입 장착이 완료한다. 이 상태에 대해서는, 수형 커넥터(23)의 마그넷(30)과 암형 커넥터(25)의 마그넷(34)가 서로 끌어당기는 힘에 의해, 수형 커넥터(23)의 암형 커넥터(25)에 대한 양호한 결합 상태가 확보된다.

또한, 마그넷에 의해 수형 커넥터(23)와 암형 커넥터(25)가 결합하는 것에 의해, 양쪽 커넥터를 결합/분리시키기 위한 복잡한 구조가 불필요하게 되기 때문에, 비용 삭감이나 제조 공정의 간이화가 도모된다. 또한, 간이한 구조로 실현 가능하기 때문에, 양쪽 커넥터의 파손 등이 일어나기 어렵고, 부품의 장기 수명화를 도모할 수 있다.

수형 커넥터(23)의 타원형 돌출부(28)가 진원은 아니고, 나아가 암형 커넥터(25)의 타원면부(32a)의 외측의 부분이 경사면부(32b)로 되어 있는 것에 의해, 수형 커넥터(23)가 암형 커넥터(25)에 삽입 장착된 상태에 있어서는 수형 커넥터(23)가 암형 커넥터(25)에 대해서 회동하지 않는다.

따라서, 끈 형상부(22)의 비틀림이 일어나지 않고, 적정한 상태가 유지된다. 또한, 이에 의해 촬상 장치(1)의 착용 상태에 있어서 끈 형상부(22)가 형성하는 환상부(26)가 작아져 버리는 것이 방지되고, 착용자에게 목회전의 불쾌감을 주어 버리는 것을 방지할 수 있다.

또한, 상기와 같이 환상부(26)는, 인간의 머리둘레보다 작은 환상으로 되어 있기 때문에, 촬상 장치(1)를 장착할 때에는, 사용자는, 환상부(26)가 풀린 상태로 수형 커넥터(23)와 암형 커넥터(25)를 가지며, 목의 뒤에서 연결하게 된다. 이 때 상기 도 8의 A 내지 도 8의 D의 단계로 환상부(26)를 용이하게 형성할 수 있기 때문에, 장착이 지극히 순조롭게 가능해진다.

스트랩(4)을 목에 건 상태로 케이스(2)의 상면부(8)에 설치된 펑션 버튼(12)을 누른 경우에 대해, 도 9를 참조하여 설명한다.

도 9의 A 및 도 9의 B는 수형 커넥터(23)와 암형 커넥터(25)를 간이적으로 나타낸 모식도이다.

수형 커넥터(23)가 암형 커넥터(25)에 삽입 장착된 상태에 있어서는, 타원형 돌출부(28)와 통 형상부(31)의 내면(혹은 가이드부(33)) 사이에 간극(d1)이 형성되어 있다.

도 9의 A에 나타내는 상태로 펑션 버튼(12)을 누르면, 스트랩(4)을 거쳐 수형 커넥터(23)에 하방으로의 힘(F)이 가해진다. 이 힘(F)에 의해, 수형 커넥터(23)는 암형 커넥터(25)에 대해서 각도(θ2)만큼 기운다(도 9의 B 참조). 또한, θ2는 간극(d1) 및 암형 커넥터(25)의 통 형상부(31)의 깊이(L)에 의해 결정된다.

힘(F)에 의해 수형 커넥터(23)의 마그넷(30)이 암형 커넥터(25)의 마그넷(34)으로부터 떼어지는 방향으로 어느 정도의 힘이 걸리는지를 나타낸 것이 도 9의 C이다.

마그넷(30)이 마그넷(34)으로부터 떼어지는 방향으로 가해지는 힘(F1)은 F×sin(θ2)가 된다.

마그넷(30)과 마그넷(34) 사이에 작용하는 인력을 F3이라고 하면, F1〉F3의 조건을 만족시키면 수형 커넥터(23)가 암형 커넥터(25)로부터 떼어지고, 스트랩(4)의 환상 상태가 해제된다.

예를 들면, sin(θ2)가 0.1 정도가 되도록 간극(d1) 및 깊이(L)를 형성하면, 양쪽 마그넷이 떼어지는 것은 F×sin(θ2) > F3의 조건을 만족시킨 경우이다. 즉, F가 F3의 10배 이상의 힘으로 되었을 때이다. 따라서, 양쪽 마그넷 사이에 작용하는 인력(F3)의 10배 미만의 힘으로 펑션 버튼(12)이 눌러졌을 경우에는, 스트랩(4)의 환상 상태가 유지되고 촬상 장치(1)를 목으로부터 낙하시키지 않고 완료된다.

이와 같이, 적절히 간극(d1) 및 깊이(L)를 설정함으로써, 목에 매단 상태의 촬상 장치(1)를 보유하는 일 없이 펑션 버튼(12)을 누르더라도, 스트랩(4)의 수형 커넥터(23)와 암형 커넥터(25)가 괴리하여 촬상 장치(1)가 낙하하는 일이 없다. 즉, 펑션 버튼(12)을 누르는 조작이 용이해지고, 촬상을 위한 각종 조작의 조작성을 확보할 수 있다.

또한, 케이스(2)를 손으로 보유하는 일 없이 펑션 버튼(12)을 누를 수 있는 것에 의해, 광학계(3)가 구비하는 각종 렌즈에 접촉하는 일 없이 펑션 버튼(12)을 누를 수 있기 때문에, 렌즈의 손상이나 더러움의 부착을 방지할 수 있다. 또한, 화상 데이터에 손 등이 비치는 것을 방지할 수 있다.

더욱이, 적절히 간극(D1) 및 깊이(L)가 설정되는 것에 의해, 케이스(2)나 그 내부에 배치된 각부의 무게에 의해 스트랩(4)의 수형 커넥터(23)나 암형 커넥터(25)에 부하가 가해졌다고 하더라도, 커넥터가 어긋나기 어렵고, 촬상 장치(1)의 탈락이 방지된다. 마찬가지로, 촬상자의 동작에 의해 커넥터 부분에 부하가 가해졌을 경우에도, 촬상 장치(1)의 탈락이 어렵게 된다.

그런데, 촬상 장치(1)의 케이스(2)가 단지 매달린 상태에 대해 광학계(3)의 광축(J)이 대략 전방을 향하도록 구성되어 있어도 된다. 예를 들면, 촬상 장치(1)는, 촬상자의 흉부에 후면부(6)가 재치된 상태로 사용될 뿐만 아니라, 다른 상태에 대해서도 사용된다. 구체적으로는, 도 10에 나타내는 바와 같이 촬상자가 구부러진 상태에 대해 사용되는 경우도 생각된다.

도 10에 나타내는 상태는, 목으로부터 내린 스트랩(4)에 의해 촬상 장치(1)가 매달린 상태가 된다. 본 실시 형태의 촬상 장치(1)는, 촬상 장치(1)가 스트랩(4)에 의해 매달린 상태에 대해서도, 광학계(3)의 광축(J)이 대략 전방을 향하도록 구성되어 있어도 된다.

구체적으로 도 11을 참조하여 설명한다.

촬상 장치(1)의 대강의 중심 위치는, 촬상 장치(1)가 구비하는 각 부재 중 중량이 큰 것에 의해 결정된다. 예를 들면, 촬상 장치(1)가 구비하는 배터리(19) 및 광학계(3)가 중량이 큰 부재였을 경우, 그들의 배치 장소에 따라 중심 위치의 대강의 위치가 결정된다.

또한, 목에 매달린 상태의 촬상 장치(1)의 자세(케이스(2)의 자세)는, 스트랩(4)이 부착되는 위치(부착부(13))와 중심 위치가 수직 방향으로 늘어서도록 된다. 도 11은, 촬상 장치(1)의 중심 위치(G)와 스트랩(4)의 부착부(13)의 위치 관계를 일점쇄선으로 나타내고 있다. 도시하는 바와 같이, 중심 위치(G)는 부착부(13)(혹은 피부착부(24))에 대해서 수직 방향에 위치하고 있다.

촬상 장치(1)는, 중심 위치(G)와 부착부(13)가 수직 방향으로 늘어서도록 된 상태에 대해 광학계(3)의 광축(J)이 수평 방향이 되도록 각부가 배치되어 있다.

환언하면, 촬상 장치(1)의 자세를 광학계(3)의 광축(J)이 수평 방향이 되도록 했을 때에, 스트랩(4)의 부착 위치(피부착부(24)와 부착부(13)의 접촉 위치)보다 전방측에 중량이 큰 부재(광학계(3))가 배치되어 있고, 또한, 그 설치 위치보다 후방측에도 중량이 큰 부재(배터리)가 배치되어 있다.

이에 의해, 스트랩(4)에 의해 촬상 장치(1)가 매달린 상태에 대해, 광학계(3)의 광축(J)이 대략 전방을 향하도록 된다. 즉, 촬상자가 구부러지는 바와 같은 자세를 취했을 때라도, 손으로 촬상 장치(1)를 지지하는 일 없이 촬상자의 수평 방향 정면을 촬상하는 것이 가능해진다.

또한, 촬상자가 구부러지는 바와 같은 자세와 직립 자세를 교대로 취했다고 하더라도 촬상 장치(1)의 광학계(3)의 상하 방향의 방향 변화가 적게 되기 때문에, 블러가 적은 촬상 화상을 촬상할 수 있다.

촬상 장치(1)는 음성 입력을 위한 마이크로폰(35)을 구비하고 있다.

마이크로폰(35)은, 예를 들면, 전면부(5)의 상방부(5a)의 상단을 따라 좌우로 이격되어 2개 설치되고, 전면부(5)의 하방부(5b)의 하단을 따라 좌우로 이격되어 2개 설치되어 있다(도 1, 도 12 참조).

촬상 장치(1)는, 그 밖에도 자세 데이터 생성부로서의 3축 자이로 센서(후술함) 및 3축 가속도 센서(후술함)를 케이스(2)의 내부에 구비하고 있다. 자세 데이터는 촬상 장치(1)의 자세를 나타내는 데이터이며, 후술하는 각종 보정에 이용된다.

3축 자이로 센서 및 3축 가속도 센서는, 촬상 장치(1)가 구비하는 강체에 부착되어 있다면 어느 장소이어도 된다.

또한, 촬상 장치(1)가 구비하는 광학계(3)의 전단부, 즉, 케이스(2)로부터 노출된 어안 렌즈(21)의 일부를 덮기 위한 렌즈 커버(36)가 설치되어 있다.

렌즈 커버(36)는, 예를 들면, 슬라이드식으로 되고, 필요에 따라서 촬상 가능하도록 어안 렌즈(21)를 노출시키는 「개방 위치」(도 12의 A 참조)와 어안 렌즈(21)의 전부 또는 일부를 덮는 「보호 위치」(도 12의 C 참조) 사이를 이동 가능하게 구성되어 있다. 또한, 도 12의 B는 렌즈 커버(36)를 개방 위치로부터 보호 위치로 이동시키고 있는 도중의 상태를 나타내고 있다.

광학계(3)에 렌즈 커버(36)가 부착되는 것에 의해, 비촬상시에 렌즈를 부주의하게 건드려서 렌즈가 손상되어 버리는 것이 방지된다.

또한, 비촬상시에 광학계(3)가 렌즈 커버(36)에 의해 덮이는 것에 의해, 비촬상 상태인 것을 주위에 통지할 수 있다.

또한, 촬상 장치(1)가 촬상 상태일 때에 렌즈 커버(36)를 개방 위치로부터 보호 위치로 이동시켰을 경우에는, 촬상을 중지 혹은 일시정지하도록 구성되어 있어도 된다. 또한, 촬상의 중지나 일시정지를 행할 뿐만 아니라, 촬상 기판(18) 등에의 전압 공급을 정지하여도 된다.

이에 의해, 촬상 장치(1)의 소비 전력을 억제할 수 있어 촬상 시간의 장시간화를 도모할 수 있다. 또한, 소비 전력의 억제에 의해 촬상 장치(1)에 탑재하는 배터리(19)를 소형의 것으로 하는 일도 가능하다.

나아가, 전압 공급의 정지를 행함으로써, 각부의 장기 수명화를 도모하는 것이 가능하다.

또한, 촬상 장치(1)의 형상은 여러 가지가 생각된다. 상기에서는, 세로로 긴 형상의 예를 설명했지만, 도 13에 나타낸 바와 같이 가로로 긴 형상으로 되어 있어도 된다. 즉, 형상이 횡방향으로 길게 된 케이스(2)에 도 1과 마찬가지의 각부의 구성을 구비한다.

이러한 형상으로 하면, 촬상자의 흉부에 촬상 장치(1)를 재치한 상태에 있어서 케이스(2)가 좌우 방향으로 흔들렸을 때에, 흉부에 있어서의 후면부(6)의 양호한 재치 상태가 확보되어 촬상자의 좌우 방향의 흔들림 이상으로 케이스(2)가 흔들리는 것이 방지된다.

또한, 케이스(2)의 가로폭을 크게 할수록 좌우 흔들림에 대해서 양호한 재치 상태를 유지하기 쉬워지지만, 어안 렌즈(21)의 화각에 케이스(2)의 좌우 양단이 비치지 않는 것이 바람직하다.

케이스(2)의 좌우 양단이 어안 렌즈(21)의 화각에 들어가지 않는 정도로 케이스(2)를 가로로 긴 형상으로 함으로써, 어안 렌즈(21)의 화각을 최대한 이용하면서 좌우 흔들림에 강한 촬상 장치(1)를 제공할 수 있다.

또한, 마이크로폰(35)의 수는 여러 가지가 생각된다. 마이크로폰(35)은 복수개 설치되어 스테레오 집음하여도 되고, 하나의 마이크로폰(35)으로 모노럴 집음하여도 된다.

1개 또는 복수의 마이크로폰(35)의 배치에 관해서도 여러 가지가 생각된다. 예를 들면, 도 6에 나타내는 바와 같이 케이스(2)의 상부 및 하부에 각각 설치하는 것 외에, 도 14에 나타내는 바와 같이, 케이스(2) 상부에만 설치하도록 하여도 된다.

또한, 도시하지 않지만, 케이스(2)의 하부에만 설치하여도 된다.

나아가서는, 마이크로폰(35)은 스트랩(4)의 끈 형상부(22)나 수형 커넥터(23) 내나 암형 커넥터(25) 내에 설치하여도 된다.

또한, 마이크로폰(35)으로서 골전도 방식을 채용한 마이크로폰(35)을 이용해도 된다.

나아가, 진동부(20)의 배치나 개수에 대해서도 각종 예가 생각된다.

상술한 예에서는, 케이스(2)에 진동부(20)가 설치된 예를 나타냈지만, 스트랩(4)에 진동부(20)가 설치되어 있어도 된다. 예를 들면, 스트랩(4)의 끈 형상부(22)나 수형 커넥터(23)나 암형 커넥터(25)에 진동부(20)가 설치되어 있어도 된다.

도 15는 수형 커넥터(23)나 암형 커넥터(25)에 진동부(20)가 설치된 예를 몇 개 나타낸 것이다.

도 15의 A에 나타내는 예는 수형 커넥터(23)에만 진동부(20)가 설치된 것이며, 도 15의 B에 나타내는 예는 암형 커넥터(25)에만 진동부(20)가 설치된 것이다.

진동부(20)를 한쪽 커넥터에 설치함으로써, 부품 개수의 삭감 및 비용 삭감을 도모하면서, 진동부(20)를 이용한 촬상자에게로의 통지를 효율적으로 실시할 수 있다.

도 15의 C에 나타내는 예는, 수형 커넥터(23) 및 암형 커넥터(25) 쌍방에 진동부(20, 20)를 설치한 것이다. 진동부(20)를 쌍방의 커넥터에 설치함으로써, 강한 진동으로 확실한 통지를 촬상자에게 실시하는 것이 가능하다. 또한, 2개의 진동부(20, 20)가 설치되어 있는 것에 의해, 통지 패턴을 늘릴 수 있다. 예를 들면, 수형 커넥터(23)에 설치된 진동부(20)만을 진동시키는 통지 패턴이나, 암형 커넥터(25)에 설치된 진동부(20)만을 진동시키는 통지 패턴이나, 쌍방의 진동부(20, 20)를 교대로 진동시키는 통지 패턴 등을 이용하는 것이 가능하다. 따라서, 각각에 상이한 통지 정보를 갖게 함으로써, 복수의 정보를 진동부(20)를 이용하여 통지하는 것이 가능하다.

또한, 촬상 장치(1)는, 커넥터 부분이 촬상자의 목에 접촉하도록 스트랩(4)을 목에 걸어서 사용된다. 따라서, 각 도에 나타내는 바와 같이, 커넥터 부분에 진동부(20)를 설치함으로써, 촬상자의 목 부분에 진동을 전달할 수 있기 때문에, 촬상자가 통지를 깨닫기 쉬운 확실한 통지를 행하는 것이 가능하다.

광학계와 검출 유닛(131)을 구비한 부착 유닛(500)을 다른 카메라 기기(501)에 부착하는 예를 설명한다. 또한, 부착 유닛(500)이 구비하는 광학계(3)는 카메라 기기(501)가 구비하는 광학계를 보완하기 위한 일부의 렌즈 등이어도 된다. 예를 들면, 카메라 기기(501)가 스마트폰이라고 생각하고, 스마트폰이 구비하는 광학계를 보완하기 위한 어안 렌즈(21) 등을 부착 유닛(500)이 구비하고 있다. 즉, 부착 유닛(500)이 가지는 광학계와 카메라 기기(501)가 가지는 광학계를 조합하여 소망하는 화상을 얻는 것이어도 된다.

도 16은 카메라 기기(501)로서의 스마트폰에 부착 유닛(500)이 부착된 예를 나타내고 있다. 부착 유닛(500)이 구비하는 광학계는 어안 렌즈를 포함하여 구성되어 있다.

이러한 카메라 기기(501) 및 부착 유닛(500)을 구비한 촬상 장치(1)이더라도, 상기한 각종의 효과를 얻을 수 있다.

도 17은 커넥터 부분의 다른 예를 나타낸 도면이다.

수형 커넥터(23)는 암형 커넥터(25)에 삽입되는 삽입 부분과 그 이외의 비삽입 부분으로 이루어지고, 비삽입 부분의 단부에는 플랜지 형상의 파지부(23a)가 형성되어 있어도 된다.

수형 커넥터(23)를 암형 커넥터(25)에 삽입 장착하는 경우에, 손가락이 파지부(23a)에 걸리는 것에 의해 손가락이 파지부(23a)보다 암형 커넥터(25) 측으로 미끄러지지 않도록 된다.

이에 의해, 수형 커넥터(23)와 암형 커넥터(25) 사이에 손가락이 껴 버리는 것이 방지된다.

또한, 수형 커넥터(23)를 암형 커넥터(25)로부터 발거(拔去)하는 경우에, 손가락을 파지부(23a)에 걸리도록 함으로써, 발거에 필요한 힘이 작게 된다. 즉, 발거하기 쉽다.

〈2. 동작 상태의 천이〉

도 18에 촬상 장치(1)의 동작 상태의 천이의 예를 나타낸다.

상태 ST1은 촬상 장치(1)가 「전원 오프 상태」또는 「스탠바이 상태」에 있는 것을 나타내고 있다.

이 경우, 스탠바이 상태란, 외부 기기와, 예를 들면 Wi-Fi(등록상표: Wireless Fidelity) 등의 통신 방식에 의해 무선 통신이 가능해지고 있는 상태를 가리키고 있다. 예를 들면, 휴대 단말 등의 외부 기기와의 무선 통신이 확립되어 있는 상태에서는, 촬상자는, 외부 기기의 조작에 의해, 상술한 동영상 버튼(10), 타임 랩스 버튼(11), 펑션 버튼(12)에 상당하는 조작을 실시할 수 있다.

전원 오프 상태와 스탠바이 상태의 전환은, 예를 들면 전술한 무선 통신 버튼(37)을 누름으로써 행해진다. 무선 통신 버튼(37)은, 예를 들면, 오조작을 방지하기 위해 케이스(2)의 외주면에는 설치되지 않고, 배터리(19)의 수납부를 차폐하는 덮개부(6a)를 여는 것으로 조작 가능하게 되는 케이스(2)의 내부에 설치되어 있다.

상태 ST1에 있어서, 동영상 버튼(10)이 눌러지면, 상태 ST2로 된 「동영상 촬상 중 상태」로 이행한다. 동영상 촬상 중 상태는, 광학계(3)에 의해 형성된 상을 소정의 프레임 레이트로 촬상하여 동영상 데이터를 생성/기억하고 있는 상태이다. 이 상태에서는, 예를 들면, 알림부(14)가 적색으로 점등하는 것에 의해, 주위로의 촬상 상태의 알림이 행해진다.

상태 ST1에 있어서, 타임 랩스 버튼(11)이 눌러지면, 상태 ST3으로 된 「타임 랩스 동영상 기억중 상태」로 이행한다. 타임 랩스 동영상 기억중 상태는, 촬상되는 연속하는 프레임으로부터 간헐적으로 유효 프레임을 추출하여 동영상 데이터(빨리감는 동영상)를 생성하여 기억하는 상태로 되어 있다. 이 상태에서는, 예를 들면, 알림부(14)가 청색으로 점등하는 것에 의해, 주위로의 촬상 상태의 알림이 행해진다.

또한, 타임 랩스 동영상으로서의 동영상 데이터는, 타임 랩스 동영상 기억중 상태와 전원 오프 상태를 교대로 천이시킴으로써 생성하여도 된다. 구체적으로는, 예를 들면, 타임 랩스 동영상을 구성하는 1매 1매의 정지 영상을 3초 간격으로 촬상하는 경우, 1매의 정지 영상을 촬상한 후, 다음의 촬상 타이밍이 올 때까지 촬상 장치(1)를 전원 오프 상태로 천이시키고 있어도 된다. 혹은, 촬상 소자를 슬립 모드로 이행시키는 처리나 신호 처리부(DSP:Digital Signal Processor 등)를 저전력 소비 모드로 이행시키는 처리를 실시해도 된다.

이에 의해, 타임 랩스 동영상 데이터를 생성할 때에 촬상 장치(1)가 소비하는 전력을 저감시킬 수 있기 때문에, 촬상 시간의 장시간화를 도모할 수 있다.

또한, 촬상 장치(1)가 생성하는 동영상 데이터는 통상의 동영상 데이터와 동일한 것으로 하고, 동영상 데이터의 편집을 행하는 시점에서 그 편집을 행하는 다른 정보 처리 장치 상에서 동영상 데이터로부터 구성 요소로서의 정지 영상 데이터를 솎아내어 타임 랩스 동영상을 생성해도 된다.

이에 의해, 상태 ST2에서 동영상 데이터를 생성/기억하는 촬상 장치(1)의 처리 및 상태 ST3에서 타임 랩스 동영상 데이터를 생성/기억하는 촬상 장치(1)의 처리는 대략 동일한 것으로 되기 때문에, 처리의 간이화를 도모할 수 있다.

상태 ST2의 동영상 촬상 중 상태에 있어서, 펑션 버튼(12)이 눌러지면, 상태 ST4로 된 「마커 기록 상태」로 천이한다. 마커 기록 상태에서는, 이후의 동영상 편집을 위한 편집점을 기록하는 상태이다. 예를 들면, 동영상 편집 시에 마커가 기록된 장면으로부터 동영상 데이터를 재생하는 것이나, 마커가 기록된 개소에 기초한 동영상 데이터의 삭제 등을 실시하는 것이 가능하다.

마커 기록 상태에서 마커가 기록된 후, 촬상 장치(1)는 자동적으로 상태 ST2의 동영상 촬상 중 상태로 이행한다.

상태 ST3의 타임 랩스 동영상 기억중 상태에 있어서, 펑션 버튼(12)이 눌러지면, 상태 ST6으로 된 「정지 영상 촬상 상태」로 이행한다. 정지 영상 촬상 상태에서는, 광학계(3)에 의해 형성된 상을 촬상하여 정지 영상 데이터로서 기억한다.

정지 영상 촬상 상태로 정지 영상이 기억된 후, 촬상 장치(1)는 자동적으로 상태 ST3의 타임 랩스 동영상 기억중 상태로 천이한다.

또한, 상태 ST3에 있어서 펑션 버튼(12)이 눌러진 경우에, 상태 ST6으로의 천이가 아니라 상태 ST4로 천이하도록 구성되어 있어도 된다. 즉, 직전 혹은 직후에 행해지는 타임 랩스 동영상의 프레임에 마커를 기록하는 처리를 실시해도 된다.

또한, 이들 천이를 펑션 버튼(12)을 누르는 조작 태양에 기초하여 전환하여도 된다. 예를 들면, 펑션 버튼(12)을 짧게 누른 경우에 상태 ST3으로부터 상태 ST6으로 천이하고, 길게 누른 경우에 상태 ST3으로부터 상태 ST4로 천이해도 된다.

그 밖에도, 펑션 버튼(12)을 일정 시간 내에 누른 횟수에 따라 천이처의 상태를 전환해도 된다.

상태 ST1에 있어서 펑션 버튼(12)이 눌러지면, 상태 ST5로 된 「정지 영상 촬상 상태」로 이행한다. 정지 영상 촬상 상태에서는, 광학계(3)에 의해 형성된 상을 촬상하여 정지 영상 데이터로서 기억한다.

정지 영상 촬상 상태에서 정지 영상이 기억된 후, 촬상 장치(1)는 자동적으로 상태 ST1로 천이한다.

또한, 상태 ST5 및 상태 ST6으로 한 정지 영상 촬상 상태에서는, 정지 영상 데이터의 기억의 타이밍에 케이스(2)에 설치된 음성 출력부로부터 전자적인 셔터음 등을 출력해도 된다. 이에 의해, 주위에 정지 영상을 촬상한 것을 주지시킨다.

또한, 소리 출력 대신에 알림부(14)를 점멸시키는 등 하여 알려도 된다. 물론, 소리 출력과 알림부(14)의 점등을 동시에 행하여도 된다.

각 상태에 따른 알림을 햄함으로써, 피사체로 된 인물이 자각하지 않은 채 촬상이 행해져 버리는 것을 방지한다.

알림부(14)는 상기한 각 상태에 따른 알림을 실시하지만, 그 이외의 상태를 알려도 된다. 예를 들면, 촬상 장치(1)가 구비하는 배터리(19)의 소모가 커서 남은 동작 시간이 짧은 상태에 있어서는, 배터리 용량의 저하를 알리기 위해, 예를 들면 알림부(14)가 적색으로 점멸해도 된다.

이에 의해, 촬상자가 배터리 저하를 인식할 수 있어 촬상 시간을 지연시키기 위해 조작을 삼가하는 등의 대책을 강구할 수 있다.

또한, 카드형의 기억 매체가 삽입되어 있지 않은 것을 알리기 위해서 알림부(14)가 적색과 청색을 교대로 점등시키도록 제어해도 된다.

또한, 상태 ST1 내지 ST6의 상태와 배터리 용량의 저하를 동시에 알리기 위해, 오른쪽의 측면부(7)와 전면부(5)의 상방부(5a)와 왼쪽의 측면부(7)에 걸쳐 설치된 알림부(14)를 부분적으로 나누어 복수의 경보 기능을 설치해도 된다. 예를 들면, 좌우의 측면부(7)에 설치된 알림부(14)의 일부를 붉게 점멸시킴으로써 배터리 용량의 저하를 알림과 동시에 전면부(5)의 정보부(5a)에 설치된 알림부(14)의 일부를 붉게 점등시킴으로써 촬상 장치(1)가 상태 ST1인 것을 알려도 된다.

이외에도, 복수의 경보 기능을 시계열로 나누어도 된다. 구체적으로는, 3초간 배터리 용량의 저하에 관한 알림을 행한 후에 3초간 촬상 장치(1)의 상태가 어느 것인지를 알려도 된다.

또한, 이상과 같이 촬상 장치(1)에서는, 소정 프레임 레이트에서의 각 프레임을 포함하는 동영상으로서의 화상 데이터 생성(상태 ST2의 동영상 촬상)과 소정 프레임 레이트에 있어서 간헐적인 프레임을 유효 프레임으로 하는 간헐 동영상으로서의 화상 데이터 생성(상태 ST3의 타임 랩스 동영상 기억)을 선택적으로 실행 가능하게 되어 있다.

즉, 촬상자는 행동 시에 있어서, 동영상과 간헐 동영상(타임 랩스 동영상)의 기록을 선택할 수 있다.

또한, 타임 랩스 동영상에 의해, 보다 장시간의 동영상에 있어서의 데이터량을 삭감하거나 타임 랩스 동영상의 독특한 영상 효과를 즐길 수 있도록 된다.

〈3. 촬상 장치의 내부 구성예 I〉

촬상 장치(1)의 내부 구성예 I를 도 19에서 설명한다.

도 19에 나타내는 바와 같이 촬상 장치(1)는 광학계(3), 촬상 소자부(112), 광학계 구동부(113), 음성 입력부(114), 음성 처리부(115), 조작부(116), 기억부(117), 통신부(118), 신호 처리부(121), 제어부(122), 검출부(125), 전원부(128), 진동부(20), 알림부(14)를 구비하고 있다.

우선, 렌즈 광학계에 의한 상을 촬상하여 화상 데이터를 생성하는 촬상부로서 광학계(3), 촬상 소자부(112), 신호 처리부(121)가 설치되어 있다.

광학계(3)는, 어안 렌즈(21)나 포커스 렌즈, 집광 렌즈 등을 가지고 구성되어 있다. 나아가, 줌 렌즈나 조리개 기구를 구비하는 것도 생각된다. 이 광학계(3)에 의해, 피사체로부터의 광이 촬상 소자부(112)에 집광된다.

어안 렌즈(21)는 중심 투영 이외의 투영(예를 들면, 등거리 투영)에 의해 광을 집광하여 후단의 촬상 소자부(112)로 이끄는 것이다. 또한, 어안 렌즈(21)의 투영 방식은 중심 투영 이외의 것이면 등거리 투영으로 한정되지 않는다. 예를 들면, 정사영이나 등입체각 투영이어도 된다.

또한, 어안 렌즈(21)를 이용하여 촬상되는 화상은, 이른바 광각 화상의 범주에 포함된다.

촬상 소자부(112)는, 예를 들면, CCD(Charge Coupled Device)형, CMOS(Complementary Metal Oxide Semiconductor)형 등의 촬상 소자 및 주변 회로계를 가진다.

이 촬상 소자부(112)에서는, 촬상 소자에서의 광전 변환으로 얻은 전기 신호에 대해, 예를 들면 CDS(Correlated Double Sampling) 처리, AGC(Automatic Gain Control) 처리 등을 실행하고, 더욱이 A/D(Analog/Digital) 변환 처리를 행한다. 그리고 디지털 데이터로서의 촬상 신호를 후단의 신호 처리부(121)에 출력한다.

이 촬상 신호는, 촬상 소자의 배열에 따라 얻어지는, 2차원 격자모양으로 배열된 복수의 화소로 이루어짐과 함께, 어안 렌즈(21)를 거쳐 입사된 피사체상으로서의 원형의 어안 화상을 포함한다.

광학계 구동부(113)는 제어부(122)의 제어에 기초하여 광학계(3)에 있어서의 포커스 렌즈를 구동하고 포커스 동작을 실행한다.

또한, 광학계(3)에 조리개 기구나 줌 렌즈가 설치되는 경우, 광학계 구동부(113)는, 제어부(122)의 제어에 기초하여, 광학계(3)에 있어서의 조리개 기구를 구동하고, 노광 조정을 실행하거나 줌 렌즈를 구동하고, 줌 동작을 실행시키는 경우도 있다.

신호 처리부(121)는, 예를 들면 DSP 등에 의해 화상 처리 프로세서로서 구성된다. 이 신호 처리부(121)는, 촬상 소자부(112)로부터의 디지털 신호(촬상 화상 신호)에 대해서, 각종의 신호 처리를 행한다.

예를 들면, 신호 처리부(121)는, 촬상 화상 신호에 대해서 노이즈 제거 처리, 색 보정 처리, 윤곽 강조 처리, 해상도 변환 처리, 코덱 처리 등을 실시한다.

본 실시 형태의 경우, 촬상 장치(1)는 통상 동영상 또는 타임 랩스 동영상으로서의 동영상 촬상을 실시하는 것이고, 따라서 신호 처리부(121)는 촬상 소자부(112)의 출력으로부터 동영상으로서의 화상 데이터를 생성하는 화상 데이터 생성부(100)로서의 기능을 발휘하게 된다.

음성 입력부(114)로서는, 상술한 1개 또는 복수의 마이크로폰(35)이 설치된다. 마이크로폰(35)으로 집음된 음성 신호는 음성 처리부(115)로 증폭, 에코라이징, AD 변환 등의 처리가 행해져 디지털 음성 데이터로서 신호 처리부(121)에 공급된다.

이 디지털 음성 데이터는 신호 생성부(121)에 있어서 필요한 처리, 예를 들면 디지털 필터 처리, 노이즈 제거, 인코딩 등이 행해져, 화상 데이터에 부수하는 음성 데이터로서 기록 처리된다.

제어부(122)는 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬 메모리 등을 구비한 마이크로컴퓨터(연산 처리 장치)에 의해 구성된다.

CPU가 ROM이나 플래쉬 메모리 등에 기억된 프로그램을 실행함으로써, 이 촬상 장치(1) 전체를 통괄적으로 제어한다.

RAM은 CPU의 각종 데이터 처리 시의 작업 영역으로서, 데이터나 프로그램 등의 일시적인 격납에 이용된다.

ROM이나 플래쉬 메모리(불휘발성 메모리)는, CPU가 각부를 제어하기 위한 OS(Operating System)나 화상 파일 등의 컨텐츠 파일 외에, 각종 동작을 위한 애플리케이션 프로그램이나 펌웨어 등의 기억에 이용된다.

이러한 제어부(122)는, 신호 처리부(121)에 있어서의 각종 신호 처리의 지시, 촬상자의 조작에 따른 촬상 동작이나 기억부(117)에서의 기억 재생 동작, 포커스/노광 조정 등의 카메라 동작, 통신부(118)에 의한 외부 기기와의 통신 동작 등에 대해서, 필요한 각부의 동작을 제어한다.

또한, 제어부(122)는 신호 처리부(121)에 대한 지시를 햄함으로써, 신호 처리 후의 화상 데이터를 기억부(117)나 통신부(118)에 출력한다.

나아가, 본 실시 형태에서는 제어부(122)는 검출부(125)로부터의 검출 정보에 기초하여 촬상 장치(1)의 자세를 나타내는 자세 데이터를 생성하는 처리를 행한다. 특히, 자세 데이터는 신호 처리부(121)로 생성하는 화상 데이터(동영상)의 각 프레임에 대응하여 생성한다. 즉, 제어부(122)는, 화상 데이터의 각 프레임에 대응하는 타이밍에 촬상 장치(1)의 케이스의 자세 데이터를 생성하는 자세 데이터 생성부(101)로서의 기능을 발휘하게 된다. 화상 데이터의 각 프레임에 대응시킨 자세 데이터를 생성함으로써, 후술하는 블러 보정 등의 각 보정이 실현 가능하다.

또한, 신호 처리부(121)와 제어부(122)는 원칩 마이크로컴퓨터(120) 등으로서 일체화되어 있어도 된다.

기억부(117)는, 제어부(122)의 제어에 기초하여, 신호 처리부(121)(화상 데이터 생성부(100))에 의해 생성된 동영상이나 타임 랩스 동영상, 혹은 정지 영상으로서의 화상 데이터를 기억 매체에 기억시킨다. 기억 매체로서는, 메모리 카드나 광 디스크, 자기 테이프 등과 같이 착탈 가능해도 되고, 고정 타입의 HDD(Hard Disk Drive)나 반도체 메모리 모듈 등이어도 된다.

또한, 기억부(117)에 인코더나 디코더를 설치하여 화상 데이터의 압축 부호화나 신장 복호화를 실시하고, 기억 매체에는 부호화 데이터를 기록하도록 해도 된다.

또한, 기억부(117)는 제어부(122)(자세 데이터 생성부(101))에 의해 생성된 자세 데이터도 기억 매체에 기억시킨다.

이러한 기억부(117)는, 화상 데이터와 자세 데이터를 기억 매체에 대해서 출력하는 데이터 출력부의 하나의 태양이 된다.

즉, 기억 매체에 화상 데이터 및 자세 데이터를 기억함으로써, 예를 들면 외부 기기에 대해서 각 데이터를 전달하는 것이 가능해진다. 따라서, 편집 처리 등의 각종 처리(자세하게는 후술함)를 외부 기기에서 행할 수 있다. 그 때문에, 이러한 처리를 촬상 장치(1)로 실시하기 위한 프로그램 영역을 촬상 장치(1)의 기억 영역에 설치할 필요가 없고, 기억 영역을 삭감할 수 있다.

통신부(118)는, 제어부(122)의 제어에 기초하여, 도시하지 않는 외부 기기와의 사이의 유선 또는 무선에 의한 통신을 실시한다. 즉, 화상 데이터나 자세 데이터의 외부 기기로의 송신이나, 외부 기기로부터의 제어 데이터의 수신 등을 실시한다.

예를 들면, 통신부(118)는 제어부(122)의 제어에 의해, 기억부(117)에 기억된 화상 데이터와 자세 데이터를 외부 기기로 송신하는 처리를 실시한다. 이에 의해 촬상 장치(1)는 도시하지 않는 외부 기기에 화상 데이터, 자세 데이터를 출력하고, 외부 기기에 대해 촬상한 동영상으로서의 화상 데이터를, 자세 데이터를 이용하여 처리할 수 있도록 하고 있다.

또한, 상술한 바와 같이 무선 통신 등에 의해 외부 기기로부터의 동영상 버튼(10), 타임 랩스 버튼(11), 펑션 버튼(12)에 상당하는 조작을 받아들이는 것도 가능해진다.

통신부(118)는, 예를 들면 도 20의 A에 나타내는 바와 같이, 무선 통신에 의해 화상 데이터 및 자세 데이터를 외부 장치로서의 정보 처리 장치(150)에 송신할 수 있다. 무선 통신으로서는, 예를 들면 Wi-Fi나 블루투스 등의 무선 통신 규격 등의 통신 방식에 의한 통신을 행하는 것이 생각된다.

또한, 통신부(118)는, 예를 들면 도 20의 B에 나타내는 바와 같이, 유선 통신에 의해 화상 데이터 및 자세 데이터를 정보 처리 장치(150)에 송신할 수 있다. 유선 통신으로서는, 예를 들면 USB 케이블 등의 커넥터 케이블(15)을 이용한 통신이 생각된다.

또한, 통신부(118)는, 네트워크 통신부로서, 예를 들면 인터넷, 홈 네트워크, LAN(Local Area Network) 등의 각종의 네트워크에 의한 통신을 행하고, 네트워크 상의 서버, 단말 등과의 사이에서 각종 데이터 송수신을 실시하도록 해도 된다.

이러한 통신부(118)는 화상 데이터와 자세 데이터를 외부 기기에 대해서 출력하는 데이터 출력부의 하나의 태양이 된다.

즉, 외부 기기에 대해서 화상 데이터 및 자세 데이터를 제공하는 것이 가능해진다.

따라서, 편집 처리 등의 각종 처리(자세하게는 후술함)를 외부 기기에서 행할 수 있고, 그러한 처리를 행하기 위한 프로그램 영역을 촬상 장치(1)의 기억 영역에 마련할 필요가 없고, 기억 영역을 삭감할 수 있다.

또한, 정보 처리 장치(150)에 화상 데이터 및 자세 데이터를 보내는 경우에는, 통신부(118)를 거쳐서 뿐만이 아니고, 도 20의 C에 나타내는 바와 같이, 기억부(117)에 의해 화상 데이터 및 자세 데이터가 기억된 메모리 카드(162) 등의 기억 매체를 거쳐도 된다.

도 19의 조작부(116)는 촬상자의 조작을 입력하는 입력 기능을 포괄적으로 나타내고 있다. 즉, 상술한 동영상 버튼(10), 타임 랩스 버튼(11), 펑션 버튼(12), 무선 통신 버튼(37)의 각 조작자를 종합하여 조작부(116)로서 나타내고 있다.

이들 조작의 조작 정보는 제어부(122)에 공급된다. 제어부(122)는 조작 정보에 따라, 상술한 동작 천이를 실행하기 위한 필요한 제어를 행한다.

검출부(125)는 각종 센서를 포괄적으로 나타내고 있다. 구체적으로는, 촬상 장치(1)의 자세나, 예를 들면 손 블러를 검출하기 위한 자이로 센서(126), 촬상 장치(1)의 이동 가속도나 중력 방향을 검출하기 위한 가속도 센서(127) 등이 설치된다. 자이로 센서(126)는 이른바 x, y, z축 방향의 각속도를 검출하는 3축 센서로 된다. 가속도 센서(127)도 마찬가지로 x, y, z축 방향의 가속도를 검출하는 3축 센서로 된다.

나아가, 도시하고 있지 않지만 검출부(125)에는, 노광 조정 등을 위한 외부 조도를 검출하는 조도 센서나, 피사체 거리를 측정하는 측거 센서 등이 설치되어도 된다.

센서부(125)의 각종 센서는 각각 검출 신호를 제어부(122)에 전달한다. 제어부(30)는 검출부(125)로 검출된 정보를 이용하여 각종 제어를 행할 수 있다.

특히, 상술한 바와 같이 제어부(122)는 자세 데이터 생성부(101)로서의 기능에 의해, 자이로 센서(126), 가속도 센서(127)의 검출 신호에 기초하여 자세 데이터를 생성하는 처리를 행한다.

진동부(20)는, 이른바 바이브레이터를 구성하는 진동편과 그 구동계에 의해 구성되고, 제어부(122)의 제어에 의해 진동을 발생시킨다.

본 실시 형태의 경우, 진동부(20)는 배터리 잔량의 경고를 위해 진동시키도록 하고 있다.

알림부(14)는 상술한 바와 같이 케이스(2) 상에서 발광하는 LED, LED 구동 회로, 커버 렌즈를 가지고 구성되고, 제어부(122)의 제어에 의해 발광된다.

예를 들면, 동영상 촬상 동작중에 발광함으로써, 주위의 사람에게 동영상 촬상을 행하고 있는 것을 알리도록 하고 있다.

전원부(128)는 배터리(7)를 전압원으로 하여 필요한 전압을 생성하고, 각부에 동작 전원 Vcc를 공급한다.

본 실시 형태에서는, 제어부(122)는 배터리(7)의 전압을 검지함으로써 배터리 잔량 감시를 행하도록 하고 있다. 이에 의해, 예를 들면 배터리 잔량이 저하했을 때에, 진동부(20)에 의한 진동을 실행시켜, 촬상자에게 배터리 잔량 부족을 통지한다.

〈4. 정보 처리 장치의 구성〉

이어서, 도 20에 나타낸 바와 같이 촬상 장치(1)로부터 화상 데이터와 자세 데이터를 수신하는 정보 처리 장치(150)의 구성을 설명한다. 정보 처리 장치(150)는, 예를 들면 도 21과 같은 하드웨어 구성으로 실현된다.

도 21에 나타내는 바와 같이 정보 처리 장치(150)는, CPU(Central Processing Unit)(151), ROM(Read Only Memory)(152), RAM(Random Access Memory)(153)을 가지고 구성된다.

CPU(151)는, ROM(152)에 기억되어 있는 프로그램, 또는 기억부(159)로부터 RAM(153)에 로딩된 프로그램에 따라 각종의 처리를 실행한다. RAM(153)에는 또한, CPU(151)가 각종의 처리를 실행하기 위해 필요한 데이터 등도 적절히 기억된다.

CPU(151), ROM(152), 및 RAM(153)은, 버스(154)를 거쳐 서로 접속되어 있다. 이 버스(154)에는 또한, 입출력 인터페이스(155)도 접속되어 있다.

입출력 인터페이스(155)에는, 액정 패널 혹은 유기 EL(Electroluminescence) 패널 등으로 이루어지는 디스플레이(156), 키보드, 마우스 등으로 이루어지는 입력부(157), 스피커(158), HDD(Hard Disk Drive) 등으로 구성되는 기억부(159), 통신부(160) 등이 접속 가능하다.

디스플레이(156)는 정보 처리 장치(150)와 일체이어도 되고 별체의 기기이어도 된다. 예를 들면, 촬상 화상이나 후술하는 보정 처리 후의 화상의 표시 등이 행해진다.

입력부(157)는 정보 처리 장치(150)를 사용하는 유저가 이용하는 입력 디바이스를 의미한다.

통신부(160)는, 인터넷을 포함하는 네트워크를 통한 통신 처리나, 주변 각부의 기기와의 사이의 통신을 실시한다. 적어도 통신부(160)는, 촬상 장치(1)의 통신부(118)와의 사이의 유선 또는 무선 통신을 실시할 수 있는 것으로 된다.

입출력 인터페이스(155)에는, 또한, 필요에 따라서 드라이브(161)가 접속되고, 메모리 카드(162)가 장착되고, 메모리 카드(162)로부터 독출된 컴퓨터 프로그램이, 필요에 따라서 기억부(159)에 인스톨되거나 CPU(151)로 처리한 데이터가 메모리 카드(162)에 기억된다.

물론, 드라이브(161)는 자기 디스크, 광 디스크, 광학 자기 디스크 등의 리무버블 기억 매체에 대한 기록 재생 드라이브로 되어도 된다.

이러한 하드웨어 구성에 있어서, 실시 형태의 정보 처리 장치(150)로서의 각종 처리(후술함)를 행할 수 있다. 구체적으로는 촬상 장치(1)로부터 취득한 화상 데이터 및 자세 데이터를 이용한 화상 재생이나 화상 데이터의 편집 처리를 행한다.

이러한 처리는 CPU(151)로 기동되는 소프트웨어에 의해 실현된다. 그 소프트웨어를 구성하는 프로그램은, 네트워크로부터 다운로딩되거나 리무버블 기억 매체로부터 독출되거나 하여 도 21의 정보 처리 장치(150)에 인스톨된다. 혹은 그 프로그램이 기억부(159)로서의 HDD 등에 미리 기억되어 있어도 된다. 그리고 CPU(151)에 대해 해당 프로그램이 기동됨으로써, 정보 처리 장치(150)의 각 기능이 발현한다.

또한, 정보 처리 장치(150)는, 도 21과 같은 하드웨어 구성의 정보 처리 장치(150)가 단일로 구성되는 것에 한정되지 않고, 복수의 정보 처리 장치가 시스템화되어 구성되어도 된다. 복수의 정보 처리 장치는, LAN 등에 의해 시스템화되어 있어도 되고, 인터넷 등을 이용한 VPN(Virtual Private Network) 등에 의해 원격지에 배치된 것이어도 된다. 복수의 정보 처리 장치에는, 클라우드 컴퓨팅 서비스에 의해 이용 가능한 정보 처리 장치가 포함되어도 된다.

또한, 이 정보 처리 장치(150)는, 거치형, 노트형 등의 퍼스널 컴퓨터, 태블릿 단말이나 스마트폰 등의 휴대 단말로서 실현될 수 있다.

화상 편집 장치, 기록 재생 장치, 텔레비전 수상기 등 각종의 전자기기가 도 21과 같은 구성을 구비함으로써 정보 처리 장치(150)로서 기능할 수 있다.

〈5. 자세 데이터〉

촬상 장치(1)의 제어부(122)가 생성하는 자세 데이터에 대해, 도 22, 도 23을 참조하여 설명한다.

자세 데이터는, 촬상 장치(1)의 케이스(2)의 자세를 나타내는 데이터이며, 제어부(122)가 구비하는 자세 데이터 생성부(101)로 생성된다. 자세 데이터로서는, 예를 들면, 자이로 센서(126)에 의해 계측되는 각속도 데이터나 가속도 센서(127)에 의해 계측되는 가속도 데이터 등이다.

도 22는 촬상 장치(1)의 제어부(122)가 생성하는 자세 데이터와 그 자세 데이터를 수신한 외부의 정보 처리 장치(150)가 실행하는 화상 보정용의 각종 처리를 나타낸 도면이다.

복수의 프레임이 연속하는 동영상으로서의 화상 데이터에 대해서는, 각 프레임 기간에 대응하여 자세 데이터가 생성되도록 하고 있다.

도 22는 어떤 연속한 2 프레임의 기간으로서, frame(0)으로 된 1 프레임과, 그 후에 계속되는 frame(1)로 된 1 프레임에 대해 나타내고 있다. 각 프레임에서는, 자이로 센서(126)로부터 취득되는 3축의 각 검출 신호를 각각 샘플링하여, 그 시점의 각속도 데이터 ωx0, ωy0, ωz0을 얻는다.

또한, 도시하고 있지 않지만, 가속도 센서(127)의 3축의 각 검출 신호에 대해서도 마찬가지로 샘플링하여, 그 시점의 가속도 데이터 ax0, ay0, az0을 얻는다.

제어부(122)는, 이들 각속도 데이터 ωx0, ωy0, ωz0, 가속도 데이터 ax0, ay0, az0을, 어떤 1개의 샘플 시점에서의 자세 데이터로서 생성한다.

제어부(122)는, 이러한 자세 데이터를 소정의 샘플 타이밍에 생성한다.

생성된 자세 데이터는 기억부(117)에 공급되어 화상 데이터와 함께 기억된다. 그리고 통신부(118)나 기억 매체에 의해, 화상 데이터에 대응될 수 있어 외부의 정보 처리 장치(150)로 출력된다.

정보 처리 장치(150)에서는, 촬상 장치(1)로부터 취득한 자세 데이터를 이용하여 화상 데이터의 블러 보정이나 중력 방향 보정 등을 실시한다. 그 차이에는, 도 22에 나타내는 바와 같이 자세 데이터에 대해서 각종 처리를 실시하여 필요한 자세 정보를 얻는다. 화상 보정용의 처리란, 예를 들면, 미분값 산출 처리나 자이로 센서(126)의 샘플링 간격의 갱신 처리나 사원수(四元數)의 놈(norm) 정규화 처리 등이다.

또한, 이러한 미분값, 놈 정규화 값을 제어부(122)가 산출하여, 이들을 자세 데이터에 포함시켜 정보 처리 장치(150)에 전송할 수 있도록 해도 된다.

여기서, 제어부(122)는, 예를 들면 촬상 중의 화상 데이터의 1 프레임 기간에 대해서, 1개 또는 복수의 샘플 타이밍에 자세 데이터 생성을 실시한다.

예를 들면, 1 프레임 기간에 1회의 레이트로 자세 데이터 생성을 행하는 것이 생각된다. 또한, 보다 세밀한 자세 변동을 나타내는 정보로 하기 위해, 도 22에 나타내는 바와 같이 1 프레임 기간에 복수회의 레이트로 자세 데이터 생성을 행하도록 하는 것도 생각된다.

또한, 도 22에 있어서 노광 기간과 비노광 기간이란, 촬상 소자부(112)의 촬상 화소의 전자 셔터 스피드로 정해지는 촬상 소자의 노광 기간과 비노광 기간의 것을 나타내고 있다.

소정의 프레임 주파수로 정해지는 각 프레임의 기간은 노광 기간과 비노광 기간으로 나눌 수가 있고, 노광 기간은 광학계(3)를 통과한 광을 촬상 소자부(112)에 노광시키는 시간이며, 전자 셔터 스피드에 따라 변동한다. 프레임 기간은 일정한 것으로부터, 노광 기간이 길어지면 비노광 기간이 짧아지고, 노광 기간이 짧아지면 비노광 기간은 길어진다.

이 도 22의 예의 경우, 자이로 센서(126)의 검출 신호에 대한 샘플링 레이트는, 프레임 레이트보다 높은 주파수의 레이트로 설정되어 있고, 1 프레임 기간에 있어서 복수회의 자세 데이터 생성이 행해진다.

또한, 자세 데이터 생성은, 노광 기간, 비노광 기간에 관계없이, 일정한 주기로 행해진다.

이와 같이 제어부(122)(자세 데이터 생성부(101))는, 화상 데이터 생성부(100)가 생성하는 화상 데이터의 1 프레임 기간에 있어서 복수회, 자세 데이터를 생성하는 것으로 한다. 프레임 동기 신호(수직 동기 신호)보다 높은 주파수의 샘플링 레이트로 자세에 관한 센서의 검출 데이터를 샘플링하고, 자세 데이터 생성을 실시함으로써, 자세 데이터는 1 프레임 기간 중에 있어서의 자세 변화도 나타내는 정보가 된다.

예를 들면, 프레임 기간 내의 자세 변화도 검출할 수 있는 것에 의해, 이른바 롤링 왜곡의 보정에도 사용할 수 있는 자세 데이터가 된다.

또한, 비노광 기간이더라도 샘플 타이밍마다 자세 데이터 생성을 행하는 것은, 일정 시간마다의 자세 차분을 축적해 나감으로써 초기 자세로부터의 변위량을 알 수 있는 정보로 하고 있기 때문이다.

촬상 장치(1)로 얻어지는 화상 데이터는 어안 화상이다. 어안 화상에 있어서는 가상 구면 상에서 컷아웃(cut-out) 위치를 바꿈으로써 블러 보정을 실시하지만, 그 때문에 블러의 방향 및 양에 대해서 반대로 컷아웃 위치를 변위시킨다.

이 경우, 어떤 자세(예를 들면, 촬상 개시 시의 자세에 의한 촬상 방향)를 기준으로 한 촬상 장치(1)의 절대적인 자세 정보가 필요하다. 그 때문에, 각 타이밍에 얻어지는 자세 데이터(각도 변화의 정보)를 축적해 나갈 필요가 있다.

이것을 바탕으로 프레임 레이트보다 높은 샘플링 레이트에 대응하여 자세 데이터 생성을 행하는 것을 생각하면, 비노광 기간에 있어서 자세 데이터 생성을 휴지하면, 자세 변위를 취할 수 없는 타이밍이 발생한다. 이에 의해 절대 위치로서의 자세 정보가 부정확하게 된다. 이에, 동영상 프레임에 동기하는 자세 데이터 생성이더라도, 전자 셔터 스피드를 포함하는 프레임 동작에 영향을 받지 않고, 소정의 샘플링 레이트에 따라 자세 데이터 생성을 행하도록 하고, 블러 보정을 위한 위치 정보가 항상 올바르게 산출할 수 있도록 하고 있다.

다른 예로서 간헐 프레임 동영상을 생성하기 위한 타임 랩스 동영상 촬상을 행하는 경우의 자세 데이터의 생성에 대해, 도 23을 참조하여 설명한다.

타임 랩스 동영상 촬상 시에는, 프레임 레이트에 대해서 충분히 긴 인터벌을 사이에 두어 화상 데이터를 생성한다. 즉, 간헐적인 프레임에 의해 생성한 동영상 데이터이다.

도 23의 예에서는 촬상되는 프레임인 frame(0) 내지 frame(N)을 나타내고 있지만, 예를 들면 frame(0), frame(N)은 유효 프레임(화상 데이터로서 기록되는 프레임)이며, frame(1) 내지 frame(N-1)은 화상 데이터에 포함되지 않는 무효 프레임을 나타내고 있다.

예를 들면, 30 fps(Frame Per Second)의 프레임 레이트에 대해서 약 3초의 인터벌을 사이에 두는 타임 랩스 동영상 촬영에서는, 유효 프레임으로 된 frame(0)의 최초의 촬상으로부터 무효 프레임으로 된 frame(1) 내지 frame(89)를 사이에 두어 다음의 유효 프레임인 frame(90)의 촬상을 행한다. frame(90)의 다음의 유효 프레임은 frame(180)이다.

타임 랩스 동영상으로서의 화상 데이터에 포함되어 기록되는 프레임은 유효 프레임뿐이며, 이 경우는 frame(0), frame(90), frame(180),…이다.

이 도 23에 나타내는 바와 같이, 각 유효 프레임 기간 및 무효 프레임의 기간에 있어서, 자이로 센서(126)의 검출 신호의 샘플링에 의한 각속도 데이터의 취득이 계속되고 있다. 또한, 도시는 생략하고 있지만, 가속도 센서(127)의 검출 신호의 샘플링에 의한 가속도 데이터의 취득도 계속되고 있다. 그리고 각 시점에서 자세 데이터 생성이 행해진다.

즉, 화상 데이터 생성부(100)에 있어서, 간헐 프레임 동영상으로서 타임 랩스 촬상에 의한 화상 데이터 생성을 행하는 경우, 자세 데이터 생성부(101)는, 유효 프레임 기간과 무효 프레임 기간 중 어느 것에 있어서도 자세 데이터의 생성을 행한다.

무효 프레임 기간에 있어서도 자세 데이터 생성을 행하는 것에 의해, 유효 프레임 기간/무효 프레임 기간에 한정하지 않고 각 시점의 자세 차분을 축적해 나갈 수 있고, 초기 자세로부터의 변위량을 정확하게 구할 수 있는 정보가 된다.

또한, 자이로 센서(126)의 샘플링 레이트는, 유효 프레임과 무효 프레임에서 동일한 것으로 하는 것이 생각되지만, 이것은 필수는 아니다. 예를 들면, 무효 프레임의 기간은 낮은 샘플링 레이트로 되어 있어도 된다.

즉, 신호 처리부(121)(화상 데이터 생성부(100))에 있어서, 간헐 프레임 동영상으로서의 화상 데이터 생성을 행하는 경우, 제어부(122)(자세 데이터 생성부(100))는, 1 프레임 기간에 있어서의 자세 데이터의 생성 횟수를, 무효 프레임 기간에는 유효 프레임 기간보다 적은 횟수로 하여도 된다.

프레임 레이트보다 높은 레이트로 자이로 센서나 가속도 센서의 검출 정보를 샘플링하여 자세 데이터를 생성하는 것은, 롤링 왜곡에 대응할 수 있도록 하는 것을 목적의 하나로 하고 있다. 가능한 한 적은 라인 간격(1 프레임 기간에 가능한 한 많음)의 자세 데이터가 있으면, 그 만큼 롤링 왜곡을 정밀하게 보정할 수 있다.

한편으로, 프레임 마다의 카메라 자세 검출은, 롤링 왜곡 보정을 생각하지 않으면 1 프레임에 1회 또는 수회에 상당하는 자세 데이터로 충분하다. 그리고 타임 랩스 동영상의 경우, 사용하고 있지 않는 프레임 기간의 자세 데이터는 당연히 롤링 왜곡에 이용하는 일은 없다. 이에, 무효 프레임 기간은 샘플링 레이트를 떨어뜨림으로써, 카메라측의 소비 전력의 삭감이나 자세 데이터의 데이터량의 삭감을 도모할 수 있다.

또한, 반드시 1 프레임에 대응하는 자세 데이터를 적어도 1개 생성한다고 하는 조건을 만족하도록 하는 경우에는, 무효 프레임 기간의 샘플링 레이트는 최소한 프레임 동기 신호(수직 동기 신호)와 동등하게 한다.

본 실시 형태의 촬상 장치(1)는, 비중심 투영 방식의 광학계(3)로서 어안 렌즈를 이용한 광학계(3)에 의해 반천구 화상이나 전천구 화상 등의 동영상 촬상을 행한다. 이 경우에, 이상과 같이 동영상의 각 프레임에 대응한 케이스(2)의 자세 데이터, 혹은 자이로 센서(126)의 각 샘플 타이밍에 대응한 케이스(2)의 자세 데이터를 출력하도록 하고 있다. 이와 같이 각 프레임에 대해 대응하는 타이밍의 자세 데이터를 얻음으로써, 동영상으로서의 화상 데이터에 대해 후에 자세 데이터를 이용한 처리가 가능하게 된다.

또한, 촬상 장치(1)는 데이터 출력부로서의 기억부(117)나 통신부(118)를 구비하고 있다.

기억부(117)는 기억 매체에 화상 데이터와 자세 데이터를 기억시킨다. 예를 들면, 내장의 카드 미디어 등을 이용하여 화상 데이터와 함께 자세 데이터를 기억시킬 수 있다. 또한, 통신부(118)는 외부 기기(정보 처리 장치(150))에 대해서 화상 데이터와 자세 데이터를 송신하는 것이 가능하게 되어 있다.

즉, 화상 데이터 생성부(100)가 생성한 화상 데이터와 자세 데이터 생성부(101)가 생성한 자세 데이터는, 유선 또는 무선의 통신 처리에 의해 외부 기기에 대해서 출력되도록 한다. 혹은 메모리 카드(162) 등의 기억 매체에 의해 화상 데이터와 자세 데이터를 전달할 수 있다.

이들에 의해 외부 기기(정보 처리 장치(150))가 화상 데이터와 함께 자세 데이터를 취득할 수 있고, 외부 기기에 대해 동영상으로서의 화상 데이터에 대해 후에 자세 데이터를 이용한 처리가 가능하게 된다.

본 실시 형태에서는, 자세 데이터 생성부(101)는 3축의 자이로 센서(126)의 검출 정보로 각 시점의 각속도 변화를 얻고, 그것에 기초하는 자세 데이터를 생성하고 있다.

또한, 자세 데이터 생성부(101)는, 3축의 가속도 센서(127)의 검출 정보로 각 시점의 중력 방향에 대한 자세 변화나, 움직임에 의해 촬상 장치(1)의 본체(케이스(2)나 그 내부 및 외부에 배치된 각부)에 걸리는 가속도의 크기를 얻고, 그것에 기초하는 자세 데이터를 생성하고 있다.

이에 의해 촬상 장치(1)의 세밀한 자세 상태를 각 프레임마다 나타내는 정보로 할 수 있다.

또한, 촬상 장치(1)의 본체에 걸리는 가속도의 값은 촬상 장치(1)의 본체의 격렬한 움직임의 정보가 되어, 중력 방향의 추정의 신뢰성을 도모하는 정보가 되어, 후술하는 중력 방향의 보정의 실행 여부의 판단 재료로도 될 수 있다.

또한, 본 실시 형태에 있어서 자세 데이터는, 각속도 데이터, 가속도 데이터의 양쪽 모두가 아니고, 한쪽을 포함하는 것으로 해도 된다. 또한, 1축 또는 2축의 각속도 데이터 또는 가속도 데이터이어도 된다.

또한, 도 22, 도 23에서는, 자이로 센서(126)나 가속도 센서(127)의 검출 신호로서 얻어지는 각속도 데이터, 가속도 데이터 그 자체를 자세 데이터로서 취급했지만, 각속도 데이터나 가속도 데이터에 화상 보정용의 각 처리를 행한 데이터를 자세 데이터라고 해도 된다.

〈6. 노광 조정〉

본 실시 형태의 촬상 장치(1)에 있어서는, 상술한 자세 데이터를 노광 제어에 이용하고 있다. 여기에서는 노광 제어로서 전자 셔터 스피드의 조정과 AGC 처리의 게인 조정을 실시하는 예로 설명한다.

구체적으로, 도 24를 참조하여 설명한다.

도 24의 A, 도 24의 B는 노광 제어 특성을 나타내고 있다. 각 도면의 가로축은 조도, 세로축은 전자 셔터의 노광 시간과 AGC 게인이다.

조도가 충분히 큰 경우, 즉 조도 Ix가 조도 임계치 th1보다 큰 경우는, 노광 시간이 조정 범위 내에서 가장 짧은 최소치 Smin이고, 한편 AGC 처리의 게인이 조정 범위 내의 최소치 Gmin로 되어 있다.

한편, 광량이 부족한 경우는, 전자 셔터의 노광 시간을 길게 하던지, 혹은 AGC 처리의 게인을 올림으로써 노광 조정을 행한다. 단, 촬상 소자로부터의 출력 신호에 대한 게인을 올리는 노광 조정은 노이즈면 등에서 불리한 것으로부터, 전자 셔터 제어를 우선한다.

본 실시 형태의 경우, 우선 자세 데이터의 변화가 작은 경우, 도 24의 A의 특성으로 노광 조정을 행한다.

조도 Ix가 조도 임계치 th2보다 크고 조도 임계치 th1 이하인 경우는, 노광 시간을 조도 Ix에 따라 길게 한다. 이 때, AGC 처리의 게인은 최소치 Gmin인 채로 한다.

노광 조정을 위한 노광 시간의 최대치를 "Smax1"로 한다. 조도 Ix가 조도 임계치 th2일 때에, 노광 시간이 최대치 Smax1에 이르는 것으로 한다.

이 경우, 한층 더 조도 저하에 대해서는 셔터 스피드 제어에서는 대응하지 않고, AGC 게인으로 대응한다.

조도 Ix가 조도 임계치 th3보다 크고 조도 임계치 th2 이하인 경우는, 노광 시간을 최대치 Smax1로 한 채로 AGC 처리의 게인을 변경해 나간다. 즉, 조도 Ix에 따라 상승시킨다.

노광 조정을 위한 AGC 게인의 최대치를 "Gmax"로 한다. 조도 Ix가 조도 임계치 th3일 때에, AGC 게인이 최대치 Gmax에 이르는 것으로 한다.

조도 Ix가 조도 임계치 th3 이하에서는, 노광 시간이 최대치 Smax1이고 또한 AGC 게인이 최대치 Gmax로 된다.

한편, 도 24의 B는 자세 데이터의 변화가 큰 경우의 예이다. 구체적으로는, 예를 들면 단위시간당 자세 데이터의 변화량이 어떤 임계치 이상인 경우에 자세 데이터의 변화가 크다고 판정된다. 이 경우, 도 24의 B의 특성으로 노광 조정을 행한다.

도 24의 A와 비교하여, 노광 시간의 최대치 Smax1이 최대치 Smax2로 변경된다. 또한, 게인 제어를 행하는 기간을 결정하는 조도 임계치 th2, th3이 조도 임계치 th2', th3'로 변경된다.

조도 Ix가 조도 임계치 th1보다 큰 경우는, 노광 시간이 최대치 Smin으로 되고 AGC 처리의 게인이 최소치 Gmin으로 되어 있다.

조도 Ix가 조도 임계치 th2'(>조도 임계치 th2)보다 크고 조도 임계치 th1 이하인 경우는, AGC 처리의 게인을 Gmin으로 한 채로 조도 Ix에 맞추어 노광 시간을 조정한다.

조도 Ix가 조도 임계치 th3'(>조도 임계치 th3)보다 크고 조도 임계치 th2'이하인 경우는, 노광 시간을 Smax2(<Smax1)로 한 채로 조도 Ix에 맞추어 AGC 처리의 게인을 조정한다.

조도 Ix가 조도 임계치 th3' 이하인 경우는, 노광 시간이 최대치 Smax2이고 또한 AGC 게인이 최대치 Gmax로 된다.

또한, 이 도 24의 B의 예의 AGC 처리를 나타내는 실선에서는 최대치 Gmax는 도 24의 A와 동일한 레벨로 하고 있지만, 일점쇄선으로 나타내는 바와 같이 최대치 Gmax'로서 게인 최대치를 크게 해도 된다. 또한, 그에 따라 조도 임계치 th3'는 조도 임계치 th3"로 한다. 도 24의 B의 경우, 노광 시간의 최대치 Smax1을 최대치 Smax2로 변경하는 만큼, 게인 최대치를 크게 해 두지 않으면 어두운 장면에 있어서의 총 게인이 작아져 버리고, 결과적으로 어두운 화상이 되어 버리기 때문이다.

또한, 조정 범위로서의 노광 시간의 최대치 Smax1을 최대치 Smax2로 내리고, 그 만큼은 조도 임계치 th2'를 조도 임계치 th2보다 크게 하여 게인 조정으로 대응하도록 하는 것은, 촬상 화상의 명도를 올리기 위한 노광 시간의 증가를, 자세 데이터의 변화가 작은 경우보다 조심스럽게 한다고 하는 것이다.

AGC 게인 상승에 의한 노이즈의 불리한 점과 노광 시간을 길게 하는 것에 의한 블러링(blurring)의 영향을 감안하여, 노광 시간의 최대치 Smax2나 조도 임계치 th3', th2'가 설정된다.

도 24의 A 및 도 24의 B에 나타내는 바와 같은 전자 셔터 스피드의 조정 및 게인의 조정을 행하기 위한 구체적인 처리에 대해, 도 25에 나타낸다.

자동 노광 제어에서는, 제어부(122)가 먼저 단계(S101)에서, 제1 제어 설정 처리를 행한다. 제1 제어 설정 처리에서는, 조도 Ix의 판정 임계치로서, 조도 임계치 th1, 조도 임계치 th2 및 조도 임계치 th3을 이용하도록 설정한다. 또한, 제1 제어 설정 처리에서는, 전자 셔터 제어의 최대치를 "Smax1"로 하도록 설정한다. 이에 의해, 자세 데이터의 변화(자세 변화)가 작은 경우에 대응한 도 24의 A에 나타내는 바와 같은 제어 특성으로 자동 노광 조정이 행해진다.

이어서, 제어부(122)는 단계(S102)에 있어서, 자동 노광 제어가 ON인지 아닌지를 판정한다. 자동 노광 제어가 OFF인 경우는, 도 25에 나타내는 일련의 처리를 종료한다.

한편, 자동 노광 제어가 ON인 경우는, 제어부(122)는 계속되는 단계(S103)의 자세 변화량 산출 처리를 실행한다. 자세 변화량은, 예를 들면, 자이로 센서(126)나 가속도 센서(127) 등의 검출부(125)에 의해 측정되는 자세 데이터로부터 산출 가능하다.

다음으로, 제어부(122)는 단계(S104)에 있어서, 자세 변화의 경향이 변화했는지 아닌지를 판정한다. 자세 변화의 경향은, 자세 변화가 큰 경우와 작은 경우가 있고, 자세 데이터의 변화량이 임계치보다 큰 경우는 「자세 변화가 크다」라고 판정되고, 임계치 이하인 경우는 「자세 변화가 작다」라고 판정된다. 그리고, 전회의 자세 변화의 경향이 「자세 변화가 크다」라고 되고, 직전의 단계(S103)에서 취득한 자세 변화량으로부터 금회의 자세 변화의 경향이 「자세 변화가 작다」라고 된 경우는, 자세 변화의 경향이 변화했다고 판정된다. 마찬가지로, 자세 변화의 경향이 「자세 변화가 작다」로부터 「자세 변화가 크다」로 변화한 경우도 자세 변화의 경향이 변화했다고 판정된다.

자세 변화의 경향이 변화하고 있지 않는 경우, 제어부(122)는 단계(S102)의 처리로 돌아온다.

한편, 자세 변화의 경향이 변화한 경우, 제어부(122)는 계속되는 단계(S105)에서 자세 변화가 소(小)에서부터 대(大)로 바뀌었는지를 판정한다.

자세 변화가 소로부터 대로 바뀐 경우, 제어부(122)는 단계(S106)에서 제2 제어 설정 처리를 행한다.

제2 제어 설정 처리에서는, 조도 Ix의 판정 임계치로서 조도 임계치 th1, 조도 임계치 th2' 및 조도 임계치 th3'를 이용하도록 설정한다. 더욱이, 제2 제어 설정 처리에서는, 전자 셔터 제어의 노광 시간의 최대치를 "Smax2"로 하도록 설정한다. 이에 의해, 자세 변화가 큰 경우에 대응한 도 24의 B에 나타내는 바와 같은 제어 특성에서의 자동 노광 조정이 행해진다.

한편, 자세 변화의 경향이 대로부터 소로 바뀐 경우, 제어부(122)는 단계(S107)에서 제1 제어 설정 처리를 실행한다. 단계(S107)의 처리 내용은 단계(S101)의 처리 내용과 동일하다.

단계(S106) 또는 단계(S107)를 실행한 제어부(122)는 단계(S102)의 처리로 돌아온다.

도 24 및 도 25를 참조하여 설명한 바와 같이, 본 실시 형태의 촬상 장치(1)는, 노광 조정으로서, 촬상 소자부(112)에 있어서의 노광 시간을 제어하는 전자 셔터 스피드 제어가 행해짐과 함께, 전자 셔터 스피드 제어의 노광 시간의 조정 범위를, 자이로 센서(126) 또는 가속도 센서(127)의 검출 정보에 기초하여, 제1 범위(Smin 내지 Smax1)와, 제1 범위보다 최장 노광 시간이 짧게 설정된 제2 범위(Smin 내지 Smax2) 사이에서 전환한다.

본 실시 형태의 경우, 프레임 레이트 이상의 샘플링 레이트로 자세 데이터 생성을 행하고 있고, 촬상 중은 항상 자이로 센서(126) 또는 가속도 센서(127)의 검출 정보를 확인함으로써 자세의 움직임의 대소를 알 수 있다.

자세의 움직임이 큰 경우, 노광 시간이 길수록, 화상에 블러링이 발생할 가능성이 커진다. 이에, 자세의 움직임이 큰 경우는, 제2 범위에 의해 노광 조정을 행함으로써, 블러링의 발생을 억제하도록 하고 있다.

〈7. 마이크로폰〉

촬상 장치(1)는 케이스(2)의 내부에 마이크로폰(35)이 배치되어 있고, 케이스(2)의 외주면에는 그 마이크로폰(35)에 대응하는 위치에 음성을 받아들이기 위한 구멍이 형성되어 있다.

음성 입력부(114) 및 음성 처리부(115)의 블록도의 예를 도 26의 A, 도 26의 B, 도 27에 나타낸다.

도 26의 A는, 도 14에 나타낸 바와 같이, 케이스(2)의 상부에 2개의 마이크로폰(35, 35)이 좌우로 이격되어 설치되는 경우의 구성예이다.

상부 왼쪽에 설치된 것을 마이크로폰(35L), 상부 오른쪽에 설치된 것을 마이크로폰(35R)으로 한다. 음성 입력부(114)로서는 한 쌍의 마이크로폰(35R, 35L)이 설치되게 된다.

케이스(2)의 상부 왼쪽에 설치된 마이크로폰(35L)으로부터 입력된 아날로그 음성 신호는, 마이크 앰프(38L)로 증폭되고 필터(39L)에 의해 대역 제한된 후, A/D 컨버터(40L)에 의해 디지털화되어 왼쪽 채널의 음성 데이터(AL)로서 후단의 신호 처리부(121)에 입력된다.

케이스(2)의 상부 오른쪽에 설치된 마이크로폰(35R)으로부터 입력된 아날로그 음성 신호는, 마찬가지로 마이크 앰프(38R), 필터(39R) 및 A/D 컨버터(40R)를 거쳐 오른쪽 채널의 음성 데이터(AR)로서 신호 처리부(121)에 입력된다.

이 도 26의 A에 나타내는 구성으로 된 마이크로폰(35, 35)을 촬상 장치(1)가 구비함으로써, 스테레오 음성 데이터를 가지는 동영상 등의 화상 데이터가 생성된다.

그리고 마이크로폰(35, 35)을 케이스(2)의 상방에 배치함으로써, 케이스(2)의 상방으로부터 입력되는 촬상자의 음성 등이 얻기 쉽게 된다. 이에 의해, 예를 들면 해설 동영상 등을 촬상하는 촬상자에게 있어, 편리성이 높은 촬상 장치(1)를 제공할 수 있다.

도 26의 B는, 도 1에 나타낸 바와 같이, 케이스(2)의 상부에 2개의 마이크로폰(35, 35)이 좌우로 이격되어 설치됨과 함께 케이스(2)의 하부에 2개의 마이크로폰(35, 35)이 좌우로 이격되어 설치된 경우에 있어서 구성 가능한 예이다.

케이스(2)의 상부 왼쪽에 설치된 것을 마이크로폰(35TL), 상부 오른쪽에 설치된 것을 마이크로폰(35TR)으로 하고, 케이스(2)의 하부 왼쪽에 설치된 것을 마이크로폰(35BL), 하부 오른쪽에 설치된 것을 마이크로폰(35BR)으로 한다.

케이스(2)의 상부 왼쪽에 설치된 마이크로폰(35TL)으로부터 입력된 아날로그 음성 신호는, 마이크 앰프(38TL), 필터(39TL), A/D 컨버터(40TL)를 거쳐 감산기(42L1)에 입력된다.

한편, 케이스(2)의 하부 왼쪽에 설치된 마이크로폰(35BL)으로부터 입력된 아날로그 음성 신호는, 마이크 앰프(38BL), 필터(39BL), A/D 컨버터(40BL)를 거쳐 감산기(42L1)에 입력된다.

감산기(42L1)에서는, 마이크로폰(35TL)으로부터 입력된 음성 신호로부터 마이크로폰(35BL)으로부터 입력된 음성 신호의 감산 처리가 행해진다. 예를 들면, 케이스(2)의 상부로부터 입력되는 촬상자의 음성 등의 일부가 추출된다. 한편, 먼 곳으로부터 발해지는 음성은 상부의 마이크로폰(35TL)과 하부의 마이크로폰(35BL) 각각을 거쳐 대략 동일한 음성 신호로서 출력되기 때문에, 감산기(42L1)에서 소거되어 거의 남지 않는다. 즉, 감산기(42L1)에서는, 하부의 마이크로폰과 상부의 마이크로폰에 입력된 음성 신호의 차분이 추출된다.

감산기(42L1)에서 추출된 차분 신호는, 곱셈기(43L)에 의해 계수 K가 곱셈된다. 또한, 계수 K는 0 내지 1 중 어느 하나의 값이며, 예를 들면 0.5로 된다.

계속되는 감산기(42L2)에서는, 상부의 마이크로폰(35TL)으로부터 입력된 음성 신호로부터 상기 곱셈된 차분 신호를 감산한다. 이에 의해, 감산기(42L2)로부터 출력되는 신호는 상부의 마이크로폰(35TL)과 하부의 마이크로폰(35BL)의 차분이 경감된 것이 된다. 이 신호가 왼쪽 채널의 음성 데이터(AL)로서 후단의 신호 처리부(121)에 입력된다.

케이스(2)의 상부 오른쪽에 설치된 마이크로폰(35TR)으로부터 입력된 아날로그 음성 신호 및 케이스(2)의 하부 오른쪽에 설치된 마이크로폰(35BR)으로부터 입력된 아날로그 음성 신호에 대해서도, 마찬가지로 추출된 상하의 마이크로폰의 입력 신호의 차분이 경감되어 오른쪽 채널의 음성 데이터(AR)로서 후단의 신호 처리부(121)에 입력된다.

즉, 이 도 26의 B의 구성에서는, 예를 들면 왼쪽 채널의 음성 데이터(AL)는, A/D 컨버터(40TL)의 출력을 AS1, A/D 컨버터(40BL)의 출력을 AS2로 하면,

AL=AS1-(AS1-AS2)×K

로서 나타낼 수 있다.

마찬가지로, 오른쪽 채널의 음성 데이터(AR)는, A/D 컨버터(40TR)의 출력을 AS3, A/D 컨버터(40BR)의 출력을 AS4로 하면,

AR=AS3-(AS3-AS4)×K

로서 나타낼 수 있다.

도 26의 B에 나타내는 구성을 채용함으로써, 예를 들면 촬상자의 음성 등과 같은 상하의 마이크로폰으로 차분이 큰 음성 입력 신호는 감쇠된다.

따라서, 예를 들면, 촬상자의 소리만이 큰 음량으로 녹음되고, 주변의 음성이 알아 듣기 어려워져 버리는 우려를 배제할 수 있다.

도 1과 같이 케이스(2)의 상부 및 하부의 쌍방에 마이크로폰(35)이 설치된 경우에 구성 가능한 다른 예를 도 27에 나타낸다.

상부 왼쪽에 설치된 마이크로폰(35TL)과 하부 왼쪽에 설치된 마이크로폰(356BL)의 음성 신호를 사용하여 감산기(42L2)로부터 출력되는 신호는 도 26의 B와 동일하기 때문에, 설명을 생략한다.

도 27에 나타내는 예에서는, 상하의 마이크로폰의 입력 신호의 차분을 경감한 신호(즉, 감산기(42L2)의 출력 신호)에 대해서, 더욱이 상부 왼쪽에 설치된 마이크로폰(35TL)의 고주파 성분만큼을 더하는 처리를 실시한다. 구체적으로는, 마이크 앰프(38TL), 필터(39TL), A/D 컨버터(40TL)를 통과시킨 마이크로폰(35TL)의 신호를 HPF(High-Pass Filter)(41L)를 더 통과시켜 고주파 성분을 추출하고, 가산기(44L)로 그 고주파 성분과 이전의 감산기(42L2)의 출력 신호를 가산하여 후단의 신호 처리부(121)에 입력한다.

즉, 이 도 27의 구성에서는, 예를 들면 왼쪽 채널의 음성 데이터(AL)는, A/D 컨버터(40TL)의 출력을 AS1, A/D 컨버터(40BL)의 출력을 AS2로 하고, HPF(41L)의 출력을 AS5로 하면,

ＡＬ＝ＡＳ１－（ＡＳ１－ＡＳ２）×Ｋ＋ＡＳ５

로서 나타낼 수 있다.

마찬가지로, 오른쪽 채널의 음성 데이터(AR)는, A/D 컨버터(40TR)의 출력을 AS3, A/D 컨버터(40BR)의 출력을 AS4로 하고, HPF(41R)의 출력을 AS6으로 하면,

ＡＲ＝ＡＳ３－（ＡＳ３－ＡＳ４）×Ｋ＋ＡＳ６

으로서 나타낼 수 있다.

예를 들면, 도 5의 A에 나타내는 바와 같은 사용 형태를 생각한다. 이 경우, 케이스(2)의 상부에 설치된 마이크로폰(35TL, 35TR)에 대해서, 촬상자(장착자)의 소리는 직접 입력되지만, 하부에 설치된 마이크로폰(35BL, 35BR)에 대해서, 촬상자의 소리는 주위의 반사물 등을 거쳐 입력될 가능성이 높다.

주위의 반사물질 중에는, 고주파 성분을 흡수하기 쉬운 촬상자가 착용하고 있는 의복 등이 포함되어 있을 가능성이 있다.

만일 하부의 마이크로폰으로부터 입력되는 음성 신호의 고주파 성분이 감쇠하고 있는 경우, 도 26의 B에 나타내는 구성에 의하면, 그 고주파 성분이 상부의 마이크로폰과 하부의 마이크로폰에서 차분이 커지고, 감산기(42L2, 42R2)에서 고주파 성분이 컷되어 버린다.

도 27에 나타내는 구성에 의하면, 재차 가산기(44L, 44R)로 고주파 성분이 더해지기 때문에, 알아듣기 쉬운 음성 신호를 후단의 신호 처리부(121)에 입력하는 것이 가능해진다.

또한, 상부 오른쪽에 설치된 마이크로폰(35TR), 하부 오른쪽에 설치된 마이크로폰(35BR)에 관해서도, 마이크 앰프(38TR, 38 BR), 필터(39TR, 39BR), A/D 컨버터(40TR, 40BR), 감산기(42R1, 42R2), 곱셈기(43R), 가산기(44R), HPF(41R)를 이용하여 동일한 처리를 실시하지만, 상술은 생략한다.

또한, 도 26의 A, 도 26의 B, 도 27에 나타내는 각 구성은 촬상 장치(1)가 스테레오 음성 입력에 대응한 것이지만, 모노럴 음성 입력의 구성이어도 된다.

〈8. 촬상 장치의 내부 구성예 II〉

본 실시 형태의 촬상 장치(1)에서는, 전술한 바와 같이 화상 데이터에 대응한 자세 데이터를 생성한다. 도 19의 구성의 경우는, 제어부(122)가 화상 데이터 생성과 자세 데이터 생성을 관리할 수 있기 때문에, 화상 데이터의 프레임과 자세 데이터의 대응은, 제어부(122)의 내부 처리(예를 들면, 자세 데이터에 대한 프레임의 타임 코드의 대응 등)로 가능하다. 그러나, 화상 데이터 생성을 제어하는 제어부와 자세 데이터 생성을 실시하는 제어부가 별체의 마이크로컴퓨터 등으로 실행되는 구성도 생각된다. 그리고 그 경우, 촬상 장치(1)로부터 출력되는 자세 데이터에 프레임에 대한 대응 정보가 부가되지 않는 것도 상정된다.

그러한 경우에, 촬상 장치(1)로부터 화상 데이터와 자세 데이터를 수취한 정보 처리 장치(150)에 있어서, 자세 데이터를 프레임에 대응할 수 있도록 하기 위한 구성예를 이하, 촬상 장치의 내부 구성예 II로서 기술한다. 이것은 정보 처리 장치(150)가 화상 데이터와 자세 데이터를 취득했을 때에, 그들 데이터 자체로부터 동영상으로서의 화상 데이터와 자세 데이터의 대응이 가능하도록 하기 위한 구성예이다.

도 28에 촬상 장치(1)의 내부 구성예 II의 블록도를 나타낸다.

도 28에 나타내는 촬상 장치(1)는 카메라 유닛(130)과 검출 유닛(131)을 구비하고 있다. 카메라 유닛(130)은, 도 19에 나타내는 각 구성요소 중, 검출부(125)를 구비하고 있지 않다. 또한, 제어부(122)는 자세 데이터 생성부(101)로서의 기능을 구비하고 있지 않다.

한편, 검출 유닛(131)은 자이로 센서(126)와 가속도 센서(127)을 가지는 검출부(125)를 구비하고 있다. 또한, 검출 유닛(131)은, 자세 데이터 생성부(101)로서의 기능을 가지는 제어부(132)와 조작부(133)와 기억부(134)를 구비하고 있다.

제어부(132)는 자세 데이터 생성부(101)로서의 기능에 의해, 검출부(125)로부터의 검출 정보에 기초하여 촬상 장치(1)의 자세를 나타내는 자세 데이터를 생성하는 처리를 행한다.

나아가, 검출 유닛(131)은 발광부(129)를 구비하고 있다. 발광부(129)는, 예를 들면 LED와 그 발광 구동 회로를 가지며, 제어부(132)의 지시에 따라, 화상 데이터와 자세 데이터의 동기를 취하기 위한 발광 동작을 실시한다. 이 발광부(129)는 트리거에 기초하여 화상 데이터와 자세 데이터를 관련짓기 위한 통지를 행하는 통지부로서 기능한다.

발광부(129)는, 예를 들면 LED가 카메라 유닛(130)의 경통 내에 설치되어 있고, LED의 발광이 촬상 소자부(112)로 촬상한 화상 데이터의 일부에 영향을 미치도록 구성되어 있다. 구체적으로는, LED의 발광이 촬상 소자부(112)의 촬상 신호에 영향을 미치도록 구성되어 있다. 혹은 프레임 화상 전체가 LED의 발광에 의해 고휘도 상태가 되도록 되어 있다.

이 경우, 촬상 소자부(112)는 발광부에 의한 통지를 검지하는 검지부로서 기능하게 된다.

또한, 발광부(129)에 있어서의 LED의 발광은, 예를 들면, 카메라 유닛(130)의 촬상 개시 타이밍과 비동기로 행해진다. 따라서, 예를 들면, 촬상자가 카메라 유닛(130)에 대해서 촬상 개시를 위한 조작을 실시하고, 이어서 검출 유닛(131)에 대해서 자세 데이터의 생성을 개시하기 위한 조작을 실시한다. 이에 의해, 발광부(129)가 발광됨과 함께 촬상 소자부(112)에 의해 발광에 기초하는 휘도의 화소를 포함하는 프레임 데이터가 생성된다. 이에 의해 화상 데이터의 프레임의 탐색에 의해 자세 데이터의 생성 개시 타이밍에 촬상된 프레임을 특정하는 것이 가능해진다.

검출 유닛(131)은 카메라 유닛(130)과 비동기로 동작하지만, 제어부(132)는 예를 들면 화상 데이터의 프레임 레이트와 동일한 주파수의 레이트가 되는 샘플링을 위한 타이밍 신호를 생성하여, 자이로 센서(126), 가속도 센서(127)의 검출 정보를 샘플링하고, 자세 데이터를 생성한다.

따라서 카메라 유닛(130)이 촬상하는 화상 데이터의 1 프레임에 대해서 하나의 자세 데이터가 대응하는 비율로 자세 데이터를 생성하게 된다.

또한, 카메라 유닛(130)의 조작부(116)에는, 유저가 촬상 개시를 지시하기 위한 버튼(동영상 버튼(10) 등) 등이 포함되고, 검출 유닛(131)의 조작부(133)에는, 유저가 자세 데이터 생성 개시를 지시하기 위한 버튼 등이 포함되어 있다.

제어부(132)의 자세 데이터 생성부(101)에서 생성된 자세 데이터는 기억부(117)에 송신되고, 필요에 따라서 카메라 유닛(130)의 통신부(118)로 송신된다. 이 자세 데이터는, 예를 들면 외부 기기로서의 정보 처리 장치(150)로 화상 데이터와 함께 송신된다. 즉, 통신부(118)는 데이터 출력부로서의 하나의 태양으로 되어 있다.

구체적으로, 카메라 유닛(130) 및 검출 유닛(131)의 동작에 대해 도 29를 참조하여 설명한다.

카메라 유닛(130)의 제어에 관한 플로우차트의 일례가 도 29의 A이다. 카메라 유닛(130)의 제어부(122)는, 단계(S201)에서 촬상 개시 트리거를 검지했는지 아닌지를 판정한다. 촬상 개시 트리거는, 예를 들면, 동영상 버튼(10)이나 타임 랩스 버튼(11) 등을 촬상자가 눌렀을 때 등에 검지된다. 촬상 개시 트리거가 검지되지 않는 경우, 제어부(122)는 다시 단계(S201)를 실행한다.

또한, 촬상 개시 트리거는, 타이머 제어, 원격 조정, 어떠한 검출에 의한 자동 촬상 개시 제어 등, 유저의 동영상 버튼(10)이나 타임 랩스 버튼(11)의 조작 이외에도 발생되는 예가 생각된다.

촬상 개시 트리거를 검지한 경우, 제어부(122)는, 단계(S202)에 있어서 촬상을 개시하는 제어를 행하고, 계속되는 단계(S203)에서 촬상한 화상 데이터의 기억을 개시하는 제어를 행한다. 이에 의해 동영상으로서의 화상 데이터가 기억부(117)에 기억되어 간다.

제어부(122)는, 종료 트리거를 검지했는지 아닌지를 단계(S204)에서 판정한다. 제어부(122)가 종료 트리거를 검지할 때까지 단계(S204)의 처리가 실행됨과 함께 이전의 단계에서 개시한 화상 데이터의 생성 및 기억이 계속된다.

도 18의 모드 천이의 예로 말하면, 동영상 기억중의 동영상 버튼(10)이나 타임 랩스 버튼(11)의 조작은 종료 트리거가 된다. 물론, 소정의 시간 경과나 원격 조작, 어떠한 검출에 의한 자동 촬상 기록의 종료 제어 등, 그 밖에도 종료 트리거 발생예가 생각된다.

종료 트리거를 검지한 제어부(122)는, 단계(S205)에서 촬상 정지 제어를 행함과 함께 단계(S206)에서 화상 데이터의 기억을 정지하는 제어를 행한다.

도 29의 A에 나타내는 일련의 처리를 제어부(122)가 햄함으로써, 예를 들면 촬상자의 조작에 의한 촬상 및 화상 데이터의 기억이 행해진다.

검출 유닛(131)의 제어에 관한 플로우차트의 일례가 도 29의 B이다. 검출 유닛(131)의 제어부(132)는 단계(S301)에서 개시 조작을 검지했는지 아닌지를 판정한다. 이 경우의 개시 조작이란, 조작부(133)에 있어서의 자세 데이터 생성 개시의 버튼에 대한 유저 조작의 것이다.

개시 조작을 검지하고 있지 않는 경우, 제어부(132)는 다시 단계(S301)의 처리를 실행한다.

개시 조작을 검지한 경우, 제어부(132)는 단계(S302)에서 검출 신호의 취득을 개시한다. 검출 신호란, 검출부(125)로서의 자이로 센서(126)나 가속도 센서(127)로부터 출력되는 자세에 관한 검출 신호이다.

그리고 제어부(132)는 단계(S303)에서 자세 데이터의 생성과 자세 데이터의 기억을 개시한다.

이 단계(S302)에서의 검출 신호의 취득(샘플링)과 단계(S303)의 자세 데이터 생성은, 카메라 유닛(130)에서 이용되는 수직 동기 신호와 동일한 주파수의 타이밍 신호에 기초하여 실행한다.

즉, 제어부(132)는 그 수직 동기 신호와 동일한 주파수이며 비동기의 타이밍 신호를 생성하고, 그 타이밍 신호에 기초하여 검출 신호를 취득한다. 나아가, 제어부(132)는 검출 신호로부터 자세 데이터를 생성하고, 기억부(134)에 기억한다. 따라서, 예를 들면, 카메라 유닛(130)으로 촬상한 동영상의 1 프레임에 대응하여 하나의 자세 데이터가 기억된다.

또한, 제어부(132)는, 이상의 검출 신호의 취득 및 자세 데이터 생성의 처리의 개시와 대략 동시에, 단계(S304)에서 발광부(129)를 발광시킨다. 이에 의해, 카메라 유닛(130)으로 촬상한 화상 데이터에 있어서의, 해당 타이밍에 상당하는 프레임에 발광에 기초하는 휘도가 높은 부분이 형성된다.

또한, 설명의 편의상, 단계(S302 내지 S304)로서 나타내고 있지만, 발광 제어와 자세 데이터 생성을 위한 검출 신호 취득 개시는 대략 동시에 행해지면 처리의 전후는 묻지 않는다. 또한, 다소의 타임 래그(time lag)는 있더라도, 그 시간차이가 고정적이면 된다. 어디까지나, 화상 데이터에 있어서의 LED 발광의 영향을 받은 프레임과 그 때의 촬상 장치(1)의 자세를 나타내는 자세 데이터가, 후에 대응지을 수 있는 상태이면 된다.

제어부(132)는, 단계(S305)에서 종료 트리거를 검지했는지 아닌지를 판정한다. 종료 트리거를 검지할 때까지 단계(S305)의 처리를 실행한다.

촬상자의 조작 등에 의한 자세 데이터의 기억 종료의 트리거를 검지한 경우, 제어부(132)는, 단계(S306)에서 자세 데이터의 생성 및 기억을 종료시키고, 단계(S307)에서 검출 신호의 취득을 정지시킨다.

도 29의 B에 나타내는 일련의 처리를 제어부(132)가 행함으로써, 동영상 등의 화상 데이터에 대응한 자세 데이터의 기억이 행해진다.

촬상 동작 및 검출 유닛(131)의 동작에 대해, 구체적인 타이밍 차트를 도 30에 나타낸다.

상기 처리에 의해, 예를 들면 도 30과 같이 발광부(129)의 발광이나 자세 데이터 생성이 행해진다. 즉, 카메라 유닛 측에서 각 프레임의 촬상 및 기록이 행해지고 있을 때에, 어떤 타이밍 TS에서 개시 조작이 행해졌는 것으로 한다. 이에 따라 단계(S302, S303, S304)가 행해진다. 즉, 발광부(129)의 LED 발광이 행해짐과 함께 자세 데이터 생성/기억이 개시되고, 이후에 자세 데이터 생성/기억이 프레임 주기와 동일한 주기에 속행되어 간다.

구체적으로는, 촬상자가 촬상 장치(1)의 동영상 버튼(10)을 누르면, 촬상 장치(1)는 「동영상 촬상 중 상태」가 되고, 연속적으로 노광 기간과 비노광 기간을 반복함으로써 화상 데이터로서의 각 프레임의 생성/기억이 행해진다. 이 상태로, 촬상자가 촬상 장치(1)의 검출 유닛(131)의 자세 데이터의 취득 개시를 위한 조작을 실시하면, 조작의 타이밍에 따라 발광부(129)에 의한 발광이 한 번 행해지고, 그 발광과 대략 동일한 타이밍에 자세 데이터의 검출 및 기억이 개시된다.

도 28에 나타내는 구성은, 카메라 유닛(130)의 촬상 동작과 비동기로 발광부(129)의 발광이 행해지기 때문에, 도 30에 나타내는 바와 같이, 화상 데이터의 프레임의 노광 기간 및 비노광 기간을 포함하는 어느 타이밍에 발광할지는 그때마다 다르다. 도 30에 나타내는 예에서는, 노광 기간의 한중간에 발광이 행해지고 있다. 또한, 발광 기간은, 비노광 기간보다 길어지도록 설정되어 있다. 이것은, 각 프레임의 노광 기간과 발광 타이밍이 비동기이기 때문에, 비노광 기간보다 긴 시간 발광함으로써 확실히 노광 기간의 적어도 일부에서 발광이 행해지도록 하기 위함이다. 또한, 비노광 기간이 가장 긴 경우, 즉, 전자 셔터 스피드가 가장 짧은 경우에 있어서도 확실히 노광 기간에 발광부(129)가 발광하기 위해, 비노광 기간의 최대 시간 길이보다 긴 시간 발광하도록 되어 있어도 된다.

단, 발광부(129)의 발광 기간은 1 프레임 기간 이내의 시간으로 되어 있는 것이 바람직하다. 너무 긴 시간 발광시키면, 그 발광의 영향을 받은 프레임이 증가해 버리기 때문이다.

검출 유닛(131)의 자세 데이터 생성부(101)는, 발광부(129)의 발광에 맞추어 자세 데이터의 검출 및 기억을 실시한다. 자세 데이터의 검출 및 기억의 타이밍에 대해서도, 각 프레임의 노광 기간 및 비노광 기간과 비동기로 행해지기 때문에, 비노광 기간에 자세 데이터의 검출 및 기억이 행해지는 경우나, 1회의 검출 및 기억이 2개의 프레임에 걸쳐 행해지는 경우도 있다.

이상의 동작을 실시하는 도 28의 구성예의 경우도, 촬상 장치(1)는 비중심 투영 방식의 광학계(3)로서 어안 렌즈를 이용한 광학계(3)에 의해 반천구 화상이나 전천구 화상 등의 동영상 촬상을 행한다. 이 경우에, 상술한 도 29의 A, 도 29의 B의 각 처리를 카메라 유닛(130) 및 검출 유닛(131)이 실행함으로써, 동영상의 각 프레임에 대응한 케이스(2)의 자세 데이터를 출력한다.

각 프레임에 대해 대응하는 타이밍의 자세 데이터를 얻음으로써, 동영상으로서의 화상 데이터에 대해 후에 자세 데이터를 이용한 처리가 가능하게 된다.

특히, 자세 데이터 생성부(101)가 자세 데이터의 생성 개시 타이밍에 있어서, 화상 데이터의 프레임에 선두 프레임 식별을 위한 정보가 형성되도록 하는 처리를 실시함으로써, 동영상으로서의 화상 데이터에 대해, 어느 시점의 프레임을 기준으로 하여 자세 데이터 생성을 개시했는지가, 화상 데이터로부터 알 수 있다. 이에 의해, 화상 데이터와 자세 데이터를 취득한 기기에 있어서, 선두의 자세 데이터에 대응하는 동영상의 프레임을 특정할 수 있게 된다.

그리고, 선두 프레임 식별을 위한 정보 형성의 일례로서, 촬상 소자부(112)에 노광시키는 광을 발광하는 발광부(129)를 구비하고, 자세 데이터 생성부(101)는, 발광부(129)를 발광시킴으로써, 화상 데이터에 있어서의 발광 타이밍에 촬상된 프레임에 있어서, 해당 발광에 의한 휘도의 화소 데이터가, 선두 프레임 식별을 위한 정보로서 형성되도록 한다.

즉, 발광부(129)를 발광시킴으로써, 화상 데이터에 있어서, 피사체광과는 다른 고휘도의 화상의 프레임이 형성된다.

이에 의해, 도 31에서 후술하는 바와 같이, 화상 데이터와 자세 데이터를 취득한 정보 처리 장치(150)에 있어서는, 고휘도의 화상의 프레임을 검색함으로써, 선두의 자세 데이터에 대응하는 동영상 데이터의 프레임을 특정할 수 있게 된다.

또한, 도 28에 나타내는 구성에 의하면, 기존의 카메라 유닛에 검출 유닛(131)을 부착하여 본 실시 형태의 촬상 장치(1)를 용이하게 제조할 수 있다.

또, 다른 형태로서 카메라 유닛(130)과 검출 유닛(131)을 별체로서 촬상자에게 제공하여, 촬상자가 필요에 따라서 착탈 자재로 하는 것이 가능하다.

또한, 자세 데이터 생성부(101)는, 화상 데이터 생성부(100)와는 비동기의 타이밍 신호에 기초하여, 1 프레임에 대해 1회의 자세 데이터 생성을 행한다.

즉, 동영상으로서의 화상 데이터 생성부(100)를 포함하는 촬상계와, 자세 데이터 생성부(101)를 포함하는 자세 데이터 생성계를 비동기 계통으로 하여 촬상 장치(1)를 형성한다.

이에 의해, 자세 데이터 생성계를 가지는 촬상 장치(1)를 용이하게 실현할 수 있다. 이 경우, 마킹에 의해 선두의 자세 데이터에 대응하는 동영상 데이터의 프레임을 특정할 수 있는 것, 및 1 프레임에 1회의 자세 데이터 생성으로 한다는 것으로, 비동기이더라도 프레임과 자세 데이터의 대응 관계는 흐트러지지 않는다.

또한, 화상 데이터 생성부(100)의 프레임 동기 신호와 자세 데이터 생성부가 이용하는 타이밍 신호는 비동기이긴 하지만, 대략 동일한 주파수이며, 어느 정도의 시간, 동영상 촬상을 계속해도 샘플 타이밍이 1 프레임분까지 어긋나지 않는 것으로 하고 있다.

또한, 도 30에서 설명한 바와 같이, 발광부(129)의 발광 기간은 1 프레임 기간 이내의 시간으로 되어 있다.

발광부(129)를 발광시킴으로써, 고휘도의 화상의 프레임이 형성되지만, 그 화상은 피사체광과는 다른 화상, 즉 본래는 불필요한 화상이 되기 때문에, 발광 기간을 짧게 한다.

구체적으로는, 발광 기간을 1 프레임 기간 이내로 함으로써, 고휘도의 화상이 되는 프레임은 1 프레임 또는 2 프레임이 되어, 불필요한 프레임이 많이 발생하지 않게 할 수 있다.

또한, 도 28의 구성예의 경우, 촬상 장치(1)에 있어서는, 화상 데이터 생성부(100)에 의한 동영상으로서 기억하는 화상 데이터의 생성과 자세 데이터 생성부(101)에 의한 동영상으로서 기억하는 화상 데이터에 대응하는 자세 데이터의 생성은, 다른 개시 트리거에 의해 개시된다.

예를 들면, 녹화 개시 조작과 자세 기록 개시 조작이 다른 조작으로서 유저에게 제공된다.

이에 의해, 유저는 녹화 시에 자세 기록을 행할지 어떨지를 임의로 선택할 수 있다.

도 28의 구성예의 경우도, 촬상 장치(1)는 데이터 출력부(통신부(118)나 기억부(117))를 구비하여, 외부 기기(정보 처리 장치(150))에 대해서 화상 데이터와 자세 데이터를 전달할 수 있다.

이에 의해 외부 기기(정보 처리 장치(150))에서는 화상 데이터와 함께 자세 데이터를 취득할 수 있고, 자세 데이터를 이용한 처리가 실행 가능해진다.

화상 데이터와 자세 데이터의 쌍방을 수신한 정보 처리 장치(150)에서는, 화상 데이터와 자세 데이터를 대응시키기 위한 처리가 행해진다. 구체적으로 도 31을 참조하여 설명한다.

정보 처리 장치(150)는, 단계(S401)에서 동영상 데이터를 특정하는 처리를 실행한다. 이 처리에서는, 예를 들면, 촬상 장치(1)를 이용하여 촬상한 동영상 등을 시청하는 유저가 시청하고 싶은 동영상 등의 화상 데이터를 선택함으로써 실행된다.

또한, 정보 처리 장치(150)가 화상 데이터와 자세 데이터의 쌍방을 수중에 넣었을 때에, 그들 데이터를 대응시키기 위한 도 31의 처리를 자동적으로 행해도 된다.

동영상 데이터를 특정한 후, 정보 처리 장치(150)는 단계(S402)에서 그 동영상 데이터에 대응하는 자세 데이터를 특정한다.

이어서, 정보 처리 장치(150)는 단계(S403)에서, 시계열에 따라 각 동영상 프레임으로부터 특정의 프레임을 검색하는 처리를 실행한다. 여기서 검색하는 프레임은, 이전의 발광부(129)의 발광에 의해 고휘도가 되어 있는 프레임이다. 예를 들면, 화소 전체는 LED 발광에 의한 지극히 높은 휘도가 되어 있는 프레임이거나, 특정의 화소 영역이 LED 발광에 의한 지극히 높은 휘도가 되어 있는 프레임을 찾는다.

정보 처리 장치(150)는 단계(S404)에서, 고휘도의 프레임을 검출했는지 아닌지를 판정한다.

고휘도의 프레임을 검출할 수 없었던 경우, 정보 처리 장치(150)는 단계(S405)에서 에러 처리를 실행하여 일련의 처리를 종료한다. 에러 처리란, 예를 들면, 「동영상 데이터와 자세 데이터의 대응이 이루어지지 않았습니다」등의 메세지를 정보 처리 장치(150)의 표시 장치에 표시시키는 처리 등이다.

한편, 고휘도의 프레임을 검출할 수 있었는 경우, 정보 처리 장치(150)는 단계(S406)에서 선두 프레임을 특정하는 처리를 실행한다. 이 처리에서는, 고휘도 프레임을 선두 프레임으로 해도 되고, 고휘도 프레임의 다음의 프레임을 선두 프레임으로 해도 된다. 또한, 고휘도 프레임이 2 프레임에 걸쳐 검출된 경우는, 그 중 어느 쪽을 선두 프레임으로 해도 되고, 2 프레임의 다음의 프레임을 선두 프레임으로 해도 된다.

다음으로, 정보 처리 장치(150)는 단계(S407)에서 자세 데이터의 최초의 데이터를 선두 프레임의 선두 라인에 관련짓는 처리를 행하고, 단계(S408)에서 후속의 자세 데이터와 동영상 프레임을 각각 대응시키는 처리를 실시한다.

이에 의해, 동영상의 각 프레임에 각 자세 데이터가 대응되고, 각 프레임의 촬상 시에 촬상 장치(1)가 어떠한 자세였는지를 정보 처리 장치(150)가 인식할 수 있도록 된다.

그리고, 화상 데이터와 자세 데이터가 적절히 대응됨으로써, 후술하는 각종 보정 처리를 행할 수 있다.

〈9. 촬상 장치의 내부 구성예 III〉

도 32에 촬상 장치(1)의 내부 구성예 III으로서의 블록도를 나타낸다. 이것은 도 28의 구성예와 마찬가지로 발광부(129)를 구비하는 경우의 다른 예이다.

도 32에 나타내는 촬상 장치(1)는, 촬상자가 동영상 버튼(10) 등의 조작부(116)를 조작함으로써 카메라 유닛(130)이 검지하는 촬상 개시 트리거를 검출 유닛(131)에서도 수신하고, 그 촬상 개시 트리거에 따라 자세 데이터의 생성과 기억이 행해진다. 따라서, 검출 유닛(131)에는 자세 데이터의 생성 및 기억을 개시시키기 위한 조작부가 설치되어 있지 않다.

또한, 제어부(122)로부터 촬상 소자부(112)에 대해서 보내지는 수직 동기 신호를 검출 유닛(131)의 제어부(132)가 취득하고, 그 수직 동기 신호에 기초하여 자세 데이터의 생성을 실시한다.

구체적인 처리에 대해, 도 33을 참조하여 설명한다.

도 33의 A는 카메라 유닛(130)의 제어부(122)가 실행하는 각 처리의 플로우차트이다. 도 33의 B는 검출 유닛(131)의 제어부(132)가 실행하는 각 처리의 플로우차트이다.

카메라 유닛(130)의 제어부(122)는 단계(S501)에서 촬상 개시 트리거를 검지했는지 아닌지를 판정한다. 또한, 검출 유닛(131)의 제어부(132)는 단계(S601)에서 촬상 개시 트리거를 검지했는지 아닌지를 판정한다. 이 경우, 제어부(132)는 촬상 개시 트리거를 카메라 유닛(130)의 제어부(122)로부터의 통지에 의해 검지하게 된다.

카메라 유닛(130)의 제어부(122)는, 촬상 개시 트리거를 검지할 때까지 단계(S501)의 처리를 반복한다. 마찬가지로, 검출 유닛(131)의 제어부(132)도 촬상 개시 트리거를 검지할 때까지 단계(S601)의 처리를 반복한다.

촬상자에 의해 동영상 버튼(10)이 눌러지는 등 하여 촬상 개시 트리거가 입력되면, 카메라 유닛(130)의 제어부(122)는 단계(S502)의 처리의 실행을 개시하고, 검출 유닛(131)의 제어부(132)는 단계(S602)의 처리의 실행을 개시한다.

카메라 유닛 제어부(130)의 제어부(122)는 단계(S502)에서 촬상을 개시하고, 계속되는 단계(S503)에서 촬상한 화상 데이터의 기억을 개시한다.

한편, 검출 유닛(131)의 제어부(132)는 단계(S602)에서 수직 동기 신호 취득을 개시한다. 이 신호는, 카메라 유닛(130)의 제어부(122)로부터 취득한다.

이어서, 제어부(132)는 단계(S603)에서 검출 신호의 취득을 개시하고, 단계(S604)에서 자세 데이터의 생성 및 기억을 개시한다.

또한, 제어부(132)는, 단계(S605)에서 발광부(129)의 LED를 발광시키는 처리를 실행한다. 발광부(129)의 발광은, 카메라 유닛(130)에서 이용되는 수직 동기 신호와 동기하여 행할 수 있기 때문에, 예를 들면, 촬상한 동영상을 구성하는 하나의 프레임의 노광 기간의 개시 타이밍에 맞추어 발광하는 것이 가능하다.

또한, 검출 유닛(131)의 제어부(132)가 각 프레임의 노광 기간의 개시 타이밍을 파악하고 있기 때문에, 자세 데이터의 생성 및 기억을 1 프레임 기간(노광 기간 및 비노광 기간을 포함하여)의 사이에 복수회 행해도 된다. 복수회 행한 경우에는, 각 자세 데이터가 1 프레임 기간 중 어느 타이밍에 취득된 것인지를 파악 가능하다. 이에 의해, 후술하는 블러 보정 등을 적절히 행하는 것이 가능해진다.

카메라 유닛(130)의 제어부(122)는 단계(S504)에서 종료 트리거를 검지했는지 아닌지를 판정한다. 마찬가지로, 검출 유닛(131)의 제어부(132)는 단계(S606)에서 종료 트리거를 검지했는지 아닌지를 판정한다.

촬상자가 동영상 버튼(10)을 재차 누르는 등 하여, 촬상의 종료 지시를 검지한 경우 등, 카메라 유닛(130)의 제어부(122)가 종료 트리거를 검지하면, 그 종료 트리거는 검출 유닛의 제어부(132)에도 통지된다. 이에 의해 카메라 유닛(130) 및 검출 유닛(131)의 쌍방에서 대략 동시에 종료 트리거를 검지한다.

종료 트리거를 검지한 카메라 유닛(130)의 제어부(122)는 단계(S505)에서 촬상 정지를 행하고, 단계(S506)에서 화상 데이터의 기억 정지를 행한다.

또한, 종료 트리거를 검지한 검출 유닛(131)의 제어부(132)는 단계(S607)에서 자세 데이터의 생성 및 기억을 종료시키고, 단계(S608)에서 검출 신호의 취득을 정지한다.

도 33의 A, 도 33의 B에 나타내는 각 처리를 카메라 유닛(130)의 제어부(122) 및 검출 유닛(131)의 제어부(132)가 실행함으로써, 동기가 취해진 화상 데이터 및 자세 데이터를 기억할 수 있다.

촬상 동작 및 검출 유닛의 동작에 대해, 구체적인 타이밍 차트를 도 34에 나타낸다.

도 32에 나타내는 구성을 구비한 촬상 장치(1)에 있어서는, 카메라 유닛(130)과 검출 유닛(131)의 동기가 취해지고 있기 때문에, 발광부(129)의 발광을 노광 기간의 선두 등의 소정의 타이밍에 가져올 수 있다. 이에 의해, 발광 기간을 짧게 해도 확실히 노광 기간 내에 발광시킬 수 있기 때문에, 발광부(129)의 발광에 따른 소비 전력을 삭감할 수 있다.

발광부(129)의 발광 기간은 노광 기간에 맞추어 짧아도 되지만, 광량 등의 관계로 길게 하는 경우에도 1 프레임 기간 이내의 시간으로 되어 있는 것이 바람직하다. 발광의 영향을 받은 프레임이 증가해 버리는 것을 피하기 위함이다.

또한, 동기가 취해지고 있는 것에 의해, 하나의 프레임 기간에 있어서 복수의 자세 데이터를 생성/기억해도, 각 프레임 기간 중 어느 타이밍에 생성된 자세 데이터인지를 파악할 수 있다.

이와 같이, 자세 데이터 생성부(101)는, 화상 데이터 생성부(100)와 공통의 프레임 동기 신호에 기초하여, 1 프레임에 대해 1회 또는 복수회의 자세 데이터 생성을 실시한다. 즉, 동영상으로서의 화상 데이터 생성부(100)를 포함하는 촬상계와 자세 데이터 생성부(101)를 포함하는 자세 데이터 생성계에서 공통의 수직 동기 신호를 이용한다.

따라서, 마킹에 의해 선두의 자세 데이터에 대응하는 동영상 데이터의 프레임을 특정할 수 있는 것, 및 프레임 동기가 취해지고 있는 것에 의해, 동영상의 1 프레임에 대해 복수회의 자세 데이터 생성을 행하더라도, 각 자세 데이터를 각 프레임에 정확하게 관련지을 수 있다.

또한, 화상 데이터 생성부(100)에 의한 동영상으로서 기억하는 화상 데이터의 생성과 자세 데이터 생성부(101)에 의한 동영상으로서 기억하는 화상 데이터에 대응하는 자세 데이터의 생성은, 공통의 개시 트리거(촬상 개시 트리거)에 의해 개시된다.

예를 들면, 녹화 개시 조작으로서의 조작에 따라 화상 데이터 생성과 자세 데이터 생성이 개시된다.

이에 의해, 유저의 조작 부담을 최소한으로 하여 동영상과 함께 자세 데이터가 기억되는 장치를 실현할 수 있다.

화상 데이터와 자세 데이터의 쌍방을 수신한 정보 처리 장치(150)가 행하는, 화상 데이터와 자세 데이터를 대응시키기 위한 처리는, 도 31에 나타내는 처리와 대략 동일한 처리이기 때문에, 상술은 생략한다.

또한, 도 31의 단계(S407)에 있어서 자세 데이터의 최초의 데이터를 선두 프레임의 선두 라인에 관련짓는 처리는, 화상 데이터 및 자세 데이터의 동기가 취해지고 있기 때문에, 실제로 선두 라인의 노광이 행해지고 있을 때에 기억된 자세 데이터를 그 선두 라인에 관련지을 수 있으므로, 후술하는 보정을 보다 정확하게 행할 수 있다.

또한, 도 19나 도 28이나 도 32 등으로 설명한 각 촬상 장치(1)에 있어서, 화상 데이터 1 프레임에 대해 복수개의 자세 데이터를 생성/기억해도 된다. 이 경우에는, 프레임 마다 대응한 하나의 자세 데이터에 프레임 동기 신호(수직 동기 신호)에 기초하는 정보를 부가하는 것이 생각된다. 예를 들면, 수직 동기 신호의 타이밍(그 타이밍에 가까움)에 얻어진 자세 데이터에 수직 동기 플래그를 부가한다.

예를 들면, 수직 동기 신호의 타이밍 이후의 최초의 자세 데이터에 대해, 수직 동기 정보를 부가해 둠으로써, 프레임 선두의 자세 데이터를 판별할 수 있도록 된다. 이에 의해 화상 데이터와 자세 데이터를 처리하는 장치는, 각 프레임에 대응하는 자세 데이터를 정확하게 인식할 수 있다.

발광부(129)의 발광에 의해 일부의 영역이 고휘도로 된 고휘도 프레임이 형성되지만, 그 고휘도 프레임을 동영상 데이터의 최초의 프레임으로서 이용하지 않아도 된다. 즉, 고휘도 프레임의 다음의 프레임으로부터 동영상으로서의 화상 데이터를 생성해도 된다. 또한, 고휘도 프레임이 2 프레임 있는 경우는, 그 2 프레임 이후의 프레임으로부터 동영상으로서의 화상 데이터를 생성해도 된다.

또한, 고휘도 프레임을 동영상으로서의 화상 데이터의 최초의 프레임으로서 이용하는 것도 가능하다. 구체적으로 도 35를 참조하여 설명한다.

도 35는 촬상 소자의 촬상 영역(ARR)을 나타내고, 결상되는 피사체의 상(Z)을 나타내고 있다. 본 실시 형태에 있어서의 촬상 장치(1)는, 가장 피사체측의 렌즈로서 어안 렌즈(21)를 이용하고 있다. 따라서, 예를 들면 어안 렌즈(21)로서 원주 어안 렌즈를 채용한 경우에는, 광학계(3)를 통과한 광이 촬상 소자부(112)에 형성하는 상(Z)은 대략 원형이 된다. 따라서, 촬상 소자부(112)가 구비하는 이미지 센서의 외주부에는 화상 데이터에 영향을 주지 않는 범위 외 영역(45)(도면의 사선 영역)이 존재한다.

또한, 본 실시 형태의 촬상 장치(1)의 카메라 유닛(130)의 내부에 발광부(129)의 LED(129a)가 설치되어 있는 것에 의해, 어안 렌즈(21)를 통과한 광으로는 노광할 수 없는 범위 외 영역(45)에 발광부(129)로부터의 광을 조사하는 것이 가능하다(도 35의 텍스처 영역(45a)).

이와 같이 구성함으로써, 고휘도 프레임을 동영상으로서의 화상 데이터의 일부로서 이용하는 것이 가능해진다.

즉, 발광부(129)를 촬상 소자부(112)에 있어서의 광학계(3)에 의한 피사체광의 입사 범위 외가 되는 촬상 소자만을 노광시키도록 설치함으로써, 발광부(129)의 발광에 의한 고휘도 화상이, 피사체 화상으로서 유효한 범위 외로만 되도록 할 수 있다.

이에 의해, 발광에 의해 고휘도가 되는 것은, 어떤 프레임에 있어서의 피사체 화상으로서는 이용하지 않는 화소만이 된다. 따라서 그 프레임도 통상적으로 재생하는 프레임으로서 사용할 수 있다. 즉, 발광부의 발광에 의해 쓸데없는 프레임이 생기지 않도록 할 수 있다.

또한, 실시 형태의 촬상 장치(1)는 일례이고, 각종의 변형예가 생각된다.

도 22에는, 자이로 센서(126)에 의해 얻어지는 각속도 데이터 그 자체를 자세 데이터로서 취급했지만, 각속도 데이터에 화상 보정용의 각 처리를 행한 데이터를 자세 데이터로 하여도 된다.

촬상 장치의 내부 구성예 II(도 28), III(도 32)의 구성에 있어서도, 내부 구성예 I에 대해 설명한 각종 구성, 예를 들면 노광 제어 구성, 음성 처리부의 구성, 자세 데이터 생성 구성 등, 적절히 채용할 수 있다.

내부 구성예 II(도 28), III(도 32)에 있어서, 통지부의 예로서 발광부(129)를 들었지만, 트리거에 기초하여 화상 데이터와 자세 데이터를 관련짓기 위한 통지를 행하는 통지부로서는, 예를 들면 소리에 의한 통지를 행하는 구성, 전자파에 의한 통지를 행하는 구성, 전기 신호에 의한 통지를 행하는 구성 등, 다양한 예가 생각된다. 이에 따라 검지부의 구성도 음성 검출기, 전자파 검출기, 전기 신호 검출기 등, 다양한 예가 생각된다.

〈10. 정보 처리 장치에 있어서의 재생/편집 화면〉

상술한 바와 같이 촬상 장치(1)에 따라서는 동영상 데이터나 자세 데이터의 기록이 행해진다. 그 동영상 데이터와 자세 데이터는, 휴대 단말이나 거치형 컴퓨터 장치 등의 정보 처리 장치(150)에 전송할 수 있고, 정보 처리 장치(150)에 있어서는, 애플리케이션 프로그램에 기초하는 처리로서 동영상의 재생이나 편집을 행할 수 있도록 된다.

특히 화상 데이터는 어안 렌즈(21)를 이용하여 촬상된 동영상이지만, 이것에 대응하여 애플리케이션 프로그램은, 어안 왜곡 보정이나 블러 보정, 나아가서는 표시 화상의 중력 방향 보정을 행할 수 있도록 하고 있다.

도 36은 스마트폰 등의 휴대 단말로서의 정보 처리 장치(150)에 있어서 애플리케이션 화면(170)을 표시하고 있는 상태를 나타내고 있다.

또한, 도 37은 퍼스널 컴퓨터나 태블릿 단말 등, 비교적 화면이 큰 정보 처리 장치(150)에 대해 애플리케이션 화면(170)을 표시하고 있는 상태를 나타내고 있다.

어느 경우도 애플리케이션 화면(170)에는 화상 영역(171)이 준비되어 재생 동영상을 표시할 수 있도록 되어 있다.

나아가, 애플리케이션 화면(170)에는 화상 재생을 위한 조작자, 편집 조작자, 모드 조작자, 인디케이터(indicator) 등이 준비되어, 유저는 통상 동영상이나 타임 랩스 동영상, 혹은 정지 영상에서의 재생 상태를 확인하거나 소망하는 편집 작업을 행할 수 있도록 되어 있다.

애플리케이션 프로그램에 의한 구체적인 편집 기능으로서는 자동 편집이나 메뉴얼 편집이 가능하게 되어 있다.

메뉴얼 편집으로서는,

· 프레임 삭제 또는 복원

· 초기 화각의 설정

· 타임 랩스 온/오프 구간의 지정

· 타이틀, 텔롭(telop)의 삽입 또는 삭제

· 언두(Undo) 조작

· 편집 결과 보존

· 멀티뷰 모드 지시

등이 가능하게 된다.

또한, 본 실시 형태에서는, 통상 동영상이나 타임 랩스 동영상, 정지 영상의 재생 시에는 어안 왜곡 보정이나 중력 방향 보정이 실행 가능하게 되어 있다. 또한, 통상 동영상이나 타임 랩스 동영상의 재생 시에는 블러 보정이 실행 가능하게 되어 있다.

이 때문에 도 36, 도 37의 예에서는, 화상 영역(171) 내에 어안 왜곡 보정 버튼(172), 블러 보정 버튼(173), 중력 방향 보정 버튼(174)이 표시되어 유저가 임의로 조작 가능하게 되어 있다.

또한, 어안 왜곡 보정 버튼(172), 블러 보정 버튼(173), 중력 방향 보정 버튼(174)이 화상 영역(171) 내에 표시되는 것은 일례이며, 화상 영역(171) 밖이어도 된다.

또한, 이 예에서는 화상 재생 중에 이 3개의 버튼이 표시되는 예로 하지만, 어안 왜곡 보정 버튼(172)과 블러 보정 버튼(173)의 2개가 표시되는 예나, 어안 왜곡 보정 버튼(172)과 중력 방향 보정 버튼(174)의 2개가 표시되는 예, 나아가서는 어느 하나가 표시되는 예도 생각된다.

어안 왜곡 보정 버튼(172)에 의해 유저는 재생 화상의 어안 왜곡 보정의 온/오프를 지시할 수 있다.

블러 보정 버튼(173)에 의해 유저는 재생 화상의 블러 보정의 온/오프를 지시할 수 있다.

중력 방향 보정 버튼(174)에 의해 유저는 재생 화상의 시점을 이동시키는 조작을 행할 때에, 중력 방향을 화면 하방에 유지하도록 하는 중력 방향 보정의 온/오프를 지시할 수 있다.

〈11. 재생 시의 화상 보정 처리〉

애플리케이션 화면(170)의 화상 영역(171)에서 화상 재생을 행하는 경우의 보정에 대해 설명한다.

어안 왜곡 보정의 수법에 대해 자세하게는 후술하지만, 천구 모델을 사용한, 출력 좌표계로의 투시 투영에 의해 어안 화상을 중심 투영 화상으로 변환하는 처리이다.

예를 들면, 도 38의 A와 같이 재생되는 화상 데이터, 즉 보정 처리 대상으로서의 입력 화상(200)은 직사각형이며, 원형의 어안 화상(201)을 가진다. 이 어안 화상(201)을 도 38의 C의 천구 모델로서의 가상 구면(202)에 투영한다.

그리고 가상 구면(202)에 투사한 영역(211)을 컷아웃하고, 어안 왜곡을 보정하여 도 38의 E와 같은 화상으로 한다.

블러 보정은 동영상 촬상 시의 블러가 재생 화상에 있어서 저감되어 있도록 하는 것이며, 촬상 시에 촬상 장치(1)에 가해지는 손 블러나 진동의 영향을 저감시키는 것이다. 본 실시 형태의 경우, 촬상되는 화상 데이터는 어안 화상이기 때문에, 어안 왜곡 보정에 있어서 블러 보정을 반영시키도록 하고 있다.

여기서 어안 화상에서는 도 38의 B에 있어서 화살표로 나타내는 바와 같이, 위치에 따라 블러 방향이 다르다. 이러한 블러에 대해서는, 도 38의 C 및 도 38의 D와 같이 컷아웃하는 영역(211)을 블러량에 따라 조정함으로써, 연속하는 프레임에서 도 38의 E와 도 38의 F로서 나타내는 바와 같은 블러가 소거된 화상으로 한다. 이러한 처리를 위해 자이로 센서(126)의 검출값으로서의 자세 데이터를 이용하여 구한 블러량(보정 각도)에 기초하여 가상 구면(202)의 컷아웃 위치를 보정하게 된다.

중력 방향 보정은 재생 시에 표시되는 범위의 시점 이동이 행해져도 중력 방향의 어긋남이 생기지 않도록 하는 보정이다. 이것도, 화상 데이터가 어안 화상이기 때문에, 어안 왜곡 보정에 있어서 중력 방향 보정을 반영시키도록 하고 있다.

상기와 같이 가상 구면(202)으로부터 컷아웃하는 영역(211)을, 유저의 조작에 따라 상하 좌우로 시프트시켜 가면, 유저는 재생되는 시야 방향을 임의로 변경할 수 있다. 예를 들면, 애플리케이션 화면(170)의 화상 영역(171) 상의 슬라이드 조작, 스와이프 조작 등에 의해 시선 방향을 변화시킬 수 있다. 이 때에 중력 방향이 화면 하방에 유지되도록 한다.

도 39의 A는 중력 방향이 바로 아래를 향하지 않은 상태이다. 이것을 도 39의 B와 같이 수평선을 따라 표시되도록 함으로써, 유저가 시야 변경 조작을 행하는 경우에 보기 쉬운 표시 환경을 제공할 수 있다.

이들 보정이 행해지는 경우의 화상 영역(171)의 예를 도 40, 도 41에 나타낸다.

도 40의 A는 어떠한 보정도 행해지지 않은 상태이다. 어안 화상을 포함하는 원래의 화상 데이터가 그대로 표시된다.

이 도 40의 A의 시점에서는, 어안 왜곡 보정 버튼(172), 블러 보정 버튼(173), 중력 방향 보정 버튼(174)은 각각 온 조작자로서 기능하고 있다.

유저는, 재생 중에 어안 왜곡 보정 버튼(172)에 대해 터치나 클릭 등의 조작(이 경우에는 온 조작)을 함으로써, 어안 왜곡 보정이 기능하고, 그 이후에는 도 40의 B와 같이 어안 왜곡 보정이 실시된 재생 화상이 표시된다.

또한, 본 실시 형태에서는, 어안 왜곡 보정, 블러 보정, 중력 방향 보정은 각각 독립적으로 온/오프할 수 있지만, 블러 보정과 중력 방향 보정은, 어안 왜곡 보정이 온일 때에 기능하는 것으로 한다. 따라서, 도 40의 A와 같이 어안 왜곡 보정을 행하지 않은 기간은 블러 보정 버튼(173)과 중력 방향 보정 버튼(174)의 조작은 무효가 되기 때문에, 이들을 표시하지 않도록 하는 것도 생각된다.

혹은, 도 40의 A의 시점에서 블러 보정 버튼(173)이 조작된 경우, 어안 왜곡 보정도 온으로 된 후에 블러 보정이 행해지도록 해도 된다. 마찬가지로, 중력 방향 보정 버튼(174)의 조작이 행해진 경우, 어안 왜곡 보정도 온으로 된 후에 중력 방향 보정이 행해지도록 해도 된다.

도 40의 B의 시점에서는, 어안 왜곡 보정 버튼(172)은 오프 조작자로서 기능하고, 블러 보정 버튼(173), 중력 방향 보정 버튼(174)은 각각 온 조작자로서 기능한다.

유저가 어안 왜곡 보정 버튼(172)을 조작(이 경우는 오프 조작)하면 도 40의 A의 어안 화상의 재생으로 돌아온다.

유저가 도 40의 B의 상태로부터 블러 보정 버튼(173)을 조작(온 조작)하면 블러 보정 기능이 개시되고, 도 41의 A와 같이, 어안 왜곡 보정 화상에 있어서 블러 보정이 기능한 상태로 천이한다. 블러 보정 버튼(173)은 오프 조작자가 된다.

유저가 도 41의 A의 상태로부터 블러 보정 버튼(173)을 조작(오프 조작)하면 블러 보정 기능이 종료되고, 도 40의 B의 상태로 돌아온다.

유저가 도 41의 A의 상태로부터 중력 방향 보정 버튼(174)을 조작(온 조작)하면 중력 방향 보정 기능이 개시되고, 도 41의 B와 같이, 어안 왜곡 보정, 블러 보정, 중력 방향 보정이 모두 기능한 상태로 천이한다. 중력 방향 보정 버튼(174)은 오프 조작자가 된다.

유저가 도 41의 B의 상태로부터 중력 방향 보정 버튼(174)을 조작(오프 조작)하면 중력 방향 보정 기능이 종료되고, 도 41의 A의 상태로 돌아온다.

유저가 도 41의 B의 상태로부터 블러 보정 버튼(173)을 조작(오프 조작)하면 블러 보정 기능이 종료된다. 도시하고 있지 않지만, 블러 보정이 행해지지 않고 중력 방향 보정이 기능하고 있는 상태가 된다.

유저가 도 40의 B의 상태로부터 중력 방향 보정 버튼(174)을 조작(온 조작)한 경우도, 동일하게 블러 보정이 행해지지 않고 중력 방향 보정이 기능하는 상태가 된다.

이상과 같이 정보 처리 장치(150)에 있어서는, 애플리케이션 프로그램에 기초하는 화상 데이터의 재생중에, 유저가 임의로 어안 왜곡 보정, 블러 보정, 중력 방향 보정을 각각 온/오프할 수 있다. 이에 의해 동영상이나 타임 랩스 동영상을 보면서 보정 유무 상태를 비교해 볼 수 있다.

또한, 본 실시 형태에서는 상기 3개의 보정에 주목하여 설명하지만, 애플리케이션 프로그램은 보정 기능으로서 어안 왜곡 보정과 블러 보정의 기능을 가지며 중력 방향 보정 기능을 갖지 않는 예도 생각된다.

또한, 보정 기능으로서, 어안 왜곡 보정과 중력 방향 보정의 기능을 가지며 블러 보정 기능을 갖지 않는 예도 생각된다.

게다가, 어안 왜곡 보정 기능을 갖지 않고 블러 보정 기능과 중력 방향 보정 기능의 양쪽 모두 또는 한쪽을 가지는 것도 생각된다.

또한, 재생 화상을 보존하는 경우에, 상기의 3개의 보정을 고려한 각종의 예가 생각된다.

예를 들면, 동영상으로서의 화상 데이터를 재생 중에 각종의 보정 버튼을 조작할 때마다 각각의 보정의 온/오프 상태가 변화하지만, 각 보정의 온/오프 상태의 시계열에 있어서의 변화도 포함한 화상 데이터의 보존이 가능하게 되어 있어도 된다. 구체적으로는, 장면 1에서는 블러 보정을 온으로 하는 조작이 이루어지고, 다음의 장면 2에서는 블러 보정을 오프로 하는 조작이 이루어진 경우, 조작에 따라 각 장면의 블러 보정의 온/오프 상태가 전환된 상태의 재생 화상이 보존되도록 구성되어 있어도 된다.

또한, 재생 화상을 보존하는 조작을 행한 경우에, 각 보정의 온/오프 상태가 선택 가능하게 제시되고, 그 선택의 선택 결과에 따라 재생 화상 전체에 대한 각 보정을 행하고, 보존하도록 구성되어 있어도 된다.

재생 화상의 보존에 대해서는, 재생 화상의 재생을 행하면서 보존 처리를 행해도 된다. 이 경우에는, 보존되는 재생 동영상을 확인하면서 보존 처리를 행하기 때문에, 의도하지 않는 상태의 재생 화상이 보존되어 버리는 것을 방지할 수 있다.

또한, 재생 화상의 재생을 행하지 않고 보존 처리를 행해도 된다. 이 경우에는, 재생 화상의 재생 처리가 행해지지 않기 때문에, 처리를 행하는 장치(정보 처리 장치(150) 등)의 처리 부담의 경감이 도모되고, 각종 보정 처리와 재생 화상의 기억 처리의 효율화가 도모된다.

〈12. 정보 처리 장치의 기능 구성〉

정보 처리 장치(150)에 있어서, 동영상 재생 편집을 위한 애플리케이션 프로그램에 의해 실현되는 기능 구성을 도 42, 도 43에서 설명한다.

또한, 도 42, 도 43에 나타내는 각 블록은, 정보 처리 장치(150)가 도 21에 나타낸 CPU(151), ROM(152), RAM(153)으로서의 하드웨어 자원을 이용하여 소프트웨어에 의해 실장되는 기능(CPU(151)에 대해 실행되는 처리 기능)이다.

도 42에 나타내는 바와 같이 정보 처리 장치(150)는 동영상 재생 편집을 위한 기능으로서, 재생 편집 제어부(300), 기록 재생 처리부(301), 화상 보정 처리부(302), 표시 제어부(303), 조작 검지부(304)를 구비한다.

재생 편집 제어부(300)는 유저 조작에 따라 애플리케이션 프로그램의 동작을 진행시킬 수 있도록 각부를 제어하는 기능으로 하고 있다.

보정 기능에 관해서 재생 편집 제어부(300)는, 화상 보정 처리부(302)에 대해서 어안 왜곡 보정, 블러 보정, 중력 방향 보정의 각각에 대해 온/오프의 지시를 행한다. 또한, 이들 보정 기능에 관해서 재생 편집 제어부(300)는, 출력 좌표, 줌 배율, 출력 화상 사이즈, 팬 각, 틸트 각, 롤 각 등의 정보를 화상 보정 처리부(302)에 공급한다.

여기서 출력 좌표는 어안 화상으로부터 생성되는 중심 투영 화상 내의 좌표이다. 이 중심 투영 화상은 2차원 격자 상에 배열된 복수의 화소로 이루어진다. 또한, 중심 투영 화상에 있어서, 소정의 방향(예를 들면, 수평 방향)을 따라 늘어서는 화소로 이루어지는 배열은 행으로 불린다. 출력 좌표의 공급에 있어서는, 행의 각각이 순서대로 선택되고, 선택된 행 내의 화소의 좌표의 각각이 순서대로 출력 좌표로서 공급된다.

또한, 출력 화상 사이즈는, 중심 투영 화상의 사이즈이다. 줌 배율은, 출력 좌표 평면에 대한 출력 화상 사이즈의 비를 나타낸다. 이 출력 좌표 평면은, 어안 화상의 적어도 일부가 투시 투영에 의해 투영되는 직사각형의 투영면이며, 이 출력 좌표 평면을 줌 배율에 의해 확대한 화상이 중심 투영 화상으로서 생성된다. 팬 각, 틸트 각 및 롤 각에 대해서는 후술한다.

기록 재생 처리부(301)는, 도 21의 기억부(159)에 대한 기록 재생 액세스 처리를 행하거나 드라이브(161)에 대한 기록 재생 액세스 처리를 행하는 기능이다. 구체적으로는 기록 재생 처리부(301)는 촬상 장치(1)로부터 전송되어 기억부(159)에 기억되어 있는 화상 데이터나 자세 데이터의 독출이나, 기억부(159)로의 편집 후의 화상 데이터나 편집 정보 등의 기입을 위한 기록 재생 액세스를 행한다. 또한, 기록 재생 처리부(301)는 드라이브(161)를 거쳐, 메모리 카드(162)에 기억되어 있는 화상 데이터나 자세 데이터의 독출이나, 메모리 카드(162)로의 편집 후의 화상 데이터나 편집 정보 등의 기입을 위한 기록 재생 액세스를 행할 수 있다.

화상 보정 처리부(302)는, 기록 재생 처리부(301)가 기억 매체로부터 독출한 화상 데이터에 대해서 어안 왜곡 보정, 블러 보정, 중력 방향 유지 제어 등을 행할 수 있다. 자세하게는 도 43에서 후술한다.

표시 제어부(303)는 도 21의 디스플레이(156)에 있어서의 표시를 실행시키기 위한 처리로서 필요한 제어나 표시 데이터의 공급을 행하는 기능이다. 구체적으로는 도 36, 도 37에 나타내는 바와 같은 애플리케이션 화면(170)의 표시를 실행시키는 기능이다.

조작 검지부(304)는 키보드, 마우스, 혹은 터치 패널 등으로 이루어지는 도 21의 입력부(156)로부터의 조작을 검지하는 처리를 행한다. 구체적으로는 유저의 재생 조작이나 편집 조작을 검지하는 기능이 된다.

화상 보정 처리부(302)의 구성예를 도 43에 나타낸다.

화상 보정 처리부(302)는 프레임 메모리(320)를 갖는다. 기록 재생 처리부(301)의 기능에 의해 재생된 화상 데이터(입력 화상)의 각 프레임은 순차적으로 프레임 메모리(320)에 일시적으로 보유되면서 순차적으로 화상 변환부(321)에서 처리되어 간다.

화상 변환부(321)는 어안 화상을 중심 투영 화상으로 변환한다. 이 화상 변환부(321)는, 재생 편집 제어부(300)로부터 출력 좌표를 수취할 때마다, 그 출력 좌표에 대응하는 독출 좌표의 화소값을 프레임 메모리(320)으로부터 독출한다. 독출 좌표는 어안 화상 내의 좌표를 나타낸다.

그리고 화상 변환부(321)는 독출한 화소값을, 중심 투영 화상 내의 출력 좌표의 화소값으로서 화소 보간부(322)에 공급한다. 이에 의해, 어안 화상은 중심 투영 화상으로 변환된다.

화소 보간부(322)는, 중심 투영 화상에 있어서 화소를 필요에 따라서 보간한다. 예를 들면, 어안 화상의 일부 또는 전부를 확대할 때에, 화소 보간부(322)는, 필요한 화소를 서브 픽셀 정밀도로 구하여 보간한다. 이 보간에 있어서는, 바이리니어(bilinear) 보간 알고리즘, 바이큐빅(bicubic) 보간 알고리즘, 또는, Lanzos 보간 알고리즘 등의 알고리즘이 이용된다. 화소 보간부(322)는 화소를 보간한 중심 투영 화상을 출력 처리부(323)에 공급한다.

출력 처리부(323)는, OSD(On Screen Display) 처리, 마스크 프로세싱, 및, 화상 포맷 변환 처리 등을 필요에 따라서 중심 투영 화상에 대해서 실시한다. 출력 처리부(323)는, 처리 후의 중심 투영 화상을, 도 42의 표시 제어부(303)나 기록 재생 처리부(301)에 공급한다.

표시 제어부(303)는 출력 처리부(323)로부터의 화상 데이터를 표시 화상으로서 애플리케이션 화면(170)에 있어서의 화상 영역(171)에 표시시키는 제어를 행하게 된다.

또한, 유저가 기록을 요구하는 조작을 실시한 경우, 기록 재생 처리부(301)는 출력 처리부(323)로부터의 화상 데이터를 기록하는 화상으로서, 도 21의 기억부(159)나 드라이브(161)에 공급하고, 기록시키는 제어를 행하게 된다.

또한, 재생 편집 제어부(300)로부터 어안 왜곡 보정이 오프로 지시되어 있을 때는, 화상 변환부(321)는 프레임 메모리(320)에 일시 기억된 화상 데이터(입력 화상)를 그대로 화소 보간부(322)에 전송한다. 이 경우, 어안 화상이 표시되거나 기록되게 된다.

어안 왜곡 보정을 위해 출력 좌표에 대응하는 독출 좌표를 구하기 위해, 좌표 정규화부(351), 회전 행렬 연산부(352), 투시 투영 변환부(353), 독출 좌표 출력부(354)가 설치된다.

이들 구성에 의해, 출력 좌표가 공급될 때마다, 출력 좌표가 대응하는 독출 좌표로 변환되어 화상 변환부(321)에 공급된다.

여기서 가상 구면(202)과 어안 화상(201)의 대응을 설명해 둔다.

도 44에 나타내는 바와 같이, 어안 화상(201)을 포함하는 입력 화상(200)에 평행한 소정의 축을 x축으로 하고, 어안 화상(201)에 평행하며 x축에 직교하는 축을 y축으로 한다. 또한, 이들 x축 및 y축에 직교하는 축을 z축으로 한다. x축, y축 및 z축의 원점은, 예를 들면, 어안 화상(201)의 중심으로 한다. 그리고, 그 원점을 중심으로 하는 반구의 표면을 가상 구면(202)으로 한다. 가상 구면(202)은 어안 렌즈(21)를 이용한 촬상 장치(1)에 의해 촬상된 시야 범위를 나타낸다.

그 어안 화상(201)의 중심을 원점으로 하는 가상 구면(202)이 메시 형상으로 분할된다. 분할에 대해서는, 예를 들면, 가상 구면(202)의 위도 및 경도가 등간격으로 분할된다. 분할한 분할점(메시 교점)(203, 204)을, z축에 평행하게 어안 화상에 투영한 점의 좌표가 어안 화상 상의 좌표(205, 206)가 된다. 즉, 독출 좌표이다.

또한, 출력 화상과 가상 구면(202)의 대응은 다음과 같이 된다.

도 45의 A는 출력 좌표 평면(210)의 일례를 나타내고 있다.

이러한 직사각형의 출력 좌표 평면(210)이 어안 화상(201)에 대해 설정된다.

도 45의 B에 나타내는 바와 같이 출력 좌표 평면(210)은, 초기 상태에 있어서, 예를 들면, 그 중심이 어안 화상의 중심과 일치하고, 한편 가상 구면(202)과 접하는 위치에 배치된다.

좌표 정규화부(351)는, 이 도 45의 B에 나타내는 바와 같이, 출력 좌표 평면(210)을, 가상 구면(202)의 바로 위에 한가운데에서 접하도록 3차원 공간 상에 배치(정규화)한다.

이 경우, 좌표 정규화부(351)는 재생 편집 제어부(300)로부터 공급되는 줌 배율이나 출력 화상 사이즈에 기초하여 출력 좌표를 정규화한다. 예를 들면, 도 45의 A와 같이 중심 투영 화상의 수평 좌표를 0 내지 outh로 하고, 수직 좌표를 0 내지 outv로 하는 경우, outh 및 outv가 출력 화상 사이즈로서 공급된다.

좌표 정규화부(351)는, 예를 들면, 다음의 식에 의해 출력 좌표를 정규화한다.

상기 (수학식 1)에 있어서, min(A, B)는 A 및 B 중 값이 작은 쪽을 돌려주는 함수이다. 또한, 「zoom」은, 어안 화상(201)의 직경과 출력 좌표 평면(210)의 단변이 일치하고, 출력 좌표 평면(210)(즉, 투영면)을 가상 구면에 접하도록 배치했을 때의 배율을 「1」로 하는 줌 배율이다.

또한, xnorm, ynorm, znorm은 정규화한 x, y, z 좌표이다.

좌표 정규화부(351)는 정규화한 출력 좌표(xnorm, ynorm, znorm)를 회전 행렬 연산부(352)에 공급한다.

상기 (수학식 1)의 각 식에 의해, 출력 좌표는, 반경 1.0인 반구의 구면 상의 좌표로 정규화된다.

또한, 촬상 장치(1)는 어안 화상의 적어도 일부를 줌 배율에 의해 확대하고 있지만, 어안 화상의 적어도 일부를 축소해도 된다. 축소할 때에는, 제어부(150)는 줌 배율 「zoom」대신에 축소율을 공급한다. 이 경우, 상기 (수학식 1)에 있어서 「zoom」이 축소율로 치환된다.

회전 행렬 연산부(352)는, 도 46의 A와 같이, 출력 좌표 평면(210)을 회전 행렬 연산에 의해 회전시킨다. 이 회전 행렬 연산부(352)는 팬 각, 틸트 각 및 롤 각을 재생 편집 제어부(300)로부터 수취한다. 여기서, 팬 각은 출력 좌표를 x축 주위로 회전시키는 회전 각도이다. 또한, 틸트 각은 출력 좌표를 y축 주위로 회전시키는 회전 각도이며, 롤 각은 z축 주위로 회전시키는 회전 각도이다.

그리고 회전 행렬 연산부(352)는, 예를 들면, 다음의 식에 의해 회전 행렬 연산을 행한다.

상기 (수학식 2)에 있어서, 「Rt」는 틸트 각, 「Rr」는 롤 각, 「Rp」는 팬 각이다. 또한, (xrot, yrot, zrot)는 회전 후의 출력 좌표이다.

회전 행렬 연산부(352)는 이 출력 좌표(xrot, yrot, zrot)를 투시 투영 변환부(353)에 공급한다.

투시 투영 변환부(353)는 출력 좌표에 대해서 투시 투영 변환을 행한다.

도 46의 B와 같이, 출력 좌표 평면(210) 상을 천구 표면에 투시 투영한다(영역(211)). 즉, 출력 좌표로부터 천구의 중심을 향해 직선을 그었을 때에 구면과 교차하는 점을 구하게 된다. 각 좌표는 이하와 같이 계산된다.

(수학식 3)에 있어서, xsph, ysph, zsph는 출력 좌표를 가상 천구면의 표면 상의 좌표에 투영한 좌표이다. 또한, arctan2(y, x)는 (y, x) 및 원점을 잇는 직선과 x축이 이루는 각도를 돌려주는 함수이다. 또한, arccos는 사인 함수의 역함수를 나타낸다. 또한, Rx 및 Rz는 투영 투영 변환된 극좌표 표기의 출력 좌표 중 x축 및 z축에 대한 각도를 나타낸다.

투시 투영 변환부(353)는 투영 투영 변환한 출력 좌표(r, Rx, Rz) 중 (Rx, Rz)를 독출 좌표 출력부(300)에 공급한다. r은 극좌표계에 있어서의 반경을 나타낸다. r을 공급하지 않는 것은 r을 고정값(예를 들면, 「1」)으로 하고 있기 때문이다.

독출 좌표 출력부(354)는 출력 좌표를 독출 좌표로 변환하여 화상 변환부(321)에 출력한다. 예를 들면, 독출 좌표 출력부(354)는, 출력 좌표에 대응하는 독출 좌표를 기억한 어안 화상 왜곡 보정 테이블을 가지고 있고, 독출 좌표를 어안 화상 왜곡 보정 테이블에서 취득하여 출력하는 것이 생각된다.

어안 화상 왜곡 보정 테이블은, 어안 화상 내의 독출 좌표의 전부 또는 일부의 좌표를, 중심 투영 화상 내의 출력 좌표에 대응시켜 기억하고 있다. 일부 좌표를 기억하는 경우에 있어서, 출력 좌표에 대응하는 독출 좌표가 기억되어 있지 않은 경우는, 독출 좌표 출력부(354)는 보간 연산에 의해 독출 좌표를 산출하여 출력한다.

화상 변환부(321)가, 이상의 각부의 처리에 의해 얻어지는 독출 좌표를 이용하여 프레임 메모리(320)로부터 화소를 독출함으로써, 어안 왜곡 보정이 된 출력 화상을 얻을 수 있다. 예를 들면, 도 47의 A와 같은 입력 화상으로부터, 영역(211)을 컷아웃하여 도 47의 B와 같은 중심 투영 방식으로 한 출력 화상을 얻을 수 있다.

즉, 이상의 처리는, 출력 화상(2 차원)의 각 픽셀의 좌표가, 가상 구면(202) 상의 어디에 대응하는지를 산출하는 것과, 입력 화상(어안 화상(201))을 가상 구면(202) 상에 붙이는 것으로부터, 입력 화상과 출력 화상의 각 좌표 간의 대응 관계가 구해진다. 그리고 출력 화상에 대응하는 영역(211)에 상당하는 화소를 프레임 메모리(320)에 있어서의 입력 화상으로부터 독출(컷아웃)함으로써 어안 왜곡 보정이 된 출력 화상을 얻게 된다.

이어서, 상기와 같은 어안 왜곡 보정의 과정에서 행하는 블러 보정에 대해 설명한다.

블러 보정은, 출력 좌표 평면(210)을 회전 행렬 연산부(352)에서 회전 조작을 행할 때에, 자세 데이터(자이로 데이터)로부터 산출한 블러 보정 성분을 적용함으로써 실현된다.

가상 구면(202) 상의 영역(211)이 고정되어도, 각 프레임에 있어서 컷아웃되는 영역(어안 화상(201) 상의 영역)에 찍혀 있는 피사체 광경은 촬상 시의 블러에 의해 어긋난다. 따라서, 재생 화상으로부터 블러를 소거하려면, 블러에 의한 촬상 시야 방향의 어긋남의 반대로 컷아웃하는 영역을 시프트시키면 된다.

즉, 각 프레임에 있어서, 촬상 장치(1)의 자세의 변화를 소거하도록, 영역(211)을 시프트시키면 된다.

도 43에 있어서의 자세 데이터 연산부(343)는, 예를 들면 도 22에 나타낸 바와 같은 미분값 산출, 자이로 데이터의 샘플링 간격만큼의 갱신의 연산, 사원수의 놈 정규화 등의 연산을 행한다.

블러 보정 대응부(341)는 대상의 프레임에 대응하는 자세 데이터로부터 구한 값에 의해, 블러 보정을 위한 계수 R을 구하여, 회전 행렬 연산부(352)에 공급한다.

현재 프레임의 촬상 시의 촬상 장치(1)의 자세가, 초기 자세에 대해서, 벡터 u를 중심으로 θ만큼 회전한 것으로 한다.

이것을 소거하는 회전을 나타내는 사원수 q는 이하로 나타내진다.

이 사원수에 대응하는 회전 행렬 R은 다음과 같이 된다.

이 회전 행렬 R을 사용하여, 회전 행렬 연산부(352)에서 행하는 상기 (수학식 2)의 식을 이하의 (수학식 6)과 같이 변경함으로써 어안 왜곡 보정과 블러 보정을 동시에 행할 수 있다.

또한, 이상의 블러 보정에 대해서는, 시야 변동의 대소를 판정하여 보정을 실시하도록 하는 것이 적합하다. 예를 들면, 촬상 장치(1)가 진동에 의해 흔들렸는지, 유저가 신체의 방향을 바꾸었는지를, 블러량의 대소로 판정한다. 예를 들면, 촬상 장치(1)를 장착하고 있는 신체의 방향을 바꾼 경우는, 그에 따라 촬상하고 있는 광경의 변화가 있는 편이 자연스럽다. 이에, 소정 이상의 블러량의 경우는 일시적으로 블러 보정을 행하지 않는다고 하는 것도 생각된다.

다음으로 중력 방향 보정에 대해 설명한다.

재생 표시되는 출력 화상은, 어안 화상(201)의 일부를 컷아웃한 것이기 때문에, 유저의 조작에 따라 컷아웃 위치를 변화시킴으로써, 재생 시에 있어서 화상의 시야 방향을 변화시킬 수 있다.

따라서, 재생 편집 제어부(300)는 유저의 조작(화면 상의 플릭(flick), 슬라이드 조작이나, 팬/틸트/롤의 아이콘 조작 등)에 따라, 회전 행렬 연산부(352)에 공급하는 팬 각, 틸트 각, 롤 각을 가변하면, 어안 화상(201)으로부터의 컷아웃 영역을 변경할 수 있다. 즉, 표시되고 있는 광경을, 좌우 방향이나 상하 방향의 광경으로 천이시킬 수 있고, 이에 의해 유저는 어안 화상(201)에 찍힌 범위의 피사체 광경을 임의로 볼 수 있다.

그런데, 유저의 조작에 단순하게 따라서 시야 방향을 변경해 나가면, 재생되고 있는 화상의 하방이 촬상될 때의 중력 방향과 불일치한 상태가 되기 쉽다.

예를 들면, 도 48의 B는 재생 표시되고 있는 광경이 중력에 대해서 기울어져 있는 모습을 나타내고 있다.

이것은 도 48의 A와 같이, 중력 방향 g가 y축 방향과 어긋나 있는 상태이다.

이에, 재생 중에 유저 조작에 의해 시야 변화를 행하더라도, 표시되는 재생 화상에 있어서 중력 방향이 어긋나지 않도록 하는 것이 중력 방향 보정이다.

구체적으로는,

· 중력 방향과 y축을 가지런히 한다

· 팬·틸트만의 회전으로 한다

라는 처리를 행한다. 이에 의해, 보정된 화상에서는, 항상 재생 화상의 아래방향이 연직 아래방향이 되도록 할 수 있다.

도 48의 C는 중력 방향 g와 y축 방향을 가지런히 한 상태를 나타내고 있다. 이에 의해 도 48의 D와 같이 중력 방향 g가 하방이 되는 재생 화상을 얻을 수 있다.

이 중력 방향 보정을 위해서는 도 43의 중력 방향 보정 대응부(342)가, 자세 데이터에 있어서의 가속도 데이터를 이용하여, 처리 대상의 프레임에 있어서의 중력 방향을 산출한다.

또한, 안정적으로 가속도의 방향을 구하기 위해, 확장 칼만 필터(extended Kalman filter) 등을 이용하여 S/N이 양호한 각속도 정보와 조합해도 된다.

그리고 중력 방향 보정 대응부(342)는 산출한 중력 방향 g의 정보를 회전 행렬 연산부(352)에 공급한다.

회전 행렬 연산부(352)는, 상기 (수학식 2) 또는 상기 (수학식 6)의 연산으로 회전 처리를 행할 때에, y축이 중력 방향 g에 일치하도록 제약을 건다.

상기 (수학식 2)의 연산으로 회전 처리를 행하는 경우에 y축이 중력 방향 g에 일치하도록 함으로써 어안 왜곡 보정과 중력 방향 보정이 행해지게 된다.

상기 (수학식 6)의 연산으로 회전 처리를 행하는 경우에 y축이 중력 방향 g에 일치하도록 함으로써 어안 왜곡 보정과 블러 보정과 중력 방향 보정이 행해지게 된다.

이상으로부터 이해되는 바와 같이, 도 43의 화상 보정 처리부(302)는, 화상 데이터를 중심 투영 방식의 화상으로 변환하는 왜곡 보정 처리를 행하는 왜곡 보정 처리부(390)를 구비한다. 즉, 좌표 정규화부(351), 회전 행렬 연산부(352), 투시 투영 변환부(353), 독출 좌표 출력부(354), 화상 변환부(321)가 왜곡 보정 처리부(390)로서 기능한다.

또한, 화상 보정 처리부(302)는, 화상 데이터의 각 프레임에 대응하는 촬상 장치의 자세 데이터를 이용하여 화상 데이터에 나타나는 상 블러를 저감하는 블러 보정 처리를 행하는 블러 보정 처리부(391)를 구비한다. 즉, 자세 데이터 연산부(391), 블러 보정 대응부(341), 회전 행렬 연산부(352)가 블러 보정 처리부(391)로서 기능한다.

또한, 화상 데이터의 각 프레임에 대응하는 촬상 장치(1)의 자세 데이터를 이용하여, 화상 데이터의 재생 표시 중에 시야 변경이 행해질 때에, 표시 화상 중에서 중력 방향을 일정하게 유지하도록 하는 중력 방향 보정 처리를 행하는 중력 방향 보정 처리부(392)를 구비한다. 즉, 자세 데이터 연산부(391), 중력 방향 보정 대응부(342), 회전 행렬 연산부(352)가 중력 방향 보정 처리부(392)로서 기능한다.

〈13. 정보 처리 장치에 의한 처리예〉

정보 처리 장치(150)에 있어서 애플리케이션 프로그램에 의해 실현되는 처리예를 설명한다.

도 49, 도 50은 정보 처리 장치(150)에 있어서 도 42의 기능 구성에 의해 도 21의 CPU(151)로 실행되는 재생 시의 처리예를 나타내고 있다. 예를 들면, 도 36 또는 도 37에서 나타낸 애플리케이션 화면(170) 상에서 화상 재생을 행하는 경우의 처리이다.

여기에서는 동영상(통상 동영상 또는 타임 랩스 동영상)의 재생을 행하는 예로 설명한다.

CPU(151)는 도 49, 도 50의 단계(S700, S710, S720, S730, S740, S750, S760, S770, S780, S790)에서 각종 트리거를 감시하고 있다.

또한, 도 49의 「P1」은 도 50의 「P1」로 이어진다. 또한, 도 50의 「P2」는 도 49의 「P2」로 이어진다.

예를 들면, 유저가 재생 조작을 행한 것을 검지하면 CPU(151)는 단계(S700)로부터 단계(S701)로 진행되어, 화상 재생을 개시하는 제어를 행한다.

또한, 단계(S702)에서 CPU(151)는 재생 동영상에 중첩하여 보정 조작자가 표시되도록 한다. 여기서 말하는 보정 조작자란, 도 40, 도 41 등에 나타낸 어안 왜곡 보정 버튼(172), 블러 보정 버튼(173), 중력 방향 보정 버튼(174)의 것이다.

이 단계(S701, S702)의 제어에 의해, 예를 들면 도 40의 A와 같은 동영상 재생이 개시된다. 또한, 재생 개시 시에, 이미 어안 왜곡 보정이 가해진 동영상이 재생되도록 해도 되고, 나아가 블러 보정이나 중력 방향 보정이 유효하게 되어 있어도 된다.

또한, 동일한 동영상이 과거에 재생되고 있었던 경우, 전회의 재생 시의 마지막 보정 온/오프 상태가 유지되어 재생 개시되어도 된다. 보정 온/오프 상태란, 어안 왜곡 보정, 블러 보정, 중력 방향 보정의 각각이 기능 온으로 되어 있는지, 기능 오프로 되어 있는지의 상태의 것이다.

유저가 재생 정지 조작을 행한 경우나, 동영상 재생이 마지막 프레임에 이르렀을 경우 등으로서, 재생 종료의 트리거를 인식한 경우, CPU(151)는 단계(S710)로부터 단계(S711)로 진행되어 재생 정지 제어를 행한다. 이에 의해 동영상 재생이 정지된다.

또한, CPU(151)는 단계(S712)에서 보정 조작자의 화상 상에서의 표시를 종료시킨다.

또한, CPU(151)는 단계(S713)에서 그 재생 종료 시점에서의 보정 온/오프 상태를 해당 동영상 컨텐츠에 대응시켜, 예를 들면 기억부(159)에 기억한다. 이 처리에 의해, 이전의 단계(S701)에서 동영상 재생을 개시시킬 때에, 전회의 재생 종료시의 보정 온/오프 상태로 재생을 행할 수 있다.

동영상 재생중에 어안 왜곡 보정 버튼(172)이 온 조작된 것을 검지한 경우, CPU(151)는 단계(S720)로부터 단계(S721)로 진행되어 어안 왜곡 보정을 개시한다. 또한, 단계(S722)에서 표시 중의 어안 왜곡 보정 버튼(172)을 오프 조작자로 하는 처리를 행한다. 이에 의해 재생중의 동영상은 예를 들면 도 40의 B와 같은 표시 상태가 된다.

단계(S723)에서 CPU(151)는 어안 왜곡 보정 개시 위치로서의 마킹 처리를 실시한다.

마킹 처리란, 예를 들면 재생중의 동영상 컨텐츠에 대응하는 마킹 정보로서 프레임 넘버(시/분/초/프레임)를 기억하는 처리이다. 예를 들면, 어안 왜곡 보정 개시 위치, 어안 왜곡 보정 종료 위치, 블러 보정 개시 위치, 블러 보정 종료 위치의 프레임 넘버를 순서대로 마킹 정보로서 기억한다. CPU(151)는 이러한 마킹 정보를, 예를 들면 기억부(159)에 대해 동영상 컨텐츠에 대응하는 정보로서 기억한다.

동영상 재생중에 어안 왜곡 보정 버튼(172)이 오프 조작된 것을 검지한 경우, CPU(151)는 단계(S730)로부터 단계(S731)로 진행되어 어안 왜곡 보정을 종료시킨다. 또한, 단계(S732)에서 표시 중의 어안 왜곡 보정 버튼(172)을 온 조작자로 하는 처리를 실시한다. 이에 의해 재생중의 동영상은, 예를 들면 도 40의 A와 같은 표시 상태가 된다.

단계(S733)에서 CPU(151)는 어안 왜곡 보정 종료 위치로서의 마킹 처리를 행한다.

동영상 재생중에 블러 보정 버튼(173)이 온 조작된 것을 검지한 경우, CPU(151)는 단계(S740)로부터 단계(S741)로 진행되어, 현재, 어안 왜곡 보정중인지 아닌지를 확인한다. 어안 왜곡 보정중이 아니면 블러 보정 버튼(173)의 온 조작을 무효로 한다(S741→NO).

현재, 어안 왜곡 보정중이면 CPU(151)는 단계(S742)로 진행되어 블러 보정을 개시한다. 또한, 단계(S743)에서 표시 중의 블러 보정 버튼(173)을 오프 조작자로 하는 처리를 행한다. 이에 의해 재생중의 동영상은, 예를 들면 도 41의 A와 같은 표시 상태가 된다.

단계(S744)에서 CPU(151)는 블러 보정 개시 위치로서의 마킹 처리를 행한다.

또한, 여기에서는 어안 왜곡 보정중이 아니면 블러 보정 버튼(173)의 온 조작을 무효로 했지만, 어안 왜곡 보정중이 아닐 때에 블러 보정 버튼(173)의 온 조작이 행해지면, 어안 왜곡 보정과 블러 보정을 모두 개시시키도록 해도 된다.

동영상 재생중에 블러 보정 버튼(173)이 오프 조작된 것을 검지한 경우, CPU(151)는 도 50의 단계(S750)로부터 단계(S751)로 진행되어 블러 보정을 종료한다. 또한, 단계(S752)에서 표시 중의 블러 보정 버튼(173)을 온 조작자로 하는 처리를 행한다. 이에 의해 재생중의 동영상은, 예를 들면 도 40의 B와 같은 표시 상태가 된다.

단계(S753)에서 CPU(151)는 블러 보정 종료 위치로서의 마킹 처리를 행한다.

동영상 재생중에 중력 방향 보정 버튼(174)이 온 조작된 것을 검지한 경우, CPU(151)는 단계(S760)로부터 단계(S761)로 진행되어, 현재, 어안 왜곡 보정중인지 아닌지를 확인한다. 어안 왜곡 보정중이 아니면 중력 방향 보정 버튼(174)의 온 조작을 무효로 한다(S761→NO).

현재, 어안 왜곡 보정중이면 CPU(151)는 단계(S762)로 진행되어 중력 방향 보정을 개시한다. 또한, 단계(S763)에서 표시 중의 중력 방향 보정 버튼(174)을 오프 조작자로 하는 처리를 행한다. 이에 의해 재생중의 동영상은, 예를 들면 도 41의 B와 같은 표시 상태가 된다.

또한, 여기에서는 어안 왜곡 보정중이 아니면 중력 방향 보정 버튼(174)의 온 조작을 무효로 했지만, 어안 왜곡 보정중이 아닐 때에 중력 방향 보정 버튼(174)의 온 조작이 행해지면, 어안 왜곡 보정을 개시한 후에 중력 방향 보정을 온으로 해도 된다.

동영상 재생중에 중력 방향 보정 버튼(174)이 오프 조작된 것을 검지한 경우, CPU(151)는 단계(S770)로부터 단계(S771)로 진행되어 중력 방향 보정을 오프로 한다. 또한, 단계(S772)에서 표시 중의 중력 방향 보정 버튼(174)을 온 조작자로 하는 처리를 행한다. 이에 의해 재생중의 동영상은, 예를 들면 도 40의 B 또는 도 41의 A와 같은 표시 상태가 된다.

동영상 재생중에 유저의 시야 변화 조작을 검지한 경우, CPU(151)는 단계(S780)로부터 단계(S781)로 진행되어, 현재, 중력 방향 보정이 온인지 아닌지에 따라 처리를 분기 한다. 중력 방향 보정이 오프일 때는 단계(S782)로 진행되어, 조작에 따른 팬 각, 틸트 각, 롤 각을 발생하여 출력 좌표 평면(210)을 회전시켜, 컷아웃 영역(211)을 변경한다.

중력 방향 보정이 온일 때는 단계(S783)로 진행되어, 조작에 따른 팬 각, 틸트 각, 롤 각에 대해 중력 방향 보정에 의한 제한을 가한 후에 출력 좌표 평면(210)을 회전시켜, 컷아웃 영역(211)을 변경한다. 이에 의해 상술한 바와 같이 시야 변경을 행하더라도 표시 상에서 중력 방향이 어긋나지 않게 한다.

동영상 재생중이나 재생 정지중에 유저의 기록 조작을 검지한 경우, CPU(151)는 단계(S790)로부터 단계(S791)의 기록 처리로 진행된다.

이 기록 조작은, 이상과 같이 재생되는 어안 화상의 동영상으로서의 화상 데이터를, 보정을 반영한 상태의 화상 데이터(보정 반영 후의 동영상 컨텐츠)로서 새롭게 기록하는 동작을 요구하는 것이다.

단계(S791)의 기록 처리의 예를 도 51에 나타낸다.

CPU(151)는 도 51의 단계(S801)에서 현재의 보정 온/오프 상태를 기록 처리용의 정보로서 설정한다.

현재의 보정 온/오프 상태란, 기록 조작을 행한 시점의 어안 왜곡 보정, 블러 보정, 중력 방향 보정의 각각의 온/오프 상태이다.

상기와 같이, 유저는 재생 동영상을 시청하면서 어안 왜곡 보정, 블러 보정, 중력 방향 보정을 임의로 온/오프시킬 수 있다. 이에 의해, 각 보정을 실시한 표시 상태를 확인할 수 있다. 즉, 시청하고 있는 동영상에 대해, 어느 보정을 유효하게 하는 것을 바라는지를 유저가 확인할 수 있다.

이에, 본 실시 형태에서는, 예를 들면 어안 왜곡 보정만이 행해진 동영상 컨텐츠를 원한 경우는, 유저는 재생 시에 어안 왜곡 보정만 온으로 한 상태에서, 기록 조작을 행하면 되도록 한다. 마찬가지로, 예를 들면 어안 왜곡 보정과 블러 보정이 행해진 동영상 컨텐츠를 원한 경우는, 유저는 재생 시에 어안 왜곡 보정만과 블러 보정을 온으로 한 상태에서, 기록 조작을 행하면 된다.

또한, 현재의 보정 온/오프 상태는, 그 기록 조작 시에 유저가 선택할 수 있도록 해도 된다. 예를 들면, 지금까지의 재생에 의해 어안 왜곡 보정과 블러 보정의 양쪽 모두를 행하는 것이 유효라고 생각한 유저가, 기록 조작 시에, 어안 왜곡 보정과 블러 보정의 양쪽 모두를 행하는 것을 선택한다. 이 경우 CPU(151)는, 유저의 조작에 기초하여 단계(S801)에서, 현재의 보정 온/오프 상태를 기록 처리용의 정보로서 설정한다.

또한, 직전의 재생과는 관계없이 유저가 화상 데이터(동영상 컨텐츠)를 선택하고, 그것을 대상으로 하여 기록 조작을 행하는 것도 생각된다. 그 경우는, 해당 화상 데이터의 마지막 재생 시의 보정 온/오프 상태를 단계(S801)에서 현재의 보정 온/오프 상태로 해도 되고, 화상 데이터 선택과 함께 보정 온/오프 상태를 유저가 선택 가능하게 해도 된다.

단계(S802)에서 CPU(151)는, 지금까지 재생 대상으로 하고 있던 화상 데이터, 혹은 별도 기록 조작 시에 지정한 화상 데이터에 대해, 선두 프레임으로부터의 재생 및 보정을 개시한다. 나아가, 단계(S803)에서 보정 후의 프레임에 대해 기록을 개시한다.

즉, 원래의 어안 화상(201)에 의한 화상 데이터에 대해, 필요한 보정이 실시된 새로운 화상 데이터로서의 동영상 컨텐츠를 작성하게 된다.

또한, 보존되는 재생 동영상을 확인하면서 보존 처리를 행하기 때문에, 의도하지 않는 보정 상태의 재생 화상이 보존되어 버리는 것을 방지할 수 있다.

또한, 단계(S802, S803)의 동영상 재생/보정/기록은, 통상의 시청 상태의 재생 속도와 동일하게 행해도 되지만(1배속에서의 재생 및 기록), 고속 재생/기록을 행하여 단시간에 완료하도록 해도 된다.

CPU(151)는 단계(S804)에서 재생/기록이 마지막 프레임에 이르렀는지 아닌지를 확인하고, 종료하면 단계(S805)에서 재생/기록을 종료시킨다.

또한, 동영상 재생을 행하지 않고 보정 처리 및 기억 처리만을 실행해도 된다. 이 경우에는, 동영상의 재생 처리가 행해지지 않기 때문에, CPU(151)의 처리 부담의 경감이 도모되고, 각종 보정 처리와 재생 화상의 기억 처리의 효율화가 도모된다.

이에 의해, 유저는 촬상 장치(1)로 촬상한 화상 데이터를 정보 처리 장치(150)에 있어서 동영상 재생시켜, 그 때에, 어안 왜곡 보정, 블러 보정, 중력 방향 보정이 실시된 상태를 확인하고, 임의의 보정 상태를 지정하여 보정이 실시된 상태의 화상 데이터를 생성할 수 있도록 된다.

예를 들면, 촬상 장치(1)를 이용하여 움직임이 격렬한 상태에서 촬상한 화상 데이터는, 블러가 큰 어안 화상의 동영상이다. 이것을 재생 동영상으로 확인하고, 어안 왜곡 보정이나 블러 보정을 행한 화상이 좋다고 생각된 경우는, 해당 기록 조작에 의해, 어안 왜곡 보정이 실시되고, 또한 블러가 저감된 동영상으로서의 새로운 화상 데이터를 얻을 수 있다.

다음으로, 도 52는 단계(S791)의 기록 처리로서의 다른 예를 나타내고 있다. 이것은 마킹 정보를 이용하는 예이다.

CPU(151)는 도 52의 단계(S850)에서, 해당 대상의 화상 데이터에 대한 마킹 정보를 취득한다. 즉, 해당 화상 데이터의 동영상 재생중에 유저가 어안 왜곡 보정이나 블러 보정에 대한 온/오프 조작을 행한 프레임 위치의 정보이다.

단계(S851)에서 CPU(151)는, 마킹 정보에 기초하여, 대상의 화상 데이터에 대한 어안 왜곡 보정이나 블러 보정을 행하는 구간을 설정하고, 온/오프의 전환 포인트로서의 프레임 위치를 설정한다.

구체적으로는 어안 왜곡 보정의 온 구간으로서의 개시 프레임/종료 프레임, 블러 보정의 온 구간으로서의 개시 프레임/종료 프레임을, 각각 마킹 정보에 기초하여 파악한다. 그리고 어안 왜곡 보정을 온으로 하는 프레임 위치, 오프로 하는 프레임 위치를 설정한다. 또한, 블러 보정을 온으로 하는 프레임 위치, 오프로 하는 프레임 위치를 설정한다. 물론 이들 전환 포인트는 제로인 경우도 있고, 1 또는 복수 포인트인 경우도 있다.

단계(S852)에서 CPU(151)는, 마킹 정보에 기초하여 파악한 보정 온/오프의 정보에 기초하여, 동영상의 선두에서의 온/오프 설정을 실시한다.

그리고 단계(S853)에서 CPU(151)는, 지금까지 재생 대상으로 하고 있던 화상 데이터, 혹은 별도 기록 조작 시에 지정한 화상 데이터에 대해, 선두 프레임으로부터의 재생 및 보정을 개시한다. 나아가, 단계(S854)에서 보정 후의 프레임에 대해 기록을 개시한다. 즉, 원래의 어안 화상(201)에 의한 화상 데이터에 대해, 필요한 보정이 실시된 새로운 화상 데이터로서의 동영상 컨텐츠를 작성해 나간다.

단계(S855)에서 CPU(151)는, 먼저 설정한 전환 포인트로 되었는지를 감시하고 있다. 재생의 진행이 전환 포인트에 이르렀을 때에는, CPU(151)는 단계(S856)로 진행되어, 그 전환 포인트에 따른 어안 왜곡 보정의 온 또는 오프, 혹은 블러 보정의 온 또는 오프를 행한다.

이에 의해 전환 포인트의 전후로 어안 왜곡 보정 또는 블러 보정의 실행 상태가 변화된다.

CPU(151)는 단계(S857)에서 재생/기록이 마지막 프레임에 이르렀는지 아닌지를 확인하고, 종료하면 단계(S858)에서 재생/기록을 종료시킨다.

또한, 단계(S853, S854)의 동영상 재생/보정/기록은, 통상의 시청 상태의 재생 속도와 동일하게 행해도 되지만(1배속에서의 재생 및 기록), 고속 재생/기록을 행하여 단시간에 완료하도록 해도 된다.

이 도 52의 기록 처리에 의해, 유저는 촬상 장치(1)로 촬상한 화상 데이터를 정보 처리 장치(150)에 있어서 동영상 재생시켜, 그 때에, 어안 왜곡 보정, 블러 보정을 임의로 온/오프해 나가면, 그 재생 시의 보정 온/오프가 반영된 상태의 동영상 컨텐츠가 생성되게 된다.

따라서, 예를 들면 동영상의 어떤 구간을 어안 왜곡 보정 오프로 한 경우, 기록되는 동영상에서도 그 구간은 어안 왜곡 보정이 실시되지 않은, 어안 화상의 동영상이 된다. 또한, 어떤 구간만 어안 왜곡 보정 및 블러 보정을 온으로 한 경우, 그 구간은 블러가 저감된 중심 투영 방식의 동영상이 된다. 이에 의해, 유저는 임의로 어안 왜곡 보정의 온/오프를 설정하고, 또한 블러 보정의 온/오프를 설정하고, 그 설정이 반영된 동영상 컨텐츠를 작성할 수 있다.

또한, 도 49, 도 50과 같이 마킹 처리가 행해지지만, 마킹 정보는 유저의 조작에 의해 변경 가능(프레임 위치 조정 가능)하게 하면 적합하다.

예를 들면, 재생 동영상을 보면서 보정 온/오프를 대략적으로 설정해 나가고, 기록 전에 마킹 정보를 조정하고, 어안 왜곡 보정, 블러 보정을 행하는 구간, 행해지지 않은 구간을 조정할 수 있도록 하면, 소망하는 동영상을 용이하게 생성할 수 있다.

또한, 동영상 내에 있어서 중력 방향 보정을 유효화하는 구간을 설정할 수 있도록 해도 된다.

예를 들면, 기록되는 동영상에 대해, 중력 방향 보정의 구간 정보를 부가함으로써, 그 재생 시에 시야 변경 조작을 행하더라도 중력 방향이 어긋나지 않게 하는 동영상을 생성할 수 있도록 한다.

이러한 구간 설정을 위해, 예를 들면 도 50의 단계(S762)에서 중력 방향 보정을 온으로 할 때나, 단계(S771)에서 중력 방향 보정을 오프로 할 때에, 마킹 처리를 행하는 것도 생각된다.

〈14. 정보 처리 장치의 요약〉

이상과 같이 실시 형태의 정보 처리 장치(150)는, 비중심 투영 방식의 상을 촬상한 동영상인 화상 데이터를 중심 투영 방식의 화상으로 변환하는 왜곡 보정 처리를 행하는 왜곡 보정 처리부(390)와, 왜곡 보정 처리가 행해진 화상 데이터에 대해, 촬상 장치(1)의 자세 데이터를 이용하여 화상 데이터에 나타나는 상 블러를 저감하는 블러 보정 처리를 행하는 블러 보정 처리부(391)를 구비한다.

이에 의해 비중심 투영 방식의 상을 촬상한 동영상인 화상 데이터의 재생이나 편집 시에, 왜곡 보정 및 블러 보정을 실시한 상태를 용이하게 확인할 수 있는 환경을 유저에게 제공할 수 있다. 특히 블러 보정은 왜곡 보정된 화상 데이터에 대해서 행함으로써, 보기 쉬운 상태로 블러 보정 후의 동영상을 제공할 수 있다.

또한, 실시 형태의 정보 처리 장치(150)는, 왜곡 보정 처리부(390)와 블러 보정 처리부(391)와 왜곡 보정 처리부(390)에 의한 왜곡 보정 처리의 실행/정지, 및 블러 보정 처리부(391)에 의한 블러 보정 처리의 실행/정지를 제어하는 재생 편집 제어부(300)를 구비한다.

재생하는 화상 데이터는, 비중심 투영 방식의 상의 동영상으로서 넓은 시야 범위의 광경을 커버하는 화상이다. 이 경우에 어안 왜곡 보정과 블러 보정을 각각 임의로 가능하게 함으로써, 다양하고 품질이 높은 표시를 유저에게 제공할 수 있다.

그리고 비중심 투영 방식의 상을 촬상한 동영상인 화상 데이터의 재생이나 편집 시에, 어안 왜곡 보정이나 블러 보정을 실시한 상태를 용이하게 확인할 수 있는 환경을 유저에게 제공할 수 있기 때문에, 재생이나 편집에 적합하다.

실시 형태의 정보 처리 장치(150)는, 화상 데이터의 재생 표시 시에, 왜곡 보정 처리의 온(on) 및 오프(off)와, 블러 보정 처리의 온 및 오프를 제어하도록 하고 있다.

화상 데이터의 재생, 즉 동영상 재생을 행하고 있을 때, 왜곡 보정과 블러 보정을 각각 실행시키거나 보정 처리를 정지시키거나 한다.

이에 의해 유저는 재생 시에 어안 왜곡 보정이 행해지고 있는 상태와 행해지지 않은 상태를 재생 동영상 상에서 볼 수 있다. 또한, 유저는 블러 보정이 행해지고 있는 상태와 행해지지 않은 상태를 재생 동영상 상에서 볼 수 있다.

또한, 이에 의해 재생이나 편집 시에, 어안 왜곡 보정을 행하는 것이 적절한 동영상인지 아닌지, 블러 보정을 행하는 것이 적절한 동영상인지 아닌지를 확인할 수 있다.

실시 형태에서는, 화상 데이터의 재생 표시 시에, 어안 왜곡 보정 버튼(172)을 조작 가능하게 하고, 그 조작 정보에 따라 어안 왜곡 보정 처리의 온 및 오프를 제어하도록 하고 있다.

이에 의해 유저는 재생 화상을 보면서 실시간으로 임의로 어안 왜곡 보정을 기능시키거나 정지시키거나 할 수 있다. 특히 동영상 내의 장면마다 어안 왜곡 보정을 하면 어떠한 화상이 될지를 시험할 수 있다.

실시 형태에서는, 화상 데이터의 재생 표시 시에, 블러 보정 버튼(173)을 조작 가능하게 하고, 그 조작 정보에 따라 블러 보정 처리의 온 및 오프를 제어하도록 하고 있다.

이에 의해 유저는 재생 화상을 보면서 실시간으로 임의로 블러 보정을 기능시키거나 정지시키거나 할 수 있다. 특히 동영상 내의 장면마다 블러 보정을 하면 어떠한 화상이 될지를 시험할 수 있다.

실시 형태에서는, 화상 데이터의 재생 표시 시에, 어안 왜곡 보정 버튼(172)과 블러 보정 버튼(173)을 각각 독립적으로 조작 가능하게 하고 있다.

유저는 재생 화상을 보면서 실시간으로 임의로 어안 왜곡 보정과 블러 보정을 기능시키거나 정지시키거나 할 수 있다.

실시 형태에서는, 왜곡 보정 처리가 실행되고 있을 때에 블러 보정 처리의 실행을 가능하게 하고 있다. 즉, 어안 왜곡 보정 처리가 행해지지 않은 어안 화상을 출력하는 경우는 블러 보정을 기능시키지 않는다.

어안 왜곡 보정 상태의 화상에 있어서는 블러 보정은 유효한 한편, 어안 왜곡 보정을 하고 있지 않는 어안 화상의 경우, 블러 보정 효과는 정확하게 유저에게 인식되지 않는다. 이에, 어안 왜곡 보정을 행하고 있는 경우만 블러 보정을 실행 가능하게 한다.

또한, 상술한 바와 같이 블러 보정은 어안 왜곡 보정을 위한 출력 좌표 평면(210)의 회전 처리를 이용하여 행함으로써, 효율적인 기능 구성을 실현하고 있다. 이 경우, 블러 보정은 어안 왜곡 보정과 동시에 행하는 것이 적합하게 된다.

실시 형태에서는, 화상 데이터의 각 프레임에 대응하는 촬상 장치의 자세 데이터를 이용하여, 화상 데이터의 재생 표시 중에 시야 변경이 행해질 때에, 표시 화상 중에서 중력 방향을 일정하게 유지하도록 하는 중력 방향 보정 처리를 행하는 중력 방향 보정 처리부(392)를 구비하여, 재생 편집 제어부(300)는 중력 방향 보정 처리부(392)에 의한 중력 방향 보정 처리의 온 및 오프를 제어하도록 하고 있다.

화상 데이터의 재생 표시 시에, 유저 조작에 따라 시야 변경을 행할 수 있도록 한다. 이 경우에, 유저 조작대로 시야 변동을 행하고 있으면, 표시 화상 중의 중력 방향이 표시 화상의 하방에 일치하지 않게 되는 일이 생긴다. 이에, 표시 화상 중에서 중력 방향이 일정하게 유지되도록 한다. 이에 의해 시야 변경 조작을 행하더라도 보기 쉬운 상태를 유지할 수 있고, 양호한 재생 표시를 실현함과 함께 시야 변화 조작도 조작성이 양호한 것으로 할 수 있다.

실시 형태에서는, 화상 데이터의 재생 표시 시에, 중력 방향 보정 버튼(174)을 조작 가능하게 하고, 그 조작 정보에 따라 중력 방향 보정 처리의 온 및 오프를 제어하도록 하고 있다.

이에 의해 유저는 재생 화상을 보고 있을 때 임의로 중력 방향 보정을 기능시키거나 정지시키거나 할 수 있다.

실시 형태에서는, 화상 데이터의 재생 표시 시에, 왜곡 보정 조작자와 블러 보정 조작자와 중력 방향 보정 조작자를, 각각 독립적으로 조작 가능하게 하고 있다.

이에 의해 유저는 재생 화상을 보면서 실시간으로 임의로 왜곡 보정과 블러 보정과 중력 방향 보정을 기능시키거나 정지시키거나 할 수 있다.

실시 형태에서는, 어안 왜곡 보정 처리가 실행되고 있을 때에 중력 방향 보정 처리의 실행을 가능하게 하고 있다. 왜곡 보정 처리를 하지 않은 비중심 투영 방식의 화상을 출력하는 경우는 중력 방향 보정을 기능시키지 않는다.

어안 왜곡 보정을 하고 있지 않는 어안 화상의 경우, 중력 방향 보정의 효과는 정확하게 유저에게 인식되지 않는다. 이에, 어안 왜곡 보정을 행하고 있는 경우만 중력 방향 보정을 실행 가능하게 한다.

또한, 중력 방향 보정은 어안 왜곡 보정을 위한 출력 좌표 평면(210)의 회전 처리를 조정하여 행함으로써 효율적인 기능 구성을 실현하고 있다. 이 경우, 중력 방향 보정은 어안 왜곡 보정과 동시에 행하는 것이 적합하게 된다.

실시 형태에서는, 비중심 투영 방식의 상을 촬상한 동영상인 원래의 화상 데이터에 대해, 왜곡 보정 처리부(390)에 의한 왜곡 보정 처리와 블러 보정 처리부(391)에 의한 블러 보정 처리의 한쪽 또는 양쪽 모두를 실시한 화상 데이터를 생성하여 기록 매체에 기록시키는 제어를 행하도록 하고 있다(도 51, 도 52 참조).

즉, 비중심 투영 방식의 상의 동영상인 원래의 화상 데이터에 대해, 왜곡 보정 처리와 블러 보정 처리의 한쪽 또는 양쪽 모두를 실행시킨 동영상으로서의 새로운 화상 데이터를 생성하여, 이것을 기록한다. 이에 의해 유저는 어안 왜곡 보정과 블러 보정의 한쪽 또는 양쪽 모두를 실시한 화상 데이터(동영상 컨텐츠)를 용이하게 작성할 수 있다.

실시 형태에서는, 원래의 화상 데이터의 재생 시의 왜곡 보정 처리와 블러 보정 처리의 실행 유무의 정보에 따라, 기록 시의 왜곡 보정 처리와 블러 보정 처리의 온 및 오프를 설정하도록 하고 있다(도 51 참조).

원래의 화상 데이터의 재생 시에, 각 보정은 유저의 지시에 따라 온/오프된다. 그 재생 시의 유저 설정(각 보정의 실행 유무)에 따라 기록 시의 보정의 유무를 설정한다.

이에 의해 유저는 재생 화상에 있어서 채용하는 보정 처리를 결정하여 기록 조작함으로써, 소망하는 화상 데이터(동영상 컨텐츠)를 얻을 수 있다.

실시 형태에서는, 원래의 화상 데이터에 대한, 왜곡 보정 처리를 실행한 구간 및 블러 보정 처리를 실행한 구간을 나타내는 정보에 기초하여, 기록 시의 왜곡 보정 처리와 블러 보정 처리의 온 및 오프를 제어하도록 하고 있다(도 52 참조).

예를 들면, 원래의 화상 데이터의 재생 시에 왜곡 보정이나 블러 보정을 행한 구간을 나타내도록 마킹 정보를 부가한다. 기록 시에는, 이 마킹 정보를 이용하여 보정의 온/오프 제어를 행한다.

유저가 화상 재생중에 어안 왜곡 보정이나 블러 보정을 임의로 온/오프함으로써 마킹 정보가 부가된다. 이것을 이용함으로써, 동영상 중에서 어안 왜곡 보정을 행한 구간, 블러 보정을 행한 구간을 알 수 있다. 이에, 도 52의 예와 같이, 재생 시의 구간마다의 보정 유무에 따라 어안 왜곡 보정이나 블러 보정의 온/오프를 전환한다. 이에 의해 재생중에 설정한 보정 유무를 반영한 동영상 컨텐츠를 용이하게 생성할 수 있게 된다.

본 발명의 실시 형태의 프로그램은, 정보 처리 장치(150)의 CPU(151)에, 비중심 투영 방식의 상을 촬상한 동영상인 화상 데이터의 재생중에 어안 왜곡 보정 조작자(어안 왜곡 보정 버튼(172))와 블러 보정 조작자(블러 보정 버튼(173))를 조작 가능하게 하는 단계(S702, S722, S732, S743, S752)와, 동영상 재생중에 있어서 어안 왜곡 보정 조작자에 의한 보정 실행 지시의 조작이 행해지는 것에 따라 왜곡 보정 처리를 실시한 재생 표시가 실행되도록 하는 단계(S721)와, 동영상 재생중에 있어서 블러 보정 조작자에 의한 보정 실행 지시의 조작이 행해지는 것에 따라 블러 보정 처리를 실시한 재생 표시가 실행되도록 하는 단계(S742)를 실행시키는 프로그램이다.

구체적으로는, 도 49, 도 50, 도 51 또는 도 52의 처리를 CPU(151)에 실행시키는 프로그램이다.

이러한 프로그램에 의해 본 실시 형태의 정보 처리 장치(150)의 실현이 용이해진다.

그리고 이러한 프로그램은 컴퓨터 장치 등의 기기에 내장되어 있는 기록 매체나, CPU를 가지는 마이크로컴퓨터 내의 ROM 등에 미리 기억해 둘 수 있다. 혹은 또한, 반도체 메모리, 메모리 카드, 광 디스크, 광학 자기 디스크, 자기 디스크 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 격납(기억)해 둘 수 있다. 또한, 이러한 리무버블 기록 매체는, 이른바 패키지 소프트웨어로서 제공할 수 있다.

또한, 이러한 프로그램은 리무버블 기록 매체로부터 퍼스널 컴퓨터 등에 인스톨하는 것 외에, 다운로드 사이트로부터, LAN, 인터넷 등의 네트워크를 거쳐 다운로드할 수도 있다.

〈15. 응용예〉

본 개시에 관련되는 기술은 여러 가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은 수술실 시스템에 적용되어도 된다.

도 53은 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 전체 구성을 개략적으로 나타내는 도면이다. 도 53을 참조하면, 수술실 시스템(5100)은 수술실 내에 설치되는 장치군이 시청각 컨트롤러(AVController)(5107) 및 수술실 제어 장치(5109)를 거쳐 서로 제휴 가능하게 접속되는 것에 의해 구성된다.

수술실에는 여러 가지 장치가 설치될 수 있다. 도 53에서는, 일례로서 내시경 하 수술을 위한 각종의 장치군(5101)과, 수술실의 천정에 설치되고 시술자의 손 주변을 촬상하는 실링 카메라(ceiling camera)(5187)와, 수술실의 천정에 설치되고 수술실 전체의 모습을 촬상하는 수술실 카메라(5189)와, 복수의 표시 장치(5103A 내지 5103D)와, 레코더(5105)와, 환자 베드(5183)와, 조명(5191)을 도시하고 있다.

여기서, 이들 장치 중, 장치군(5101)은 후술하는 내시경 수술 시스템(5113)에 속하는 것이며, 내시경이나 해당 내시경에 의해 촬상된 화상을 표시하는 표시 장치 등으로 이루어진다. 내시경 수술 시스템(5113)에 속하는 각 장치는 의료용 기기라고도 호칭된다. 한편, 표시 장치(5103A 내지 5103D), 레코더(5105), 환자 베드(5183) 및 조명(5191)은, 내시경 수술 시스템(5113)과는 별개로, 예를 들면 수술실에 비치되어 있는 장치이다. 이들 내시경 수술 시스템(5113)에 속하지 않는 각 장치는 비의료용 기기라고도 호칭된다. 시청각 컨트롤러(5107) 및/또는 수술실 제어 장치(5109)는, 이들 의료기기 및 비의료기기의 동작을 서로 제휴하여 제어한다.

시청각 컨트롤러(5107)는, 의료기기 및 비의료기기에 있어서의 화상 표시에 관한 처리를 통괄적으로 제어한다. 구체적으로는, 수술실 시스템(5100)이 구비하는 장치 중, 장치군(5101), 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술 중에 표시해야 할 정보(이하, 표시 정보라고도 함)를 발신하는 기능을 가지는 장치(이하, 발신원의 장치라고도 호칭함)일 수 있다. 또한, 표시 장치(5103A 내지 5103D)는 표시 정보가 출력되는 장치(이하, 출력처의 장치라고도 호칭함)일 수 있다. 또한, 레코더(5105)는, 발신원의 장치 및 출력처의 장치의 쌍방에 해당하는 장치일 수 있다. 시청각 컨트롤러(5107)는, 발신원의 장치 및 출력처의 장치의 동작을 제어하고, 발신원의 장치로부터 표시 정보를 취득함과 함께, 해당 표시 정보를 출력처의 장치에 송신하고, 표시 또는 기록시키는 기능을 가진다. 또한, 표시 정보란, 수술중에 촬상된 각종의 화상이나, 수술에 관한 각종의 정보(예를 들면, 환자의 신체 정보나, 과거의 검사 결과, 시술방식에 대한 정보 등) 등이다.

구체적으로는, 시청각 컨트롤러(5107)에는, 장치군(5101)으로부터, 표시 정보로서, 내시경에 의해 촬상된 환자의 체강 내의 시술부의 화상에 대한 정보가 송신될 수 있다. 또한, 실링 카메라(5187)으로부터, 표시 정보로서, 해당 실링 카메라(5187)에 의해 촬상된 시술자의 손 주변의 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 카메라(5189)로부터, 표시 정보로서, 해당 수술실 카메라(5189)에 의해 촬상된 수술실 전체의 모습을 나타내는 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 시스템(5100)에 촬상 기능을 가지는 다른 장치가 존재하는 경우에는, 시청각 컨트롤러(5107)는, 표시 정보로서, 해당 다른 장치로부터도 해당 다른 장치에 의해 촬상된 화상에 대한 정보를 취득해도 된다.

혹은, 예를 들면, 레코더(5105)에는, 과거에 촬상된 이들 화상에 대한 정보가 시청각 컨트롤러(5107)에 의해 기록되어 있다. 시청각 컨트롤러(5107)는, 표시 정보로서, 레코더(5105)로부터 해당 과거에 촬상된 화상에 대한 정보를 취득할 수 있다. 또한, 레코더(5105)에는, 수술에 관한 각종의 정보도 사전에 기록되어 있어도 된다.

시청각 컨트롤러(5107)는, 출력처의 장치인 표시 장치(5103A 내지 5103D) 중 적어도 어느 하나에 취득한 표시 정보(즉, 수술 중에 촬영된 화상이나, 수술에 관한 각종의 정보)를 표시시킨다. 도시하는 예에서는, 표시 장치(5103A)는 수술실의 천정으로부터 매달려 설치되는 표시 장치이며, 표시 장치(5103B)는 수술실의 벽면에 설치되는 표시 장치이며, 표시 장치(5103C)는 수술실 내의 탁상에 설치되는 표시 장치이며, 표시 장치(5103D)는 표시 기능을 가지는 모바일 기기(예를 들면, 태블릿 PC(PersonalComputer))이다.

또한, 도 53에서는 도시를 생략하고 있지만, 수술실 시스템(5100)에는, 수술실의 외부의 장치가 포함되어도 된다. 수술실의 외부의 장치는, 예를 들면, 병원 내외에 구축된 네트워크에 접속되는 서버나, 의료 스탭이 이용하는 PC, 병원의 회의실에 설치되는 프로젝터 등일 수 있다. 이러한 외부 장치가 병원 밖에 있는 경우에는, 시청각 컨트롤러(5107)는 원격 의료를 위해, TV 회의 시스템 등을 거쳐, 다른 병원의 표시 장치에 표시 정보를 표시시킬 수도 있다.

수술실 제어 장치(5109)는, 비의료기기에 있어서의 화상 표시에 관한 처리 이외의 처리를 통괄적으로 제어한다. 예를 들면, 수술실 제어 장치(5109)는 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)의 구동을 제어한다.

수술실 시스템(5100)에는 집중 조작 패널(5111)이 설치되어 있어, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 시청각 컨트롤러(5107)에 대해서 화상 표시에 대한 지시를 주거나 수술실 제어 장치(5109)에 대해서 비의료기기의 동작에 대한 지시를 줄 수 있다. 집중 조작 패널(5111)은 표시 장치의 표시면 상에 터치 패널이 설치되어 구성된다.

도 54는 집중 조작 패널(5111)에 있어서의 조작 화면의 표시예를 나타내는 도면이다. 도 54에서는, 일례로서, 수술실 시스템(5100)에, 출력처의 장치로서 2개의 표시 장치가 설치되어 있는 경우에 대응하는 조작 화면을 나타내고 있다. 도 54를 참조하면, 조작 화면(5193)에는 발신원 선택 영역(5195)와 프리뷰 영역(5197)과 컨트롤 영역(5201)이 설치된다.

발신원 선택 영역(5195)에는, 수술실 시스템(5100)에 구비되는 발신원 장치와 해당 발신원 장치가 가지는 표시 정보를 나타내는 섬네일 화면(thumbnail screen)이 관련지어 표시된다. 유저는, 표시 장치에 표시시키고 싶은 표시 정보를, 발신원 선택 영역(5195)에 표시되어 있는 어느 발신원 장치로부터 선택할 수 있다.

프리뷰 영역(5197)에는, 출력처의 장치인 2개의 표시 장치(Monitor1, Monitor2)에 표시되는 화면의 프리뷰가 표시된다. 도시하는 예에서는, 1개의 표시 장치에 있어서 4개의 화상이 PinP 표시되어 있다. 해당 4개의 화상은, 발신원 선택 영역(5195)에 있어서 선택된 발신원 장치로부터 발신된 표시 정보에 대응하는 것이다. 4개의 화상 중, 1개는 메인 화상으로서 비교적 크게 표시되고, 나머지 3개는 서브 화상으로서 비교적 작게 표시된다. 유저는, 4개의 화상이 표시된 영역을 적절히 선택함으로써, 메인 화상과 서브 화상을 바꿔 넣을 수 있다. 또한, 4개의 화상이 표시되는 영역의 하부에는, 스테이터스(status) 표시 영역(5199)이 설치되어 있고, 해당 영역에 수술에 관한 스테이터스(예를 들면, 수술의 경과시간이나, 환자의 신체 정보 등)가 적절히 표시될 수 있다.

컨트롤 영역(5201)에는, 발신원의 장치에 대해서 조작을 행하기 위한 GUI(GraphicalUserInterface) 부품이 표시되는 발신원 조작 영역(5203)과, 출력처의 장치에 대해서 조작을 행하기 위한 GUI 부품이 표시되는 출력처 조작 영역(5205)이 설치된다. 도시하는 예에서는, 발신원 조작 영역(5203)에는, 촬상 기능을 가지는 발신원의 장치에 있어서의 카메라에 대해서 각종의 조작(팬, 틸트 및 줌)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는, 이들 GUI 부품을 적절히 선택함으로써, 발신원의 장치에 있어서의 카메라의 동작을 조작할 수 있다. 또한, 도시는 생략하고 있지만, 발신원 선택 영역(5195)에 있어서 선택되어 있는 발신원의 장치가 레코더인 경우(즉, 프리뷰 영역(5197)에 있어서, 레코더에 과거에 기록된 화상이 표시되어 있는 경우)에는, 발신원 조작 영역(5203)에는, 해당 화상의 재생, 재생 정지, 되감기, 빨리 감기 등의 조작을 행하기 위한 GUI 부품이 설치될 수 있다.

또한, 출력처 조작 영역(5205)에는, 출력처의 장치인 표시 장치에 있어서의 표시에 대한 각종의 조작(스왑(swap), 플립(flip), 색조정, 콘트라스트 조정, 2D 표시와 3D 표시의 전환)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는 이러한 GUI 부품을 적절히 선택함으로써, 표시 장치에 있어서의 표시를 조작할 수 있다.

또한, 집중 조작 패널(5111)에 표시되는 조작 화면은 도시하는 예로 한정되지 않고, 유저는, 집중 조작 패널(5111)을 거쳐, 수술실 시스템(5100)에 구비되는 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)에 의해 제어될 수 있는 각 장치에 대한 조작 입력이 가능해도 된다.

도 55는, 이상 설명한 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다. 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술실의 천정에 설치되고, 환자 베드(5183) 상의 환자(5185)의 환부에 대해서 처치를 행하는 시술자(의사)(5181)의 손 주변 및 수술실 전체의 모습을 촬영 가능하다. 실링 카메라(5187) 및 수술실 카메라(5189)에는, 배율 조정 기능, 초점 거리 조정 기능, 촬영 방향 조정 기능 등이 설치될 수 있다. 조명(5191)은, 수술실의 천정에 설치되고, 적어도 시술자(5181)의 손 주변을 조사한다. 조명(5191)은, 그 조사 광량, 조사광의 파장(색) 및 광의 조사 방향 등을 적절히 조정 가능해도 된다.

내시경 수술 시스템(5113), 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)은, 도 53에 나타내는 바와 같이, 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)(도 55에서는 도시하지 않음)를 거쳐 서로 제휴 가능하게 접속되어 있다. 수술실 내에는, 집중 조작 패널(5111)이 설치되어 있고, 상술한 것처럼, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 수술실 내에 존재하는 이들 장치를 적절히 조작하는 것이 가능하다.

이하, 내시경 수술 시스템(5113)의 구성에 대해 상세하게 설명한다. 도시하는 바와 같이, 내시경 수술 시스템(5113)은, 내시경(5115)과, 그 밖의 시술구(5131)와, 내시경(5115)을 지지하는 지지 암 장치(5141)와, 내시경 하 수술을 위한 각종의 장치가 탑재된 카트(5151)로 구성된다.

내시경 수술에서는, 복벽을 잘라 개복하는 대신에, 트로카(trocar)(5139a 내지 5139d)로 칭해지는 통 형상의 개구 기구가 복벽에 복수 천자(穿刺)된다. 그리고, 트로카(5139a 내지 5139d)로부터, 내시경(5115)의 경통(5117)이나, 그 밖의 시술구(5131)가 환자(5185)의 체강 내에 삽입된다. 도시하는 예에서는, 그 밖의 시술구(5131)로서, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)가, 환자(5185)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5135)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구이다. 다만, 도시하는 시술구(5131)는 어디까지나 일례이고, 시술구(5131)로서는, 예를 들면 섭자, 리트랙터(retractor) 등, 일반적으로 내시경 하 수술에 있어서 이용되는 각종의 시술구가 이용되어도 된다.

내시경(5115)에 의해 촬영된 환자(5185)의 체강 내의 시술부의 화상이, 표시 장치(5155)에 표시된다. 시술자(5181)는, 표시 장치(5155)에 표시된 시술부의 화상을 리얼 타임으로 보면서, 에너지 처치구(5135)나 겸자(5137)를 이용하여, 예를 들면 환부를 절제하는 등의 처치를 행한다. 또한, 도시는 생략하고 있으나, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)는, 수술 중에, 시술자(5181) 또는 조수 등에 의해 지지된다.

(지지 암 장치)

지지 암 장치(5141)는, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 관절부(5147a, 5147b, 5147c), 및 링크(5149a, 5149b)로 구성되어 있고, 암 제어 장치(5159)로부터의 제어에 의해 구동된다. 암부(5145)에 의해 내시경(5115)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5115)의 안정적인 위치의 고정이 실현될 수 있다.

(내시경)

내시경(5115)은, 선단으로부터 소정의 길이의 영역이 환자(5185)의 체강 내에 삽입되는 경통(5117)과, 경통(5117)의 기단에 접속되는 카메라 헤드(5119)로 구성된다. 도시하는 예에서는, 경성의 경통(5117)을 갖는 이른바 경성경으로 구성되는 내시경(5115)을 도시하고 있으나, 내시경(5115)은, 연성의 경통(5117)을 갖는 이른바 연성경으로 구성되어도 된다.

경통(5117)의 선단에는, 대물 렌즈가 삽입된 개구부가 설치되어 있다. 내시경(5115)에는 광원 장치(5157)가 접속되어 있고, 해당 광원 장치(5157)에 의해 생성된 광이, 경통(5117)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(5185)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(5115)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.

카메라 헤드(5119)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU：Camera　Control　Unit)(5153)에 송신된다. 또한, 카메라 헤드(5119)에는, 그 광학계를 적절히 구동시킴으로써, 배율 및 초점 거리를 조정하는 기능이 탑재된다.

또한, 예를 들면 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5119)에는 촬상 소자가 복수 설치되어도 된다. 이 경우, 경통(5117)의 내부에는, 해당 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수 계통 설치된다.

(카트에 탑재되는 각종의 장치)

CCU(5153)는, CPU(Central　Processing　Unit)나 GPU(Graphics　Processing　Unit) 등에 의해 구성되고, 내시경(5115) 및 표시 장치(5155)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5153)는, 카메라 헤드(5119)로부터 수취한 화상 신호에 대해서, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 행한다. CCU(5153)는, 해당 화상 처리를 행한 화상 신호를 표시 장치(5155)에 제공한다. 또한, CCU(5153)에는, 도 53에 나타내는 시청각 컨트롤러(5107)가 접속된다. CCU(5153)는, 화상 처리를 행한 화상 신호를 시청각 컨트롤러(5107)에도 제공한다. 또한, CCU(5153)는, 카메라 헤드(5119)에 대해서 제어 신호를 송신하고, 그 구동을 제어한다. 해당 제어 신호에는, 배율이나 초점 거리 등, 촬상 조건에 관한 정보가 포함될 수 있다. 해당 촬상 조건에 관한 정보는, 입력 장치(5161)를 거쳐 입력되어도 되고, 상술한 집중 조작 패널(5111)을 거쳐 입력되어도 된다.

표시 장치(5155)는, CCU(5153)로부터의 제어에 의해, 해당 CCU(5153)에 의해 화상 처리가 행해진 화상 신호에 기초하는 화상을 표시한다. 내시경(5115)이 예를 들면 4K(수평 화소수 3840 × 수직 화소수 2160) 또는 8K(수평 화소수 7680 × 수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우, 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5155)로서는, 각각에 대응하여, 고해상도의 표시가 가능한 것, 및/또는 3D 표시 가능한 것이 이용될 수 있다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5155)로서 55인치 이상의 사이즈의 것을 이용함으로써 더 몰입감이 얻어진다. 또한, 용도에 따라, 해상도, 사이즈가 다른 복수의 표시 장치(5155)가 설치되어도 된다.

광원 장치(5157)는, 예를 들면 LED(light　emitting　diode) 등의 광원으로 구성되고, 시술부를 촬영할 때의 조사광을 내시경(5115)에 공급한다.

암 제어 장치(5159)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써, 소정의 제어 방식에 따라 지지 암 장치(5141)의 암부(5145)의 구동을 제어한다.

입력 장치(5161)는, 내시경 수술 시스템(5113)에 대한 입력 인터페이스이다. 유저는, 입력 장치(5161)를 거쳐, 내시경 수술 시스템(5113)에 대해서 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 환자의 신체 정보나, 수술의 시술방식에 대한 정보 등, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 암부(5145)를 구동시키는 취지의 지시나, 내시경(5115)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시, 에너지 처치구(5135)를 구동시키는 취지의 지시 등을 입력한다.

입력 장치(5161)의 종류는 한정되지 않고, 입력 장치(5161)는 각종의 공지의 입력 장치이어도 된다. 입력 장치(5161)로는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5171) 및/또는 레버 등이 적용될 수 있다. 입력 장치(5161)로서 터치 패널이 이용되는 경우에는, 해당 터치 패널은 표시 장치(5155)의 표시면 상에 설치되어도 된다.

또는, 입력 장치(5161)는, 예를 들면 안경형 웨어러블 디바이스나 HMD(Head　Mounted　Display) 등의, 유저에 의해 장착되는 디바이스로서, 이들 디바이스에 의해 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 또한, 입력 장치(5161)는, 유저의 움직임을 검출 가능한 카메라를 포함하고, 해당 카메라에 의해 촬상된 영상으로부터 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 나아가, 입력 장치(5161)는, 유저의 소리를 수음 가능한 마이크로폰을 포함하고, 해당 마이크로폰을 거쳐 음성에 의해 각종의 입력이 행해진다. 이와 같이, 입력 장치(5161)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨으로써, 특히 청결역에 속하는 유저(예를 들면 시술자(5181))가, 불결역에 속하는 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 유저는, 소지하고 있는 시술구로부터 손을 떼지 않고 기기를 조작하는 것이 가능해지기 때문에, 유저의 편리성이 향상한다.

처치구 제어 장치(5163)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(5135)의 구동을 제어한다. 기복 장치(5165)는, 내시경(5115)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(5185)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(5133)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(5167)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5169)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.

이하, 내시경 수술 시스템(5113)에 있어서 특히 특징적인 구성에 대해, 더욱 상세하게 설명한다.

(지지 암 장치)

지지 암 장치(5141)는, 기대인 베이스부(5143)와, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 복수의 관절부(5147a, 5147b, 5147c)와, 관절부(5147b)에 의해 연결되는 복수의 링크(5149a, 5149b)로 구성되어 있지만, 도 55에서는, 간단하게 나타내기 위하여, 암부(5145)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5145)가 소망하는 자유도를 갖도록, 관절부(5147a 내지 5147c) 및 링크(5149a, 5149b)의 형상, 수 및 배치, 및 관절부(5147a 내지 5147c)의 회전축의 방향 등이 적절히 설정될 수 있다. 예를 들면, 암부(5145)는, 적합하게, 6 자유도 이상의 자유도를 갖도록 구성될 수 있다. 이에 의해, 암부(5145)의 가동 범위 내에 있어서 내시경(5115)을 자유롭게 이동시키는 것이 가능하게 되기 때문에, 소망하는 방향으로부터 내시경(5115)의 경통(5117)을 환자(5185)의 체강 내에 삽입하는 것이 가능하게 된다.

관절부(5147a 내지 5147c)에는 액추에이터가 설치되어 있고, 관절부(5147a 내지 5147c)는 해당 액추에이터의 구동에 의해 소정의 회전축 주위에 회전 가능하게 구성되어 있다. 해당 액추에이터의 구동이 암 제어 장치(5159)에 의해 제어됨으로써, 각 관절부(5147a 내지 5147c)의 회전 각도가 제어되고, 암부(5145)의 구동이 제어된다. 이에 의해, 내시경(5115)의 위치 및 자세의 제어가 실현될 수 있다. 이 때, 암 제어 장치(5159)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5145)의 구동을 제어할 수 있다.

예를 들면, 시술자(5181)가, 입력 장치(5161)(풋 스위치(5171)을 포함함)를 거쳐 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 암 제어 장치(5159)에 의해 암부(5145)의 구동이 적절히 제어되고, 내시경(5115)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 암부(5145)의 선단의 내시경(5115)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5145)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5145)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치(5161)를 거쳐 유저에 의해 원격 조작될 수 있다.

또한, 힘 제어가 적용되는 경우에는, 암 제어 장치(5159)는, 유저로부터의 외력을 받아, 그 외력에 따라 순조롭게 암부(5145)가 이동하도록, 각 관절부(5147a 내지 5147c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행해도 된다. 이에 의해, 유저가 직접 암부(5145)에 접하면서 암부(5145)를 이동시킬 때에, 비교적 가벼운 힘으로 해당 암부(5145)를 이동시킬 수 있다. 따라서, 보다 직감적으로, 보다 간이한 조작으로 내시경(5115)을 이동시키는 것이 가능해지고, 유저의 편리성을 향상시킬 수 있다.

여기서, 일반적으로, 내시경 하 수술에서는, 스코피스트(Scopist)로 불리는 의사에 의해 내시경(5115)이 지지되고 있었다. 이에 대해서, 지지 암 장치(5141)를 이용함으로써, 사람의 손에 의하지 않고 내시경(5115)의 위치를 보다 확실하게 고정하는 것이 가능하게 되기 때문에, 시술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활하게 행하는 것이 가능하게 된다.

또한, 암 제어 장치(5159)는 반드시 카트(5151)에 설치되지 않아도 된다. 또한, 암 제어 장치(5159)는 반드시 1개의 장치가 아니어도 된다. 예를 들면, 암 제어 장치(5159)는, 지지 암 장치(5141)의 암부(5145)의 각 관절부(5147a 내지 5147c)에 각각 설치되어도 되고, 복수의 암 제어 장치(5159)가 서로 협동함으로써, 암부(5145)의 구동 제어가 실현되어도 된다.

(광원 장치)

광원 장치(5157)는, 내시경(5115)으로 시술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5157)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성된다. 이 때, RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5157)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상으로 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.

또한, 광원 장치(5157)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.

또한, 광원 장치(5157)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow　Band　Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도 시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(5157)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.

(카메라 헤드 및 CCU)

도 56을 참조하여, 내시경(5115)의 카메라 헤드(5119) 및 CCU(5153)의 기능에 대해 보다 상세하게 설명한다. 도 56은 도 55에 나타내는 카메라 헤드(5119) 및 CCU(5153)의 기능 구성의 일례를 나타내는 블록도이다.

도 56을 참조하면, 카메라 헤드(5119)는, 그 기능으로서, 렌즈 유닛(5121)과, 촬상부(5123)와, 구동부(5125)와, 통신부(5127)와, 카메라 헤드 제어부(5129)를 갖는다. 또한, CCU(5153)는, 그 기능으로서, 통신부(5173)와, 화상 처리부(5175)와, 제어부(5177)를 갖는다. 카메라 헤드(5119)와 CCU(5153)는, 전송 케이블(5179)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.

우선, 카메라 헤드(5119)의 기능 구성에 대해 설명한다. 렌즈 유닛(5121)은, 경통(5117)과의 접속부에 설치되는 광학계이다. 경통(5117)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(5119)까지 도광되고, 해당 렌즈 유닛(5121)에 입사한다. 렌즈 유닛(5121)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5121)은, 촬상부(5123)의 촬상 소자의 촬상면 상에 관찰광을 집광하도록, 그 광학 특성이 조정되고 있다. 또한, 줌 렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축(J) 상의 위치가 이동 가능하도록 구성된다.

촬상부(5123)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5121)의 후단에 배치된다. 렌즈 유닛(5121)을 통과한 관찰광은, 해당 촬상 소자의 수광면에 집광되고, 광전 변환에 의해, 관찰상에 대응한 화상 신호가 생성된다. 촬상부(5123)에 의해 생성된 화상 신호는, 통신부(5127)에 제공된다.

촬상부(5123)를 구성하는 촬상 소자로는, 예를 들면 CMOS(Complementary　Metal　Oxide　Semiconductor) 타입의 이미지 센서로서, 베이어(Bayer) 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 해당 촬상 소자로는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 된다. 시술부의 화상이 고해상도로 얻어짐으로써, 시술자(5181)는, 해당 시술부의 모습을 보다 상세하게 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.

또한, 촬상부(5123)를 구성하는 촬상 소자는, 3D 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행해짐으로써, 시술자(5181)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(5123)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(5121)도 복수 계통 설치된다.

또한, 촬상부(5123)는, 반드시 카메라 헤드(5119)에 설치되지 않아도 된다. 예를 들면, 촬상부(5123)는, 경통(5117)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.

구동부(5125)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5129)로부터의 제어에 의해, 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 광축(J)에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5123)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.

통신부(5127)는, CCU(5153)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5127)는, 촬상부(5123)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5179)을 거쳐 CCU(5153)에 송신한다. 이 때, 시술부의 촬상 화상을 낮은 레이턴시(latency)로 표시하기 위하여, 해당 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술 시에는, 시술자(5181)가 촬상 화상에 의해 환부 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해, 시술부의 동화상이 가능한 한 리얼 타임에 표시되는 것이 요구되기 때문이다. 광통신이 행해지는 경우에는, 통신부(5127)에는, 전기 신호를 광신호로 변환하는 광전 변환 모듈이 설치된다. 화상 신호는 해당 광전 변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5179)을 거쳐 CCU(5153)에 송신된다.

또한, 통신부(5127)는, CCU(5153)로부터, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 수신한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5127)는, 수신한 제어 신호를 카메라 헤드 제어부(5129)에 제공한다. 또한, CCU(5153)로부터의 제어 신호도, 광통신에 의해 전송되어도 된다. 이 경우, 통신부(5127)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치되고, 제어 신호는 해당 광전 변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5129)에 제공된다.

또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 기초하여 CCU(5153)의 제어부(5177)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto　Exposure) 기능, AF(Auto　Focus) 기능, 및 AWB(Auto　White　Balance) 기능이 내시경(5115)에 탑재된다.

카메라 헤드 제어부(5129)는, 통신부(5127)를 거쳐 수신한 CCU(5153)로부터의 제어 신호에 기초하여, 카메라 헤드(5119)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상 시의 노광을 지정하는 취지의 정보에 기초하여, 촬상부(5123)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 기초하여, 구동부(5125)를 거쳐 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5129)는, 나아가, 경통(5117)이나 카메라 헤드(5119)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 된다.

또한, 렌즈 유닛(5121)이나 촬상부(5123) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5119)에 대해, 오토 클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.

다음으로, CCU(5153)의 기능 구성에 대해 설명한다. 통신부(5173)는, 카메라 헤드(5119)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5173)는, 카메라 헤드(5119)로부터, 전송 케이블(5179)을 거쳐 송신되는 화상 신호를 수신한다. 이 때, 상기와 같이, 해당 화상 신호는 적합하게 광통신에 의해 송신될 수 있다. 이 경우, 광통신에 대응하여, 통신부(5173)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치된다. 통신부(5173)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5175)에 제공한다.

또한, 통신부(5173)는, 카메라 헤드(5119)에 대해서, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 송신한다. 해당 제어 신호도 광통신에 의해 송신되어도 된다.

화상 처리부(5175)는, 카메라 헤드(5119)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다. 해당 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise　reduction) 처리 및/또는 손 블러 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5175)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.

화상 처리부(5175)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 해당 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 화상 처리나 검파 처리가 행해질 수 있다. 또한, 화상 처리부(5175)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5175)는, 화상 신호에 관련되는 정보를 적절히 분할하고, 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.

제어부(5177)는, 내시경(5115)에 의한 시술부의 촬상, 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5177)는, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 생성한다. 이 때, 촬상 조건이 유저에 의해 입력되어 있는 경우에는, 제어부(5177)는, 해당 유저에 의한 입력에 기초하여 제어 신호를 생성한다. 또는, 내시경(5115)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5177)는, 화상 처리부(5175)에 의한 검파 처리의 결과에 따라, 최적인 노출값, 초점 거리 및 화이트 밸런스를 적절히 산출하고, 제어 신호를 생성한다.

또한, 제어부(5177)는, 화상 처리부(5175)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(5155)에 표시시킨다. 이 때, 제어부(5177)는, 각종의 화상 인식 기술을 이용하여 시술부 화상 내에 있어서의 각종의 물체를 인식한다. 예를 들면, 제어부(5177)는, 시술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(5135) 사용 시의 미스트 등을 인식할 수 있다. 제어부(5177)는, 표시 장치(5155)에 시술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되어, 시술자(5181)에 제시됨으로써, 보다 안전하고 또한 확실하게 수술을 진행시키는 것이 가능하게 된다.

카메라 헤드(5119) 및 CCU(5153)를 접속하는 전송 케이블(5179)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광 파이버, 또는 이러한 복합 케이블이다.

여기서, 도시하는 예에서는, 전송 케이블(5179)을 이용하여 유선으로 통신이 행해지고 있었지만, 카메라 헤드(5119)와 CCU(5153)의 사이의 통신은 무선으로 행해져도 된다. 양자 사이의 통신이 무선으로 행해지는 경우에는, 전송 케이블(5179)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에 있어서의 의료 스탭의 이동이 해당 전송 케이블(5179)에 의해 방해할 수 있는 사태가 해소될 수 있다.

이상, 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 일례에 대해 설명했다. 또한, 여기에서는, 일례로서 수술실 시스템(5100)이 적용되는 의료용 시스템이 내시경 수술 시스템(5113)인 경우에 대해 설명했으나, 수술실 시스템(5100)의 구성은 관련된 예로 한정되지 않는다. 예를 들면, 수술실 시스템(5100)은, 내시경 수술 시스템(5113)에 대신하여, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 된다.

본 개시의 촬상 장치(1)에 관련되는 기술은, 이상 설명한 구성 중, 실링 카메라(5187)나 수술실 카메라(5189)에 대신하여, 혹은 이들과 함께 이용하는 것이 상정된다. 구체적으로는, 시술자나 어시스턴트가 촬상 장치(1)를 장착하여 수술 상황을 동영상으로서 기록해 나갈 수 있다. 또한, 촬상된 화상 데이터에 어안 왜곡 보정, 블러 보정을 적용함으로써 수술 상황을 보기 쉽게 제시하는 시스템으로 할 수 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니며, 또한 다른 효과가 있어도 된다.

〈16. 본 기술〉

본 기술은 이하와 같은 구성도 채용할 수 있다.

(1)

케이스와,

상기 케이스를 사용자의 경부에 장착하기 위한 부착부와,

상기 케이스의 하부에 설치되고 수평 방향보다 하방을 향하는 광축을 갖는 광학계를 구비한

촬상 장치.

(2)

상기 부착부는 상기 케이스의 상부에 설치된

상기 (1)에 기재된 촬상 장치.

(3)

상기 케이스의 후면부를 중력 방향을 따르게 한 상태에 있어서,

상기 광학계의 광축은 수평 방향보다 하방을 향하는 직선으로 된

상기 (1) 또는 (2) 중 어느 것에 기재된 촬상 장치.

(4)

수평 방향에 대한 상기 광축의 기울기는 약 10˚이상 약 50˚이하로 된

상기 (1) 내지 (3) 중 어느 것에 기재된 촬상 장치.

(5)

상기 케이스에 부착되는 스트랩을 구비하고,

상기 케이스는, 상기 스트랩에 의해 매달린 상태에 있어서 가로폭보다 세로폭이 큰 세로로 긴 형상으로 된

상기 (1) 내지 (4) 중 어느 것에 기재된 촬상 장치.

(6)

상기 케이스의 상면부에는 조작자가 설치되는

상기 (1) 내지 (5) 중 어느 것에 기재된 촬상 장치.

(7)

상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되는

상기 (1) 내지 (6) 중 어느 것에 기재된 촬상 장치.

(8)

상기 한쪽 측면부에 복수의 조작자가 설치되는

상기 (7)에 기재된 촬상 장치.

(9)

상기 케이스의 상면부에 조작자가 설치됨과 함께,

상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되는

상기 (1) 내지 (8) 중 어느 것에 기재된 촬상 장치.

(10)

상기 상면부의 조작자로서 정지 영상 촬상 기능의 조작자가 설치된

상기 (6) 또는 (9) 중 어느 것에 기재된 촬상 장치.

(11)

상기 상면부의 조작자로서 마커 기록 기능의 조작자가 설치된

상기 (6) 또는 (9) 중 어느 것에 기재된 촬상 장치.

(12)

상기 측면부의 조작자로서 동영상 촬상 기능의 조작자가 설치된

상기 (7) 내지 (9) 중 어느 것에 기재된 촬상 장치.

(13)

상기 측면부의 조작자로서 타임 랩스 동영상 촬상 기능의 조작자가 설치된

상기 (7) 내지 (9) 중 어느 것에 기재된 촬상 장치.

(14)

상기 부착부는 가이드부를 가지는 스트랩인

상기 (1) 내지 (13) 중 어느 것에 기재된 촬상 장치.

(15)

촬상 중인 것을 알리는 알림부를 구비한

상기 (1) 내지 (14) 중 어느 것에 기재된 촬상 장치.

(16)

상기 광학계를 덮는 것이 가능한 렌즈 커버를 구비한

상기 (1) 내지 (15) 중 어느 것에 기재된 촬상 장치.

(17)

촬상 중에 전원 전압의 저하를 통지하는 진동부를 구비한

상기 (1) 내지 (16) 중 어느 것에 기재된 촬상 장치.

(18)

상기 진동부는 상기 케이스 내에 설치된

상기 (1) 내지 (17) 중 어느 것에 기재된 촬상 장치.

(19)

상기 케이스에 부착되는 스트랩을 구비하고,

상기 진동부는 상기 스트랩에 설치된

상기 (17)에 기재된 촬상 장치.

(20)

상기 케이스의 상부 및 하부에 마이크로폰을 구비한

상기 (1) 내지 (19) 중 어느 것에 기재된 촬상 장치.

1: 촬상 장치
2: 케이스
3: 광학계
4: 스트랩
5: 전면부
6: 후면부
7: 측면부
8: 상면부
9: 하면부
10: 동영상 버튼
11: 타임 랩스 버튼
12: 펑션 버튼
13: 부착부
14: 알림부
20: 진동부
23: 수형 커넥터
25: 암형 커넥터
30: 마그넷
33: 가이드부
34: 마그넷
35: 마이크로폰
36: 렌즈 커버
100: 화상 데이터 생성부
101: 자세 데이터 생성부
112: 촬상 소자부
117: 기억부
118: 통신부
122: 제어부
126: 자이로 센서
127: 가속도 센서
129: 발광부
150: 정보 처리 장치
162: 메모리 카드
172: 어안 왜곡 보정 버튼
173: 블러 보정 버튼
174: 중력 방향 보정 버튼
390: 왜곡 보정 처리부
391: 블러 보정 처리부
392: 중력 방향 보정 처리부

Claims (20)

1. 케이스와,
   상기 케이스를 사용자의 경부에 장착하기 위한 부착부와,
   상기 케이스의 하부에 설치되고 수평 방향보다 하방을 향하는 광축을 갖는 광학계를 구비한 촬상 장치.
2. 제1항에 있어서,
   상기 부착부는 상기 케이스의 상부에 설치된 촬상 장치.
3. 제1항에 있어서,
   상기 케이스의 후면부를 중력 방향을 따르게 한 상태에서, 상기 광학계의 광축은 수평 방향보다 하방을 향하는 직선으로 된 촬상 장치.
4. 제1항에 있어서,
   수평 방향에 대한 상기 광축의 기울기는 약 10˚이상 약 50˚이하로 된 촬상 장치.
5. 제1항에 있어서,
   상기 케이스에 부착되는 스트랩을 구비하고,
   상기 케이스는, 상기 스트랩에 의해 매달린 상태에 있어서 가로폭보다 세로폭이 큰 세로로 긴 형상으로 된 촬상 장치.
6. 제1항에 있어서,
   상기 케이스의 상면부에는 조작자가 설치되는 촬상 장치.
7. 제1항에 있어서,
   상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되는 촬상 장치.
8. 제7항에 있어서,
   상기 한쪽 측면부에 복수의 조작자가 설치되는 촬상 장치.
9. 제1항에 있어서,
   상기 케이스의 상면부에 조작자가 설치됨과 함께, 상기 케이스의 우측면부 및 좌측면부 중 한쪽 측면부에만 조작자가 설치되는 촬상 장치.
10. 제6항에 있어서,
    상기 상면부의 조작자로서 정지 영상 촬상 기능의 조작자가 설치된 촬상 장치.
11. 제6항에 있어서,
    상기 상면부의 조작자로서 마커 기록 기능의 조작자가 설치된 촬상 장치.
12. 제7항에 있어서,
    상기 측면부의 조작자로서 동영상 촬상 기능의 조작자가 설치된 촬상 장치.
13. 제7항에 있어서,
    상기 측면부의 조작자로서 타임 랩스(time lapse) 동영상 촬상 기능의 조작자가 설치된 촬상 장치.
14. 제1항에 있어서,
    상기 부착부는 가이드부를 가지는 스트랩인 촬상 장치.
15. 제1항에 있어서,
    촬상 중인 것을 알리는 알림부를 구비한 촬상 장치.
16. 제1항에 있어서,
    상기 광학계를 덮는 것이 가능한 렌즈 커버를 구비한 촬상 장치.
17. 제1항에 있어서,
    촬상 중에 전원 전압의 저하를 통지하는 진동부를 구비한 촬상 장치.
18. 제17항에 있어서,
    상기 진동부는 상기 케이스 내에 설치된 촬상 장치.
19. 제17항에 있어서,
    상기 케이스에 부착되는 스트랩을 구비하고,
    상기 진동부는 상기 스트랩에 설치된 촬상 장치.
20. 제1항에 있어서,
    상기 케이스의 상부 및 하부에 마이크로폰을 구비한 촬상 장치.

Images