KR20190042485A - 촬상 장치 - Google Patents

촬상 장치 Download PDF

Info

Publication number
KR20190042485A
KR20190042485A KR1020187007747A KR20187007747A KR20190042485A KR 20190042485 A KR20190042485 A KR 20190042485A KR 1020187007747 A KR1020187007747 A KR 1020187007747A KR 20187007747 A KR20187007747 A KR 20187007747A KR 20190042485 A KR20190042485 A KR 20190042485A
Authority
KR
South Korea
Prior art keywords
camera
distance
light
distance measuring
measuring camera
Prior art date
Application number
KR1020187007747A
Other languages
English (en)
Other versions
KR102499586B1 (ko
Inventor
히데시 야마다
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190042485A publication Critical patent/KR20190042485A/ko
Application granted granted Critical
Publication of KR102499586B1 publication Critical patent/KR102499586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone

Abstract

투영광의 간섭을 피하면서, 복수의 거리측정 방식을 조합시켜서 거리측정 정밀도를 향상시킨다. 광원 투영부는, 강도 변조된 공간 패턴광을 투영한다. 광비행시간 거리측정 카메라는, 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 피사체와의 거리를 계측한다. 공간정보 거리측정 카메라는, 반사광에 포함되는 공간정보에 의거하여 피사체와의 거리를 계측한다. 뎁스 합성부는, 광비행시간 거리측정 카메라 및 공간정보 거리측정 카메라에서의 거리의 계측 결과를 합성하여 광비행시간 거리측정 카메라 또는 공간정보 거리측정 카메라에 의해 촬상된 화상의 각 화소 위치의 뎁스값을 결정한다.

Description

촬상 장치
본 기술은, 촬상 장치에 관한 것이다. 상세하게는, 피사체와의 거리를 계측하는 촬상 장치, 및, 이들에서의 처리 방법 및 당해 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.
근래의 촬상 장치에서는, 피사체의 화상 신호를 취득할 뿐만 아니라, 거리 정보를 화소 단위로 나타낸 뎁스 맵을 취득하는 기술이 사용되고 있다. 거리 정보를 취득하기 위한 기술로서, 예를 들면, 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간(光飛行時間)(ToF : Time of Flight)에 의거하여 거리를 계측하는 ToF 방식이나, 2개의 화상의 어긋남량(量)으로부터 거리를 계측하는 스테레오 방식이 알려져 있다. 이들의 거리 정보를 취득하기 위한 기술에는 일장일단이 있고, 예를 들면, 스테레오 방식에서는, 2개의 카메라 사이의 거리인 기선길이(基線長)를 조정함에 의해 거리측정 대상 거리를 조정할 수 있다는 이점이 있다. 또한, 액티브 광원을 가(加)함에 의해, 암소(暗所)나 비에지부에서의 거리측정을 보완할 수 있다. 한편, ToF 방식에서는, 위상의 어긋남으로부터 거리를 환산하기 때문에, 계산은 간이하지만, 물체의 에지 부분에서 멀티 패스 등의 복수의 계측 결과가 혼재하여 거리측정 성능이 저하된다는 문제가 있다. 그때문에, ToF 방식과 스테레오 방식의 양자를 조합시킨 방식이 제안되어 있다(예를 들면, 특허 문헌 1 및 특허 문헌 2 참조).
특허 문헌 1 : 국제 공개 제2012/137434호 특허 문헌 2 : 일본국 특개2005-077130호 공보
상술한 종래 기술에서는, ToF 방식과 스테레오 방식의 양자에 의한 거리 정보를 통합함에 의해, 각각의 방식에 의해 정밀도 좋게 계측할 수 있고 있는 것끼리를 공간적으로 합성하여, 품질이 높은 거리 정보를 얻는 것이 생각된다. 그렇지만, 양자를 단순하게 조합시키면, 동일 신을 2개의 광원에 의해 투영하는 것이 되어, 서로의 투영광이 간섭하여 버리고, 그들이 서로 노이즈 성분으로 되어, 결과적으로 거리측정 정밀도가 악화하여 버릴 우려가 있다.
본 기술은 이와 같은 상황을 감안하여 생긴 것으로, 투영광의 간섭을 피하면서, 복수의 거리측정 방식을 조합시켜서 거리측정(側距) 정밀도를 향상시키는 것을 목적으로 한다.
본 기술은, 상술한 문제점을 해소하기 위해 이루어진 것으로, 그 제1의 측면은, 강도 변조된 공간 패턴광을 투영하는 광원 투영부와, 상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 광비행시간 거리측정 카메라와, 상기 반사광에 포함되는 공간정보에 의거하여 상기 피사체와의 거리를 계측하는 공간정보 거리측정 카메라와, 상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라에서의 거리의 계측 결과를 합성하여 상기 광비행시간 거리측정 카메라 또는 상기 공간정보 거리측정 카메라에 의해 촬상된 화상의 각 화소 위치의 뎁스값을 결정하는 뎁스 합성부를 구비하는 촬상 장치이다. 이에 의해, 광비행시간 거리측정 카메라 및 공간정보 거리측정 카메라에서의 거리의 계측 결과를 합성하여 거리측정 정밀도를 향상시킨다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 광원 투영부는, 소정의 변조 신호 및 수직 동기 신호에 따라 강도 변조된 광원을 발생하는 광원 발생부와, 상기 광원을 공간 위치에 응하여 변형시켜서 상기 공간 패턴광을 생성하는 광학 소자를 구비하여도 좋다. 이에 의해, 강도 변조된 공간 패턴광을 투영한다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고, 상기 뎁스 합성부는, 상기 계측 결과에서의 상기 신뢰도의 크기에 의거하여 각 화소 위치의 뎁스값을 결정하도록 하여도 좋다. 이에 의해, 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라의 뎁스값의 신뢰도의 크기에 의거하여 뎁스값을 결정한다는 작용을 가져온다. 이 경우에, 상기 뎁스 합성부는, 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하도록 하여도 좋다.
또한, 이 제1의 측면에서, 상기 공간정보 거리측정 카메라는, 좌우의 2개의 촬상 소자를 구비하고, 상기 반사광에 포함되는 상기 공간정보에 관해 상기 2개의 촬상 소자로부터 얻어진 좌우화상으로부터 구하여진 각 화소 위치에서의 시차량(視差量) 및 상기 2개의 촬상 소자의 기선길이에 의거하여 상기 피사체와의 거리를 계측하는 스테레오 카메라라도 좋다. 이에 의해, 스테레오 카메라에서의 거리의 계측 결과를 이용하여 거리측정 정밀도를 향상시킨다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는 스트럭처 라이트 카메라라도 좋다. 이에 의해, 스트럭처 라이트 카메라에서의 거리의 계측 결과를 이용하여 거리측정 정밀도를 향상시킨다는 작용을 가져온다.
또한, 이 제1의 측면에서, 상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 제2의 광비행시간 거리측정 카메라를 또한 구비하고, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서 동작하도록 하여도 좋다. 이에 의해, 2개의 광비행시간 거리측정 카메라에서의 거리의 계측 결과를 이용하여 거리측정 정밀도를 향상시킨다는 작용을 가져온다. 이 경우에, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서의 상기 계측 결과인 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고, 상기 뎁스 합성부는, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각의 상기 계측 결과와 상기 공간정보 거리측정 카메라로서의 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하도록 하여도 좋다.
또한, 이 제1의 측면에서, 상기 광비행시간 거리측정 카메라 및 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측함과 함께, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는, 일체화된 카메라라도 좋다. 이에 의해, 일체화된 카메라에서의 복수의 계측 결과를 이용하여 거리측정 정밀도를 향상시킨다는 작용을 가져온다.
본 기술에 의하면, 투영광의 간섭을 피하면서, 복수의 거리측정 방식을 조합시켜서 거리측정 정밀도를 향상시킬 수 있다는 우수한 효과를 이룰 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 본 기술의 실시의 형태에서의 촬상 장치(100)의 구성례를 도시하는 도면.
도 2는 본 기술의 실시의 형태에서의 촬영 제어부(180)의 구성례를 도시하는 도면.
도 3은 본 기술의 실시의 형태에서의 광원 투영부(130)의 구성례를 도시하는 도면.
도 4는 본 기술의 실시의 형태에서의 공간 패턴광의 상태의 한 예를 도시하는 도면.
도 5는 본 기술의 제1의 실시의 형태에서의 ToF 카메라(110)의 구성례를 도시하는 도면.
도 6은 본 기술의 실시의 형태에서의 거리측정 방식의 한 예로서의 펄스법을 도시하는 도면.
도 7은 본 기술의 제1의 실시의 형태에서의 스테레오 카메라(120)의 구성례를 도시하는 도면.
도 8은 본 기술의 제1의 실시의 형태에서의 뎁스 합성부(160)의 구성례를 도시하는 도면.
도 9는 본 기술의 실시의 형태에서의 촬영 제어부(180)의 동작 순서례를 도시하는 흐름도.
도 10은 본 기술의 실시의 형태에서의 광원 투영부(130)의 동작 순서례를 도시하는 흐름도.
도 11은 본 기술의 제1의 실시의 형태에서의 ToF 카메라(110)의 동작 순서례를 도시하는 흐름도.
도 12는 본 기술의 제1의 실시의 형태에서의 스테레오 카메라(120)의 동작 순서례를 도시하는 흐름도.
도 13은 본 기술의 제2의 실시의 형태에서의 ToF 카메라(110) 및 카메라(126)의 구성례를 도시하는 도면.
도 14는 본 기술의 제3의 실시의 형태에서의 스트럭처 라이트 카메라(140)의 구성례를 도시하는 도면.
도 15는 본 기술의 제4의 실시의 형태에서의 ToF 카메라(110) 및 ToF 카메라(116)의 구성례를 도시하는 도면.
도 16은 본 기술의 제5의 실시의 형태에서의 카메라(150)의 구성례를 도시하는 도면.
도 17은 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 18은 차외 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
도 19는 내시경 수술 시스템의 개략적인 구성의 한 예를 도시하는 도면.
도 20은 카메라 헤드 및 CCU의 기능 구성의 한 예를 도시하는 블록도.
이하, 본 기술을 실시하기 위한 형태(이하, 실시의 형태라고 칭한다)에 관해 설명한다. 설명은 이하의 순서에 의해 행한다.
1. 제1의 실시의 형태(ToF 카메라와 스테레오 카메라를 이용한 예)
2. 제2의 실시의 형태(ToF 카메라와 단안(單眼) 카메라를 이용한 예)
3. 제3의 실시의 형태(ToF 카메라와 스트럭처 라이트 카메라를 이용한 예)
4. 제4의 실시의 형태(2대의 ToF 카메라를 이용한 예)
5. 제5의 실시의 형태(ToF 카메라와 스트럭처 라이트 카메라를 일체화시킨 예)
6. 이동체에의 응용례
7. 내시경 수술 시스템에의 응용례
<1. 제1의 실시의 형태>
[촬상 장치의 구성]
도 1은, 본 기술의 실시의 형태에서의 촬상 장치(100)의 구성례를 도시하는 도면이다. 이 촬상 장치(100)는, 피사체(20)를 촬상하여, 피사체의 화상 신호 및 거리 정보를 취득하는 것이다. 이 촬상 장치(100)는, 광비행시간 거리측정 카메라(11)와, 공간정보(空間情報) 거리측정 카메라(12)와, 광원 투영부(130)와, 뎁스 합성부(160)와, 입력 접수부(170)와, 촬영 제어부(180)를 구비하고 있다.
광비행시간 거리측정 카메라(11)는, 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 피사체와의 거리를 계측하는 카메라이다. 공간정보 거리측정 카메라(12)는, 피사체로부터의 반사광에 포함되는 공간정보에 의거하여 피사체와의 거리를 계측하는 카메라이다. 이들 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)는, 통상의 카메라와 마찬가지로, 촬상한 화상을 생성함과 함께, 거리 정보를 화소 단위로 나타낸 뎁스 맵을 생성한다. 이하에서는, 촬상된 화상에 관해서는 생략하고, 거리 정보의 취급에 주목하여 설명한다.
광원 투영부(130)는, 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)에서의 거리측정에 필요한 광을 투영하는 것이다. 여기서, 광비행시간 거리측정 카메라(11)는 변조광(變調光)을 이용하여 거리를 계측하기 때문에, 광원에는 변조 성분이 포함되어 있을 필요가 있다. 한편, 공간정보 거리측정 카메라(12)는 공간정보를 이용하여 거리를 계측하기 때문에, 광원에는 공간 패턴이 포함되어 있을 필요가 있다. 상술한 바와 같이, 단순하게 2개의 광원을 투영한 경우에는, 서로의 투영광이 간섭하여 버려, 거리측정 정밀도가 악화할 우려가 있다. 그래서, 이 광원 투영부(130)는, 하나의 광원에 의해, 강도 변조된 공간 패턴광을 투영한다. 또한, 피사체(20)에는 환경광이 조사되어 있어도 좋다.
뎁스 합성부(160)는, 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)에서의 거리의 계측 결과를 합성하여, 촬상된 화상의 각 화소 위치의 뎁스값을 결정하는 것이다. 이 뎁스 합성부(160)는, 광비행시간 거리측정 카메라(11)로부터 뎁스값 및 그 신뢰도를, 신호선(119 및 118)을 통하여 수취한다. 또한, 이 뎁스 합성부(160)는, 공간정보 거리측정 카메라(12)로부터 뎁스값 및 그 신뢰도를, 신호선(129 및 128)을 통하여 수취한다.
입력 접수부(170)는, 외부로부터의 입력을 접수하는 것이다. 이 입력 접수부(170)로서는, 예를 들면, 촬영 시작 커맨드나 촬영 종료 커맨드의 입력을 접수하는 촬영 버튼 등이 상정된다. 이 입력 접수부(170)는, 접수한 입력을, 신호선(179)을 통하여 촬영 제어부(180)에 공급한다.
촬영 제어부(180)는, 광원 투영부(130)에서의 투영 동작을 제어함과 함께, 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)에서의 촬영 동작의 제어를 행하는 것이다. 이 촬영 제어부(180)로부터 광원 투영부(130), 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)에 대한 제어 신호는, 신호선(188 및 189)을 통하여 공급된다.
도 2는, 본 기술의 실시의 형태에서의 촬영 제어부(180)의 구성례를 도시하는 도면이다. 이 촬영 제어부(180)는, 수직 동기 생성부(181)와, 변조 신호 발생부(182)를 구비한다. 이들 수직 동기 생성부(181) 및 변조 신호 발생부(182)는, 입력 접수부(170)에서 예를 들면 촬영 시작 커맨드나 촬영 종료 커맨드의 입력이 접수되면, 신호선(179)을 통하여 그 취지를 검지하여 소정의 동작을 행한다.
수직 동기 생성부(181)는, 촬영에 필요한 수직 동기(V 동기) 신호를 생성하는 것이다. 수직 동기 신호는, 일정한 간격으로 동화(動畵) 프레임을 촬영하기 위해 필요한 신호이고, 통상은 30㎐로부터 120㎐ 정도의 주기의 신호이다. 이 수직 동기 생성부(181)는, 촬영 시작 커맨드가 입력되면 수직 동기 신호의 출력을 시작하고, 촬영 종료 커맨드가 입력되면 수직 동기 신호의 출력을 종료한다. 이 수직 동기 신호는, 신호선(189)을 통하여 광원 투영부(130), 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)에 공급된다.
변조 신호 발생부(182)는, 촬영에 필요한 변조 신호를 생성하는 것이다. 변조 신호는, 광비행시간 거리측정 카메라(11)에서의 거리계측에 필요한 신호이고, 20M㎐로부터 100M㎐ 정도의 주기의 신호이다. 이 변조 신호 발생부(182)는, 촬영 시작 커맨드가 입력되면 변조 신호의 출력을 시작하고, 촬영 종료 커맨드가 입력되면 변조 신호의 출력을 종료한다. 이 변조 신호는, 신호선(188)을 통하여 광원 투영부(130) 및 광비행시간 거리측정 카메라(11)에 공급된다.
도 3은, 본 기술의 실시의 형태에서의 광원 투영부(130)의 구성례를 도시하는 도면이다. 이 광원 투영부(130)는, 광원 발생부(131)와, 광학 소자(133)와, 광원 제어부(135)를 구비한다.
광원 발생부(131)는, 투영광을 생성하기 위한 광원을 발생하는 것이다. 이 광원 발생부(131)로서는, 예를 들면, LED(Light Emitting Diode)나 레이저 다이오드 등을 이용할 수 있다. 이 광원 발생부(131)는, 광원 제어부(135)로부터 공급된 변조 신호에 따라 강도 변조된 광원을 발생한다. 변조 신호가 공급되지 않는 동안은 변조되지 않은 정상광을 발생한다. 광원 발생의 시작 및 종료에 대해서도, 광원 제어부(135)로부터의 투영의 시작 지시 및 종료 지시에 따른다.
광학 소자(133)는, 광원 발생부(131)로부터의 광원을 공간 위치에 응하여 변형시켜서 공간 패턴광을 생성하는 것이다. 공간 패턴광으로서는, 예를 들면, 격자(格子) 모양(模樣), 랜덤 점집합(点集合) 또는 랜덤한 농담을 투영하는 것, 거리에 의해 점형상(点形狀)이 변화하도록 투영하는 것 등이 상정되고, 임의로 설계할 수 있다.
광원 제어부(135)는, 촬영 제어부(180)로부터 신호선(188 및 189)을 통하여 공급된 변조 신호 및 수직 동기 신호에 따라, 광원 발생부(131)를 제어하는 것이다. 이 광원 제어부(135)는, 수직 동기 신호를 수신한 직후는, 변조 신호에 따라 강도 변조된 광원을 발생하도록 광원 발생부(131)를 제어한다. 그리고, 수직 동기 신호의 수신 타이밍부터 광비행시간 거리측정 카메라(11)의 노광 시간이 경과하면, 변조 신호의 공급을 정지하고, 변조되지 않은 정상광을 발생하도록 광원 발생부(131)를 제어한다. 그 후, 공간정보 거리측정 카메라(12)의 노광 시간이 경과하면, 광원의 발생을 종료하도록 광원 발생부(131)를 제어한다.
이와 같이, 강도 변조된 투영광은, 광비행시간 거리측정 카메라(11)의 노광 시간분만큼 계속한다. 공간정보 거리측정 카메라(12)에 관해서는 변조한 투영광, 또는, 변조하지 않은 정상광의 어느 것에 의한 투영이라도 거리측정할 수 있다. 그때문에, 광비행시간 거리측정 카메라(11)의 노광이 먼저 완료한 경우, 나머지공간정보 거리측정 카메라(12)의 노광 시간은 정상광을 투영한다. 변조광은 펄스광이기 때문에, 전체 시간에 대한 투영 시간은 반분이고, 공간정보 거리측정 카메라(12)에서의 광량이 반분으로 되어 버리기 때문에, 정상광에 의한 투영의 쪽이 감도 좋게 촬영할 수 있기 때문이다.
도 4는, 본 기술의 실시의 형태에서의 공간 패턴광의 상태의 한 예를 도시하는 도면이다. 본 기술의 실시의 형태에서의 공간 패턴광은, 임의의 모양을 이용할 수 있다. 여기서는, 한 예로서, 도트 패턴을 나타내고 있다.
광학 소자(133)는, 예를 들면, 이와 같은 도트 패턴을 투영하는 회절 격자를 이용한다. 이와 같은 회절 격자는, 레이저광원의 빔 형상을 자유로운 형상으로 변형하도록, 회절 격자의 표면에 그 특성에 맞추어서 마이크로 구조를 만들어 넣어 광자(光子)를 유도하는 것이다. 석영 유리나 유리 소재를 에칭하거나, 폴리머 소재를 엠보싱 가공 하거나 하여 제조된다. 또한, 회절 격자의 설계에 의해, 거리에 응하여 점형상이 변화하는 설계도 가능하고, 예를 들면 근경(近景)에서는 평면광에 가깝고 거리가 떨어질수록 점으로 집광하여 가도록 할 수 있다. 또한, 점으로 집광함에 의해, 투광 거리를 늘리는 것도 가능하다.
또한, 공간 패턴광은, 슬릿광이라도 좋다. 또한, 복수의 주파수 슬릿광을 시분할로 전환하는 것이라도 좋다.
도 5는, 본 기술의 제1의 실시의 형태에서의 ToF 카메라(110)의 구성례를 도시하는 도면이다. 이 제1의 실시의 형태에서는, 광비행시간 거리측정 카메라(11)로서 ToF(Time of Flight) 카메라(110)를 상정한다. 이 ToF 카메라(110)는, ToF 화소(111)와, 뎁스 계산부(113)와, 노광 제어부(115)를 구비한다.
노광 제어부(115)는, 촬영 제어부(180)로부터 신호선(188 및 189)을 통하여 공급된 변조 신호 및 수직 동기 신호에 따라, ToF 화소(111)의 노광을 제어하는 것이다. 이 노광 제어부(115)는, 수직 동기 신호를 수신하면, 노광을 시작하도록 ToF 화소(111)를 제어한다. 그리고, 수직 동기 신호의 수신 타이밍부터 ToF 카메라(110)의 노광 시간이 경과하면, 노광을 종료하도록 ToF 화소(111)를 제어한다.
ToF 화소(111)는, 피사체(20)에 닿아 튀어 되돌아오는 변조된 반사광을 수광하여, 화상 신호로서 광전 변환하는 것이다. 이 ToF 화소(111)는, 반사광을 광전 변환할 때, 후술하는 바와 같이, 하나의 화소에 의해 순상(純相)과 역상(逆相)의 2개의 윈도우에서 전하를 적산한다.
뎁스 계산부(113)는, ToF 화소(111)에 의해 생성된 화상 신호와 변조 신호와의 상관 관계로부터 위상 지연량(위상 어긋남량)를 구하고, 이 위상 지연량을, 깊이를 나타내는 뎁스값으로 변환하는 것이다. 또한, 이 뎁스 계산부(113)는, 뎁스값의 신뢰도를 생성한다. 이 뎁스 계산부(113)에 의해 생성된 뎁스값 및 그 신뢰도는, 신호선(119 및 118)을 통하여 뎁스 합성부(160)에 공급된다.
도 6은, 본 기술의 실시의 형태에서의 거리측정 방식의 한 예로서의 펄스법을 도시하는 도면이다. 광원 투영부(130)는, 변조 신호의 변조 주파수에 맞춘 펄스파를 일정 기간(Δt) 투영한다. 피사체(20)로부터 반사된 투영광은, 위상 지연량(φ)만큼 지연되어 ToF 카메라(110)에서 관측된다. 이때, ToF 화소(111)는, 광원 투영부(130)로부터 투영된 펄스파와 동기한 순상(0°) 및 역상(180°)의 2개의 윈도우에서 반사광을 적산(積算)하여 계측한다(Q1, Q2). 이 계측된 전하(Q1 및 Q2)를 이용하여, 다음 식에 의해 피사체(20)와의 거리(d)를 산출할 수 있다. 단, c는 광의 속도이다.
d=(1/2)·c·Δt·(Q2/(Q1+Q2))
이때, 전하(Q1 및 Q2)의 합계치는, 피사체(20)로부터의 반사광의 강도이고, 보다 강한 응답이 얻어지는 쪽이, 신호의 SN비(Signal-Noise ratio)는 좋다고 생각하고, 이 값을 신뢰도로서 사용한다. 즉, 신뢰도(r)는 다음 식에 의해 얻어진다.
r=Q1+Q2
또한, 여기서는, 거리측정 방식의 한 예로서 펄스법에 관해 설명하였지만, 연속파법(連續波法)(Continuous Wave) 등의 다른 방법을 이용하여도 좋다.
도 7은, 본 기술의 제1의 실시의 형태에서의 스테레오 카메라(120)의 구성례를 도시하는 도면이다. 이 제1의 실시의 형태에서는, 공간정보 거리측정 카메라(12)로서 스테레오 카메라(120)를 상정한다. 이 스테레오 카메라(120)는, 좌측 촬상 소자(121)와, 우측 촬상 소자(122)와, 뎁스 계산부(123)와, 노광 제어부(125)를 구비한다.
노광 제어부(125)는, 촬영 제어부(180)로부터 신호선(189)을 통하여 공급된 수직 동기 신호에 따라, 좌측 촬상 소자(121) 및 우측 촬상 소자(122)의 노광을 제어하는 것이다. 이 노광 제어부(125)는, 수직 동기 신호를 수신하면, 노광을 시작하도록 좌측 촬상 소자(121) 및 우측 촬상 소자(122)를 제어한다. 그리고, 수직 동기 신호의 수신 타이밍부터 스테레오 카메라(120)의 노광 시간이 경과하면, 노광을 종료하도록 좌측 촬상 소자(121) 및 우측 촬상 소자(122)를 제어한다.
좌측 촬상 소자(121) 및 우측 촬상 소자(122)는, 피사체(20)에 닿아 튀어 되돌아오는 반사광을 수광하여, 좌우화상의 화상 신호로서 광전 변환하는 것이다.
뎁스 계산부(123)는, 좌우화상으로부터 각 화소 위치에서의 시차량을 계산하고, 좌측 촬상 소자(121)와 우측 촬상 소자(122) 사이의 기선길이에 의거하여 거리를 계산하여 출력하는 것이다. 시차량을 계산하기 위해서는, 편방의 화상에서 주목 화소를 포함하는 N×N화소의 패치 화상이, 또 편방의 화상의 어느 위치에 유사 패치 화상으로서 나타나는지를, 그 위치를 시프트하면서 오차 최소의 패치 화상을 탐색하는 블록 매칭법을 이용할 수 있다.
패치 화상의 모양이 없는 평탄한 부위의 오브젝트였던 경우에는, 스테레오 카메라(120)에서는 거리를 능숙하게 구할 수가 없을 우려가 있다. 단, 패턴광에 의해 투영된 광이 충분한 콘트라스트를 갖고 관측되면, 그 패턴광의 모양을 단서로 시차량을 계산하는 것이 가능하다.
또한, 스테레오 카메라(120)는, 패치 화상의 시프트량을 화소보다 미세한 정밀도로 계산함으로써 뎁스값의 정밀도를 향상시킬 수 있기 때문에, 좌측 촬상 소자(121) 및 우측 촬상 소자(122)의 해상도를 올림에 의해, 뎁스값의 정밀도를 올릴 수 있다. 또한, 좌측 촬상 소자(121)와 우측 촬상 소자(122) 사이의 기선길이를 조정함에 의해, 측정할 수 있는 거리의 레인지를 용이하게 조정할 수 있다.
이와 같이, 스테레오 카메라(120)는, 촬영 제어부(180)로부터 수직 동기 신호를 수신하여 좌측 촬상 소자(121) 및 우측 촬상 소자(122)의 촬영을 제어한다. 그리고, 뎁스 계산부(123)는, 촬영된 좌우화상으로부터 시차량을 계산하고, 각 화소 위치의 뎁스값을 결정하여 뎁스 맵으로서 출력한다. 또한, 뎁스 계산부(123)는, 계산 과정에서 얻어지는 신뢰도를 출력한다.
시차의 양은, 예를 들면 이하의 절대치 차분의 식으로 계산할 수 있다. 패치 절대치 차분(RSAD)은, 화상(L)의 패치의 화소(I(i, j))와 화상(R)의 패치의 화소(T(i, j))의 화소치의 절대 차분을 패치 내의 화소분만큼 적산한 값이다. 패치의 화상이 비슷할수록 패치 절대치 차분(RSAD)의 값은 작아진다. 이것을 화상(L)의 패치의 기준 위치를 시프트량분만큼 비켜 놓으면서, 최소의 패치 절대치 차분을 구한다. 이 최소의 차분시의 시프트량이 시차(視差)이고, 그 위치에서의 깊이값(奧行き値))으로 된다.
[수식 1]
Figure pct00001
또한, 신뢰도는, 예를 들면 제2 최소치와의 비율으로서 계산할 수 있다. 최소의 절대치 차분을 RSAD1, 그것과는 다른 시프트 위치의 제2 최소의 절대치 차분을 RSAD2로 하고, 그들의 비율을 1로부터 뺀 값인 신뢰도(CSAD)를 구한다. 이 값은, 2개의 신뢰도의 차분이 클수록 커지고, 차분이 클수록 그 시프트량이 다른 시프트량이라고 구별할 수 있고 있다는 것을 의미한다.
CSAD=1.0-RSAD1/RSAD2
도 8은, 본 기술의 제1의 실시의 형태에서의 뎁스 합성부(160)의 구성례를 도시하는 도면이다. 이 뎁스 합성부(160)는, 좌표 변환부(161 및 162)와, 뎁스 합성 처리부(163)를 구비한다.
좌표 변환부(161)는, 광비행시간 거리측정 카메라(11)로부터 신호선(119 및 118)을 통하여 공급된 뎁스값 및 신뢰도에 대해 좌표 변환 조작을 적용하여, 뎁스 맵의 좌표 위치를 정돈하는 처리를 행하는 것이다.
좌표 변환부(162)는, 공간정보 거리측정 카메라(12)로부터 신호선(161 및 162)을 통하여 공급된 뎁스값 및 신뢰도에 대해 좌표 변환 조작을 적용하여, 뎁스 맵의 좌표 위치를 정돈하는 처리를 행하는 것이다.
뎁스 합성 처리부(163)는, 좌표 변환부(161 및 162)에 의해 좌표 위치가 정돈된2개의 뎁스값을 신뢰도의 크기에 의거하여 통합하여 출력하는 것이다. 예를 들면, 가장 신뢰도가 높은 뎁스값을 화소마다 선택하고, 뎁스 합성을 행할 수가 있다.
좌표 변환에 필요한 파라미터는, 광비행시간 거리측정 카메라(11)와 공간정보 거리측정 카메라(12)의 각각의 카메라 위치에 의해 결정되기 때문에, 사전에 캘리브레이션하여 두고, 파라미터를 구하고, 그 값을 이용한다. 이 파라미터는, 예를 들면 카메라의 외부 파라미터, 내부 파라미터, 렉티피케이션 파라미터라고 불리고 있는 것이고, 일반적으로는 이하의 형식으로 표시된다.
내부 파라미터는, 다음 식의 행렬식에 의해 표현된다. 단, fx 및 fy는, 화소 단위로 표시된 초점 거리이다. cx 및 cy는, 카메라의 주점(主點)이다.
[수식 2]
Figure pct00002
외부 파라미터는, 이하의 행렬식에 의해 표현된다. 단, r은 회전 행렬의 요소, t는 병진 이동의 요소이고, 이들을 정리한 동시변환 행렬로 되어 있다.
[수식 3]
Figure pct00003
렉티피케이션 파라미터는, 3×3행렬의 9개의 파라미터이고, 카메라를 평행화하여, 블록 매칭 등의 탐색을 에피폴라 직선상에서 구하도록 하는 것이다.
이 제1의 실시의 형태에서의 촬상 장치에 관해서는, ToF 카메라(110) 및 스테레오 카메라(120)의 거리측정 범위를 고려한 설정이 필요하다. 즉, ToF 카메라(110)에서는, 변조 주파수가 거리측정 분해능과 한계 거리측정 거리를 결정하고, 변조광의 강도나 노광 시간이 거리측정 대상의 거리를 결정한다. 변조광 강도가 강하고 또는 노광 시간이 길면, 보다 원방까지 광이 도달하지만, 가까운 오브젝트가 포화하여 관측되어 거리측정할 수 없을 우려도 있다. 한편, 스테레오 카메라(120)에서는, 좌측 촬상 소자(121)와 우측 촬상 소자(122) 사이의 기선길이가 거리측정 분해능과 한계 거리측정 거리를 결정하고, 투영 패턴광의 강도나 노광 시간이 거리측정 대상의 거리를 결정한다.
일반적으로, ToF 카메라는 저해상도이고, 스테레오 카메라는 사진이나 동화 촬영용 센서 등 고해상도의 것이 이용되는 것이 많다. 따라서 ToF 카메라(110)를 근경용, 스테레오 카메라(120)를 원경용으로 설정하여, 합성한 뎁스 맵을 얻는 것이 생각된다.
노광 시간에 관해서는, ToF 카메라(110)를 단노광(短露光) 시간으로, 스테레오 카메라(120)를 장노광 시간으로 설정하는 것이 생각된다. 이와 같이 설정하면, 근거리의 ToF 뎁스 맵과 원거리의 스테레오 뎁스 맵이 얻어진다. 이에 의해, 패턴광에 기인하고 스테레오 카메라에서 발생하는 평면부의 구멍뚫림(穴あき)을 경감할 수 있고, 또한, 면광원보다도 점광원으로 집광함에 의해 투영 강도를 강화한다는 효과가 있다. 이에 의해, 거리 방향으로 넓은 다이내믹 레인지를 갖는 거리측정을 행하는 것이 가능해진다.
이와 같이, 변조를 이용한 거리측정과 패턴을 이용한 거리측정을 하나의 광원으로 실현함에 의해, 투영광을 낭비없이 사용할 수 있고, 소비 전력의 관점에서, 단순하게 2개를 조합시킨 것보다도 유리하다. 또한, 2개의 다른 광원에 의한 간섭 노이즈를 피할 수 있다. 또한, 광원이 적어지는 분만큼, 모듈 사이즈가 작아지고, 사이즈 및 비용면에서도 유리해진다.
[촬상 장치의 동작]
도 9는, 본 기술의 실시의 형태에서의 촬영 제어부(180)의 동작 순서례를 도시하는 흐름도이다.
촬영 시작 커맨드를 수신하기 전에는(스텝 S912 : No), 촬영 제어부(180)는 스탠바이 상태에 있다(스텝 S911). 촬영 시작 커맨드가 입력되면(스텝 S912 : Yes), 수직 동기 생성부(181)는 수직 동기 신호의 출력을 시작하고(스텝 S913), 변조 신호 발생부(182)는 변조 신호의 출력을 시작한다(스텝 S914).
그 후, 촬영 종료 커맨드가 입력되면(스텝 S915 : Yes), 수직 동기 생성부(181)는 수직 동기 신호의 출력을 종료하고(스텝 S916), 변조 신호 발생부(182)는 변조 신호의 출력을 종료한다(스텝 S917).
도 10은, 본 기술의 실시의 형태에서의 광원 투영부(130)의 동작 순서례를 도시하는 흐름도이다.
수직 동기 신호를 수신하기 전에는(스텝 S922 : No), 광원 투영부(130)는 스탠바이 상태에 있다(스텝 S921). 수직 동기 신호가 입력되면(스텝 S922 : Yes), 광원 발생부(131)는 강도 변조된 광원을 발생하고, 변조광에 의한 투영이 시작된다(스텝 S923).
그 후, 수직 동기 신호의 수신 타이밍부터 광비행시간 거리측정 카메라(11)의 노광 시간이 경과하면(스텝 S924 : Yes), 광원 발생부(131)는 변조되지 않은 정상광을 발생하고, 정상광에 의한 투영이 시작된다(스텝 S925).
그 후, 공간정보 거리측정 카메라(12)의 노광 시간이 경과하면(스텝 S926 : Yes), 광원 발생부(131)는 광원의 발생을 정지하고, 투영이 종료된다(스텝 S927).
도 11은, 본 기술의 제1의 실시의 형태에서의 ToF 카메라(110)의 동작 순서례를 도시하는 흐름도이다.
수직 동기 신호를 수신하기 전에는(스텝 S932 : No), ToF 카메라(110)는 스탠바이 상태에 있다(스텝 S931). 수직 동기 신호가 입력되면(스텝 S932 : Yes), ToF 화소(111)는 노광을 시작한다(스텝 S933).
그 후, 수직 동기 신호의 수신 타이밍부터 ToF 카메라(110)의 노광 시간이 경과하면(스텝 S934 : Yes), ToF 화소(111)는 노광을 종료한다(스텝 S935).
그리고, 뎁스 계산부(113)는, 화상 신호와 변조 신호의 상관 관계로부터 위상 지연량을 구하고, 이 위상 지연량을, 깊이를 나타내는 뎁스값에 변환한다(스텝 S936). 또한, 뎁스 계산부(113)는, 뎁스값의 신뢰도를 생성하고, 뎁스값 및 그 신뢰도를 출력한다(스텝 S937).
도 12는, 본 기술의 제1의 실시의 형태에서의 스테레오 카메라(120)의 동작 순서례를 도시하는 흐름도이다.
수직 동기 신호를 수신하기 전에는(스텝 S942 : No), ToF 카메라(110)는 스탠바이 상태에 있다(스텝 S941). 수직 동기 신호가 입력되면(스텝 S942 : Yes), 좌측 촬상 소자(121) 및 우측 촬상 소자(122)는 노광을 시작한다(스텝 S943).
그 후, 수직 동기 신호의 수신 타이밍부터 스테레오 카메라(120)의 노광 시간이 경과하면(스텝 S944 : Yes), 좌측 촬상 소자(121) 및 우측 촬상 소자(122)는 노광을 종료한다(스텝 S945).
그리고, 뎁스 계산부(123)는, 좌우화상으로부터 각 화소 위치에서의 시차량을 계산하고, 좌측 촬상 소자(121)와 우측 촬상 소자(122) 사이의 기선길이에 의거하여 거리를 계산한다(스텝 S946). 또한, 뎁스 계산부(123)는, 뎁스값의 신뢰도를 생성하고, 뎁스값 및 그 신뢰도를 출력한다(스텝 S947).
이와 같이, 본 기술의 제1의 실시의 형태에 의하면, ToF 카메라(110)와 스테레오 카메라(120)의 각각에 의해 얻어진 뎁스값 및 신뢰도를 합성함에 의해, 거리측정 정밀도를 향상시킬 수 있다. 광원 투영부(130)로부터 투영되는 투영광은 강도 변조된 공간 패턴광이고, ToF 카메라(110)에 필요한 변조 성분과, 스테레오 카메라(120)에 필요한 공간 패턴의 양자를 포함한다. 따라서 하나의 광원만이 사용되기 때문에, 투영광의 간섭을 피할 수 있다.
<2. 제2의 실시의 형태>
상술한 제1의 실시의 형태에서는, ToF 카메라(110) 외에 스테레오 카메라(120)를 마련하고 있지만, ToF 카메라(110)에 의해 좌우화상의 일방을 촬상함에 의해, 스테레오 카메라(120)가 아닌 통상의 단안 카메라를 이용하는 것이 가능해진다. ToF 카메라(110)의 Q1+Q2의 값은 신을 촬영한 화상 그 자체이기 때문에, ToF 카메라(110)로부터는 뎁스값과 통상 화상도 동시에 취득된다. 이 제2의 실시의 형태에서는, ToF 카메라(110)에 의한 촬영 화상을 좌우화상의 일방으로 하는 것이고, ToF 카메라(110)와 통상의 단안 카메라를 조합시켜서, 좌우화상을 취득하는 것을 상정한다.
또한, 촬상 장치로서의 전체 구성은 제1의 실시의 형태와 마찬가지이기 때문에, 상세한 설명은 생략한다.
도 13은, 본 기술의 제2의 실시의 형태에서의 ToF 카메라(110) 및 카메라(126)의 구성례를 도시하는 도면이다. 이 제2의 실시의 형태에서는, 공간정보 거리측정 카메라(12)로서 ToF 카메라(110)와 카메라(126)와의 조합을 상정한다. 또한, 광비행시간 거리측정 카메라(11)에 관해서는, 제1의 실시의 형태와 마찬가지로 ToF 카메라(110)를 상정한다.
카메라(126)는, 단안 카메라이고, 좌우화상의 좌화상을 촬상하는 것이다. 이때, 좌우화상의 우화상은 ToF 카메라(110)의 ToF 화소(111)에 의해 촬상된 것을 사용한다. 또한, 이 좌우화상의 분담은 한 예이고, ToF 카메라(110)에서 좌화상을 촬상하고, 카메라(126)에서 우화상을 촬상하도록 하여도 좋다.
이 카메라(126)는, 좌측 촬상 소자(121)와, 뎁스 계산부(123)와, 노광 제어부(125)를 구비한다.
노광 제어부(125)는, 촬영 제어부(180)로부터 신호선(189)을 통하여 공급된 수직 동기 신호에 따라, 좌측 촬상 소자(121)의 노광을 제어하는 것이다.
좌측 촬상 소자(121)는, 피사체(20)에 닿아 튀어 되돌아오는 반사광을 수광하여, 좌화상의 화상 신호로서 광전 변환하는 것이다.
뎁스 계산부(123)는, 좌측 촬상 소자(121) 및 ToF 화소(111)로부터 얻어진 좌우화상으로부터 각 화소 위치에서의 시차량을 계산하고, 좌측 촬상 소자(121)와 ToF 화소(111) 사이의 기선길이에 의거하여 거리를 계산하여 출력하는 것이다.
이와 같이, 본 기술의 제2의 실시의 형태에 의하면, ToF 카메라(110)의 촬상 화상을 좌우화상의 일방의 화상으로서 이용함에 의해, 카메라의 수를 줄이고, ToF 카메라와 스테레오 카메라를 조합시킨 경우와 마찬가지로 거리측정 정밀도를 향상시킬 수 있다.
<3. 제3의 실시의 형태>
상술한 제1의 실시의 형태에서는, 공간정보 거리측정 카메라(12)로서 스테레오 카메라(120)를 상정하고 있지만, 공간정보를 이용하여 거리측정할 수 있다면 다른 종류의 카메라라도 좋다. 이 제3의 실시의 형태에서는, 공간정보 거리측정 카메라(12)로서 스트럭처 라이트 카메라를 상정한다.
또한, 촬상 장치로서의 전체 구성은 제1의 실시의 형태와 마찬가지이기 때문에, 상세한 설명은 생략한다.
도 14는, 본 기술의 제3의 실시의 형태에서의 스트럭처 라이트 카메라(140)의 구성례를 도시하는 도면이다. 이 스트럭처 라이트 카메라(140)는, 3차원의 형상을 카메라와 패턴 투영에 의해 취득하는 카메라이다. 이 스트럭처 라이트 카메라(140)는, 촬상 소자(141)와, 뎁스 계산부(143)와, 노광 제어부(145)를 구비한다.
노광 제어부(145)는, 촬영 제어부(180)로부터 신호선(189)을 통하여 공급된 수직 동기 신호에 따라, 촬상 소자(141)의 노광을 제어하는 것이다. 촬상 소자(141)는, 피사체(20)에 닿아 튀어 되돌아오는 반사광을 수광하여, 화상 신호로 광전 변환하는 것이다. 뎁스 계산부(143)는, 기지(旣知)의 패턴을 투영한 신에서 그 패턴이 어떻게 변형하였니, 또한, 그 패턴이 촬영 신 내의 어디에 나타나는지를 분석하고, 3각측량 계산에 의해 깊이 거리를 계산하는 것이다.
이 스트럭처 라이트 카메라(140)를 사용함에 의해, 스테레오 카메라를 사용하는 것보다도 카메라의 수를 줄인 것을 할 수 있다.
이와 같이, 본 기술의 제3의 실시의 형태에 의하면, ToF 카메라(110)와 스트럭처 라이트 카메라(140)의 각각에 의해 얻어진 뎁스값 및 신뢰도를 합성함에 의해, 거리측정 정밀도를 향상시킬 수 있다.
<4. 제4의 실시의 형태>
상술한 제2의 실시의 형태에서는, ToF 카메라(110)와 카메라(126)를 조합시키고 있지만, 카메라(126)를 다른 ToF 카메라로 치환하여도 좋다. 이 제4의 실시의 형태에서는, ToF 카메라(110)에 의한 촬영 화상을 좌우화상의 일방으로 하는 것이고, ToF 카메라(110)와 다른 ToF 카메라를 조합시켜서, 좌우화상을 취득하는 것을 상정한다.
또한, 촬상 장치로서의 전체 구성은 제1의 실시의 형태와 마찬가지이기 때문에, 상세한 설명은 생략한다.
도 15는, 본 기술의 제4의 실시의 형태에서의 ToF 카메라(110) 및 ToF 카메라(116)의 구성례를 도시하는 도면이다. 이 제4의 실시의 형태에서는, 공간정보 거리측정 카메라(12)로서 ToF 카메라(110)와 ToF 카메라(116)와의 조합을 상정한다. 또한, 광비행시간 거리측정 카메라(11)에 관해서는, 제1의 실시의 형태와 마찬가지로 ToF 카메라(110)를 상정한다.
ToF 카메라(116)는, ToF 카메라(110)와는 다른 ToF 카메라이고, 좌우화상의 좌화상을 촬상하는 것이다. 이때, 좌우화상의 우화상은 ToF 카메라(110)의 ToF 화소(111)에 의해 촬상된 것을 사용한다. 또한, 이 좌우화상의 분담은 한 예이고, ToF 카메라(110)에서 좌화상을 촬상하여, ToF 카메라(116)에서 우화상을 촬상하도록 하여도 좋다.
이들 ToF 카메라(110 및 116)에 의해 생성된 뎁스값 및 그 신뢰도는, 뎁스 합성부(165)에서 합성된다. 뎁스 합성부(165)는, ToF 카메라(110) 단체의 뎁스값 및 신뢰도, ToF 카메라(116) 단체의 뎁스값 및 신뢰도, ToF 카메라(110)를 우화상으로 하고 ToF 카메라(116)를 좌화상으로 한 좌우화상의 뎁스값 및 신뢰도의 3조(組)를 이용할 수 있다. 이때, 가장 신뢰도가 높은 뎁스값을 화소마다 선택하여, 뎁스 합성을 행할 수가 있다.
이 제4의 실시의 형태에서, ToF 카메라로서의 촬상과 스테레오 카메라로서의 촬상으로 노광 시간을 바꿈에 의해, 밝기의 다이내믹 레인지를 넓힐 수 있다. 또한, ToF 카메라(110)와 ToF 카메라(116) 사이의 기선길이를 바꿈에 의해, 거리측정의 다이내믹 레인지를 넓힐 수 있다. 또한, 예를 들면, 근거리에 대해서는 ToF 카메라(110 및 116)의 각각 단체에 의한 뎁스값을 사용하고, 원거리에 대해서는 ToF 카메라(110 및 116)의 액티브 스테레오에 의한 뎁스값을 사용하는 것이 생각된다.
이와 같이, 본 기술의 제4의 실시의 형태에 의하면, ToF 카메라(110 및 116)의 각각에 의해 얻어진 뎁스값 및 신뢰도를 합성함에 의해, 거리측정 정밀도를 더욱 향상시킬 수 있다.
<5. 제5의 실시의 형태>
상술한 제3의 실시의 형태에서는, ToF 카메라(110)와 스트럭처 라이트 카메라(140)를 조합시키고 있지만, 이들을 1대의 카메라에 일체화하여도 좋다. 이 제5의 실시의 형태에서는, 광비행시간 거리측정 카메라(11) 및 공간정보 거리측정 카메라(12)로서 일체화된 카메라를 상정한다.
도 16은, 본 기술의 제5의 실시의 형태에서의 카메라(150)의 구성례를 도시하는 도면이다. 이 카메라(150)는, ToF 카메라 및 스트럭처 라이트 카메라를 일체화한 것이다. 이 카메라(150)는, ToF 화소(151)와, 뎁스 계산부(153 및 154)와, 노광 제어부(155)를 구비한다.
노광 제어부(155)는, 촬영 제어부(180)로부터 신호선(188 및 189)을 통하여 공급된 변조 신호 및 수직 동기 신호에 따라, ToF 화소(151)의 노광을 제어하는 것이다. ToF 화소(151)는, 피사체(20)에 닿아 튀어 되돌아오는 변조된 반사광을 수광하여, 화상 신호로서 광전 변환하는 것이다.
뎁스 계산부(153)는, ToF 화소(151)에 의해 생성된 화상 신호와 변조 신호와의 상관 관계로부터 위상 지연량을 구하여, 이 위상 지연량을, 깊이를 나타내는 뎁스값으로 변환하는 것이다. 뎁스 계산부(154)는, 기지의 패턴을 투영한 신에서 그 패턴이 어떻게 변형하였는지, 또한, 그 패턴이 촬영 신 내의 어디에 나타나는지를 분석하고, 3각측량 계산에 의해 깊이 거리를 계산하는 것이다. 즉, 뎁스 계산부(153)에 의해 변조 신호를 이용한 거리측정이 행하여지고, 뎁스 계산부(154)에 의해 패턴을 이용한 거리측정이 행하여진다.
이와 같이, 본 기술의 제5의 실시의 형태에 의하면, 일체화된 카메라에 의해 변조 신호를 이용한 거리측정과 패턴을 이용한 거리측정의 양자를 행함에 의해, 카메라의 대수를 줄이면서 거리측정 정밀도를 향상시킬 수 있다.
지금까지 설명한 바와 같이, 본 기술의 실시의 형태는 이하와 같은 이점을 갖는다.
첫번째로, 광원에서 공간정보와 시간정보를 중첩함에 의해, 투영광의 간섭을 피할 수 있다. 공간 방향(구조광)과 시간 방향(변조)은 각각 독립이여서, 이들의 정보를 낭비없이 활용할 수 있다.
두번째로, 반사광의 보이는 방식이라는 관점에서 보면, ToF 카메라는 저해상도이기 때문에, 고해상도의 구조광의 패턴은 보이지 않고, 거의 면발광과 등가로서 취급할 수 있고, 고속 변조에 의한 거리측정이 가능하다. 액티브 스테레오에 있어서, 광원의 변조는 충분히 고속이기 때문에, 일정 강도로 투영하고 있는 것과 등가이고, 고해상도 공간 패턴을 이용한 거리측정을 행하는 것이 가능하다.
세번째로, ToF 카메라 및 스테레오 카메라의 특성을 이용하여, 거리측정 범위의 분담을 바꿀 수 있다. ToF 카메라는, 단노광으로 거리측정 가능하고, 근거리에서도 포화하기 어렵기 때문에, 뎁스값의 앞쪽측(手前側)을 담당하는 것에 적합하다. 한편, 액티브 스테레오 카메라는, 장노광이고 고해상도이고 고감도이므로, 뎁스값의 깊은측(奧側)을 담당하는 것에 적합하고 있다.
네번째로, 스테레오 카메라의 특성을 이용함에 의해, ToF 카메라만으로는 불가능한 성능을 발휘시킬 수 있다. 즉, 액티브 스테레오는, 고해상도 패턴을 이용함에 의해, 텍스쳐가 없는 면의 거리측정을 가능하게 하고, 집광에 의한 도달 거리를 장거리화할 수 있다.
<6. 이동체에의 응용례>
본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 무선 조정 무인기, 선박, 로봇 등의 어느 한 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.
도 17은, 본 개시에 관한 기술이 적용될 수 있는. 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.
차량 제어 시스템(12000)은, 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 17에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차량탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생성장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절한 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체한 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하고, 차량의 도어 록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 의거하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다.
촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 거리측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이라도 좋고, 적외선 등의 비가시광이라도 좋다.
차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 졸고 있지 않은지를 판별하여도 좋다.
마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 의거하여, 구동력 발생성장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차량 주위의 정보에 의거하여 구동력 발생성장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득된 차외의 정보에 의거하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하여 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 방현(防眩)을 도모하는 것을 목적으로 한 협조 제어를 행할 수가 있다.
음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 17의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스톨먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.
도 18은, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.
도 18에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.
촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노우즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트 글라스의 상부 등의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(12101) 및 차실 내의 프론트 글라스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.
또한, 도 18에는, 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는, 프런트 노우즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중합시켜짐에 의해, 차량(12100)를 상방에서 본 부감(俯瞰) 화상을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물로, 차량(12100)과 개략 같은 방향으로 소정의 속도(예를 들면, 0㎞/㎐ 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차의 앞쪽에 미리 확보하여야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함한다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수가 있다. 이와 같이 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.
예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 그 밖의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황인 때에는, 오디오 스피커(12061)나 표시부(12062)를 이용하여 드라이버에 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 이용하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수가 있다.
촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이들의 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지의 여부를 판별하는 순서에 의해 행하여진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 방형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어하여도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는. 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다.
<7. 내시경 수술 시스템에의 응용례>
본 개시에 관한 기술(본 기술)는, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 내시경 수술 시스템에 적용되어도 좋다.
도 19는, 본 개시에 관한 기술(본 기술)이 적용될 수 있는. 내시경 수술 시스템의 개략적인 구성의 한 예를 도시하는 도면이다.
도 19에서는, 술자(術煮)(의사)(11131)가, 내시경 수술 시스템(11000)을 이용하여, 환자 베드(11133)상의 환자(11132)에 수술을 행하고 있는 양상이 도시되어 있다. 도시하는 바와 같이, 내시경 수술 시스템(11000)은, 내시경(11100)과, 기복(氣腹) 튜브(11111)나 에너지 처치구(處置具)(11112) 등의, 그 밖의 술구(術具)(11110)와, 내시경(11100)을 지지하는 지지 암 장치(11120)와, 내시경하 수술을 위한 각종의 장치가 탑재된 카트(11200)로 구성된다.
내시경(11100)은, 선단부터 소정 길이의 영역이 환자(11132)의 체강내에 삽입되는 경통(11101)과, 경통(11101)의 기단에 접속되는 카메라 헤드(11102)로 구성된다. 도시하는 예에서는, 경성의 경통(11101)을 갖는 이른바 경성경으로서 구성된 내시경(11100)을 도시하고 있지만, 내시경(11100)은, 연성의 경통을 갖는 이른바 연성경으로서 구성되어도 좋다.
경통(11101)의 선단에는, 대물 렌즈가 감입된 개구부가 마련되어 있다. 내시경(11100)에는 광원 장치(11203)가 접속되어 있고, 당해 광원 장치(11203)에 의해 생성된 광이, 경통(11101)의 내부에 연설(延設)되는 라이트 가이드에 의해 당해 경통의 선단까지 도광되고, 대물 렌즈를 통하여 환자(11132)의 체강 내의 관찰 대상을 향하여 조사된다. 또한, 내시경(11100)은, 직시경이라도 좋고, 사시경 또는 측시경이라도 좋다.
카메라 헤드(11102)의 내부에는 광학계 및 촬상 소자가 마련되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 당해 광학계에 의해 당해 촬상 소자에 집광된다. 당해 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 당해 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU : Camera Control Unit)(11201)에 송신된다.
CCU(11201)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit)등에 의해 구성되고, 내시경(11100) 및 표시 장치(11202)의 동작을 통괄적으로 제어한다. 또한, CCU(11201)는, 카메라 헤드(11102)로부터 화상 신호를 수취하고, 그 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의, 당해 화상 신호에 의거한 화상을 표시하기 위한 각종의 화상 처리를 시행한다.
표시 장치(11202)는, CCU(11201)로부터의 제어에 의해, 당해 CCU(11201)에 의해 화상 처리가 시행된 화상 신호에 의거한 화상을 표시한다.
광원 장치(11203)는, 예를 들면 LED(Light Emitting Diode) 등의 광원으로 구성되고, 술부(術部) 등을 촬영할 때의 조사광을 내시경(11100)에 공급한다.
입력 장치(11204)는, 내시경 수술 시스템(11000)에 대한 입력 인터페이스이다. 유저는, 입력 장치(11204)를 통하여, 내시경 수술 시스템(11000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수가 있다. 예를 들면, 유저는, 내시경(11100)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)를 변경하는 취지의 지시 등을 입력한다.
처치구 제어 장치(11205)는, 조직의 소작, 절개 또는 혈관의 봉지(封止) 등을 위한 에너지 처치구(11112)의 구동을 제어한다. 기복 장치(11206)는, 내시경(11100)에 의한 시야의 확보 및 술자의 작업 공간의 확보의 목적으로, 환자(11132)의 체강을 팽창시키기 위해, 기복 튜브(11111)를 통하여 당해 체강 내에 가스를 보낸다. 레코더(11207)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(11208)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
또한, 내시경(11100)으로 술부를 촬영할 때의 조사광을 공급하는 광원 장치(11203)는, 예를 들면 LED, 레이저광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성할 수 있다. RGB 레이저광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(11203)에서의 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어함에 의해, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 당해 방법에 의하면, 당해 촬상 소자에 컬러 필터를 마련하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(11203)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 좋다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(11102)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함에 의해, 이른바 거멓게 바램(黑つぶれ) 및 허옇게 바램(白どび이 없는 고(高)다이내믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(11203)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급 가능하게 구성되어도 좋다. 특수광 관찰에서는, 예를 들면, 체조직(體組織)에서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰시에서의 조사광(즉, 백색광)에 비하여 협대역의 광을 조사함에 의해, 점막(粘膜) 표층(表層)의 혈관 등의 소정의 조직을 고(高)콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)가 행하여진다. 또는, 특수광 관찰에서는, 여기광을 조사함에 의해 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행하여져도 좋다. 형광 관찰에서는, 체조직에 여기광을 조사하고 당해 체조직으로부터의 형광을 관찰하는 것(자가(自家) 형광 관찰), 또는 인도시아닌그린(ICG) 등의 시약을 체 조직에 국주(局注)함과 함께 당해 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등을 행할 수가 있다. 광원 장치(11203)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있다.
도 20은, 도 19에 도시하는 카메라 헤드(11102) 및 CCU(11201)의 기능 구성의 한 예를 도시하는 블록도이다.
카메라 헤드(11102)는, 렌즈 유닛(11401)과, 촬상부(11402)와, 구동부(11403)와, 통신부(11404)와, 카메라 헤드 제어부(11405)를 갖는다. CCU(11201)는, 통신부(11411)와, 화상 처리부(11412)와, 제어부(11413)를 갖는다. 카메라 헤드(11102)와 CCU(11201)는, 전송 케이블(11400)에 의해 서로 통신 가능하게 접속되어 있다.
렌즈 유닛(11401)은, 경통(11101)과의 접속부에 마련된 광학계이다. 경통(11101)의 선단에서 받아들여진 관찰광은, 카메라 헤드(11102)까지 도광되고, 당해 렌즈 유닛(11401)에 입사한다. 렌즈 유닛(11401)은, 줌렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되고 구성된다.
촬상부(11402)는, 촬상 소자로 구성된다. 촬상부(11402)를 구성하는 촬상 소자는, 하나(이른바 단판식)라도 좋고, 복수(이른바 다판식)라도 좋다. 촬상부(11402)가 다판식으로 구성되는 경우에는, 예를 들면 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 그들이 합성됨에 의해 컬러 화상을 얻을 수 있어도 좋다. 또는, 촬상부(11402)는, 3D(Dimensional) 표시에 대응하는 우안(右目)용 및 좌안용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성되어도 좋다. 3D 표시가 행하여짐에 의해, 술자(11131)는 술부에서의 생체 조직의 깊이를 보다 정확하게 파악하는 것이 가능해진다. 또한, 촬상부(11402)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(11401)도 복수 계통 마련될 수 있다.
또한, 촬상부(11402)는, 반드시 카메라 헤드(11102)에 마련되지 않아도 좋다. 예를 들면, 촬상부(11402)는, 경통(11101)의 내부에, 대물 렌즈의 직후에 마련되어도 좋다.
구동부(11403)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(11405)로부터의 제어에 의해, 렌즈 유닛(11401)의 줌렌즈 및 포커스 렌즈를 광축에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(11402)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(11404)는, CCU(11201)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11404)는, 촬상부(11402)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(11400)를 통하여 CCU(11201)에 송신한다.
또한, 통신부(11404)는, CCU(11201)로부터, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 수신하고, 카메라 헤드 제어부(11405)에 공급한다. 당해 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상시의 노출치를 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다.
또한, 상기의 프레임 레이트나 노출치, 배율, 초점 등의 촬상 조건은, 유저에 의해 적절히 지정되어도 좋고, 취득된 화상 신호에 의거하여 CCU(11201)의 제어부(11413)에 의해 자동적으로 설정되어도 좋다. 후자의 경우에는, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(11100)에 탑재되어 있게 된다.
카메라 헤드 제어부(11405)는, 통신부(11404)를 통하여 수신한 CCU(11201)로부터의 제어 신호에 의거하여, 카메라 헤드(11102)의 구동을 제어한다.
통신부(11411)는, 카메라 헤드(11102)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(11411)는, 카메라 헤드(11102)로부터, 전송 케이블(11400)를 통하여 송신되는 화상 신호를 수신한다.
또한, 통신부(11411)는, 카메라 헤드(11102)에 대해, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 송신한다. 화상 신호나 제어 신호는, 전기통신이나 광통신등에 의해 송신할 수 있다.
화상 처리부(11412)는, 카메라 헤드(11102)로부터 송신된 RAW 데이터인 화상 신호에 대해 각종의 화상 처리를 시행한다.
제어부(11413)는, 내시경(11100)에 의한 술부 등의 촬상, 및, 술부 등의 촬상에 의해 얻어지는 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(11413)는, 카메라 헤드(11102)의 구동을 제어하기 위한 제어 신호를 생성한다.
또한, 제어부(11413)는, 화상 처리부(11412)에 의해 화상 처리가 시행된 화상 신호에 의거하여, 술부 등이 찍혀진 촬상 화상을 표시 장치(11202)에 표시시킨다. 이때, 제어부(11413)는, 각종의 화상 인식 기술을 이용하여 촬상 화상 내에서의 각종의 물체를 인식하여도 좋다. 예를 들면, 제어부(11413)는, 촬상 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함에 의해, 겸자(鉗子) 등의 술구(術具), 특정한 생체 부위, 출혈, 에너지 처치구(11112)의 사용시의 미스트 등을 인식할 수 있다. 제어부(11413)는, 표시 장치(11202)에 촬상 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 당해 술부의 화상에 중첩 표시시켜도 좋다. 수술 지원 정보가 중첩 표시되고, 술자(11131)에게 제시됨에 의해, 술자(11131)의 부담을 경감하는 것이나, 술자(11131)가 확실하게 수술을 진행하는 것이 가능해진다.
카메라 헤드(11102) 및 CCU(11201)를 접속하는 전송 케이블(11400)는, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광파이버, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(11400)를 이용하여 유선으로 통신이 행하여지고 있지만, 카메라 헤드(11102)와 CCU(11201) 사이의 통신은 무선으로 행하여져도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는. 내시경 수술 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 카메라 헤드(11102)의 촬상부(11402)에 적용될 수 있다.
또한, 여기서는, 한 예로서 내시경 수술 시스템에 관해 설명하였지만, 본 개시에 관한 기술은, 기타, 예를 들면, 현미경 수술 시스템 등에 적용되어도 좋다.
또한, 상술한 실시의 형태는 본 기술을 구현화하기 위한 한 예를 나타낸 것이고, 실시의 형태에서의 사항과, 특허청구의 범위에서의 발명 특정 사항은 각각 대응 관계를 갖는다. 마찬가지로, 특허청구의 범위에서의 발명 특정 사항과, 이것과 동일 명칭을 붙인 본 기술의 실시의 형태에서의 사항은 각각 대응 관계를 갖는다. 단, 본 기술은 실시의 형태로 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에서 실시의 형태에 여러가지의 변형을 행함에 의해 구현화할 수 있다.
또한, 상술한 실시의 형태에서 설명한 처리 순서는, 이들 일련의 순서를 갖는 방법으로서 파악하여도 좋고, 또한, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악하여도 좋다. 이 기록 매체로서, 예를 들면, CD(Compact Disc), MD(MiniDisc), DVD(Digital Versatile Disc), 메모리 카드, 블루 레이 디스크(Blu-ray(등록상표) Disc) 등을 이용할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고, 한정되는 것이 아니고, 또한, 다른 효과가 있어도 좋다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 강도 변조된 공간 패턴광을 투영하는 광원 투영부와,
상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 광비행시간 거리측정 카메라와,
상기 반사광에 포함되는 공간정보에 의거하여 상기 피사체와의 거리를 계측하는 공간정보 거리측정 카메라와,
상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라에서의 거리의 계측 결과를 합성하여 상기 광비행시간 거리측정 카메라 또는 상기 공간정보 거리측정 카메라에 의해 촬상된 화상의 각 화소 위치의 뎁스값을 결정하는 뎁스 합성부를 구비하는 촬상 장치.
(2) 상기 광원 투영부는,
소정의 변조 신호 및 수직 동기 신호에 따라 강도 변조된 광원을 발생하는 광원 발생부와,
상기 광원을 공간 위치에 응하여 변형시켜서 상기 공간 패턴광을 생성하는 광학 소자를 구비하는 상기 (1)에 기재된 촬상 장치.
(3) 상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
상기 뎁스 합성부는, 상기 계측 결과에서의 상기 신뢰도의 크기에 의거하여 각 화소 위치의 뎁스값을 결정하는 상기 (1) 또는 (2)에 기재된 촬상 장치.
(4) 상기 뎁스 합성부는, 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하는 상기 (3)에 기재된 촬상 장치.
(5) 상기 공간정보 거리측정 카메라는, 좌우의 2개의 촬상 소자를 구비하고, 상기 반사광에 포함되는 상기 공간정보에 관해 상기 2개의 촬상 소자로부터 얻어진 좌우화상으로부터 구하여진 각 화소 위치에서의 시차량 및 상기 2개의 촬상 소자의 기선길이에 의거하여 상기 피사체와의 거리를 계측하는 스테레오 카메라인 상기 (1)부터 (4)의 어느 하나에 기재된 촬상 장치.
(6) 상기 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는 스트럭처 라이트 카메라인 상기 (1)부터 (4)의 어느 하나에 기재된 촬상 장치.
(7) 상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 제2의 광비행시간 거리측정 카메라를 또한 구비하고,
상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서 동작하는 상기 (1)부터 (4)의 어느 하나에 기재된 촬상 장치.
(8) 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서의 상기 계측 결과인 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
상기 뎁스 합성부는, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각의 상기 계측 결과와 상기 공간정보 거리측정 카메라로서의 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하는 상기 (7)에 기재된 촬상 장치.
(9) 상기 광비행시간 거리측정 카메라 및 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측함과 함께, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는, 일체화된 카메라인 상기 (1)부터 (4)의 어느 하나에 기재된 촬상 장치.
11 : 광비행시간 거리측정 카메라
12 : 공간정보 거리측정 카메라
20 : 피사체
100 : 촬상 장치
110, 116 : ToF 카메라
111 : ToF 화소
113 : 뎁스 계산부
115 : 노광 제어부
120 : 스테레오 카메라
121 : 좌측 촬상 소자
122 : 우측 촬상 소자
123 : 뎁스 계산부
125 : 노광 제어부
126 : 카메라
130 : 광원 투영부
131 : 광원 발생부
133 : 광학 소자
135 : 광원 제어부
140 : 스트럭처 라이트 카메라
141 : 촬상 소자
143 : 뎁스 계산부
145 : 노광 제어부
150 : 카메라(ToF 카메라 겸 스트럭처 라이트 카메라)
151 : ToF 화소
153, 154 : 뎁스 계산부
155 : 노광 제어부
160, 165 : 뎁스 합성부
161, 162 : 좌표 변환부
163 : 뎁스 합성 처리부
170 : 입력 접수부
180 : 촬영 제어부
181 : 수직 동기 생성부
182 : 변조 신호 발생부

Claims (9)

  1. 강도 변조된 공간 패턴광을 투영하는 광원 투영부와,
    상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 광비행시간 거리측정 카메라와,
    상기 반사광에 포함되는 공간정보에 의거하여 상기 피사체와의 거리를 계측하는 공간정보 거리측정 카메라와,
    상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라에서의 거리의 계측 결과를 합성하여 상기 광비행시간 거리측정 카메라 또는 상기 공간정보 거리측정 카메라에 의해 촬상된 화상의 각 화소 위치의 뎁스값을 결정하는 뎁스 합성부를 구비하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 광원 투영부는,
    소정의 변조 신호 및 수직 동기 신호에 따라 강도 변조된 광원을 발생하는 광원 발생부와,
    상기 광원을 공간 위치에 응하여 변형시켜서 상기 공간 패턴광을 생성하는 광학 소자를 구비하는 것을 특징으로 하는 촬상 장치.
  3. 제1항에 있어서,
    상기 광비행시간 거리측정 카메라 및 상기 공간정보 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
    상기 뎁스 합성부는, 상기 계측 결과에서의 상기 신뢰도의 크기에 의거하여 각 화소 위치의 뎁스값을 결정하는 것을 특징으로 하는 촬상 장치.
  4. 제3항에 있어서,
    상기 뎁스 합성부는, 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하는 것을 특징으로 하는 촬상 장치.
  5. 제1항에 있어서,
    상기 공간정보 거리측정 카메라는, 좌우의 2개의 촬상 소자를 구비하고, 상기 반사광에 포함되는 상기 공간정보에 관해 상기 2개의 촬상 소자로부터 얻어진 좌우화상으로부터 구하여진 각 화소 위치에서의 시차량 및 상기 2개의 촬상 소자의 기선길이에 의거하여 상기 피사체와의 거리를 계측하는 스테레오 카메라인 것을 특징으로 하는 촬상 장치.
  6. 제1항에 있어서,
    상기 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는 스트럭처 라이트 카메라인 것을 특징으로 하는 촬상 장치.
  7. 제1항에 있어서,
    상기 공간 패턴광의 피사체로부터의 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측하는 제2의 광비행시간 거리측정 카메라를 또한 구비하고,
    상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서 동작하는 것을 특징으로 하는 촬상 장치.
  8. 제7항에 있어서,
    상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각은, 상기 계측 결과로서 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
    상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라는, 상기 공간정보 거리측정 카메라로서의 상기 계측 결과인 각 화소 위치의 뎁스값과 그 신뢰도를 생성하고,
    상기 뎁스 합성부는, 상기 광비행시간 거리측정 카메라 및 상기 제2의 광비행시간 거리측정 카메라의 각각의 상기 계측 결과와 상기 공간정보 거리측정 카메라로서의 상기 계측 결과 중 상기 신뢰도가 가장 높은 뎁스값을 화소마다 선택하여 각 화소 위치의 뎁스값을 결정하는 것을 특징으로 하는 촬상 장치.
  9. 제1항에 있어서,
    상기 광비행시간 거리측정 카메라 및 공간정보 거리측정 카메라는, 상기 반사광에 포함되는 변조 성분의 광비행시간에 의거하여 상기 피사체와의 거리를 계측함과 함께, 상기 반사광에 포함되는 상기 공간정보에 관해 3각측량 계산에 의거하여 상기 피사체와의 거리를 계측하는, 일체화된 카메라인 것을 특징으로 하는 촬상 장치.
KR1020187007747A 2016-09-01 2017-06-05 촬상 장치 KR102499586B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016171048 2016-09-01
JPJP-P-2016-171048 2016-09-01
PCT/JP2017/020862 WO2018042801A1 (ja) 2016-09-01 2017-06-05 撮像装置

Publications (2)

Publication Number Publication Date
KR20190042485A true KR20190042485A (ko) 2019-04-24
KR102499586B1 KR102499586B1 (ko) 2023-02-14

Family

ID=61300336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007747A KR102499586B1 (ko) 2016-09-01 2017-06-05 촬상 장치

Country Status (6)

Country Link
US (1) US10866321B2 (ko)
EP (1) EP3508814B1 (ko)
JP (1) JP7022057B2 (ko)
KR (1) KR102499586B1 (ko)
CN (1) CN108027238B (ko)
WO (1) WO2018042801A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633407A4 (en) * 2017-05-24 2020-06-10 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
TW201939452A (zh) * 2018-03-15 2019-10-01 艾沙技術有限公司 移動載具、安全警示裝置及安全警示方法
WO2019196049A1 (zh) * 2018-04-12 2019-10-17 深圳市汇顶科技股份有限公司 影像传感系统及电子装置
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US11187804B2 (en) * 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
EP3581881A1 (de) * 2018-06-15 2019-12-18 Hexagon Technology Center GmbH Oberflächenvermessung mittels angeregter fluoreszenz
CN112424639A (zh) * 2018-06-22 2021-02-26 ams有限公司 使用飞行时间和伪随机比特序列测量到物体的距离
JP7121269B2 (ja) * 2018-07-06 2022-08-18 ミツミ電機株式会社 測距カメラ
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
JP7036227B2 (ja) * 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
JP2020122774A (ja) * 2019-01-29 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US20220110511A1 (en) * 2019-02-19 2022-04-14 Sony Group Corporation Medical observation system, medical system, and distance measuring method
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110095781B (zh) * 2019-05-06 2021-06-01 歌尔光学科技有限公司 基于lbs投影系统的测距方法、设备及计算机可读存储介质
JP7346080B2 (ja) * 2019-05-22 2023-09-19 日立Astemo株式会社 ステレオカメラシステム、及び測距方法
JP7290485B6 (ja) * 2019-06-26 2023-06-30 株式会社 日立産業制御ソリューションズ 距離画像生成装置
CN110471080A (zh) * 2019-07-12 2019-11-19 深圳奥比中光科技有限公司 基于tof图像传感器的深度测量装置
US20220268942A1 (en) * 2019-07-16 2022-08-25 Sony Group Corporation Light receiving device and method for driving light receiving device
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
JP2021056141A (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
CN110909617B (zh) * 2019-10-28 2022-03-25 广州多益网络股份有限公司 基于双目视觉的活体人脸检测方法及装置
WO2021085128A1 (ja) * 2019-10-28 2021-05-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、測定方法、および、測距システム
US11763433B2 (en) * 2019-11-14 2023-09-19 Samsung Electronics Co., Ltd. Depth image generation method and device
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
CN114746715A (zh) * 2020-01-10 2022-07-12 松下知识产权经营株式会社 三维模型生成方法、信息处理装置及程序
US20230043994A1 (en) 2020-02-17 2023-02-09 Fanuc Corporation Three-dimensional measurement device for generating three-dimensional point position information
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
KR102660776B1 (ko) * 2020-03-23 2024-04-24 가부시키가이샤 리코 정보 처리 장치 및 정보 처리 방법
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
US11558569B2 (en) 2020-06-11 2023-01-17 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
US11276154B2 (en) 2020-07-17 2022-03-15 Samsung Electronics Co., Ltd. Multi-frame depth-based multi-camera relighting of images
US11659290B2 (en) * 2020-07-21 2023-05-23 Canon Kabushiki Kaisha Light detection system
WO2022103770A1 (en) * 2020-11-11 2022-05-19 New View Surgical, Inc. Multi-camera imaging system
CN112255639B (zh) * 2020-12-23 2021-09-03 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
JP2022165344A (ja) * 2021-04-19 2022-10-31 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距システム
CN113382165B (zh) * 2021-05-31 2023-03-24 上海集成电路制造创新中心有限公司 相机对焦方法及相机对焦系统
CN113466884B (zh) * 2021-06-30 2022-11-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113484852B (zh) * 2021-07-07 2023-11-07 烟台艾睿光电科技有限公司 一种测距方法及系统
WO2023058839A1 (en) * 2021-10-04 2023-04-13 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN115143929A (zh) * 2022-03-28 2022-10-04 南京大学 一种基于光纤束的内窥测距仪
CN115442591B (zh) * 2022-11-04 2023-03-24 合肥的卢深视科技有限公司 相机质量测试方法、系统、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077130A (ja) 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
US20120127281A1 (en) * 2010-07-20 2012-05-24 Matthew Ward Extensible authoring and playback platform for complex virtual reality interactions and immersible applications
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
US20150092258A1 (en) * 2012-03-01 2015-04-02 Iee International Electronics & Engineering. S.A. Compact laser source for active illumination for hybrid three-dimensional imagers
KR20150096416A (ko) * 2012-12-17 2015-08-24 엘에스아이 코포레이션 개별적 심도 이미징 기술들을 이용하여 생성된 심도 이미지들을 병합하기 위한 방법 및 장치
KR20150129187A (ko) * 2014-05-08 2015-11-19 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
KR20160089445A (ko) * 2013-12-26 2016-07-27 가부시키가이샤 리코 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3614935B2 (ja) 1995-06-20 2005-01-26 オリンパス株式会社 三次元画像計測装置
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP4942467B2 (ja) 2006-12-11 2012-05-30 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP2013104784A (ja) 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
KR102070135B1 (ko) 2013-09-09 2020-01-28 삼성전자 주식회사 깊이 센서를 이용한 거리 계산 방법과 이를 수행할 수 있는 장치들
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
US20210183096A1 (en) 2016-03-15 2021-06-17 Sony Corporation Image processing apparatus, imaging apparatus, image processing method and program
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077130A (ja) 2003-08-28 2005-03-24 Olympus Corp 物体認識装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법
US20120127281A1 (en) * 2010-07-20 2012-05-24 Matthew Ward Extensible authoring and playback platform for complex virtual reality interactions and immersible applications
WO2012137434A1 (ja) 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
US20150092258A1 (en) * 2012-03-01 2015-04-02 Iee International Electronics & Engineering. S.A. Compact laser source for active illumination for hybrid three-dimensional imagers
KR20150096416A (ko) * 2012-12-17 2015-08-24 엘에스아이 코포레이션 개별적 심도 이미징 기술들을 이용하여 생성된 심도 이미지들을 병합하기 위한 방법 및 장치
KR20160089445A (ko) * 2013-12-26 2016-07-27 가부시키가이샤 리코 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
KR20150129187A (ko) * 2014-05-08 2015-11-19 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Castaneda, Victor 외 2명. Stereo time-of-flight. International Conference on Computer Vision. IEEE. 2011.* *
박현석 외 1명. 스테레오 비젼을 이용한 실시간 거리 측정 시스템. 한국정보처리학회 학술대회논문집. 2005.* *

Also Published As

Publication number Publication date
WO2018042801A1 (ja) 2018-03-08
US20180275278A1 (en) 2018-09-27
CN108027238B (zh) 2022-06-14
CN108027238A (zh) 2018-05-11
EP3508814A1 (en) 2019-07-10
JPWO2018042801A1 (ja) 2019-06-24
EP3508814A4 (en) 2020-03-11
EP3508814B1 (en) 2023-08-23
JP7022057B2 (ja) 2022-02-17
US10866321B2 (en) 2020-12-15
KR102499586B1 (ko) 2023-02-14

Similar Documents

Publication Publication Date Title
KR102499586B1 (ko) 촬상 장치
US11847759B2 (en) Image processing device, image processing method, and image processing program
US11029579B2 (en) Imaging apparatus and electronic apparatus for controlling a position of a lens
JP7147562B2 (ja) 測光装置、測光方法、プログラムおよび撮像装置
CN111886541B (zh) 成像装置和电子设备
US20190121223A1 (en) Compound-eye camera module and electronic device
US11330209B2 (en) Imaging device and electronic device enabled to control position of lens
CN110447221B (zh) 图像处理装置、图像处理方法和电子设备
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
US11936979B2 (en) Imaging device
US11889177B2 (en) Electronic device and solid-state imaging device
US20210297589A1 (en) Imaging device and method of controlling imaging device
US20220279134A1 (en) Imaging device and imaging method
WO2018131264A1 (ja) 撮像ユニットおよび電子機器
US11457201B2 (en) Imaging device and electronic apparatus
WO2024062813A1 (ja) 撮像装置および電子機器
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置
WO2020045202A1 (ja) 撮像装置、補正方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant