KR20200062220A - 전자 기기 - Google Patents
전자 기기 Download PDFInfo
- Publication number
- KR20200062220A KR20200062220A KR1020207009788A KR20207009788A KR20200062220A KR 20200062220 A KR20200062220 A KR 20200062220A KR 1020207009788 A KR1020207009788 A KR 1020207009788A KR 20207009788 A KR20207009788 A KR 20207009788A KR 20200062220 A KR20200062220 A KR 20200062220A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- pixel
- image
- imaging
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 530
- 238000001514 detection method Methods 0.000 claims abstract description 160
- 238000012545 processing Methods 0.000 claims description 169
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 38
- 230000000903 blocking effect Effects 0.000 claims description 18
- 230000000875 corresponding effect Effects 0.000 description 86
- 230000003287 optical effect Effects 0.000 description 70
- 238000004891 communication Methods 0.000 description 62
- 210000003128 head Anatomy 0.000 description 48
- 230000035945 sensitivity Effects 0.000 description 42
- 239000011159 matrix material Substances 0.000 description 40
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 20
- 239000002775 capsule Substances 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 15
- 230000010287 polarization Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000011282 treatment Methods 0.000 description 12
- 238000005452 bending Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 229910052774 Proactinium Inorganic materials 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000002674 endoscopic surgery Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 229910052745 lead Inorganic materials 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101100010712 Caenorhabditis elegans dyn-1 gene Proteins 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H04N5/2253—
-
- H04N5/2254—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B25/00—Eyepieces; Magnifying glasses
- G02B25/001—Eyepieces
Abstract
본 개시는, 사용자의 주위를 촬상하는 기능을 갖는 전자 기기를 소형화할 수 있도록 하는 전자 기기에 관한 것이다. 사용자가 장착 또는 사용하는 전자 기기에 있어서, 상기 전자 기기를 장착 또는 사용하고 있는 사용자의 주위가 찍히는 위치에 배치되어 있는 촬상부로서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하고, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 1개 출력하는 화소 출력 단위를 복수개 구비하는 촬상부를 구비한다. 본 개시는, 예를 들면, 웨어러블 디바이스에 적용할 수 있다.
Description
본 개시는 전자 기기에 관한 것이며, 특히, 사용자의 주위를 촬상하는 기능을 갖는 전자 기기에 관한 것이다.
종래, 촬상 렌즈를 이용하지 않고, 촬상 소자의 수광면을 덮는 격자 형상의 광학 필터나 회절 격자로 이루어지는 광학 필터에 의해 피사체로부터의 광을 변조하여 촬상하고, 소정의 연산 처리에 의해 피사체의 상이 결상된 화상을 복원하는 촬상 장치가 제안되어 있다(예를 들면, 비특허문헌 1, 특허문헌 1, 2 참조).
비특허문헌 1: M. Salman Asif, 외 4명, "Flatcam: Replacing lenses with masks and computation", "2015 IEEE International Conference on Computer Vision Workshop (ICCVW)", 2015년, 663-666페이지
그런데, 비특허문헌 1이나 특허문헌 1, 2에 나타내는 바와 같은 촬상 렌즈를 이용하지 않는 촬상 장치는, 촬상 렌즈가 없는 만큼 소형화가 가능하여, 적용 범위의 확대가 기대되고 있다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 사용자의 주위를 촬상하는 기능을 갖는 전자 기기를 소형화할 수 있도록 하는 것이다.
본 개시의 일 측면의 촬상 장치는, 사용자가 장착 또는 사용하는 전자 기기에 있어서, 상기 전자 기기를 장착 또는 사용하고 있는 사용자의 주위가 찍히는 위치에 배치되어 있는 촬상부로서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하고, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 1개 출력하는 화소 출력 단위를 복수개 구비하는 촬상부를 구비한다.
본 개시의 일 측면에 있어서는, 복수의 화소 출력 단위에 의해, 전자 기기를 장착 또는 사용하고 있는 사용자의 주위가 촬상되어, 검출 신호가 출력된다.
본 개시의 일 측면에 의하면, 사용자의 주위를 촬상하는 기능을 갖는 전자 기기를 소형화할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니며, 본 개시 중에 기재된 어떠한 효과이어도 된다.
도 1은 본 개시의 기술을 적용한 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
도 2는 본 개시의 기술을 적용한 촬상 장치의 기본적인 구성예를 나타내는 블록도이다.
도 3은 도 2의 촬상 소자의 화소 어레이부의 구성예를 나타내는 도면이다.
도 4는 도 2의 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 5는 도 2의 촬상 소자의 제2 구성예를 설명하는 도면이다.
도 6은 입사각 지향성의 발생 원리를 설명하는 도면이다.
도 7은 온-칩 렌즈(on-chip lens)를 이용한 입사각 지향성의 변화를 설명하는 도면이다.
도 8은 차광막의 타입의 예를 나타내는 도면이다.
도 9는 입사각 지향성의 설계를 설명하는 도면이다.
도 10은 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 11은 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 12는 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 13은 피사체 거리와 입사각 지향성을 나타내는 계수의 관계를 설명하는 도면이다.
도 14는 협화각 화소(narrow-angle pixel)와 광화각 화소(wide-angle pixel)의 관계를 설명하는 도면이다.
도 15는 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 16은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 17은 협화각 화소와 광화각 화소의 화질 차이를 설명하기 위한 도면이다.
도 18은 협화각 화소와 광화각 화소의 화질 차이를 설명하기 위한 도면이다.
도 19는 복수의 화각의 화소를 조합시키는 예를 설명하는 도면이다.
도 20은 도 2의 촬상 장치에 의한 촬상 처리를 설명하는 플로우차트이다.
도 21은 처리 부하의 저감 방법을 설명하는 도면이다.
도 22는 처리 부하의 저감 방법을 설명하는 도면이다.
도 23은 처리 부하의 저감 방법을 설명하는 도면이다.
도 24는 처리 부하의 저감 방법을 설명하는 도면이다.
도 25는 처리 부하의 저감 방법을 설명하는 도면이다.
도 26은 본 개시의 기술을 적용한 촬상 기기의 구성예를 나타내는 블록도이다.
도 27은 웨어러블 디바이스에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 28은 촬상 소자의 입사각 지향성의 예를 나타내는 도면이다.
도 29는 카메라에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 30은 헤드마운트 디스플레이(head mounted display)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 31은 PC에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 32는 사용자 촬상 제어 처리를 설명하는 플로우차트이다.
도 33은 웨어러블 디바이스에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 34는 카메라에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 35는 헤드마운트 디스플레이에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 36은 오버헤드형 헤드폰(overhead headphone)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 37은 오버헤드형 헤드폰에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 38은 넥밴드형 헤드폰(neckband headphone)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 39는 사용자 주위 촬상 제어 처리를 설명하는 플로우차트이다.
도 40은 촬상 소자의 설치 위치의 형상의 변형에의 대응 방법을 설명하는 도면이다.
도 41은 본 개시의 기술을 적용한 정보 처리 시스템의 구성예를 나타내는 블록도이다.
도 42는 도 5의 촬상 소자의 변형예를 나타내는 도면이다.
도 43은 화소 출력 단위의 변형예를 설명하는 도면이다.
도 44는 촬상 소자의 변형예를 나타내는 도면이다.
도 45는 촬상 소자의 변형예를 나타내는 도면이다.
도 46은 촬상 소자의 변형예를 나타내는 도면이다.
도 47은 촬상 소자의 변형예를 나타내는 도면이다.
도 48은 촬상 소자의 변형예를 나타내는 도면이다.
도 49는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 50은 도 49에 나타내는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
도 51은 체내 정보 취득 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 2는 본 개시의 기술을 적용한 촬상 장치의 기본적인 구성예를 나타내는 블록도이다.
도 3은 도 2의 촬상 소자의 화소 어레이부의 구성예를 나타내는 도면이다.
도 4는 도 2의 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 5는 도 2의 촬상 소자의 제2 구성예를 설명하는 도면이다.
도 6은 입사각 지향성의 발생 원리를 설명하는 도면이다.
도 7은 온-칩 렌즈(on-chip lens)를 이용한 입사각 지향성의 변화를 설명하는 도면이다.
도 8은 차광막의 타입의 예를 나타내는 도면이다.
도 9는 입사각 지향성의 설계를 설명하는 도면이다.
도 10은 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 11은 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 12는 온-칩 렌즈와 촬상 렌즈 간의 차이를 설명하는 도면이다.
도 13은 피사체 거리와 입사각 지향성을 나타내는 계수의 관계를 설명하는 도면이다.
도 14는 협화각 화소(narrow-angle pixel)와 광화각 화소(wide-angle pixel)의 관계를 설명하는 도면이다.
도 15는 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 16은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 17은 협화각 화소와 광화각 화소의 화질 차이를 설명하기 위한 도면이다.
도 18은 협화각 화소와 광화각 화소의 화질 차이를 설명하기 위한 도면이다.
도 19는 복수의 화각의 화소를 조합시키는 예를 설명하는 도면이다.
도 20은 도 2의 촬상 장치에 의한 촬상 처리를 설명하는 플로우차트이다.
도 21은 처리 부하의 저감 방법을 설명하는 도면이다.
도 22는 처리 부하의 저감 방법을 설명하는 도면이다.
도 23은 처리 부하의 저감 방법을 설명하는 도면이다.
도 24는 처리 부하의 저감 방법을 설명하는 도면이다.
도 25는 처리 부하의 저감 방법을 설명하는 도면이다.
도 26은 본 개시의 기술을 적용한 촬상 기기의 구성예를 나타내는 블록도이다.
도 27은 웨어러블 디바이스에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 28은 촬상 소자의 입사각 지향성의 예를 나타내는 도면이다.
도 29는 카메라에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 30은 헤드마운트 디스플레이(head mounted display)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 31은 PC에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 32는 사용자 촬상 제어 처리를 설명하는 플로우차트이다.
도 33은 웨어러블 디바이스에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 34는 카메라에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 35는 헤드마운트 디스플레이에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 36은 오버헤드형 헤드폰(overhead headphone)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 37은 오버헤드형 헤드폰에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 38은 넥밴드형 헤드폰(neckband headphone)에 있어서의 촬상 소자의 배치예를 나타내는 도면이다.
도 39는 사용자 주위 촬상 제어 처리를 설명하는 플로우차트이다.
도 40은 촬상 소자의 설치 위치의 형상의 변형에의 대응 방법을 설명하는 도면이다.
도 41은 본 개시의 기술을 적용한 정보 처리 시스템의 구성예를 나타내는 블록도이다.
도 42는 도 5의 촬상 소자의 변형예를 나타내는 도면이다.
도 43은 화소 출력 단위의 변형예를 설명하는 도면이다.
도 44는 촬상 소자의 변형예를 나타내는 도면이다.
도 45는 촬상 소자의 변형예를 나타내는 도면이다.
도 46은 촬상 소자의 변형예를 나타내는 도면이다.
도 47은 촬상 소자의 변형예를 나타내는 도면이다.
도 48은 촬상 소자의 변형예를 나타내는 도면이다.
도 49는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 50은 도 49에 나타내는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
도 51은 체내 정보 취득 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는, 동일한 부호를 부여함으로써 중복 설명을 적절히 생략한다.
또한, 이하의 순서로 설명을 한다.
1. 본 개시의 촬상 장치의 개요
2. 본 개시의 촬상 장치의 기본적인 구성예
3. 제1 실시형태: 사용자를 촬상하는 경우
4. 제2 실시형태: 사용자의 주위를 촬상하는 경우
5. 변형예
6. 응용예
7. 기타
<<1. 본 개시의 촬상 장치의 개요>>
먼저, 본 개시의 촬상 장치의 개요에 대해 설명한다.
본 개시의 촬상 장치에 있어서는, 도 1의 좌측상부에 나타내는 바와 같이, 각 화소의 검출 감도에 입사각 지향성을 갖게 한 촬상 소자(51)가 이용된다. 여기서, 각 화소의 검출 감도에 입사각 지향성을 갖게 하는 것이란, 각 화소로의 입사광의 입사각도에 따른 수광 감도 특성을 화소마다 다른 것으로 하는 것이다. 다만, 모든 화소의 수광 감도 특성이 완전히 다른 것일 필요는 없고, 일부 화소의 수광 감도 특성이 동일하여도 된다.
여기서, 예를 들면, 모든 피사체는 점광원의 집합이며, 각 점광원으로부터 모든 방향으로 광이 출사되고 있는 것으로 한다. 예를 들면, 도 1의 좌측상부의 피사체의 피사체면(31)이 점광원(PA) 내지 점광원(PC)에 의해 구성되고, 점광원(PA) 내지 점광원(PC)이 각각 광 강도(a) 내지 광 강도(c)의 복수의 광선을 주위에 방출하고 있는 것으로 한다. 또한, 이하, 촬상 소자(51)는, 위치(Pa) 내지 위치(Pc)에 입사각 지향성이 각각 다른 화소(이하, 화소(Pa) 내지 화소(Pc)라고 칭함)를 구비하는 것으로 한다.
이 경우, 도 1의 좌측상부에 나타내는 바와 같이, 동일한 점광원으로부터 방출된 동일한 광 강도의 광선이, 촬상 소자(51)의 각 화소에 입사된다. 예를 들면, 점광원(PA)으로부터 방출된 광 강도(a)의 광선이, 촬상 소자(51)의 화소(Pa) 내지 화소(Pc)에 각각 입사된다. 한편, 동일한 점광원으로부터 방출된 광선은, 화소마다 각각 다른 입사각도로 입사된다. 예를 들면, 점광원(PA)으로부터의 광선은, 화소(Pa) 내지 화소(Pc)에 각각 다른 입사각도로 입사된다.
여기서, 화소(Pa) 내지 화소(Pc)의 입사각 지향성이 각각 다르기 때문에, 동일한 점광원으로부터 방출된 동일한 광 강도의 광선이, 각 화소마다 다른 감도로 검출된다. 그 결과, 동일한 광 강도의 광선이 화소마다 다른 검출 신호 레벨로 검출된다. 예를 들면, 점광원(PA)으로부터의 광 강도(a)의 광선에 대한 검출 신호 레벨이, 화소(Pa) 내지 화소(Pc)에서 각각 다른 값이 된다.
그리고, 각 점광원으로부터의 광선에 대한 각 화소의 수광 감도 레벨은, 그 광선의 광 강도에, 그 광선의 입사각도에 대한 수광 감도(즉, 입사각 지향성)를 나타내는 계수를 곱함으로써 구해진다. 예를 들면, 점광원(PA)으로부터의 광선에 대한 화소(Pa)의 검출 신호 레벨은, 점광원(PA)의 광선의 광 강도(a)에, 해당 광선의 화소(Pa)로의 입사각도에 대한 화소(Pa)의 입사각 지향성을 나타내는 계수를 곱함으로써 구해진다.
따라서, 화소(Pc, Pb, Pa)의 검출 신호 레벨(DA, DB, DC)은, 각각 이하의 식(1) 내지 식(3)으로 나타내진다.
DA = α1×a + β1×b + γ1×c
…(1)
DB = α2×a + β2×b + γ2×c
…(2)
DC = α3×a + β3×b + γ3×c
…(3)
여기서, 계수 α1은, 점광원(PA)으로부터 화소(Pc)로의 광선의 입사각도에 대한 화소(Pc)의 입사각 지향성을 나타내는 계수이며, 해당 입사각도에 따라 설정된다. 또한, α1×a는, 점광원(PA)으로부터의 광선에 대한 화소(Pc)의 검출 신호 레벨을 나타내고 있다.
계수 β1은, 점광원(PB)으로부터 화소(Pc)로의 광선의 입사각도에 대한 화소(Pc)의 입사각 지향성을 나타내는 계수이며, 해당 입사각도에 따라 설정된다. 또한, β1×b는, 점광원(PB)으로부터의 광선에 대한 화소(Pc)의 검출 신호 레벨을 나타내고 있다.
계수 γ1은, 점광원(PC)으로부터 화소(Pc)로의 광선의 입사각도에 대한 화소(Pc)의 입사각 지향성을 나타내는 계수이며, 해당 입사각도에 따라 설정된다. 또한, γ1×c는, 점광원(PC)으로부터의 광선에 대한 화소(Pc)의 검출 신호 레벨을 나타내고 있다.
이와 같이, 화소(Pa)의 검출 신호 레벨(DA)은, 화소(Pc)에 있어서의 점광원(PA, PB, PC)으로부터의 광선의 각각의 광 강도(a, b, c)와, 각각의 입사각도에 따른 입사각 지향성을 나타내는 계수 α1, β1, γ1의 곱의 합에 의해 구해진다.
마찬가지로, 화소(Pb)의 검출 신호 레벨(DB)은, 식(2)에 나타내는 바와 같이, 화소(Pb)에 있어서의 점광원(PA, PB, PC)으로부터의 광선의 각각의 광 강도(a, b, c)와, 각각의 입사각도에 따른 입사각 지향성을 나타내는 계수 α2, β2, γ2의 곱의 합에 의해 구해진다. 또한, 화소(Pc)의 검출 신호 레벨(DC)은, 식(3)에 나타내는 바와 같이, 화소(Pa)에 있어서의 점광원(PA, PB, PC)으로부터의 광선의 각각의 광 강도(a, b, c)와, 각각의 입사각도에 따른 입사각 지향성을 나타내는 계수 α2, β2, γ2의 곱의 합에 의해 구해진다.
다만, 화소(Pa, Pb, Pc)의 검출 신호 레벨(DA, DB, DC)은, 식(1) 내지 식(3)에 나타내는 바와 같이, 점광원(PA, PB, PC)의 각각으로부터 방출된 광선의 광 강도(a, b, c)가 혼합되어 있다. 따라서, 도 1의 우측상부에 나타내는 바와 같이, 촬상 소자(51)에 있어서의 검출 신호 레벨은, 피사체면(31) 상의 각 점광원의 광 강도와는 다르다. 따라서, 촬상 소자(51)에 의해 얻어지는 화상은, 피사체면(31)의 상이 결상된 것과는 다른 것이 된다.
한편, 식(1) 내지 식(3)으로 이루어지는 연립 방정식을 작성하고, 작성한 연립 방정식을 푸는 것에 의해, 각 점광원(PA) 내지 점광원(PC)의 광선의 광 강도(a) 내지 광 강도(c)가 구해진다. 그리고, 구한 광 강도(a) 내지 광 강도(c)에 따른 화소값을 갖는 화소를 점광원(PA) 내지 점광원(PC)의 배치(상대위치)에 맞추어 배열함으로써, 도 1의 우측하부에 나타내는 바와 같이, 피사체면(31)의 상이 결상된 복원 화상이 복원된다.
또한, 이하, 연립 방정식을 구성하는 식마다 계수를 모은 것(예를 들면, 계수 α1, β1, γ1)을 계수 세트라고 칭한다. 또한, 이하, 연립 방정식에 포함되는 복수의 식에 대응하는 복수의 계수 세트를 모은 것(예를 들면, 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3)을 계수 세트군이라고 칭한다.
이와 같이 하여, 촬상 렌즈, 핀홀, 및, 특허문헌 1 및 비특허문헌 1(이하, 특허문헌 등이라고 칭함)에 나오는 광학 필터를 필요로 하지 않고, 각 화소에 있어서 입사각 지향성을 갖는 촬상 소자(51)를 필수구성으로 하는 촬상 장치를 실현하는 것이 가능해진다. 그 결과, 촬상 렌즈, 핀홀, 및, 특허문헌 등에 기재된 광학 필터가 필수구성으로 되지 않으므로, 촬상 장치의 키를 낮추는 것, 즉, 촬상 기능을 실현하는 구성에 있어서의 광의 입사 방향에 대한 두께를 얇게 하는 것이 가능해진다.
또한, 필수구성이 촬상 소자(51)뿐이므로, 설계 자유도를 향상시키는 것이 가능해진다. 예를 들면, 종래의 촬상 렌즈를 이용한 촬상 장치에서는, 촬상 렌즈에 의해 피사체의 상이 결상되는 위치에 맞추어, 촬상 소자의 화소를 2차원의 어레이 형상으로 배치할 필요가 있지만, 촬상 소자(51)를 이용한 촬상 장치에서는, 그럴 필요가 없다. 그 때문에, 각 화소의 배치 자유도가 향상되고, 예를 들면, 피사체로부터의 광이 입사하는 범위 내에 있어서, 각 화소를 자유롭게 배치하는 것이 가능해진다. 예를 들면, 각 화소를 원형의 영역 내에 배열하거나, 중공 사각형(ㅁ자형)의 영역 내에 배열하거나, 복수의 영역에 분산하여 배치하거나 하는 것이 가능해진다.
그리고, 각 화소의 배치에 관계없이, 피사체면(31) 상의 각 점광원으로부터의 광선의 각 화소로의 입사각도에 따른 계수를 이용하여, 상술한 식(1) 내지 식(3)에 나타내는 바와 같은 연립 방정식을 작성하고, 푸는 것에 의해, 각 점광원으로부터의 광선의 광 강도를 구할 수 있다. 그리고, 구한 각 점광원의 광 강도에 따른 화소값을 갖는 화소를 피사체면(31) 상의 각 점광원의 배치에 맞추어 배열함으로써, 피사체면(31)의 상이 결상된 복원 화상을 복원할 수 있다.
<<2. 본 개시의 촬상 장치의 기본적인 구성예>>
다음으로, 도 2 내지 도 25를 참조하여, 본 개시의 촬상 장치의 기본적인 구성예에 대해 설명한다.
<촬상 장치(101)의 구성예>
도 2는, 본 개시의 기술을 적용한 기본적인 촬상 장치인 촬상 장치(101)의 구성예를 나타내는 블록도이다.
촬상 장치(101)는, 촬상 소자(121), 복원부(122), 제어부(123), 입력부(124), 검출부(125), 연관부(126), 표시부(127), 기억부(128), 기록 재생부(129), 기록 매체(130), 및 통신부(131)를 구비한다. 또한, 복원부(122), 제어부(123), 입력부(124), 검출부(125), 연관부(126), 표시부(127), 기억부(128), 기록 재생부(129), 기록 매체(130), 및 통신부(131)에 의해, 신호 처리나 촬상 장치(101)의 제어 등을 행하는 신호 처리 제어부(111)가 구성된다. 또한, 촬상 장치(101)는 촬상 렌즈를 포함하지 않는다(촬상 렌즈 없음).
또한, 촬상 소자(121), 복원부(122), 제어부(123), 입력부(124), 검출부(125), 연관부(126), 표시부(127), 기억부(128), 기록 재생부(129), 및 통신부(131)는, 버스(B1)를 통해 서로 접속되어 있고, 버스(B1)를 통해 데이터의 송수신 등을 행한다. 또한, 이하, 설명을 간단하게 하기 위해, 촬상 장치(101)의 각 부가 버스(B1)를 통해 데이터의 송수신 등을 행하는 경우의 버스(B1)의 기재를 생략한다. 예를 들면, 입력부(124)가 버스(B1)를 통해 제어부(123)에 데이터를 공급하는 경우, 입력부(124)가 제어부(123)에 데이터를 공급한다고 기재한다.
촬상 소자(121)는, 도 1을 참조하여 설명한 촬상 소자(51)에 대응하는 것이며, 입사각 지향성을 갖는 화소를 포함하고, 입사광의 광량에 따른 검출 신호 레벨을 나타내는 검출 신호로 이루어지는 화상을 복원부(122) 또는 버스(B1)에 출력하는 촬상 소자이다.
보다 구체적으로, 촬상 소자(121)는, 기본적인 구조에 있어서, 일반적인, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자로 이루어지는 것과 마찬가지의 것이어도 된다. 다만, 촬상 소자(121)는, 화소 어레이를 구성하는 각 화소의 구성이 일반적인 것과 다르며, 예를 들면, 도 3 내지 도 5를 참조하여 후술하는 바와 같이, 입사각 지향성을 갖게 하는 구성을 가지고 있다. 그리고, 촬상 소자(121)는, 화소마다 입사광의 입사각도에 따라 수광 감도가 다르며(변화되며), 화소 단위로 입사광의 입사각도에 대한 입사각 지향성을 가지고 있다.
또한, 촬상 소자(121)가 출력하는 화상은, 상술한 도 1의 우측상부에 나타내는 바와 같이 피사체의 상이 결상되지 않고 있는 검출 신호에 의해 구성되는 화상이 되므로, 육안에 의해 피사체를 인식할 수 없다. 즉, 촬상 소자(121)가 출력하는 검출 신호로 이루어지는 검출 화상은, 화소 신호의 집합이긴 하지만, 사용자가 육안으로 봐서도 피사체를 인식할 수 없는 (피사체를 시인 불가능한) 화상이다.
이에, 이후에 있어서는, 도 1의 우측상부에 나타내는 바와 같이 피사체의 상이 결상되지 않고 있는 검출 신호에 의해 구성되는 화상, 즉, 촬상 소자(121)에 의해 촬상되는 화상을, 검출 화상이라고 칭하는 것으로 한다.
또한, 촬상 소자(121)는, 화소 어레이로서 구성되지 않아도 되고, 예를 들면, 라인 센서로서 구성되어도 된다. 또한, 입사각 지향성은 반드시 화소 단위로 모두 다를 필요는 없고, 입사각 지향이 동일한 화소를 포함하고 있어도 된다.
복원부(122)는, 예를 들면, 도 1에 있어서의 촬상 소자(51)로부터 피사체면(31)(복원 화상에 대응하는 피사체면)까지의 거리에 상당하는 피사체 거리에 대응하며, 상술한 계수 α1 내지 α3, β1 내지 β3, γ1 내지 γ3에 상당하는 계수 세트군을 기억부(128)로부터 취득한다. 또한, 복원부(122)는, 촬상 소자(121)로부터 출력되는 검출 화상의 각 화소의 검출 신호 레벨과, 취득한 계수 세트군을 이용하여, 상술한 식(1) 내지 식(3)으로 나타내는 바와 같은 연립 방정식을 작성한다. 그리고, 복원부(122)는, 작성한 연립 방정식을 푸는 것에 의해, 도 1의 우측하부에 나타내는 피사체의 상이 결상된 화상을 구성하는 각 화소의 화소값을 구한다. 이에 의해, 사용자가 육안으로 봐서 피사체를 인식할 수 있는 (피사체를 시인 가능한) 화상이 검출 화상으로부터 복원된다. 이후에 있어서는, 이 검출 화상으로부터 복원되는 화상을 복원 화상이라고 칭하는 것으로 한다. 다만, 촬상 소자(121)가 자외선 등의 시인 가능한 파장 대역 이외의 광에만 감도를 갖는 경우, 복원 화상도 통상의 화상과 같이 피사체를 식별할 수 있도록 한 화상으로는 되지 않지만, 이 경우에도 복원 화상이라고 칭한다.
또한, 이후에 있어서는, 피사체의 상이 결상된 상태의 화상인 복원 화상으로서, 디모자이크 처리(demosaic processing) 등의 색 분리나 동시화 처리 전의 화상을 RAW 화상이라고 칭하고, 촬상 소자(121)에 의해 촬상된 검출 화상에 대해서는, 컬러 필터의 배열을 따른 화상이지만, RAW 화상이 아닌 것으로서 구별한다.
또한, 촬상 소자(121)의 화소수와, 복원 화상을 구성하는 화소의 화소수는, 반드시 동일할 필요는 없다.
또한, 복원부(122)는, 필요에 따라, 복원 화상에 대해 디모자이크 처리, γ 보정, 화이트 밸런스 조정, 소정의 압축 형식으로의 변환 처리 등을 행한다. 그리고, 복원부(122)는 복원 화상을 버스(B1)에 출력한다.
제어부(123)는, 예를 들면, 각종의 프로세서를 구비하고, 촬상 장치(101)의 각 부를 제어한다.
입력부(124)는, 촬상 장치(101)의 조작이나, 처리에 이용되는 데이터의 입력 등을 행하기 위한 입력 디바이스(예를 들면, 키, 스위치, 버튼, 다이얼, 터치 패널, 리모트 컨트롤러 등)를 구비한다. 입력부(124)는, 조작 신호나 입력된 데이터 등을 버스(B1)에 출력한다.
검출부(125)는, 촬상 장치(101)나 피사체의 상태 등의 검출에 이용되는 각종의 센서 등을 구비한다. 예를 들면, 검출부(125)는, 촬상 장치(101)의 자세나 움직임을 검출하는 가속도 센서나 자이로 센서, 촬상 장치(101)의 위치를 검출하는 위치 검출 센서(예를 들면, GNSS(Global Navigation Satellite System) 수신기 등), 피사체 거리를 검출하는 측거 센서 등을 구비한다. 검출부(125)는, 검출 결과를 나타내는 신호를 버스(B1)에 출력한다.
연관부(126)는, 촬상 소자(121)에 의해 얻어지는 검출 화상과, 검출 화상에 대응하는 메타데이터를 연관시킨다. 메타데이터는, 예를 들면, 대상이 되는 검출 화상을 이용하여 복원 화상을 복원하기 위한 계수 세트군이나 피사체 거리 등을 포함한다.
또한, 검출 화상과 메타데이터를 연관시키는 방법은, 검출 화상과 메타데이터의 대응 관계를 특정할 수 있으면, 특히 한정되지 않는다. 예를 들면, 검출 화상을 포함하는 화상 데이터에 메타데이터를 부여하거나, 검출 화상과 메타데이터에 동일한 ID를 부여하거나, 검출 화상과 메타데이터를 동일한 기록 매체(130)에 기록시키거나 함으로써, 검출 화상과 메타데이터가 연관된다.
표시부(127)는, 예를 들면, 디스플레이에 의해 구성되고, 각종의 정보(예를 들면, 복원 화상 등)의 표시를 행한다. 또한, 표시부(127)가, 스피커 등의 음성 출력부를 구비하고, 음성의 출력을 행하도록 하는 것도 가능하다.
기억부(128)는, ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등의 기억 장치를 1개 이상 구비하고, 예를 들면, 촬상 장치(101)의 처리에 이용되는 프로그램이나 데이터 등을 기억한다. 예를 들면, 기억부(128)는, 다양한 피사체 거리에 대응하여, 상술한 계수 α1 내지 α3, β1 내지 β3, γ1 내지 γ3에 상당하는 계수 세트군을 기억하고 있다. 보다 구체적으로, 예를 들면, 기억부(128)는, 각 피사체 거리에 있어서의 피사체면(31)마다, 피사체면(31) 상에 설정한 각 점광원에 대한 촬상 소자(121)의 각 화소(121a)에 대한 계수를 포함하는 계수 세트군을 기억하고 있다.
기록 재생부(129)는, 기록 매체(130)에의 데이터의 기록, 및 기록 매체(130)에 기록되어 있는 데이터의 재생(판독)을 행한다. 예를 들면, 기록 재생부(129)는, 복원 화상을 기록 매체(130)에 기록하거나, 기록 매체(130)로부터 판독하거나 한다. 또한, 예를 들면, 기록 재생부(129)는, 검출 화상 및 대응하는 메타데이터를, 기록 매체(130)에 기록하거나, 기록 매체(130)로부터 판독하거나 한다.
기록 매체(130)는, 예를 들면, HDD(Hard Disk Drive), SSD(Solid State Drive), 자기 디스크, 광 디스크, 광자기 디스크, 및 반도체 메모리 등의 어느 하나, 또는 이들의 조합 등으로 이루어진다.
통신부(131)는, 소정의 통신 방식에 의해, 다른 기기(예를 들면, 다른 촬상 장치나 신호 처리 장치 등)와 통신을 행한다. 또한, 통신부(131)의 통신 방식은, 유선 또는 무선 중 어느 것이어도 된다. 또한, 통신부(131)가 복수의 통신 방식에 대응하는 것도 가능하다.
<촬상 소자(121)의 제1 구성예>
다음으로, 도 3 및 도 4를 참조하여, 도 2의 촬상 장치(101)의 촬상 소자(121)의 제1 구성예에 대해 설명한다.
도 3은, 촬상 소자(121)의 화소 어레이부의 일부의 정면도를 나타내고 있다. 또한, 도 3에 있어서는, 화소 어레이부의 화소수가 세로 6화소×가로 6화소인 경우의 예를 나타내고 있지만, 화소 어레이부의 화소수는, 이것에 한정되는 것이 아니다.
도 3의 촬상 소자(121)에서는, 화소(121a)마다, 그 포토다이오드의 수광 영역(수광면)의 일부를 덮도록 변조 소자의 하나인 차광막(12lb)이 마련되어 있고, 각 화소(121a)에 입사하는 입사광이, 입사각도에 따라 광학적으로 변조된다. 그리고, 예를 들면, 화소(121a)마다 다른 범위에 차광막(12lb)을 마련함으로써, 화소(121a)마다 입사광의 입사각도에 대한 수광 감도가 다른 것이 되고, 각 화소(121a)가 다른 입사각 지향성을 가지게 된다.
예를 들면, 화소(121a-1)와 화소(121a-2)에서는, 마련되어 있는 차광막(12lb-1)과 차광막(12lb-2)에 의해 포토다이오드의 수광 영역을 차광하는 범위가 다르다(차광하는 영역(위치) 및 차광하는 면적 중 적어도 어느 하나가 다르다). 즉, 화소(121a-1)에 있어서는, 포토다이오드의 수광 영역의 좌측의 일부를 소정의 폭만큼 차광하도록 차광막(12lb-1)이 마련되어 있다. 한편, 화소(121a-2)에 있어서는, 수광 영역의 오른쪽 일부를 소정의 폭만큼 차광하도록 차광막(12lb-2)이 마련되어 있다. 또한, 차광막(12lb-1)이 포토다이오드의 수광 영역을 차광하는 폭과, 차광막(12lb-2)이 포토다이오드의 수광 영역을 차광하는 폭은, 달라도 되고, 같아도 된다. 그 밖의 화소(121a)에 있어서도, 마찬가지로, 차광막(12lb)이, 화소마다 수광 영역의 다른 범위를 차광하도록, 화소 어레이 내에서 랜덤하게 배치되어 있다.
또한, 차광막(12lb)이 각 화소의 수광 영역을 덮어 가리는 비율이 커질수록, 포토다이오드가 수광할 수 있는 광량이 적은 상태가 된다. 따라서, 차광막(12lb)의 면적은, 원하는 광량을 확보할 수 있는 정도의 면적으로 하는 것이 바람직하고, 예를 들면, 최대로 수광 영역의 3/4 정도까지라는 제한을 가하도록 해도 된다. 이와 같이 함으로써, 원하는 양 이상의 광량을 확보하는 것이 가능해진다. 다만, 각 화소에 있어서, 수광하는 광의 파장에 상당하는 폭의 차광되지 않고 있는 범위가 마련되어 있으면, 최소한의 광량을 수광하는 것은 가능하다. 즉, 예를 들면, B 화소(청색 화소)의 경우, 파장은 500nm 정도가 되지만, 이 파장에 상당하는 폭 이상으로 차광되지 않고 있으면, 최소한의 광량을 수광하는 것은 가능하다.
도 4의 상단은, 촬상 소자(121)의 제1 구성예에 있어서의 측면 단면도이며, 도 4의 중간단은, 촬상 소자(121)의 제1 구성예에 있어서의 상면도이다. 또한, 도 4의 상단의 측면 단면도는, 도 4의 중간단에 있어서의 AB단면이 된다. 나아가, 도 4의 하단은, 촬상 소자(121)의 회로 구성예이다.
도 4의 상단의 촬상 소자(121)에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사한다. 인접하는 화소(121a-1, 121a-2)는, 각각 도면 중의 최하층에 배선층(Z12)이 마련되어 있고, 그 위에 광전 변환층(Z11)이 마련되어 있는, 이른바, 이면 조사형(backside irradiation-type)이다.
또한, 화소(121a-1, 121a-2)를 구별할 필요가 없는 경우, 부호 말미의 숫자의 기재를 생략하고, 간단히, 화소(121a)라고 칭한다. 이하, 명세서 내에 있어서, 다른 구성에 대해서도, 마찬가지로 부호 말미의 숫자를 생략하는 경우가 있다.
또한, 도 4에 있어서는, 촬상 소자(121)의 화소 어레이를 구성하는 2화소분의 측면도 및 상면도만을 나타내고 있고, 말할 필요도 없이, 이 이상의 수의 화소(121a)가 배치되어 있지만 도시가 생략되어 있다.
나아가, 화소(121a-1, 121a-2)는, 각각 광전 변환층(Z11)에 포토다이오드(121e-1, 121e-2)를 구비하고 있다. 또한, 포토다이오드(121e-1, 121e-2) 위에는, 각각 위에서부터 온-칩 렌즈(121c-1, 121c-2) 및 컬러 필터(121d-1, 121d-2)가 적층되어 있다.
온-칩 렌즈(121c-1, 121c-2)는, 입사광을 포토다이오드(121e-1, 121e-2) 상에 집광시킨다.
컬러 필터(121d-1, 121d-2)는, 예를 들면, 적색, 녹색, 청색, 적외 및 백색 등의 특정 파장의 광을 투과시키는 광학 필터이다. 또한, 백색의 경우, 컬러 필터(121d-1, 121d-2)는, 투명한 필터이어도 되고, 없어도 된다.
화소(121a-1, 121a-2)의 광전 변환층(Z11)에 있어서의, 각각 화소간의 경계에는, 차광막(121g-1 내지 121g-3)이 형성되어 있고, 예를 들면, 도 4에 나타내는 바와 같이, 입사광(L)이 인접하는 화소에 입사하여, 크로스토크(crosstalk)가 발생하는 것을 억제한다.
또한, 도 4의 상단 및 중간단에 나타내는 바와 같이, 차광막(12lb-1, 12lb-2)이, 상면에서 볼 때 수광면(S)의 일부를 차광하고 있다. 화소(121a-1, 121a-2)에 있어서의 포토다이오드(121e-1, 121e-2)의 수광면(S)에 있어서는, 차광막(12lb-1, 12lb-2)에 의해, 각각 다른 범위가 차광되고 있고, 이에 의해 다른 입사각 지향성이 화소마다 독립적으로 설정된다. 다만, 차광되는 범위는, 촬상 소자(121)의 모든 화소(121a)에서 다를 필요는 없으며, 일부에서 동일한 범위가 차광되는 화소(121a)가 존재하고 있어도 된다.
또한, 도 4의 상단에 나타내는 바와 같이, 차광막(12lb-1)과 차광막(121g-1)은 서로 접속되어 있고, 측면에서 볼 때 L자형으로 구성되어 있다. 마찬가지로, 차광막(12lb-2)과 차광막(121g-2)은 서로 접속되어 있고, 측면에서 볼 때 L자형으로 구성되어 있다. 또한, 차광막(12lb-1), 차광막(12lb-2), 및 차광막(121g-1 내지 121g-3)은, 금속에 의해 구성되고 있고, 예를 들면, 텅스텐(W), 알루미늄(Al), 또는 Al과 구리(Cu)의 합금에 의해 구성된다. 또한, 차광막(12lb-1), 차광막(12lb-2), 및 차광막(121g-1 내지 121g-3)은, 반도체 프로세스에 있어서의 배선이 형성되는 프로세스와 동일한 프로세스에서, 배선과 동일한 금속에 의해 동시에 형성되도록 해도 된다. 또한, 차광막(12lb-1), 차광막(12lb-2), 및 차광막(121g-1 내지 121g-3)의 막 두께는, 위치에 따라 동일한 두께로 하지 않아도 된다.
또한, 도 4의 하단에 나타내는 바와 같이, 화소(121a)는, 포토다이오드(161)(포토다이오드(121e)에 대응함), 전송 트랜지스터(162), FD(Floating Diffusion)부(163), 선택 트랜지스터(164), 증폭 트랜지스터(165), 및 리셋 트랜지스터(166)를 구비하고, 수직 신호선(167)을 통해 전류원(168)에 접속되어 있다.
포토다이오드(161)는, 애노드 전극이 접지되고, 캐소드 전극이, 전송 트랜지스터(162)를 통해 증폭 트랜지스터(165)의 게이트 전극에 접속되어 있다.
전송 트랜지스터(162)는, 전송 신호(TG)에 따라 구동한다. 예를 들면, 전송 트랜지스터(162)의 게이트 전극에 공급되는 전송 신호(TG)가 하이 레벨이 되면, 전송 트랜지스터(162)는 온으로 된다. 이에 의해, 포토다이오드(161)에 축적되어 있는 전하가 전송 트랜지스터(162)를 통해 FD부(163)에 전송된다.
증폭 트랜지스터(165)는, 포토다이오드(161)에서의 광전 변환에 의해 얻어지는 신호를 판독하는 판독 회로인 소스 폴로어(source follower)의 입력부가 되고, FD부(163)에 축적되어 있는 전하에 따른 레벨의 화소 신호를 수직 신호선(167)에 출력한다. 즉, 증폭 트랜지스터(165)는, 드레인 단자가 전원(VDD)에 접속되고, 소스 단자가 선택 트랜지스터(164)를 통해 수직 신호선(167)에 접속됨으로써, 수직 신호선(167)의 일단에 접속되는 전류원(168)과 소스 폴로어를 구성한다.
FD부(163)는, 전송 트랜지스터(162)와 증폭 트랜지스터(165)의 사이에 마련되는 전하 용량 C1을 갖는 부유 확산 영역(floating diffusion region)이며, 전송 트랜지스터(162)를 통해 포토다이오드(161)로부터 전송되는 전하를 일시적으로 축적한다. FD부(163)는, 전하를 전압으로 변환하는 전하 검출부로서, FD부(163)에 축적되어 있는 전하가 증폭 트랜지스터(165)에 있어서 전압으로 변환된다.
선택 트랜지스터(164)는, 선택 신호(SEL)에 따라 구동되고, 게이트 전극에 공급되는 선택 신호(SEL)가 하이 레벨이 되면 온으로 되고, 증폭 트랜지스터(165)와 수직 신호선(167)을 접속시킨다.
리셋 트랜지스터(166)는, 리셋 신호(RST)에 따라 구동된다. 예를 들면, 리셋 트랜지스터(166)는, 게이트 전극에 공급되는 리셋 신호(RST)가 하이 레벨이 되면 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원(VDD)에 배출하여, FD부(163)를 리셋한다.
예를 들면, 도 4의 하단에 나타내는 화소 회로는 다음과 같이 동작한다.
즉, 제1 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원(VDD)에 배출하여, FD부(163)를 리셋한다.
제2 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 오프로 되고, 노광 기간으로 되며, 포토다이오드(161)에 의해, 입사광의 광량에 따른 전하가 축적된다.
제3 동작으로서, 리셋 트랜지스터(166)가 온으로 되고, FD부(163)가 리셋된 후, 리셋 트랜지스터(166)가 오프로 된다. 이 동작에 의해, FD부(163)가 기준 전위로 설정된다.
제4 동작으로서, 리셋된 상태의 FD부(163)의 전위가, 기준 전위로서 증폭 트랜지스터(165)로부터 출력된다.
제5 동작으로서, 전송 트랜지스터(162)가 온으로 되고, 포토다이오드(161)에 축적된 전하가 FD부(163)에 전송된다.
제6 동작으로서, 포토다이오드의 전하가 전송된 FD부(163)의 전위가, 신호 전위로서 증폭 트랜지스터(165)로부터 출력된다.
그리고, CDS(상관 이중 샘플링)에 의해 신호 전위로부터 기준 전위가 감산된 신호가, 화소(121a)의 검출 신호(화소 신호)로서 출력된다. 이 검출 신호의 값(출력 화소값)은, 피사체로부터의 입사광의 입사각에 따라 변조되고 있고, 입사각에 따라 특성(지향성)이 다르다(입사각 지향성을 갖는다).
<촬상 소자(121)의 제2 구성예>
도 5는 촬상 소자(121)의 제2 구성예를 나타내는 도면이다. 도 5의 상단에는, 제2 구성예인 촬상 소자(121)의 화소(121a)의 측면 단면도가 나타나 있고, 도 5의 중간단에는, 촬상 소자(121)의 상면도가 나타나 있다. 또한, 도 5의 상단의 측면 단면도는, 도 5의 중간단에 있어서의 AB단면이 된다. 나아가, 도 5의 하단은, 촬상 소자(121)의 회로 구성예이다.
도 5의 촬상 소자(121)는, 1개의 화소(121a)에 4개의 포토다이오드(121f-1 내지 121f-4)가 형성되고, 차광막(121g)이 포토다이오드(121f-1 내지 121f-4)끼리를 분리하는 영역에 형성되어 있는 점에서, 도 4의 촬상 소자(121)와 다른 구성으로 되어 있다. 즉, 도 5의 촬상 소자(121)에서, 차광막(121g)은, 상면에서 볼 때 「+」형상으로 형성되어 있다. 또한, 이들의 공통인 구성에 대해서는 도 4와 동일한 부호를 부여하고 있고, 상세한 설명은 생략한다.
도 5의 촬상 소자(121)에서는, 차광막(121g)에 의해 포토다이오드(121f-1 내지 121f-4)가 분리됨으로써, 포토다이오드(121f-1 내지 121f-4) 사이의 전기적 및 광학적인 크로스토크의 발생이 방지된다. 즉, 도 5의 차광막(121g)은, 도 4의 촬상 소자(121)의 차광막(121g)과 마찬가지로 크로스토크를 방지하기 위한 것이며, 입사각 지향성을 부여하기 위한 것이 아니다.
또한, 도 5의 촬상 소자(121)에서는, 1개의 FD부(163)가 4개의 포토다이오드(121f-1 내지 121f-4)에서 공유된다. 도 5의 하단은, 1개의 FD부(163)를 4개의 포토다이오드(121f-1 내지 121f-4)에서 공유하도록 한 회로 구성예를 나타내고 있다. 또한, 도 5의 하단에 있어서, 도 4의 하단과 동일한 구성에 대해서는, 그 설명을 생략한다.
도 5의 하단에 있어서, 도 4의 하단의 회로 구성과 다른 점은, 포토다이오드(161)(도 4의 상단에 있어서의 포토다이오드(121e)에 대응함) 및 전송 트랜지스터(162) 대신에, 포토다이오드(161-1 내지 161-4)(도 5의 상단에 있어서의 포토다이오드(121f-1 내지 121f-4)에 대응함) 및 전송 트랜지스터(162-1 내지 162-4)를 마련하고, FD부(163)를 공유하는 구성으로 하고 있는 점이다.
이러한 구성에 의해, 포토다이오드(121f-1 내지 121f-4)에 축적된 전하는, 포토다이오드(121f-1 내지 121f-4)와 증폭 트랜지스터(165)의 게이트 전극의 접속부에 마련되는 소정의 용량을 갖는 공통의 FD부(163)에 전송된다. 그리고, FD부(163)에 유지되어 있는 전하의 레벨에 따른 신호가 검출 신호(화소 신호)로서 판독된다(다만, 상술한 바와 같이 CDS 처리가 행해진다).
이 때문에, 포토다이오드(121f-1 내지 121f-4)에 의해 축적된 전하를 다양한 조합으로 선택적으로 화소(121a)의 출력, 즉, 검출 신호에 기여시킬 수 있다. 즉, 포토다이오드(121f-1 내지 121f-4)마다 독립적으로 전하를 판독할 수 있는 구성으로 하여 출력에 기여하는 포토다이오드(121f-1 내지 121f-4)(포토다이오드(121f-1 내지 121f-4)가 출력에 기여하는 정도)를 서로 다르게 함으로써, 다른 입사각 지향성을 얻을 수 있다.
예를 들면, 포토다이오드(121f-1)와 포토다이오드(121f-3)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산함으로써, 좌우 방향의 입사각 지향성을 얻을 수 있다. 마찬가지로, 포토다이오드(121f-1)와 포토다이오드(121f-2)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산함으로써, 상하 방향의 입사각 지향성을 얻을 수 있다.
또한, 4개의 포토다이오드(121f-1 내지 121f-4)로부터 독립적으로 선택적으로 판독되는 전하에 기초하여 얻어지는 신호는, 검출 화상을 구성하는 1화소분에 상당하는 검출 신호가 된다.
또한, 각 포토다이오드(121f)(의 전하)의 검출 신호에의 기여는, 예를 들면, 각 포토다이오드(121f)의 전하(검출값)를 FD부(163)에 전송할지 어떨지뿐만 아니라, 전자 셔터 기능을 이용하여 FD부(163)에의 전송 전에 포토다이오드(121f)에 축적된 전하를 리셋하는 것 등으로도 실현할 수 있다. 예를 들면, FD부(163)에의 전송 직전에 포토다이오드(121f)의 전하를 리셋하면, 그 포토다이오드(121f)는, 검출 신호에 전혀 기여하지 않는 상태가 된다. 한편, 포토다이오드(121f)의 전하의 리셋과 FD부(163)에의 전하의 전송의 사이에 시간을 갖게 함으로써, 그 포토다이오드(121f)는, 부분적으로 검출 신호에 기여하는 상태가 된다.
이상과 같이, 도 5의 촬상 소자(121)의 경우, 4개의 포토다이오드(121f-1 내지 121f-4) 중, 검출 신호에 이용하는 것의 조합을 변경함으로써, 화소마다 다른 입사각 지향성을 갖게 할 수 있다. 또한, 도 5의 촬상 소자(121)의 각 화소(121a)로부터 출력되는 검출 신호는, 피사체로부터의 입사광의 입사각에 따라 변조된 값(출력 화소값)이 되고, 입사각에 따라 특성(지향성)이 다르다(입사각 지향성을 갖는다).
또한, 이하, 검출 화상의 1화소분에 상당하는 검출 신호를 출력하는 단위를 화소 출력 단위라고 칭한다. 화소 출력 단위는, 적어도 1개 이상의 포토다이오드를 구비하고, 통상은, 촬상 소자(121)의 각 화소(121a)가, 각각 1개의 화소 출력 단위에 상당한다.
예를 들면, 도 4의 촬상 소자(121)에서는, 1개의 화소(121a)에 각각 1개의 포토다이오드(121e)가 마련되어 있기 때문에, 1개의 화소 출력 단위가 각각 1개의 포토다이오드(121e)를 구비하게 된다. 바꾸어 말하면, 1개의 포토다이오드(121e)에 의해, 1개의 화소 출력 단위가 구성된다.
그리고, 각 화소(121a)의 차광막(12lb)에 의한 차광의 상태를 각각 다른 것으로 함으로써, 각 화소 출력 단위의 입사각 지향성을 다른 것으로 할 수 있다. 그리고, 도 4의 촬상 소자(121)에서는, 차광막(12lb)을 이용하여 각 화소(121a)로의 입사광이 광학적으로 변조되고, 그 결과, 각 화소(121a)의 포토다이오드(121e)로부터 출력되는 신호에 의해, 입사각 지향성을 반영한 검출 화상의 1화소분의 검출 신호가 얻어진다. 즉, 도 4의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하는 복수의 화소 출력 단위를 구비하고, 각 화소 출력 단위가 1개의 포토다이오드(121e)를 구비하고, 피사체로부터의 입사광의 입사각에 대한 특성(입사각 지향성)이 화소 출력 단위마다 설정되어 있다.
한편, 도 5의 촬상 소자(121)에서는, 1개의 화소(121a)에 각각 4개의 포토다이오드(121f-1 내지 121f-4)가 마련되어 있기 때문에, 1개의 화소 출력 단위가 각각 4개의 포토다이오드(121e)를 구비하게 된다. 바꾸어 말하면, 4개의 포토다이오드(121f)에 의해, 1개의 화소 출력 단위가 구성된다. 한편, 각 포토다이오드(121e) 단독에 의해, 개별의 화소 출력 단위가 구성되는 일은 없다.
그리고, 상술한 바와 같이 4개의 포토다이오드(121f-1 내지 121f-4) 중 검출 신호에 기여하는 포토다이오드(121f)를 화소(121a)마다 다른 것으로 함으로써, 화소 출력 단위마다의 입사각 지향성이 다른 것이 된다. 즉, 도 5의 촬상 소자(121)에서는, 4개의 포토다이오드(121f-1 내지 121f-4) 중 출력(검출 신호)에 기여하지 않는 범위가 차광된 영역과 마찬가지로 기능한다. 그리고, 포토다이오드(121f-1 내지 121f-4)로부터 출력되는 신호의 조합에 의해, 입사각 지향성을 반영한 검출 화상의 1화소분의 검출 신호가 얻어진다. 즉, 도 5의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하는 복수의 화소 출력 단위를 구비하고, 각 화소 출력 단위가 복수의 포토다이오드(예를 들면, 포토다이오드(121f-1 내지 121f-4))를 구비하고, 출력에 기여하는 포토다이오드(의 정도)를 다르게 함으로써, 피사체로부터의 입사광의 입사각에 대한 각 화소 출력 단위의 특성(입사각 지향성)이 서로 다르다.
또한, 도 5의 촬상 소자(121)에서는, 입사광이 광학적으로 변조되지 않고 모든 포토다이오드(121f-1 내지 121f-4)에 입사되기 때문에, 검출 신호는, 광학적인 변조에 의해 얻어지는 신호가 아니다. 또한, 이후에 있어서, 검출 신호에 기여하지 않는 포토다이오드(121f)를, 화소 출력 단위 또는 출력에 기여하지 않는 포토다이오드(121f)라고도 칭한다.
또한, 도 5에는, 화소 출력 단위(화소(121a))의 수광면을 4등분하고, 각 영역에 각각 수광면이 같은 크기의 포토다이오드(121f)를 배치한 예, 즉, 포토다이오드를 4등분한 예를 나타내고 있지만, 포토다이오드의 분할수나 분할 위치는 임의로 설정하는 것이 가능하다.
예를 들면, 포토다이오드를 반드시 등분할 필요는 없고, 화소 출력 단위마다 포토다이오드의 분할 위치를 다르게 해도 된다. 이에 의해, 예를 들면, 복수의 화소 출력 단위 간에 같은 위치의 포토다이오드(121f)를 출력에 기여시키도록 했다고 하더라도, 화소 출력 단위 간에 입사각 지향성이 다르게 된다. 또한, 예를 들면, 화소 출력 단위 간에 분할수를 다른 것으로 함으로써, 보다 자유롭게 입사각 지향성을 설정하는 것이 가능해진다. 나아가, 예를 들면, 화소 출력 단위 간에 분할수 및 분할 위치의 양쪽을 다르게 하도록 해도 된다.
또한, 도 4의 촬상 소자(121) 및 도 5의 촬상 소자(121) 모두, 각 화소 출력 단위가 입사각 지향성을 독립적으로 설정 가능한 구성을 가지고 있다. 한편, 상술한 비특허문헌 1이나 특허문헌 1, 2에 나타내는 촬상 장치에서는, 촬상 소자의 각 화소 출력 단위가 입사각 지향성을 독립적으로 설정 가능한 구성을 가지고 있지 않다. 또한, 도 4의 촬상 소자(121)에서는, 각 화소 출력 단위의 입사각 지향성이, 차광막(12lb)에 의해 제조시에 설정된다. 한편, 도 5의 촬상 소자(121)에서는, 각 화소 출력 단위의 포토다이오드 분할수나 분할 위치는 제조시에 설정되지만, 각 화소 출력 단위의 입사각 지향성(출력에 기여시키는 포토다이오드의 조합)은 사용시(예를 들면, 촬상시)에 설정할 수 있다. 또한, 도 4의 촬상 소자(121) 및 도 5의 촬상 소자(121)의 어느 것에 있어서도, 반드시 모든 화소 출력 단위가, 입사각 지향성을 갖게 하는 구성을 구비할 필요는 없다.
또한, 상술한 바와 같이, 통상은, 촬상 소자의 각 화소가, 각각 1개의 화소 출력 단위에 상당하지만, 후술하는 바와 같이, 복수의 화소에 의해, 1개의 화소 출력 단위가 구성되는 경우도 있다. 이후에 있어서는, 특히 기재가 없는 한, 촬상 소자의 각 화소가, 각각 1개의 화소 출력 단위에 상당하는 것으로서 설명을 한다.
<입사각 지향성을 생기게 하는 원리에 대해>
촬상 소자(121)의 각 화소의 입사각 지향성은, 예를 들면, 도 6에 나타내는 바와 같은 원리에 의해 발생한다. 또한, 도 6의 좌측상부 및 우측상부는, 도 4의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이며, 도 6의 좌측하부 및 우측하부는, 도 5의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이다.
도 6의 좌측상부 및 우측상부의 화소는, 모두 1개의 포토다이오드(121e)를 구비한다. 이에 대하여, 도 6의 좌측하부 및 우측하부의 화소는, 모두 2개의 포토다이오드(121f)를 구비한다. 또한, 여기서는, 1화소가 2개의 포토다이오드(121f)를 구비하는 예를 나타내고 있지만, 이것은 설명의 편의상이며, 1화소가 구비하는 포토다이오드(121f)의 수는, 그 밖의 개수이어도 된다.
도 6의 좌측상부의 화소에 있어서는, 포토다이오드(121e-11)의 수광면의 우측절반을 차광하도록 차광막(12lb-11)이 형성되어 있다. 또한, 도 6의 우측상부의 화소에 있어서는, 포토다이오드(121e-12)의 수광면의 좌측절반을 차광하도록 차광막(12lb-12)이 형성되어 있다. 또한, 도면 중의 일점쇄선은, 포토다이오드(121e)의 수광면의 수평 방향의 중심을 통과하고, 수광면에 대해 수직인 보조선이다.
예를 들면, 도 6의 좌측상부의 화소에 있어서는, 도면 중의 일점쇄선에 대해 입사각 θ1을 이루는 우측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(12lb-11)에 의해 차광되지 않고 있는 좌측절반의 범위에 의해 수광되기 쉽다. 이에 대하여, 도면 중의 일점쇄선에 대해 입사각 θ2를 이루는 좌측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(12lb-11)에 의해 차광되지 않고 있는 좌측절반의 범위에 의해 수광되기 어렵다. 따라서, 도 6의 좌측상부의 화소는, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도가 높고, 좌측상방으로부터의 입사광에 대해 수광 감도가 낮은 입사각 지향성을 구비하게 된다.
한편, 예를 들면, 도 6의 우측상부의 화소에 있어서는, 입사각 θ1을 이루는 우측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(12lb-12)에 의해 차광되고 있는 좌측절반의 범위에 의해 수광되기 어렵다. 이에 대하여, 입사각 θ2를 이루는 좌측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(12lb-12)에 의해 차광되지 않고 있는 우측절반의 범위에 의해 수광되기 쉽다. 따라서, 도 6의 우측상부의 화소는, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도가 낮고, 좌측상방으로부터의 입사광에 대해 수광 감도가 높은 입사각 지향성을 구비하게 된다.
또한, 도 6의 좌측하부의 화소는, 도면 중의 좌우에 포토다이오드(121f-11, 121f-12)가 마련되어 있고, 어느 일방의 검출 신호를 판독하도록 함으로써, 차광막(12lb)을 마련하는 일 없이 입사각 지향성을 갖는 구성으로 되어 있다.
즉, 도 6의 좌측하부의 화소에서는, 도면 중의 좌측에 마련된 포토다이오드(121f-11)의 신호만을 판독하도록 함으로써, 도 6의 좌측상부의 화소와 마찬가지의 입사각 지향성을 얻을 수 있다. 즉, 도면 중의 일점쇄선에 대해 입사각 θ1을 이루는 우측상방향으로부터의 입사광은, 포토다이오드(121f-11)에 입사하고, 수광량에 대응하는 신호가 포토다이오드(121f-11)로부터 판독되기 때문에, 이 화소로부터 출력되는 검출 신호에 기여한다. 이에 대하여, 도면 중의 일점쇄선에 대해 입사각 θ2를 이루는 좌측상방향으로부터의 입사광은, 포토다이오드(121f-12)에 입사하지만, 포토다이오드(121f-12)로부터 판독되지 않기 때문에, 이 화소로부터 출력되는 검출 신호에 기여하지 않는다.
마찬가지로, 도 6의 우측하부의 화소와 같이, 2개의 포토다이오드(121f-13, 121f-14)를 구비하는 경우, 도면 중의 우측에 마련된 포토다이오드(121f-14)의 신호만을 판독하도록 함으로써, 도 6의 우측상부의 화소와 마찬가지의 입사각 지향성을 얻을 수 있다. 즉, 입사각 θ1을 이루는 우측상방향으로부터의 입사광은, 포토다이오드(121f-13)에 입사하지만, 포토다이오드(121f-13)로부터 신호가 판독되지 않기 때문에, 이 화소로부터 출력되는 검출 신호에 기여하지 않는다. 이에 대하여, 입사각 θ2를 이루는 좌측상방향으로부터의 입사광은, 포토다이오드(121f-14)에 입사하고, 수광량에 대응하는 신호가 포토다이오드(121f-14)로부터 판독되기 때문에, 이 화소로부터 출력되는 검출 신호에 기여한다.
또한, 도 6의 상부의 화소에 있어서는, 화소(포토다이오드(121e)의 수광면)의 수평 방향의 중심 위치에서 차광되는 범위와 차광되지 않는 범위가 나눠지는 예를 나타냈지만, 그 밖의 위치에서 나눠지도록 해도 된다. 또한, 도 6의 하부의 화소에 있어서는, 화소의 수평 방향의 중심 위치에서, 2개의 포토다이오드(121f)가 나눠지는 예를 나타냈지만, 그 밖의 위치에서 나눠지도록 해도 된다. 이와 같이, 차광 범위 또는 포토다이오드(121f)가 나눠지는 위치를 변경함으로써, 다른 입사각 지향성을 생기게 할 수 있다.
<온-칩 렌즈를 포함하는 구성에 있어서의 입사각 지향성에 대해>
다음으로, 도 7을 참조하여, 온-칩 렌즈(121c)를 포함시킨 구성에 있어서의 입사각 지향성에 대해 설명한다.
도 7의 상단의 그래프는, 도 7의 중간단 및 하단의 화소의 입사각 지향성을 나타내고 있다. 또한, 횡축이 입사각도 θ이며, 종축이 검출 신호 레벨을 나타내고 있다. 또한, 입사각도 θ는, 입사광의 방향이, 도 7의 중간단 좌측의 일점쇄선과 일치하는 경우를 0도라고 하고, 도 7의 중간단 좌측의 입사각도 θ21측을 양의 방향이라고 하고, 도 7의 중간단 우측의 입사각도 θ22측을 음의 방향으로 한다. 따라서, 온-칩 렌즈(121c)에 대해, 우측상방으로부터 입사하는 입사광에 대해서는, 좌측상방으로부터 입사하는 입사광보다 입사각도가 커진다. 즉, 입사각도 θ는, 입사광의 진행 방향이 좌측으로 기울어질수록 커지고(양의 방향으로 커지고), 우측으로 기울어질수록 작아진다(음의 방향으로 커진다).
또한, 도 7의 중간단 좌측부의 화소는, 도 6의 상단 좌측부의 화소에, 입사광을 집광하는 온-칩 렌즈(121c-11), 및, 소정의 파장의 광을 투과시키는 컬러 필터(121d-11)를 추가한 것이다. 즉, 이 화소에서는, 온-칩 렌즈(121c-11), 컬러 필터(121d-11), 차광막(12lb-11), 포토다이오드(121e-11)가, 도면 중의 상방의 광의 입사 방향으로부터 순서대로 적층되어 있다.
마찬가지로, 도 7의 중간단 우측부의 화소, 도 7의 하단 좌측부의 화소, 및, 도 7의 하단 우측부의 화소는, 각각, 도 6의 상단 우측부의 화소, 도 6의 하단 좌측부의 화소, 및, 도 6의 하단 우측부의 화소에, 온-칩 렌즈(121c-11) 및 컬러 필터(121d-11), 또는, 온-칩 렌즈(121c-12) 및 컬러 필터(121d-12)를 추가한 것이다.
도 7의 중간단 좌측부의 화소에서는, 도 7의 상단의 실선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-11)의 검출 신호 레벨(수광 감도)이 변화된다. 즉, 도면 중의 일점쇄선에 대해 입사광이 이루는 각인 입사각도 θ가 클수록(입사각도 θ가 양의 방향으로 클수록(도면 중의 우측방향으로 기울어질수록)), 차광막(12lb-11)이 마련되지 않고 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 커진다. 역으로, 입사광의 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록(도면 중의 좌측방향으로 기울어질수록)), 차광막(12lb-11)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 작아진다.
또한, 도 7의 중간단 우측부의 화소에서는, 도 7의 상단의 점선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-12)의 검출 신호 레벨(수광 감도)이 변화된다. 즉, 입사광의 입사각도 θ가 클수록(입사각도 θ가 양의 방향으로 클수록), 차광막(12lb-12)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 작아진다. 역으로, 입사광의 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 차광막(12lb-12)이 마련되지 않고 있는 범위에 광이 입사함으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 커진다.
이 도 7의 상단에 나타내는 실선 및 점선의 파형은, 차광막(12lb)의 범위에 따라 변화시킬 수 있다. 따라서, 차광막(12lb)의 범위에 따라, 화소 단위로 서로 다른 입사각 지향성을 갖게 하는 것이 가능해진다.
상술한 바와 같이, 입사각 지향성이란, 입사각도 θ에 따른 각 화소의 수광 감도의 특성이지만, 이것은, 도 7의 중간단의 화소에서는, 입사각도 θ에 따른 차광값의 특성이라고도 말할 수 있다. 즉, 차광막(12lb)은, 특정 방향의 입사광은 높은 레벨로 차광하지만, 그 이외의 방향으로부터의 입사광은 충분히 차광할 수 없다. 이 차광할 수 있는 레벨의 변화가, 도 7의 상단에 나타내는 바와 같은 입사각도 θ에 따른 다른 검출 신호 레벨을 생기게 한다. 따라서, 각 화소에 있어서 가장 높은 레벨로 차광 가능한 방향을 각 화소의 차광 방향으로 정의하면, 화소 단위로 서로 다른 입사각 지향성을 가진다고 하는 것은, 바꾸어 말하면, 화소 단위로 서로 다른 차광 방향을 가진다는 것으로 된다.
또한, 도 7의 하단 좌측부의 화소에서는, 도 6의 하단 좌측부의 화소와 마찬가지로, 도면 중 좌측부의 포토다이오드(121f-11)만의 신호를 이용하도록 함으로써, 도 7의 중간단 좌측부의 화소와 마찬가지의 입사각 지향성을 얻을 수 있다. 즉, 입사광의 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 신호가 판독되는 포토다이오드(121f-11)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 커진다. 역으로, 입사광의 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 신호가 판독되지 않는 포토다이오드(121f-12)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 작아진다.
또한, 마찬가지로, 도 7의 하단 우측부의 화소에서는, 도 6의 하단 우측부의 화소와 마찬가지로, 도면 중 우측부의 포토다이오드(121f-14)만의 신호를 이용하도록 함으로써, 도 7의 중간단 우측부의 화소와 마찬가지의 입사각 지향성을 얻을 수 있다. 즉, 입사광의 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 출력(검출 신호)에 기여하지 않는 포토다이오드(121f-13)의 범위에 광이 집광됨으로써, 화소 단위의 검출 신호의 레벨이 작아진다. 역으로, 입사광의 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 출력(검출 신호)에 기여하는 포토다이오드(121f-14)의 범위에 광이 집광됨으로써, 화소 단위의 검출 신호의 레벨이 커진다.
또한, 도 7의 하단의 화소와 같이, 화소 내에 복수의 포토다이오드를 마련하고, 출력에 기여하는 포토다이오드를 변경 가능한 화소에 있어서, 각 포토다이오드에 입사광의 입사각에 대한 지향성을 갖게 하고, 화소 단위에서의 입사각 지향성을 생기게 하기 때문에, 각 화소에 온-칩 렌즈(121c)가 필수구성이 된다.
또한, 입사각 지향성에 대해서는, 화소 단위로 랜덤성이 높은 쪽이 바람직하다. 예를 들면, 이웃하는 화소 간에 동일한 입사각 지향성을 가지면, 상술한 식(1) 내지 식(3) 또는, 후술하는 식(4) 내지 식(6)이 서로 동일한 식이 될 우려가 있고, 그 결과, 연립 방정식의 해(解)가 되는 미지수에 대해 식의 수가 부족하고, 복원 화상을 구성하는 화소값을 구하지 못하게 될 우려가 있기 때문이다.
또한, 이하의 설명에서는, 도 4의 화소(121a)와 같이, 차광막(12lb)을 이용하여 입사각 지향성을 실현하는 화소(121a)를 이용하는 경우의 예를 중심으로 설명한다. 다만, 차광막(12lb)이 필수가 되는 경우를 제외하고, 기본적으로 포토다이오드를 분할하여 입사각 지향성을 실현하는 화소(121a)를 이용하는 것도 가능하다.
<차광막의 구성에 대해>
이상에 있어서는, 도 3에 나타내는 바와 같이, 촬상 소자(121)의 각 화소(121a)의 차광막(12lb)의 구성으로서, 수직 방향에 대해서는 수광면 전체를 차광하고, 수평 방향의 차광 폭이나 위치를 변화시키는 예를 나타냈지만, 당연하지만, 수평 방향에 대해 수광면 전체를 차광하고, 수직 방향의 폭(높이)이나 위치를 변화시키도록 하고, 각 화소(121a)에 입사각 지향성을 갖게 하도록 해도 된다.
또한, 이후에 있어서는, 도 3의 예와 같이, 수직 방향에 대해서는 화소(121a)의 수광면 전체를 차광하고, 수평 방향에 대해 소정의 폭으로 수광면을 차광하는 차광막(12lb)을, 가로 밴드(lateral band) 타입의 차광막(12lb)이라고 칭한다. 또한, 수평 방향에 대해서는 화소(121a)의 수광면 전체를 차광하고, 수직 방향에 대해 소정의 높이로 수광면을 차광하는 차광막(12lb)을, 세로 밴드(longitudinal band) 타입의 차광막(12lb)이라고 칭한다.
또한, 도 8의 좌측부에 나타내는 바와 같이, 세로 밴드 타입과 가로 밴드 타입의 차광막(12lb)을 조합시켜, 예를 들면, 베이어 배열(Bayer array)의 각각의 화소에 대해, L자형과 같은 차광막(12lb)을 마련하도록 해도 된다.
또한, 도 8에 있어서는, 흑색의 범위가 차광막(12lb)을 나타내고 있고, 달리 특정되지 않는 한, 이후의 도면에 있어서도 마찬가지로 표시한다. 또한, 도 8의 예에서는, 베이어 배열이 되는 G(녹색) 화소인 화소(121a-21, 121a-24), R(적색) 화소인 화소(121a-22), 및 B(청색) 화소인 화소(121a-23)의 각각에 대하여, L자형의 차광막(12lb-21 내지 12lb-24)이 마련되어 있다.
이 경우, 각 화소(121a)는, 도 8의 우측부에 나타내는 바와 같은 입사각 지향성을 가지게 된다. 즉, 도 8의 우측부에 있어서는, 각 화소(121a)의 수광 감도의 분포가 나타나 있고, 횡축이 입사광의 수평 방향(x방향)의 입사각도 θx를 나타내고, 종축이 입사광의 수직 방향(y방향)의 입사각도 θy를 나타내고 있다. 그리고, 범위(C4) 내의 수광 감도가 범위(C4)의 밖보다 높고, 범위(C3) 내의 수광 감도가 범위(C3)의 밖보다 높고, 범위(C2) 내의 수광 감도가 범위(C2)의 밖보다 높고, 범위(C1) 내의 수광 감도가 범위(C1)의 밖보다 높아진다.
따라서, 각 화소(121a)에 있어서, 수평 방향(x방향)의 입사각도 θx와, 수직 방향(y방향)의 입사각도 θy가 범위(C1) 안이 되는 입사광에 대한 검출 신호 레벨이 가장 높아진다. 그리고, 입사각도 θx와 입사각도 θy가 범위(C2) 내, 범위(C3) 내, 범위(C4) 내, 및 범위(C4) 이외의 범위가 되는 입사광의 순서대로 검출 신호 레벨이 낮아진다. 또한, 도 8의 우측부에 나타내는 수광 감도의 세기 분포는, 베이어 배열과는 관계없이, 각 화소(121a)에 있어서의 차광막(12lb)에 의해 차광되는 범위에 의해 결정되는 것이다.
또한, 이후에 있어서는, 도 8의 L자형의 차광막(12lb-21 내지 12lb-24)과 같이, 세로 밴드 타입의 차광막과 가로 밴드 타입의 차광막을 각각의 단부에서 연결시킨 형상의 차광막(12lb)을, L자 타입의 차광막(12lb)으로 총칭하는 것으로 한다.
<입사각 지향성의 설정 방법>
다음으로, 도 9를 참조하여, 입사각 지향성의 설정 방법의 예에 대해 설명한다.
예를 들면, 도 9의 상단에 나타내는 바와 같이, 차광막(12lb)의 수평 방향의 차광 범위가 화소(121a)의 좌측단부에서부터 위치(A)까지의 범위로 하고, 수직 방향의 차광 범위가 화소(121a)의 상단부에서부터 위치(B)까지의 범위인 경우에 대해 생각한다.
이 경우, 각 화소의 수평 방향의 중심 위치로부터의 입사각도 θx(deg)에 따른 가중치로서, 수평 방향의 입사각 지향성의 지표가 되는 0 내지 1의 가중치 Wx를 설정한다. 보다 상세하게는, 위치(A)에 대응하는 입사각도 θx = θa에 있어서, 가중치 Wx가 0.5가 된다고 가정한 경우, 입사각도 θx < θa-α에 있어서 가중치 Wx가 1이 되고, θa-α≤ 입사각도 θx ≤ θa+α에 있어서, 가중치 Wx가 (-(θx-θa)/2α+0.5)가 되고, 입사각도 θx > θa+α에 있어서 가중치 Wx가 0이 되도록 가중치 Wx를 설정한다.
마찬가지로, 각 화소의 수직 방향의 중심 위치부터의 입사각도 θy(deg)에 따른 가중치로서, 수직 방향의 입사각 지향성의 지표가 되는 0 내지 1의 가중치 Wy를 설정한다. 보다 상세하게는, 위치(B)에 대응하는 입사각도 θy = θb에 있어서, 가중치 Wy가 0.5가 된다고 가정한 경우, 입사각도 θy < θb-α에 있어서 가중치 Wy가 0이 되고, θb-α≤ 입사각도 θy ≤ θb+α에 있어서, 가중치 Wy가 ((θy-θb)/2α+0.5)가 되고, 입사각도 θy > θb+α에 있어서 가중치 Wy가 1이 되도록 가중치 Wy를 설정한다.
또한, 가중치 Wx 및 가중치 Wy가, 도 9의 그래프와 같이 변화하는 것은, 이상적인 조건이 만족되는 경우가 된다.
그리고, 이와 같이 하여 구해진 가중치 Wx, Wy를 이용함으로써, 각각의 화소(121a)의 입사각 지향성, 즉, 수광 감도 특성에 대응하는 계수를 구할 수 있다. 예를 들면, 피사체면(31)의 어떤 점광원으로부터의 입사광의 입사각도 θx에 대응하는 가중치 Wx와, 입사각도 θy에 대응하는 가중치 Wy를 곱한 값이, 그 점광원에 대한 계수로 설정된다.
또한, 이때, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 전후가 되는 범위에 있어서의 가중치의 변화를 나타내는 기울기(1/2α)는, 초점거리가 다른 온-칩 렌즈(121c)를 이용함으로써 설정할 수 있다.
예를 들면, 도 9의 하단의 실선으로 나타내는 바와 같이, 온-칩 렌즈(121c)의 초점거리가 차광막(12lb)의 표면에 맞추어져 있는 경우, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy의 기울기(1/2α)는 가파르게 된다. 즉, 가중치 Wx 및 가중치 Wy는, 값이 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에서, 급격하게 0 또는 1로 변화된다.
또한, 예를 들면, 도 9의 하단의 점선으로 나타내는 바와 같이, 온-칩 렌즈(121c)의 초점거리가 포토다이오드(121e)의 표면에 맞추어져 있는 경우, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy의 기울기(1/2α)는 완만하게 된다. 즉, 가중치 Wx 및 가중치 Wy는, 값이 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에서, 완만하게 0 또는 1로 변화된다.
예를 들면, 온-칩 렌즈(121c)의 초점거리는, 온-칩 렌즈(121c)의 곡률에 따라 변화된다. 따라서, 곡률이 다른 온-칩 렌즈(121c)를 이용하여, 온-칩 렌즈(121c)의 초점거리를 변화시킴으로써 다른 입사각 지향성, 즉, 다른 수광 감도 특성을 얻을 수 있다.
따라서, 화소(121a)의 입사각 지향성은, 차광막(12lb)에 의해 포토다이오드(121e)가 차광되는 범위와, 온-칩 렌즈(121c)의 곡률의 조합에 의해 조정할 수 있다. 또한, 온-칩 렌즈의 곡률은, 촬상 소자(121)의 모든 화소(121a)에서 동일하게 해도 되고, 일부 화소(121a)에서 다르게 해도 된다.
예를 들면, 촬상 소자(121)의 각 화소(121a)의 입사각 지향성을 나타내는 지표로서, 각 화소(121a)의 위치, 각 화소(121a)의 차광막(12lb)의 형상, 위치, 범위, 온-칩 렌즈(121c)의 곡률 등에 기초하여, 도 9의 그래프와 같은 가중치 Wx 및 가중치 Wy의 특성이 화소(121a)마다 설정된다. 또한, 소정의 피사체 거리의 피사체면(31) 상의 어떤 점광원와, 촬상 소자(121)의 어떤 화소(121a)의 위치 관계에 기초하여, 해당 점광원으로부터 해당 화소(121a)로의 광선의 입사각도가 구해진다. 그리고, 구한 입사각도, 및, 해당 화소(121a)의 가중치 Wx 및 가중치 Wy의 특성에 기초하여, 해당 점광원에 대한 해당 화소(121a)의 계수가 구해진다.
마찬가지로, 피사체면(31) 상의 각 점광원와 촬상 소자(121)의 각 화소(121a)의 조합에 대해, 상술한 바와 같이 계수를 구함으로써, 상술한 식(1) 내지 식(3)의 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3과 같은, 피사체면(31)에 대한 촬상 소자(121)의 계수 세트군을 구할 수 있다.
또한, 도 13을 참조하여 후술하는 바와 같이, 피사체면(31)으로부터 촬상 소자(121)의 수광면까지의 피사체 거리가 다르면, 피사체면(31)의 각 점광원으로부터의 광선의 촬상 소자(121)에의 입사각이 다르기 때문에, 피사체 거리마다 다른 계수 세트군이 필요해진다.
또한, 같은 피사체 거리의 피사체면(31)이어도, 설정하는 점광원의 수나 배치가 다르면, 각 점광원으로부터의 광선의 촬상 소자(121)에의 입사각이 다르다. 따라서, 같은 피사체 거리의 피사체면(31)에 대하여, 복수의 계수 세트군이 필요해지는 경우가 있다. 또한, 각 화소(121a)의 입사각 지향성은, 상술한 연립 방정식의 독립성을 확보할 수 있도록 설정할 필요가 있다.
<온-칩 렌즈와 촬상 렌즈 간의 차이>
본 개시의 촬상 장치(101)에 있어서, 촬상 소자(121)는, 촬상 렌즈로 이루어지는 광학 블록이나 핀홀을 필요로 하지 않는 구성이지만, 상술한 바와 같이, 온-칩 렌즈(121c)는 마련된다. 여기서, 온-칩 렌즈(121c)와 촬상 렌즈는, 물리적 작용이 다른 것이다.
예를 들면, 도 10에 나타내는 바와 같이, 점광원(P101)으로부터 방출된 확산 광 중 촬상 렌즈(152)에 입사한 광은, 촬상 소자(151) 상의 화소 위치(P111)에서 집광한다. 즉, 촬상 렌즈(152)는, 점광원(P101)으로부터 다른 각도로 입사하는 확산 광을, 화소 위치(P111)에 집광하고, 점광원(P101)의 상을 결상시키도록 설계되어 있다. 이 화소 위치(P111)는, 점광원(P101)과 촬상 렌즈(152)의 중심을 통과하는 주 광선(101)에 의해 특정된다.
또한, 예를 들면, 도 11에 나타내는 바와 같이, 점광원(P101)과는 다른 점광원(P102)으로부터 방출된 확산 광 중 촬상 렌즈(152)에 입사한 광은, 촬상 소자(151) 상의 화소 위치(P111)와는 다른 화소 위치(P112)에서 집광한다. 즉, 촬상 렌즈(152)는, 점광원(P102)으로부터 다른 각도로 입사하는 확산 광을, 화소 위치(P112)에 집광하고, 점광원(P102)의 상을 결상시키도록 설계되어 있다. 이 화소 위치(P112)는, 점광원(P102)과 촬상 렌즈(152)의 중심을 통과하는 주 광선(L102)에 의해 특정된다.
이와 같이, 촬상 렌즈(152)는, 촬상 소자(151) 상의 다른 화소 위치(P111, P112)에, 각각 주 광선이 다른 점광원(P101, P102)의 상을 결상시킨다.
나아가, 도 12에 나타내는 바와 같이, 점광원(P101)이 무한원에 존재하는 경우, 점광원(P101)으로부터 방출된 확산 광의 일부가, 주 광선(101)에 평행한 평행 광으로서 촬상 렌즈(152)에 입사한다. 예를 들면, 주 광선(101)에 대해 평행한 광선(L121)과 광선(L122) 사이의 광선으로 이루어지는 평행 광이 촬상 렌즈(152)에 입사한다. 그리고, 촬상 렌즈(152)에 입사한 평행 광은, 촬상 소자(151) 상의 화소 위치(P111)에 집광한다. 즉, 촬상 렌즈(152)는, 무한원에 존재하는 점광원(P101)으로부터의 평행 광을, 화소 위치(P111)에 집광하고, 점광원(P101)의 상을 결상시키도록 설계되어 있다.
따라서, 촬상 렌즈(152)는, 예를 들면, 주 광선 입사각 θ1을 가지는 점광원으로부터의 확산 광을 화소(화소 출력 단위)(P1)에 입사시키고, 주 광선 입사각 θ1과는 다른 주 광선 입사각 θ2를 가지는 점광원으로부터의 확산 광을, 화소(P1)와는 다른 화소(화소 출력 단위)(P2)에 입사시키는 집광 기능을 가진다. 즉, 촬상 렌즈(152)는, 주 광선의 입사각이 다른 광원으로부터의 확산 광을, 서로 인접하는 복수의 화소(화소 출력 단위)에 입사시키기 위한 집광 기능을 가진다. 다만, 예를 들면, 서로 근접해 있는 점광원이나, 무한원에 존재하고 있으며 실질적으로 근접해 있는 점광원으로부터의 광은, 같은 화소(화소 출력 단위)에 입사하는 경우가 있다.
이에 대하여, 예를 들면, 도 4, 도 5를 참조하여 설명한 바와 같이, 온-칩 렌즈(121c)를 통과하는 광은, 대응하는 화소(화소 출력 단위)를 구성하는 포토다이오드(121e) 또는 포토다이오드(121f)의 수광면에만 입사된다. 바꾸어 말하면, 온-칩 렌즈(121c)는, 화소(화소 출력 단위)마다 마련되고, 자신에게 입사하는 입사광을 대응하는 화소(화소 출력 단위)에만 집광한다. 즉, 온-칩 렌즈(121c)는, 다른 점광원으로부터의 광을, 다른 화소(화소 출력 단위)에 입사시키기 위한 집광 기능을 가지지 않는다.
또한, 핀홀을 이용한 경우, 각 화소(화소 출력 단위)의 위치와 광의 입사각의 관계가 일의적으로 정해진다. 따라서, 핀홀과 종래의 촬상 소자를 이용한 구성의 경우, 각 화소에 대하여, 입사각 지향성을 독립적으로 자유롭게 설정할 수 없다.
<피사체면과 촬상 소자의 거리의 관계>
다음으로, 도 13을 참조하여, 피사체면과 촬상 소자(121)의 거리의 관계에 대해 설명한다.
또한, 도 13의 좌측상부에 나타내는 바와 같이, 촬상 소자(121)(도 1의 촬상 소자(51)와 마찬가지임)와 피사체면(31)까지의 피사체 거리가 거리 d1인 경우, 촬상 소자(121) 상의 화소(Pc, Pb, Pa)에 있어서의 검출 신호 레벨(DA, DB, DC)이, 상술한 식(1) 내지 식(3)과 동일한 식으로 나타내는 것으로 한다.
DA =α1×a + β1×b + γ1×c
…(1)
DB =α2×a + β2×b + γ2×c
…(2)
DC =α3×a + β3×b + γ3×c
…(3)
또한, 도 13의 좌측하부에 나타내는 바와 같이, 촬상 소자(121)와의 피사체 거리가 거리 d1보다 d만큼 큰 거리 d2인 피사체면(31'), 즉, 촬상 소자(121)로부터 볼 때, 피사체면(31)보다 안쪽의 피사체면(31')에 대해 생각하는 경우에도, 촬상 소자(121) 상의 화소(Pc, Pb, Pa)에 있어서의 검출 신호 레벨은, 도 13의 하단 중앙부에 나타내는 바와 같이, 검출 신호 레벨(DA, DB, DC)에서 마찬가지로 된다.
그러나, 이 경우, 피사체면(31') 상의 점광원(PA', PB', PC')으로부터의 광 강도(a', b', c')의 광선이 촬상 소자(121)의 각 화소에 있어서 수광된다. 또한, 촬상 소자(121)에의 광 강도(a', b', c')의 광선의 입사각도가 다르므로(변화하므로), 각각 다른 계수 세트군이 필요해진다. 따라서, 각 화소(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)은, 예를 들면, 이하의 식(4) 내지 식(6)으로 나타내진다.
DA = α11×a' + β11×b' + γ11×c'
…(4)
DB = α12×a' + β12×b' + γ12×c'
…(5)
DC = α13×a' + β13×b' + γ13×c'
…(6)
여기서, 계수 세트 α11, β11, γ11, 계수 세트 α12, β12, γ12, 계수 세트 α13, β13, γ13으로 이루어지는 계수 세트군은, 피사체면(31)에 대한 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3에 대응하는 피사체면(31')에 대한 계수 세트군이다.
따라서, 식(4) 내지 식(6)으로 이루어지는 연립 방정식을, 미리 설정된 계수 세트군 α11, β11, γ11, α12, β12, γ12, α13, β13, γ13을 이용하여 푸는 것으로, 피사체면(31)의 점광원(PA, PB, PC)으로부터의 광선의 광 강도(a, b, c)를 구하는 경우와 마찬가지의 수법으로, 도 13의 우측하부에 나타내는 바와 같이, 피사체면(31')의 점광원(PA', PB', PC')으로부터의 광선의 광 강도(a', b', c')를 구할 수 있다. 그 결과, 피사체면(31')의 복원 화상을 복원하는 것이 가능해진다.
따라서, 도 2의 촬상 장치(101)에 있어서는, 촬상 소자(121)로부터의 피사체면까지의 거리(피사체 거리)마다의 계수 세트군을 미리 준비해 두고, 피사체 거리마다 계수 세트군을 전환하여 연립 방정식을 작성하고, 작성한 연립 방정식을 푸는 것으로, 1개의 검출 화상에 기초하여, 다양한 피사체 거리의 피사체면의 복원 화상을 얻는 것이 가능해진다. 예를 들면, 검출 화상을 1회 촬상하고, 기록한 후, 기록한 검출 화상을 이용하여, 피사체면까지의 거리에 따라 계수 세트군을 전환하고, 복원 화상을 복원함으로써, 임의의 피사체 거리의 피사체면의 복원 화상을 생성하는 것이 가능하다.
또한, 피사체 거리나 화각을 특정할 수 있도록 한 경우에 대해서는, 모든 화소를 이용하지 않고, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 입사각 지향성을 갖는 화소의 검출 신호를 이용하여, 복원 화상을 생성하도록 해도 된다. 이에 의해, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 화소의 검출 신호를 이용하여 복원 화상을 생성할 수 있다.
예를 들면, 도 14의 상단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d1만큼 차광막(12lb)에 의해 차광되고 있는 화소(121a)와, 도 14의 하단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d2(>d1)만큼 차광막(12lb)에 의해 차광되고 있는 화소(121a')를 생각한다.
도 15는, 촬상 소자(121)의 중심 위치(C1)에의 피사체면(31)으로부터의 입사광의 입사각도의 예를 나타내고 있다. 또한, 도 15에 있어서는, 수평 방향의 입사광의 입사각도의 예를 나타내고 있지만, 수직 방향에 대해서도 거의 마찬가지로 된다. 또한, 도 15의 우측부에는, 도 14에 있어서의 화소(121a, 121a')가 나타나 있다.
예를 들면, 도 14의 화소(121a)가 촬상 소자(121)의 중심 위치(C1)에 배치되어 있는 경우, 피사체면(31)으로부터 화소(121a)로의 입사광의 입사각의 범위는, 도 15의 좌측부에 나타내는 바와 같이 각도 A1이 된다. 따라서, 화소(121a)는, 피사체면(31)의 수평 방향의 폭 W1분의 입사광을 수광할 수 있다.
이에 대하여, 도 14의 화소(121a')가 촬상 소자(121)의 중심 위치(C1)에 배치되어 있는 경우, 화소(121a')는 화소(121a)보다 차광되는 범위가 넓기 때문에, 피사체면(31)으로부터 화소(121a')로의 입사광의 입사각의 범위는, 도 15의 좌측부에 나타내는 바와 같이 각도 A2(<A1)가 된다. 따라서, 화소(121a')는, 피사체면(31)의 수평 방향의 폭 W2(<W1)분의 입사광을 수광할 수 있다.
즉, 차광 범위가 좁은 화소(121a)는, 피사체면(31) 상의 넓은 범위를 촬상하는 데 적합한 광화각 화소인 것에 대해서, 차광 범위가 넓은 화소(121a')는, 피사체면(31) 상의 좁은 범위를 촬상하는 데 적합한 협화각 화소이다. 또한, 여기서 말하는 광화각 화소 및 협화각 화소는, 도 14의 화소(121a, 121a')의 양자를 비교하는 표현으로서, 그 밖의 화각의 화소를 비교할 때 이에 한정되지 않는다.
따라서, 예를 들면, 화소(121a)는, 도 14의 화상(I1)을 복원하기 위해 이용된다. 화상(I1)은, 도 16의 상단의 피사체가 되는 인물(H101) 전체를 포함하고, 피사체폭 W1에 대응하는 화각 SQ1의 화상이다. 이에 대하여, 예를 들면, 화소(121a')는, 도 14의 화상(I2)을 복원하기 위해 이용된다. 화상(I2)은, 도 16의 상단의 인물(H101)의 얼굴 주변이 줌 업(zoom up)된 피사체폭 W2에 대응하는 화각 SQ2의 화상이다.
또한, 예를 들면, 도 16의 하단에 나타내는 바와 같이, 촬상 소자(121)의 점선으로 둘러싸인 범위(ZA)에, 도 14의 화소(121a)를, 일점쇄선으로 둘러싸인 범위(ZB)에 화소(121a')를, 각각 소정 화소수씩 모아서 배치하는 것이 생각된다. 그리고, 예를 들면, 피사체폭 W1에 대응하는 화각 SQ1의 화상을 복원할 때에는, 범위(ZA) 내의 각 화소(121a)의 검출 신호를 이용하도록 함으로써, 적절하게 화각 SQ1의 화상을 복원할 수 있다. 한편, 피사체폭 W2에 대응하는 화각 SQ2의 화상을 복원할 때에는, 범위(ZB) 내의 각 화소(121a')의 검출 신호를 이용하도록 함으로써, 적절하게 화각 SQ2의 화상을 복원할 수 있다.
또한, 화각 SQ2는 화각 SQ1보다 좁으므로, 화각 SQ2와 화각 SQ1의 화상을 동일한 화소수로 복원하는 경우, 화각 SQ1의 화상보다, 화각 SQ2의 화상을 복원하는 쪽이 보다 고화질의 복원 화상을 얻을 수 있다.
즉, 동일 화소수를 이용하여 복원 화상을 얻는 것을 생각한 경우, 보다 화각이 좁은 화상을 복원하는 쪽이, 보다 고화질의 복원 화상을 얻을 수 있다.
예를 들면, 도 17의 우측부는, 도 16의 촬상 소자(121)의 범위(ZA) 내의 구성예를 나타내고 있다. 도 17의 좌측부는, 범위(ZA) 내의 화소(121a)의 구성예를 나타내고 있다.
도 17에 있어서, 흑색으로 나타낸 범위가 차광막(12lb)이며, 각 화소(121a)의 차광 범위는, 예를 들면, 도 17의 좌측부에 나타내는 규칙에 따라 결정된다.
도 17의 좌측부의 주 차광부(Z101)(도 17의 좌측부의 흑색부)는, 각 화소(121a)에 있어서 공통으로 차광되는 범위이다. 구체적으로, 주 차광부(Z101)는, 화소(121a)의 좌변 및 우변으로부터 화소(121a) 내를 향하여, 각각 폭 dx1의 범위, 및, 화소(121a)의 상변 및 하변으로부터 화소(121a) 내를 향하여, 각각 높이 dy1의 범위이다. 그리고, 각 화소(121a)에 있어서, 주 차광부(Z101)의 내측의 범위(Z102) 안에, 차광막(12lb)에 의해 차광되지 않는 사각형의 개구부(Z111)가 마련된다. 따라서, 각 화소(121a)에 있어서, 개구부(Z111) 이외의 범위가, 차광막(12lb)에 의해 차광된다.
여기서, 각 화소(121a)의 개구부(Z111)는 규칙적으로 배치되어 있다. 구체적으로는, 각 화소(121a) 내에 있어서의 개구부(Z111)의 수평 방향의 위치는, 같은 수직 방향의 열의 화소(121a) 내에 있어서 동일하게 된다. 또한, 각 화소(121a) 내에 있어서의 개구부(Z111)의 수직 방향의 위치는, 같은 수평 방향의 행의 화소(121a) 내에 있어서 동일하게 된다.
한편, 각 화소(121a) 내에 있어서의 개구부(Z111)의 수평 방향의 위치는, 화소(121a)의 수평 방향의 위치에 따라 소정의 간격으로 벗어나 있다. 즉, 화소(121a)의 위치가 우측방향으로 진행함에 따라, 개구부(Z111)의 좌변이, 화소(121a)의 좌변으로부터 각각 폭 dx1, dx2, …, dxn만큼 우측방향으로 벗어난 위치로 이동한다. 폭 dx1과 폭 dx2의 간격, 폭 dx2와 폭 dx3의 간격, …, 폭 dxn-1과 폭 dxn의 간격은, 각각 범위(Z102)의 수평 방향의 폭으로부터 개구부(Z111)의 폭을 뺀 길이를 수평 방향의 화소수 n-1로 나눈 값이 된다.
또한, 각 화소(121a) 내에 있어서의 개구부(Z111)의 수직 방향의 위치는, 화소(121a)의 수직 방향의 위치에 따라 소정의 간격으로 벗어나 있다. 즉, 화소(121a)의 위치가 하방향으로 진행함에 따라, 개구부(Z111)의 상변이, 화소(121a)의 상변으로부터 각각 높이 dy1, dy2, …, dyn만큼 하방향으로 벗어난 위치로 이동한다. 높이 dy1과 높이 dy2의 간격, 높이 dy2와 높이 dy3의 간격, …, 높이 dyn-1과 높이 dyn의 간격은, 각각 범위(Z102)의 수직 방향의 높이로부터 개구부(Z111)의 높이를 뺀 길이를 수직 방향의 화소수 m-1로 나눈 값이 된다.
도 18의 우측부는, 도 16의 촬상 소자(121)의 범위(ZB) 내의 구성예를 나타내고 있다. 도 18의 좌측부는, 범위(ZB) 내의 화소(121a')의 구성예를 나타내고 있다.
도 18에 있어서, 흑색으로 나타낸 범위가 차광막(12lb')이며, 각 화소(121a')의 차광 범위는, 예를 들면, 도 18의 좌측부에 나타내는 규칙에 따라 결정된다.
도 18의 좌측부의 주 차광부(Z151)(도 18의 좌측부의 흑색부)는, 각 화소(121a')에 있어서 공통으로 차광되는 범위이다. 구체적으로, 주 차광부(Z151)는, 화소(121a')의 좌변 및 우변으로부터 화소(121a') 내를 향하여, 각각 폭 dx1'의 범위, 및, 화소(121a')의 상변 및 하변으로부터 화소(121a') 내를 향하여, 각각 높이 dy1'의 범위이다. 그리고, 각 화소(121a')에 있어서, 주 차광부(Z151)의 내측의 범위(Z152) 안에, 차광막(12lb')에 의해 차광되지 않는 사각형의 개구부(Z161)가 마련된다. 따라서, 각 화소(121a')에 있어서, 개구부(Z161) 이외의 범위가 차광막(12lb')에 의해 차광된다.
여기서, 각 화소(121a')의 개구부(Z161)는, 도 17의 각 화소(121a)의 개구부(Z111)와 마찬가지로, 규칙적으로 배치되어 있다. 구체적으로, 각 화소(121a') 내에 있어서의 개구부(Z161)의 수평 방향의 위치는, 같은 수직 방향의 열의 화소(121a') 내에 있어서 동일하게 된다. 또한, 각 화소(121a') 내에 있어서의 개구부(Z161)의 수직 방향의 위치는, 같은 수평 방향의 행의 화소(121a') 내에 있어서 동일하게 된다.
한편, 각 화소(121a') 내에 있어서의 개구부(Z161)의 수평 방향의 위치는, 화소(121a')의 수평 방향의 위치에 따라 소정의 간격으로 벗어나 있다. 즉, 화소(121a')의 위치가 우측방향으로 진행함에 따라, 개구부(Z161)의 좌변이, 화소(121a')의 좌변으로부터 각각 폭 dx1', dx2', …, dxn'만큼 우측방향으로 벗어난 위치로 이동한다. 폭 dx1'와 폭 dx2'의 간격, 폭 dx2'와 폭 dx3'의 간격, …, 폭 dxn-1'와 폭 dxn'의 간격은, 각각 범위(Z152)의 수평 방향의 폭으로부터 개구부(Z161)의 폭을 뺀 길이를 수평 방향의 화소수 n-1로 나눈 값이 된다.
또한, 각 화소(121a') 내에 있어서의 개구부(Z161)의 수직 방향의 위치는, 화소(121a')의 수직 방향의 위치에 따라 소정의 간격으로 벗어나 있다. 즉, 화소(121a')의 위치가 하방향으로 진행함에 따라, 개구부(Z161)의 상변이, 화소(121a')의 상변으로부터 각각 높이 dy1', dy2', …, dyn'만큼 하방향으로 벗어난 위치로 이동한다. 높이 dy1'와 높이 dy2'의 간격, 높이 dy2'와 높이 dy3'의 간격, …, 높이 dyn-1'와 높이 dyn'의 간격은, 각각 범위(Z152)의 수직 방향의 높이로부터 개구부(Z161)의 높이를 뺀 길이를 수직 방향의 화소수 m-1로 나눈 값이 된다.
여기서, 도 17의 화소(121a)의 범위(Z102)의 수평 방향의 폭으로부터 개구부(Z111)의 폭을 뺀 길이는, 도 18의 화소(121a')의 범위(Z152)의 수평 방향의 폭으로부터 개구부(Z161)의 폭을 뺀 폭보다 크게 된다. 따라서, 도 17의 폭 dx1, dx2 … dxn의 변화의 간격은, 도 18의 폭 dx1', dx2' … dxn'의 변화의 간격보다 크게 된다.
또한, 도 17의 화소(121a)의 범위(Z102)의 수직 방향의 높이로부터 개구부(Z111)의 높이를 뺀 길이는, 도 18의 화소(121a')의 범위(Z152)의 수직 방향의 높이로부터 개구부(Z161)의 높이를 뺀 길이보다 크게 된다. 따라서, 도 17의 높이 dy1, dy2 … dyn의 변화의 간격은, 도 18의 높이 dy1', dy2' … dyn'의 변화의 간격보다 크게 된다.
이와 같이, 도 17의 각 화소(121a)의 차광막(12lb)의 개구부(Z111)의 수평 방향 및 수직 방향의 위치의 변화 간격과, 도 18의 각 화소(121a')의 차광막(12lb')의 개구부(Z161)의 수평 방향 및 수직 방향의 위치의 변화 간격은 다르다. 그리고, 이 간격의 차이가, 복원 화상에 있어서의 피사체 분해능(각도 분해능)의 차이가 된다. 즉, 도 18의 각 화소(121a')의 차광막(12lb')의 개구부(Z161)의 수평 방향 및 수직 방향의 위치의 변화 간격의 쪽이, 도 17의 각 화소(121a)의 차광막(12lb)의 개구부(Z111)의 수평 방향 및 수직 방향의 위치의 변화 간격보다 좁아진다. 따라서, 도 18의 각 화소(121a')의 검출 신호를 이용하여 복원되는 복원 화상은, 도 17의 각 화소(121a)의 검출 신호를 이용하여 복원되는 복원 화상보다, 피사체 분해능이 높아져서, 고화질이 된다.
이와 같이, 주 차광부의 차광 범위와 개구부의 개구 범위의 조합을 변화시킴으로써, 다양한 화각의 (다양한 입사각 지향성을 가진) 화소로 이루어지는 촬상 소자(121)를 실현하는 것이 가능해진다.
또한, 이상에 있어서는, 화소(121a)와 화소(121a')를 범위(ZA)와 범위(ZB)로 나누어 배치하는 예를 나타냈지만, 이것은 설명을 간단하게 하기 위함이며, 다른 화각에 대응하는 화소(121a)가 같은 영역 내에 혼재해서 배치되는 것이 바람직하다.
예를 들면, 도 19에 나타내는 바와 같이, 점선으로 나타내는 2화소×2화소로 이루어지는 4화소를 1개의 단위(U)로 하고, 각각의 단위(U)가, 광화각의 화소(121a-W), 중간화각의 화소(121a-M), 협화각의 화소(121a-N), 매우 협화각인 화소(121a-AN)의 4화소로 구성되도록 한다.
이 경우, 예를 들면, 모든 화소(121a)의 화소수가 X인 경우, 4종류의 화각마다 X/4화소씩의 검출 화상을 이용하여 복원 화상을 복원하는 것이 가능해진다. 이때, 화각마다 다른 4종류의 계수 세트군이 사용되며, 4종류의 다른 연립 방정식에 의해, 각각 다른 화각의 복원 화상이 복원된다.
따라서, 복원하는 복원 화상의 화각의 촬상에 적합한 화소로부터 얻어지는 검출 화상을 이용하여 복원 화상을 복원함으로써, 4종류의 화각에 따른 적절한 복원 화상을 얻는 것이 가능해진다.
또한, 4종류의 화각의 중간의 화각이나, 그 전후의 화각의 화상을, 4종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 다양한 화각의 화상을 연속적으로 생성함으로써, 유사 광학 줌(pseudo optical zooming)을 실현하도록 해도 된다.
또한, 예를 들면, 화각이 넓은 화상을 복원 화상으로서 얻은 경우, 광화각 화소를 모두 이용하도록 해도 되고, 광화각 화소의 일부를 이용하도록 해도 된다. 또한, 예를 들면, 화각이 좁은 화상을 복원 화상으로서 얻은 경우, 협화각 화소를 모두 이용하도록 해도 되고, 협화각 화소의 일부를 이용하도록 해도 된다.
<촬상 장치(101)에 의한 촬상 처리>
다음으로, 도 20의 플로우차트를 참조하여, 도 2의 촬상 장치(101)에 의한 촬상 처리에 대해 설명한다.
스텝(S1)에 있어서, 촬상 소자(121)는 피사체의 촬상을 행한다. 이에 의해, 다른 입사각 지향성을 구비하는 촬상 소자(121)의 각 화소(121a)로부터, 피사체로부터의 입사광의 광량에 따른 검출 신호 레벨을 나타내는 검출 신호가 출력되고, 촬상 소자(121)는, 각 화소(121a)의 검출 신호로 이루어지는 검출 화상을 복원부(122)에 공급한다.
스텝(S2)에 있어서, 복원부(122)는, 화상의 복원에 이용되는 계수를 구한다. 구체적으로, 복원부(122)는, 복원 대상이 되는 피사체면(31)까지의 거리, 즉, 피사체 거리를 설정한다. 또한, 피사체 거리의 설정 방법에는, 임의의 방법을 채용할 수 있다. 예를 들면, 복원부(122)는, 입력부(124)를 통해 사용자에 의해 입력된 피사체 거리, 또는, 검출부(125)에 의해 검출된 피사체 거리를, 복원 대상이 되는 피사체면(31)까지의 거리로 설정한다.
다음으로, 복원부(122)는, 설정한 피사체 거리에 대응지어져 있는 계수 세트군을 기억부(128)로부터 판독한다.
스텝(S3)에 있어서, 복원부(122)는, 검출 화상 및 계수를 이용하여, 화상의 복원을 행한다. 구체적으로, 복원부(122)는, 검출 화상의 각 화소의 검출 신호 레벨과, 스텝(S2)의 처리에서 취득한 계수 세트군을 이용하여, 상술한 식(1) 내지 식(3), 또는, 식(4) 내지 식(6)을 참조하여 설명한 연립 방정식을 작성한다. 다음으로, 복원부(122)는, 작성한 연립 방정식을 푸는 것에 의해, 설정한 피사체 거리에 대응하는 피사체면(31) 상의 각 점광원의 광 강도를 산출한다. 그리고, 복원부(122)는, 산출한 광 강도에 따른 화소값을 갖는 화소를 피사체면(31)의 각 점광원의 배치에 따라 배열함으로써, 피사체의 상이 결상된 복원 화상을 생성한다.
스텝(S4)에 있어서, 촬상 장치(101)는, 복원 화상에 대해 각종의 처리를 행한다. 예를 들면, 복원부(122)는, 필요에 따라, 복원 화상에 대해, 디모자이크 처리, γ 보정, 화이트 밸런스 조정, 소정의 압축 형식으로의 변환 처리 등을 행한다. 또한, 복원부(122)는, 예를 들면, 필요에 따라, 복원 화상을 표시부(127)에 공급하고, 표시시키거나, 기록 재생부(129)에 공급하고, 기록 매체(130)에 기록시키거나, 통신부(131)를 통하여, 다른 기기에 출력하거나 한다.
그 후, 촬상 처리는 종료한다.
또한, 이상에 있어서는, 촬상 소자(121)와 피사체 거리에 대응된 계수 세트군을 이용하여, 검출 화상으로부터 복원 화상을 복원하는 예에 대해 설명해 왔지만, 예를 들면, 피사체 거리에 더해서, 상술한 바와 같이, 복원 화상의 화각에 대응하는 계수 세트군을 추가로 준비하고, 피사체 거리 및 화각에 따른 계수 세트군을 이용하여, 복원 화상을 복원하도록 해도 된다. 또한, 피사체 거리 및 화각에 대한 분해능은, 준비되는 계수 세트군의 수에 따른 것이 된다.
또한, 도 20의 플로우차트를 이용한 처리의 설명에 있어서는, 검출 화상에 포함되는 모든 화소의 검출 신호를 이용하는 예에 대해 설명해 왔지만, 촬상 소자(121)를 구성하는 화소 중, 특정된 피사체 거리 및 화각에 대응하는 입사각 지향성을 구비한 화소의 검출 신호로 이루어지는 검출 화상을 생성하고, 이것을 이용하여 복원 화상을 복원하도록 해도 된다. 이러한 처리에 의해, 구하려고 하는 복원 화상의 피사체 거리나 화각에 적합한 검출 화상으로 복원 화상을 복원하는 것이 가능해지고, 복원 화상의 복원 정밀도나 화질이 향상된다. 즉, 특정된 피사체 거리 및 화각에 대응하는 화상이, 예를 들면, 도 16에 있어서의 화각 SQ1에 대응하는 화상인 경우, 화각 SQ1에 대응하는 입사각 지향성을 구비한 화소(121a)를 선택하고, 이들로부터 얻어지는 검출 화상으로 복원 화상을 복원함으로써, 화각 SQ1의 화상을 높은 정밀도로 복원하는 것이 가능해진다.
이상의 처리에 의해, 각 화소에 입사각 지향성을 갖게 하도록 한 촬상 소자(121)를 필수구성으로 한 촬상 장치(101)를 실현하는 것이 가능해진다.
결과로서, 촬상 렌즈, 핀홀, 및, 상술한 특허문헌 등에 기재된 광학 필터가 불필요하게 되기 때문에, 장치의 설계 자유도를 높이는 것이 가능해짐과 함께, 촬상 소자(121)와 별개로 구성되고, 촬상 장치로서 구성하는 단계에서 촬상 소자(121)와 맞추어 탑재되는 것이 상정되는 광학 소자가 불필요하게 되기 때문에, 입사광의 입사 방향에 대한 장치의 소형화를 실현하는 것이 가능해지고, 제조 비용을 저감하는 것이 가능해진다. 또한, 포커스 렌즈 등과 같은, 광학 상(optical image)을 결상시키기 위한 촬상 렌즈에 상당하는 렌즈가 불필요하게 된다. 다만, 배율을 변화시키는 줌 렌즈는 마련되어 있어도 된다.
또한, 이상에 있어서는, 검출 화상의 촬상을 행한 후, 즉시 소정의 피사체 거리에 대응하는 복원 화상을 복원하는 처리에 대해 설명했지만, 예를 들면, 즉시 복원 처리를 행하지 않고, 검출 화상을 기록 매체(130)에 기록하거나, 통신부(131)를 통해, 다른 기기에 출력하거나 한 후, 원하는 타이밍에 검출 화상을 이용하여, 복원 화상을 복원하도록 해도 된다. 이 경우, 복원 화상의 복원은, 촬상 장치(101)로 행해도 되고, 다른 장치로 행해도 된다. 이 경우, 예를 들면, 임의의 피사체 거리나 화각에 따른 계수 세트군을 이용하여 작성한 연립 방정식을 풀어서 복원 화상을 구함으로써, 임의의 피사체 거리나 화각의 피사체면에 대한 복원 화상을 얻을 수 있고, 리포커싱(refocusing) 등을 실현할 수 있다.
예를 들면, 촬상 렌즈와 종래의 촬상 소자로 이루어지는 촬상 장치를 이용한 경우, 다양한 초점거리나 화각의 화상을 얻기 위해서는, 초점거리나 화각을 다양하게 변화시키면서, 촬상해 둘 필요가 있다. 한편, 촬상 장치(101)에 있어서는, 이와 같이 계수 세트군을 전환하여 임의의 피사체 거리나 화각의 복원 화상을 복원시킬 수 있으므로, 초점거리(즉, 피사체 거리)나 화각을 다양하게 변화시키면서 반복 촬상하는 처리가 불필요해진다.
이 경우, 예를 들면, 사용자는, 다른 피사체 거리나 화각에 대응하는 계수 세트군을 전환하면서, 복원된 복원 화상을 각각 표시부(127)에 표시시키면서, 원하는 피사체 거리나 화각의 복원 화상을 얻는 것도 가능하다.
또한, 검출 화상을 기록하는 경우, 복원시의 피사체 거리나 화각이 결정되어 있을 때, 복원에 사용하는 메타데이터를 검출 화상과 연관시키도록 해도 된다. 예를 들면, 검출 화상을 포함하는 화상 데이터에 메타데이터를 부여하거나, 검출 화상과 메타데이터에 같은 ID를 부여하거나, 검출 화상과 메타데이터를 같은 기록 매체(130)에 기록시키거나 함으로써, 검출 화상과 메타데이터가 연관된다.
또한, 검출 화상과 메타데이터에 같은 ID가 부여된 경우에는, 검출 화상과 메타데이터를 다른 기록 매체에 기록하거나, 개별적으로 촬상 장치(101)로부터 출력하거나 하는 것이 가능하다.
또한, 메타데이터에는, 복원에 이용하는 계수 세트군을 포함하고 있어도 되고, 포함하고 있지 않아도 된다. 후자의 경우, 예를 들면, 복원시의 피사체 거리나 화각이 메타데이터에 포함되고, 복원시에, 그 피사체 거리나 화각에 대응하는 계수 세트군이 기억부(128) 등으로부터 취득된다.
나아가, 촬상시에 즉시 복원 화상의 복원을 행하는 경우, 예를 들면, 기록하거나 외부에 출력하거나 하는 화상을, 검출 화상 및 복원 화상 중에서 선택하는 것이 가능하다. 예를 들면, 양쪽의 화상을 기록 또는 외부에 출력해도 되고, 일방의 화상만을 기록 또는 외부에 출력해도 된다.
또한, 동화상을 촬상하는 경우에도 마찬가지로, 촬상시의 복원 화상의 복원 유무나, 기록 또는 외부에 출력하는 화상의 선택이 가능하다. 예를 들면, 동화상의 촬상을 행하면서, 각 프레임의 복원 화상을 즉시 복원함과 함께, 복원 화상 및 복원 전의 검출 화상의 양쪽 또는 일방을 기록하거나, 외부에 출력하거나 하는 것이 가능하다. 이 경우, 촬상시에 각 프레임의 복원 화상을 스루 화상(through image)으로서 표시시키는 것도 가능하다. 또는, 예를 들면, 촬상시에는 복원 처리를 행하지 않고, 각 프레임의 검출 화상을 기록하거나, 외부에 출력하거나 하는 것이 가능하다.
나아가, 동화상의 촬상시에는, 예를 들면, 복원 화상의 복원 유무나, 기록 또는 외부에 출력하는 화상의 선택을 프레임마다 행할 수 있다. 예를 들면, 프레임마다 복원 화상의 복원 유무를 전환하는 것이 가능하다. 또한, 예를 들면, 프레임마다, 검출 화상의 기록 유무, 및 복원 화상의 기록 유무를 개별적으로 전환하는 것이 가능하다. 또한, 예를 들면, 나중에 사용할 가능성이 있는 유용한 프레임의 검출 화상에 메타데이터를 부여하면서, 모든 프레임의 검출 화상을 기록하도록 해도 된다.
또한, 촬상 렌즈를 이용하는 촬상 장치와 같이, 오토 포커스 기능을 실현하는 것도 가능하다. 예를 들면, 복원 화상에 기초하여 콘트라스트 AF(Auto Focus) 방식과 마찬가지의 힐-클라이밍(hill-climbing) 방식으로 최적의 피사체 거리를 결정함으로써, 오토 포커스 기능을 실현할 수 있다.
나아가, 상술한 특허문헌 등에 기재된 광학 필터와 종래의 촬상 소자로 이루어지는 촬상 장치 등과 비교하여, 화소 단위로 입사각 지향성을 가진 촬상 소자(121)에 의해 촬상되는 검출 화상을 이용하여 복원 화상을 생성할 수 있으므로, 다화소화를 실현하거나, 고해상도 및 높은 각도 분해능의 복원 화상을 얻거나 하는 것이 가능해진다. 한편, 광학 필터와 종래의 촬상 소자로 이루어지는 촬상 장치에서는, 화소를 미세화해도, 광학 필터의 미세화가 어렵기 때문에, 복원 화상의 고해상도화 등의 실현이 어렵다.
또한, 본 개시의 촬상 장치(101)는, 촬상 소자(121)가 필수구성이며, 예를 들면, 상술한 특허문헌 등에 기재된 광학 필터 등을 필요로 하지 않으므로, 사용 환경이 고온으로 되어, 광학 필터가 열에 의해 뒤틀리는 일이 없이, 환경내성이 높은 촬상 장치를 실현하는 것이 가능해진다.
나아가, 본 개시의 촬상 장치(101)에 있어서는, 촬상 렌즈, 핀홀, 및, 상술한 특허문헌 등에 기재된 광학 필터를 필요로 하지 않으므로, 촬상하는 기능을 구비한 구성의 설계 자유도를 향상시키는 것이 가능해진다.
<처리 부하의 저감 방법>
그런데, 촬상 소자(121)의 각 화소(121a)의 차광막(12lb)의 차광 범위(즉, 입사각 지향성)에 랜덤성을 갖게 하고 있는 경우, 차광 범위의 차이의 난잡함이 클수록, 복원부(122)에 의한 처리의 부하는 큰 것이 된다. 이에, 각 화소(121a)의 차광막(12lb)의 차광 범위의 변화의 일부를 규칙적인 것으로 하여, 난잡함을 저감시킴으로써, 처리 부하를 저감시키도록 해도 된다.
예를 들면, 세로 밴드 타입과 가로 밴드 타입을 조합시킨 L자 타입의 차광막(12lb)을 구성하도록 하고, 소정의 열방향에 대해서는, 동일한 폭의 가로 밴드 타입의 차광막(12lb)을 조합시키고, 소정의 행방향에 대해서는, 동일한 높이의 세로 밴드 타입의 차광막(12lb)을 조합시킨다. 이에 의해, 각 화소(121a)의 차광막(12lb)의 차광 범위가, 열방향 및 행방향에서 규칙성을 가지면서, 화소 단위에서는 랜덤하게 변화되게 된다. 그 결과, 각 화소(121a)의 차광막(12lb)의 차광 범위의 차이, 즉, 입사각 지향성의 차이의 난잡함을 저감시켜, 복원부(122)의 처리 부하를 저감시킬 수 있다.
구체적으로는, 예를 들면, 도 21의 촬상 소자(121")에 나타내는 바와 같이, 범위(Z130)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X0의 가로 밴드 타입의 차광막(12lb)이 이용되고, 범위(Z150)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y0의 세로 밴드 타입의 차광막(12lb)이 이용된다. 그 결과, 각각의 행과 열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(12lb)이 이용된다.
마찬가지로, 범위(Z130)에 인접하는 범위(Z131)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X1의 가로 밴드 타입의 차광막(12lb)이 이용되고, 범위(Z150)에 인접하는 범위(Z151)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y1의 세로 밴드 타입의 차광막(12lb)이 이용된다. 그 결과, 각각의 행과 열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(12lb)이 이용된다.
나아가, 범위(Z131)에 인접하는 범위(Z132)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X2의 가로 밴드 타입의 차광막(12lb)이 이용되고, 범위(Z151)에 인접하는 범위(Z152)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y2의 세로 밴드 타입의 차광막(12lb)이 이용된다. 그 결과, 각각의 행과 열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(12lb)이 이용된다.
이와 같이 함으로써, 차광막(12lb)의 수평 방향의 폭 및 위치, 및, 수직 방향의 높이 및 위치에 규칙성을 갖게 하면서, 화소 단위로 차광막의 범위를 다른 값으로 설정할 수 있으므로, 입사각 지향성의 변화의 난잡함을 억제할 수 있다. 결과로서, 계수 세트의 패턴을 저감시키는 것이 가능해지고, 복원부(122)에 있어서의 연산 처리의 처리 부하를 저감시키는 것이 가능해진다.
보다 상세하게는, 도 22의 우측상부에 나타내는 바와 같이, N화소×N화소의 검출 화상(Pic)으로부터 N×N화소의 복원 화상을 구하는 경우, (N×N)행×1열의 복원 화상의 각 화소의 화소값을 요소로 하는 벡터 X, (N×N)행×1열의 검출 화상의 각 화소의 화소값을 요소로 하는 벡터 Y, 및 계수 세트군으로 이루어지는 (N×N)행×(N×N)열의 행렬 A에 의해, 도 22의 좌측부에 나타내는 바와 같은 관계가 성립한다.
즉, 도 22에 있어서는, 계수 세트군으로 이루어지는 (N×N)행×(N×N)열의 행렬 A의 각 요소와, 복원 화상을 나타내는 (N×N)행×1열의 벡터 X를 곱셈한 결과가, 검출 화상을 나타내는 (N×N)행×1열의 벡터 Y가 되는 것이 나타나 있다. 그리고, 이 관계로부터, 예를 들면, 상술한 식(1) 내지 식(3) 또는 식(4) 내지 식(6)에 대응하는 연립 방정식이 구성된다.
또한, 도 22에 있어서는, 행렬 A의 범위(Z201)에 의해 나타내는 1열째의 각 요소가, 벡터 X의 1행째의 요소에 대응하고 있고, 행렬 A의 범위(Z202)에 의해 나타내는 N×N열째의 각 요소가, 벡터 X의 N×N행째의 요소에 대응하고 있는 것을 나타내고 있다.
또한, 핀홀을 이용한 경우, 및, 촬상 렌즈 등의 같은 방향으로부터 입사한 입사광을 서로 인접하는 화소 출력 단위의 양쪽 모두에 입사시키기 위한 집광 기능을 이용한 경우, 각 화소의 위치와 광의 입사각도의 관계가 일의적으로 정해지므로, 행렬 A는, 오른쪽으로 내려가는 대각 성분이 모두 1이 되는 대각 행렬이 된다. 역으로, 도 2의 촬상 장치(101)와 같이 핀홀 및 촬상 렌즈의 어느 것도 이용하지 않는 경우, 각 화소의 위치와 광의 입사각도의 관계는 일의적으로 정해지지 않으므로, 행렬 A는 대각 행렬이 되지 않는다.
바꾸어 말하면, 도 22에 나타내는 행렬식에 기초한 연립 방정식을 풀어, 벡터 X의 각 요소를 구함으로써 복원 화상이 구해진다.
그런데, 일반적으로, 도 22의 행렬식은, 양변에 행렬 A의 역행렬 A-1을 왼쪽에서 곱함으로써, 도 23에 나타내는 바와 같이 변형되며, 검출 화상의 벡터 Y에 역행렬 A-1을 왼쪽에서 곱함으로써, 검출 화상인 벡터 X의 각 요소가 구해진다.
그러나, 현실에서는, 행렬 A가 정확하게 구해지지 않거나, 행렬 A를 정확하게 측정할 수 없거나, 행렬 A의 기저 벡터가 선형 종속에 가까운 경우에 풀리지 않거나, 검출 화상의 각 요소에 노이즈가 포함되거나 한다. 그리고, 이들 이유의 어느 하나 또는 이들의 조합으로, 연립 방정식을 풀 수 없는 경우가 있다.
이에, 예를 들면, 다양한 오차에 대해 견고한 구성을 생각하여, 정칙화 최소 제곱법(regularized least square method)의 개념을 이용한 다음 식(7)이 이용된다.
[수 1]
여기서, 식(7)의 x의 상부에 「^」이 붙은 것은 벡터 X를, A는 행렬 A를, Y는 벡터 Y를, γ는 파라미터를, ||A||는 L2 놈(norm)(제곱 합 평방근)을 나타내고 있다. 여기서, 우변의 첫 번째 항은, 도 22의 양변을 최소로 할 때의 놈이며, 우변의 두 번째 항은 정칙화 항이다.
이 식(7)을 x에 대해 풀면, 이하의 식(8)이 된다.
[수 2]
여기서, At는 행렬 A의 전치 행렬이며, I는 단위 행렬이다.
그러나, 행렬 A는, 방대한 사이즈이므로, 계산량이나 필요한 메모리량이 커진다.
이에, 예를 들면, 도 24에 나타내는 바와 같이, 행렬 A를, N행×N열의 행렬 AL과, N행×N열의 행렬 ART로 분해하고, 각각 복원 화상을 나타내는 N행×N열의 행렬 X의 전단과 후단으로부터 곱한 결과가, 검출 화상을 나타내는 N행×N열의 행렬 Y가 되도록 한다. 이에 의해, 요소수 (N×N)×(N×N)의 행렬 A에 대해, 요소수가 (N×N)인 행렬 AL, ART가 되고, 각 행렬의 요소수가 1/(N×N)이 된다. 결과로서, 계산량이나 필요한 메모리량을 저감시킬 수 있다.
도 24에 나타내는 행렬식은, 예를 들면, 식(8)의 괄호 내의 행렬을 행렬 AL로 하고 행렬 A의 전치 행렬의 역행렬을 행렬 ART로 하는 것으로 실현된다.
도 24에 나타내는 바와 같은 계산에서는, 도 25에 나타내는 바와 같이, 행렬 X에 있어서의 주목 요소 Xp에 대해, 행렬 AL의 대응하는 열의 각 요소군(Z221)을 곱셈함으로써, 요소군(Z222)이 구해진다. 나아가, 요소군(Z222)과 행렬 ART의 주목 요소 Xp에 대응하는 행의 요소를 곱셈함으로써, 주목 요소 Xp에 대응하는 2차원 응답(Z224)이 구해진다. 그리고, 행렬 X의 모든 요소에 대응하는 2차원 응답(Z224)이 적산(積算)됨으로써 행렬 Y가 구해진다.
이에, 예를 들면, 행렬 AL의 각 열의 요소군(Z221)에는, 도 21에 나타내는 촬상 소자(121)의 열마다 동일한 폭으로 설정되는 가로 밴드 타입의 화소(121a)의 입사각 지향성에 대응하는 계수가 이용된다.
마찬가지로, 예를 들면, 행렬 ART의 각 행의 요소군(Z223)에는, 도 21에 나타내는 촬상 소자(121)의 행마다 동일한 높이로 설정되는 세로 밴드 타입의 화소(121a)의 입사각 지향성에 대응하는 계수가 이용된다.
이 결과, 검출 화상에 기초하여, 복원 화상을 복원할 때에 사용하는 행렬을 작게 하는 것이 가능해지므로, 계산량이 저감하고, 처리 속도를 향상시켜, 계산에 관련되는 전력 소비를 저감시키는 것이 가능해진다. 또한, 행렬을 작게 할 수 있으므로, 계산에 사용하는 메모리의 용량을 저감시키는 것이 가능해지고, 장치 비용을 저감시키는 것이 가능해진다.
또한, 도 21에는, 수평 방향 및 수직 방향으로 소정의 규칙성을 갖게 하면서, 화소 단위로 차광 범위(수광 범위)를 변화시키는 예가 나타나 있지만, 본 개시에 있어서는, 이와 같이 화소 단위로 차광 범위(수광 범위)가, 완전히 랜덤하게 설정되어 있지는 않지만, 어느 정도 랜덤하게 설정되는 것에 대해서도, 랜덤하게 설정되는 것으로 간주한다. 바꾸어 말하면, 본 개시에 있어서는, 화소 단위로 차광 범위(수광 범위)가 완전히 랜덤하게 설정되는 경우뿐만 아니라, 어느 정도 랜덤한 것(예를 들면, 모든 화소 중, 일부에 대해서는 규칙성을 갖게 한 범위를 포함하지만, 그 밖의 범위는 랜덤한 경우), 또는 어느 정도 규칙성이 없을 것 같은 것(모든 화소 중, 도 21을 참조하여 설명한 바와 같은 규칙에 따라 배치되어 있는 것을 확인할 수 없는 배치의 경우)에 대해서도 랜덤한 것으로 간주한다.
<<3. 제1 실시형태>>
다음으로, 도 26 내지 도 32를 참조하여, 본 개시의 제1 실시형태에 대해 설명한다.
상술한 바와 같이, 입사각 지향성을 갖는 화소를 이용한 촬상 소자(121)에 있어서는, 촬상 렌즈나 광학 필터 등을 필요로 하지 않기 때문에, 각 화소(121a)의 배치 자유도가 높다. 본 개시의 제1 실시형태는, 그 촬상 소자(121)의 각 화소(121a)의 배치 자유도를 활용하여, 각종의 전자 기기에 있어서, 전자 기기를 장착 또는 사용하고 있는 사용자의 적어도 일부가 찍히는 위치에 촬상 소자(121)를 설치하고, 사용자의 적어도 일부를 촬상하여, 복원 처리에 의해 얻어지는 복원 화상을 이용하여, 각종의 애플리케이션 처리를 실행하도록 하는 것이다.
여기서, 사용자의 적어도 일부란, 예를 들면, 사용자의 전신, 얼굴, 눈, 두부(頭部), 동체(胴體), 손, 발 등의 사용자의 몸의 임의의 부분이다. 또한, 예를 들면, 의료 기기 등의 경우, 사용자의 적어도 일부는, 사용자의 외측뿐만 아니라, 사용자의 내측(예를 들면, 구강내, 내장내 등)의 경우도 있다.
<전자 기기(301)의 구성예>
도 26은, 본 개시의 제1 실시형태에 관련되는 전자 기기(301)의 구성예를 나타내는 블록도이다. 또한, 도면 중, 도 2의 촬상 장치(101)와 대응하는 부분에는 동일한 부호를 부여하고 있고, 그 설명은 적절히 생략한다.
전자 기기(301)는, 예를 들면, 웨어러블 디바이스, 스마트폰, 태블릿, 휴대 전화기 등의 사용자가 장착 또는 휴대하는 휴대 정보 단말, 퍼스널 컴퓨터, 웨어러블 디바이스, 게임기, 동영상 재생 장치, 음악 재생 장치 등에 의해 구성된다. 또한, 웨어러블 디바이스에는, 예를 들면, 사용자의 두부에 장착되는 두부 장착형, 손목 시계형, 팔찌형, 목걸이형, 넥밴드형 등의 각종의 방식을 채용할 수 있다. 또한, 두부 장착형의 웨어러블 디바이스에는, 예를 들면, 안경형, 고글형, 헤드마운트형, 이어폰형, 헤드셋형, 마스크형, 모자형 등이 있다. 또한, 예를 들면, 웨어러블 디바이스의 형상 등에 따라, 1개의 웨어러블 디바이스가 복수의 방식(예를 들면, 고글형과 헤드마운트형)에 대응하는 경우가 있다.
전자 기기(301)는, 촬상부(311) 및 신호 처리 제어부(312)를 구비한다.
촬상부(311)는, 1 이상의 n개의 촬상 소자(121-1) 내지 촬상 소자(121-n)를 구비한다.
각 촬상 소자(121)는, 각 화소(121a)로부터 출력되는 검출 신호로 이루어지는 검출 신호 세트를 복원부(321)에 공급하거나, 버스(B2)에 출력하거나 한다.
또한, 각 촬상 소자(121)로부터의 검출 신호 세트에 의해 검출 화상이 생성된다. 따라서, 촬상부(311)가 1개의 촬상 소자(121)만을 구비하는 경우, 그 촬상 소자(121)로부터의 1개의 검출 신호 세트에 의해 검출 화상이 생성된다.
또한, 각 촬상 소자(121)는, 동일한 케이스에 설치되어도 되고, 다른 케이스에 설치되어도 된다.
신호 처리 제어부(312)는, 복원부(321), 제어부(322), 입력부(323), 검출부(324), 연관부(325), 출력부(326), 기억부(327), 기록 재생부(328), 기록 매체(329), 및 통신부(330)를 구비한다.
복원부(321), 제어부(322), 입력부(323), 검출부(324), 연관부(325), 출력부(326), 기억부(327), 기록 재생부(328), 및 통신부(330)는, 버스(B2)를 통해 서로 접속되어 있고, 버스(B2)를 통해 데이터의 송수신 등을 행한다. 또한, 이하, 설명을 간단하게 하기 위해, 전자 기기(301)의 각 부가 버스(B2)를 통해 데이터의 송수신 등을 행하는 경우의 버스(B2)의 기재를 생략한다.
복원부(321)는, 각 촬상 소자(121)로부터 취득한 검출 신호 세트를 이용하여, 도 2의 촬상 장치(101)의 복원부(122)과 마찬가지의 처리에 의해, 복원 화상의 복원 처리 등을 행한다. 복원부(321)는 복원 화상을 버스(B2)에 출력한다.
제어부(322)는, 예를 들면, 각종의 프로세서를 구비하고, 전자 기기(301)의 각 부의 제어나 각종의 애플리케이션 처리 등을 행한다.
입력부(323)는, 전자 기기(301)의 조작이나, 처리에 이용되는 데이터의 입력 등을 행하기 위한 입력 디바이스(예를 들면, 키, 스위치, 버튼, 다이얼, 터치 패널, 리모트 컨트롤러 등)를 구비한다. 입력부(323)는, 조작 신호나 입력된 데이터 등을 버스(B2)에 출력한다.
연관부(325)는, 각 촬상 소자(121)의 검출 신호 세트와, 각 검출 신호 세트에 대응하는 메타데이터를 연관시킨다.
출력부(326)는, 예를 들면, 디스플레이, 스피커, 램프, 버저(buzzer), 진동 소자 등의 화상, 소리, 광, 진동 등의 출력을 행하는 출력 디바이스를 구비하고, 각종의 정보나 데이터의 출력을 행한다.
기억부(327)는, ROM, RAM, 플래시 메모리 등의 기억 장치를 1개 이상 구비하고, 예를 들면, 전자 기기(301)의 처리에 이용되는 프로그램이나 데이터를 기억한다. 예를 들면, 기억부(327)는, 각 촬상 소자(121)에 대응하는 계수 세트군을 기억하고 있다. 이 계수 세트군은, 예를 들면, 상정되는 피사체 거리 및 화각마다 준비된다.
기록 재생부(328)는, 기록 매체(329)에의 데이터의 기록, 및 기록 매체(329)에 기록되어 있는 데이터의 재생(판독)을 행한다. 예를 들면, 기록 재생부(328)는, 복원 화상을 기록 매체(329)에 기록하거나, 기록 매체(329)로부터 판독하거나 한다. 또한, 예를 들면, 기록 재생부(328)는, 검출 신호 세트 및 대응하는 메타데이터를, 기록 매체(329)에 기록하거나, 기록 매체(329)로부터 판독하거나 한다.
기록 매체(329)는, 예를 들면, HDD, SSD, 자기 디스크, 광 디스크, 광자기 디스크, 및 반도체 메모리 등의 어느 하나, 또는 이들의 조합 등으로 이루어진다.
통신부(330)는, 소정의 통신 방식에 의해, 다른 기기와 통신을 행한다. 또한, 통신부(330)의 통신 방식은, 유선 또는 무선 중 어느 것이어도 된다. 또한, 통신부(330)가 복수의 통신 방식에 대응하는 것도 가능하다.
<촬상 소자(121)의 배치예>
다음으로, 도 27 내지 도 31을 참조하여, 전자 기기(301)의 구체예를 들면서, 촬상 소자(121)의 배치예에 대해 설명한다.
도 27의 A 내지 도 27의 C에는, 전자 기기(301)의 예로서, 사용자의 눈을 덮도록 장착되는 안경형의 웨어러블 디바이스(401)의 일부가 모식적으로 나타나 있다. 또한, 도 27의 A 내지 도 27의 C에는, 웨어러블 디바이스(401)의 접안부(eyepiece unit)인 좌렌즈(411L) 및 우렌즈(411R)의 주위에 촬상 소자(121)(의 각 화소(121a))가 배치되어 있는 예가 나타나 있다.
여기서, 접안부란, 전자 기기(301)를 장착 또는 사용하는 사용자의 눈에 근접하는 부분이며, 예를 들면, 좌렌즈(411L) 및 우렌즈(411R)와 같은 접안 렌즈 등으로 이루어진다. 접안부가 근접 렌즈로 이루어지는 경우, 예를 들면, 사용자는 근접 렌즈를 통해 상(예를 들면, 피사체의 상이나 영상 등)을 볼 수 있다.
구체적으로, 도 27의 A의 예에서는, 프레임(412)의 이면, 즉, 사용자가 웨어러블 디바이스(401)를 장착한 경우에 사용자의 얼굴과 대향하는 면의 좌렌즈(411L)의 상방에 촬상 소자(121-1)가 배치되고, 프레임(412)의 이면의 우렌즈(411R)의 상방에 촬상 소자(121-2)가 배치되어 있다.
도 27의 B의 예에서는, 프레임(412)의 이면의 코걸이 부분(bridge) 부근에 촬상 소자(121)가 배치되어 있다.
도 27의 C의 예에서는, 프레임(412)의 이면의 좌렌즈(411L)의 주위를 둘러싸도록 촬상 소자(121-1)가 배치되고, 프레임(412)의 이면의 우렌즈(411R)의 주위를 둘러싸도록 촬상 소자(121-2)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 웨어러블 디바이스(401)의 프레임(412)의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 또한, 촬상 소자(121)는, 웨어러블 디바이스(401)를 장착하고 있는 사용자의 양쪽 눈 부근이 찍히는 위치에 배치되어 있고, 그 사용자의 양쪽 눈 주변의 촬상을 행할 수 있다.
또한, 도 27의 A 내지 도 27의 C의 각 촬상 소자(121)의 각 화소(121a)의 입사각 지향성은, 웨어러블 디바이스(401)를 장착했을 때에, 좌렌즈(411L) 및 우렌즈(411R)에 근접하는 사용자의 눈의 방향에 대한 수광 감도가 높아지도록 설정되는 것이 바람직하다. 이에 의해, 각 화소(121a)에 있어서, 주요한 촬상 대상인 사용자의 눈의 방향으로부터의 입사광에 대한 수광 감도가 높아져서, 사용자의 눈을 보다 선명하게 촬상하는 것이 가능해진다.
예를 들면, 도 28의 A 및 도 28의 B는, 도 27의 C의 촬상 소자(121-1)의 입사각 지향성의 예를 모식적으로 나타내고 있다. 도 28의 A 및 도 28의 B는, 웨어러블 디바이스(401)를 장착한 상태의 사용자의 왼쪽 눈(421L)과 좌렌즈(411L) 및 촬상 소자(121-1)의 위치 관계를 모식적으로 나타내고 있다. 도 28의 A는, 좌렌즈(411L)를 내측(사용자의 눈과 대향하는 면측)으로부터 본 도면을 나타내고, 도 28의 B는, 좌렌즈(411L)를 옆에서 본 단면도를 나타내고 있다.
또한, 도면 중의 화살표는, 촬상 소자(121-1)의 각 영역의 화소(121a)의 입사각 지향성의 경향을 나타내고 있다. 또한, 이하, 도 28의 A 및 도 28의 B에 있어서, 좌렌즈(421L)로부터 왼쪽 눈(421)을 향하는 방향(도 28의 B의 오른쪽 방향)을 후방 방향으로 한다.
촬상 소자(121-1)의 상방 영역 내의 화소(121a)는, 입사각 지향성이 후방으로 아래쪽으로 경사지는 방향으로 설정되어 있고, 왼쪽 눈(421L)의 방향에 대한 수광 감도가 높게 되어 있다. 촬상 소자(121-1)의 좌측 영역 내의 화소(121a)는, 입사각 지향성이 오른쪽으로 후방으로 경사지는 방향으로 설정되어 있고, 왼쪽 눈(421L)의 방향에 대한 수광 감도가 높게 되어 있다. 촬상 소자(121-1)의 우측 영역 내의 화소(121a)는, 입사각 지향성이 왼쪽으로 후방으로 경사지는 방향으로 설정되어 있고, 왼쪽 눈(421L)의 방향에 대한 수광 감도가 높게 되어 있다. 촬상 소자(121-1)의 하측 영역 내의 화소(121a)는, 입사각 지향성이 후방으로 위쪽으로 경사지는 방향으로 설정되어 있고, 왼쪽 눈(421L)의 방향에 대한 수광 감도가 높게 되어 있다.
이에 의해, 촬상 소자(121-1)에 있어서, 주요한 촬상 대상인 사용자의 왼쪽 눈(421L)의 방향으로부터의 입사광에 대한 수광 감도가 높아져서, 왼쪽 눈(421L)을 보다 선명하게 촬상하는 것이 가능해진다.
또한, 도시는 생략하지만, 우렌즈(411R)의 주위에 배치되어 있는 촬상 소자(121-2)에 있어서도, 각 화소(121a)의 입사각 지향성이 주요한 촬상 대상인 사용자의 오른쪽 눈(421R)의 방향으로 설정된다. 이에 의해, 사용자의 오른쪽 눈(421R)으로부터의 입사광에 대한 수광 감도가 높아져서, 오른쪽 눈(421R)을 보다 선명하게 촬상하는 것이 가능해진다.
또한, 도 27의 A 내지 도 27의 C의 예 중에서, 복원 화상의 화질의 관점에서 말하자면, 도 27의 C와 같이 촬상 소자(121)를 배치하고, 각 화소(121a)의 입사각 지향성을 흩어지게 하는 편이 바람직하다. 각 화소(121a)의 입사각 지향성이 흩어짐으로써, 복원 화상의 복원에 이용되는 연립 방정식에 대한 계수 세트군의 다양성이 높아지고, 복원 정밀도가 향상되기 때문이다.
또한, 반드시 모든 화소(121a)의 입사각 지향성을, 사용자의 눈의 방향에 대한 수광 감도가 높아지도록 설정할 필요는 없다. 예를 들면, 사용자의 눈의 방향에 대한 수광 감도가 높아지는 입사각 지향성을 갖는 화소(121a)의 수가, 다른 입사각 지향성을 갖는 화소(121a)의 수보다 많게 되어 있으면 된다.
도 29의 A 내지 도 29의 C에는, 전자 기기(301)의 예로서, 카메라(431)가 모식적으로 나타나 있다. 또한, 도 29의 A 내지 도 29의 C에는, 카메라(431)의 파인더(441)의 주변만이 도시되어 있지만, 예를 들면, 카메라(431)의 배면(파인더(441)와 동일한 측의 면)에, 디스플레이나 터치 패널 등의 표시부 및 사용자 조작부가 설치되어 있다.
또한, 도 29의 A 내지 도 29의 C에는, 각 촬상 소자(121)(의 각 화소(121a))가, 카메라(431)의 접안부인 파인더(441)의 주위에 배치되어 있는 예가 나타나 있다.
구체적으로, 도 29의 A의 예에서는, 파인더(441)의 좌측의 세로로 긴 사각형 영역에 촬상 소자(121-1)가 배치되고, 파인더(441)의 우측의 세로로 긴 사각형 영역에 촬상 소자(121-2)가 배치되어 있다.
도 29의 B의 예에서는, 파인더(441)의 상방의 가로로 긴 사각형 영역에 촬상 소자(121)가 배치되어 있다.
도 29의 C의 예에서는, 파인더(441)의 상방 및 좌측의 L자형 영역에 촬상 소자(121)가 배치되어 있다.
도 29의 D의 예에서는, 파인더(441)의 상방의 가로로 긴 사각형 영역에 촬상 소자(121-1)가 배치되고, 파인더(441)의 하방의 가로로 긴 사각형 영역에 촬상 소자(121-2)가 배치되어 있다.
도 29의 E의 예에서는, 파인더(441)의 주위를 둘러싸도록 촬상 소자(121)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 카메라(431)의 파인더(441)의 주위의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 또한, 촬상 소자(121)는, 사용자가 카메라(431)를 이용하여 촬영을 행하기 위해 파인더(441)를 들여다본 경우에, 그 사용자의 눈 주변이 찍히는 위치에 배치되어 있고, 그 사용자의 눈 주변의 촬상을 행할 수 있다.
또한, 도 29의 A 내지 도 29의 E의 각 촬상 소자(121)의 각 화소(121a)의 입사각 지향성은, 파인더(441)를 들여다볼 때에 파인더(441)에 근접하는 사용자의 눈의 방향(예를 들면, 파인더(441)의 전방)에 대한 수광 감도가 높아지도록 설정되는 것이 바람직하다.
도 30의 A 내지 도 30의 C에는, 전자 기기(301)의 예로서, 사용자의 눈을 덮도록 장착되는 고글형의 헤드마운트 디스플레이(461)의 일부가 모식적으로 나타나 있다. 또한, 도 30의 A 내지 도 30의 C에는, 헤드마운트 디스플레이(461)의 내면, 즉, 사용자가 장착했을 때에 사용자의 얼굴과 대향하는 면이 나타나 있고, 각 촬상 소자(121)(의 각 화소(121a))가, 헤드마운트 디스플레이(461)의 접안부인 좌렌즈(471L) 및 우렌즈(471R)의 주위에 배치되어 있는 예가 나타나 있다.
구체적으로, 도 30의 A의 예에서는, 좌렌즈(471L)의 좌측의 사각형 영역에 촬상 소자(121-1)가 배치되고, 우렌즈(471R)의 우측의 사각형 영역에 촬상 소자(121-2)가 배치되어 있다.
도 30의 B의 예에서는, 좌렌즈(471L)의 상방의 가로로 긴 사각형 영역에 촬상 소자(121-1)가 배치되고, 우렌즈(471R)의 상방의 가로로 긴 사각형 영역에 촬상 소자(121-2)가 배치되어 있다.
도 30의 C의 예에서는, 좌렌즈(471L)의 하방의 가로로 긴 사각형 영역에 촬상 소자(121-1)가 배치되고, 우렌즈(471R)의 하방의 사각형 영역에 촬상 소자(121-2)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 헤드마운트 디스플레이(461)의 좌렌즈(471L) 및 우렌즈(471R)의 주위의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 헤드마운트 디스플레이(461)를 장착한 사용자의 양쪽 눈 주변의 촬상을 행할 수 있다.
또한, 도 30의 A 내지 도 30의 C의 각 촬상 소자(121)의 각 화소(121a)의 입사각 지향성은, 도 27의 웨어러블 디바이스(401)와 마찬가지로, 헤드마운트 디스플레이(461)를 장착한 상태의 사용자의 눈의 방향에 대한 수광 감도가 높아지도록 설정되는 것이 바람직하다.
도 31의 A 내지 도 31의 C에는, 전자 기기(301)의 예로서, 노트형의 PC(퍼스널 컴퓨터)(491)가 모식적으로 나타나 있다.
PC(491)는, 표시부인 디스플레이(501)가 설치되어 있는 뚜껑부와, 사용자 조작부인 키보드(503)가 설치되어 있는 받침부가 힌지부에 의해 회전 가능하게 접속되어 있어, 뚜껑부를 개폐할 수 있다. 그리고, 도 31의 A 내지 도 31의 C에 나타내는 바와 같이 뚜껑부를 연 상태에서, 디스플레이(501) 및 키보드(503)가 외부에 노출되어, 사용자는 PC(491)를 사용할 수 있다. 또한, 예를 들면, 디스플레이(501)에 터치 패널을 설치함으로써, 디스플레이(501)(엄밀하게는, 터치 패널)를 사용자 조작부로 하는 것도 가능하다.
또한, 도 31의 A 내지 도 31의 C에는, 디스플레이(501)의 주위에 촬상 소자(121)(의 각 화소(121a))가 배치되어 있는 예가 나타나 있다.
도 31의 A의 예에서는, 디스플레이(501)의 주위의 베젤(502)의 상변에 촬상 소자(121)가 배치되어 있다.
도 31의 B의 예에서는, 베젤(502)의 좌변에 촬상 소자(121-1)가 배치되고, 베젤(502)의 우변에 촬상 소자(121-2)가 배치되어 있다.
도 31의 C의 예에서는, 베젤(502)의 4변에 디스플레이(501)를 둘러싸도록 촬상 소자(121)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 베젤(502)의 빈 공간에 촬상 소자(121)를 배치할 수 있음과 함께, 좁은 베젤화를 실현할 수 있다. 또한, 촬상 소자(121)는, PC(491)의 디스플레이(501)를 보면서 키보드(503)를 사용하고 있는 사용자와 대면하는 위치로서, 사용자의 얼굴 주변이 찍히는 위치에 배치되어 있어, 그 사용자의 얼굴 주변의 촬상을 행할 수 있다.
또한, 도 31의 A 내지 도 31의 C의 각 촬상 소자(121)의 각 화소(121a)의 입사각 지향성은, PC(491)의 디스플레이(501)를 보면서 키보드(503)를 사용하고 있는 사용자의 얼굴의 방향(예를 들면, 디스플레이(501)의 전방)에 대한 수광 감도가 높아지도록 설정되는 것이 바람직하다.
<사용자 촬상 제어 처리>
다음으로, 도 32의 플로우차트를 참조하여, 전자 기기(301)에 의해 실행되는 사용자 촬상 제어 처리에 대해 설명한다.
스텝(S101)에 있어서, 전자 기기(301)의 각 촬상 소자(121)는, 도 20의 스텝(S1)과 마찬가지의 처리에 의해, 사용자의 촬상을 행한다.
예를 들면, 도 27의 웨어러블 디바이스(401)의 경우, 웨어러블 디바이스(401)를 장착하고 있는 사용자의 양쪽 눈 주변의 촬상이 행해진다.
도 29의 카메라(431)의 경우, 파인더(441)를 들여다보고 있는 사용자의 눈 주변의 촬상이 행해진다.
도 30의 헤드마운트 디스플레이(461)의 경우, 헤드마운트 디스플레이(461)를 장착하고 있는 사용자의 양쪽 눈 주변의 촬상이 행해진다.
도 31의 PC(491)의 경우, 디스플레이(501)를 보고 있는 사용자의 얼굴 주변의 촬상이 행해진다.
각 촬상 소자(121)는, 각 화소(121a)의 검출 신호로 이루어지는 검출 신호 세트를 연관부(325)에 공급한다.
스텝(S102)에 있어서, 복원부(321)는, 화상의 복원에 이용되는 계수를 구한다. 구체적으로, 복원부(321)는, 도 20의 스텝(S2)의 촬상 장치(101)의 복원부(122)에 의한 처리와 마찬가지의 처리에 의해, 피사체 거리를 설정한다. 그리고, 복원부(321)는, 설정한 피사체 거리에 대응지어져 있는 계수 세트군을 기억부(327)로부터 판독한다.
스텝(S103)에 있어서, 복원부(321)는, 검출 신호 세트 및 계수를 이용하여, 화상의 복원을 행한다. 즉, 복원부(321)는, 도 20의 스텝(S3)의 촬상 장치(101)의 복원부(122)에 의한 처리와 마찬가지의 처리에 의해, 각 촬상 소자(121)로부터 출력된 검출 신호 세트, 및, 스텝(S102)의 처리로 구한 계수 세트군을 이용하여, 복원 화상을 복원한다.
스텝(S104)에 있어서, 전자 기기(301)는, 복원 화상에 대해 각종의 처리를 행한다. 예를 들면, 복원부(321)는, 필요에 따라, 복원 화상에 대해, 디모자이크 처리, γ 보정, 화이트 밸런스 조정, 소정의 압축 형식으로의 변환 처리 등을 행한다. 또한, 복원부(321)는, 예를 들면, 필요에 따라, 복원 화상을 출력부(326)에 공급하여, 표시시키거나, 기록 재생부(328)에 공급하여, 기록 매체(329)에 기록시키거나, 통신부(330)를 통해, 다른 기기에 출력하거나 한다.
스텝(S105)에 있어서, 전자 기기(301)는, 복원 화상(즉, 사용자의 화상)을 이용한 애플리케이션 처리를 실행한다.
예를 들면, 도 27의 웨어러블 디바이스(401)의 경우, 제어부(322)는, 복원 화상 내의 사용자의 눈의 화상에 기초하여, 사용자의 시선 검출을 행한다. 또한, 시선 검출에는, 임의의 방법을 이용할 수 있다. 그리고, 예를 들면, 제어부(322)는, 사용자의 시선의 움직임에 대응하는 조작 커맨드를 생성하고, 통신부(330)를 통해, 다른 전자 기기(도시하지 않음)에 송신한다. 이에 의해, 사용자는, 웨어러블 디바이스(401)를 장착하여 시선을 움직이는 것만으로, 다른 전자 기기의 조작을 행할 수 있다.
예를 들면, 도 29의 카메라(431)의 경우, 제어부(322)는, 복원 화상 내의 사용자의 눈 화상에 기초하여, 사용자의 시선 검출을 행한다. 또한, 시선 검출에는, 임의의 방법을 이용할 수 있다. 그리고, 예를 들면, 제어부(322)는, 카메라(431)의 각 부를 제어하여, 사용자의 시선의 움직임에 따라, 포커스를 맞추는 피사체의 위치(포커스 포인트)를 이동시키거나, 카메라(431)의 각종 처리를 행하거나 한다. 이에 의해, 사용자는, 파인더(441)를 들여다보고 시선을 움직이는 것만으로, 포커스 포인트를 설정하거나, 카메라(431)에 대한 각종의 조작을 행하거나 할 수 있다.
또는, 예를 들면, 제어부(322)는, 복원 화상 내에 기초하여, 사용자의 인식 처리 또는 인증 처리를 행한다.
여기서, 인식 처리란, 예를 들면, 사용자의 특정을 행하거나, 사용자의 특징을 인식하거나 하는 처리이다. 한편, 인증 처리란, 예를 들면, 복원 화상과 미리 등록되어 있는 화상(예를 들면, 얼굴 화상, 눈의 화상 등)과의 대조 등을 행함으로써, 사용자가 미리 등록되어 있는 사용자 또는 정규 사용자 등인지의 판정 등을 행하는 처리이다. 또한, 인식 처리와 인증 처리는, 명확히 구별되지 않고, 일부가 중복하는 경우가 있다. 또한, 사용자의 인식 처리 및 인증 처리에는, 임의의 방법을 이용할 수 있다. 예를 들면, 인식 처리에는, 얼굴 인증, 홍채 인증 등의 각종 생체 인증을 이용할 수 있다.
그리고, 예를 들면, 제어부(322)는, 사용자의 인식 결과 또는 인증 결과에 기초하여, 인식 또는 인증한 사용자에 대응하는 사용자 인터페이스 화면을 출력부(326)의 디스플레이에 표시시키거나, 카메라(431)의 설정을 변경하거나, 특정 기능(예를 들면, 재생 등)의 사용 허가를 행하거나 한다.
예를 들면, 도 30의 헤드마운트 디스플레이(461)의 경우, 제어부(322)는, 복원 화상 내의 사용자의 눈 화상에 기초하여, 사용자의 시선 검출을 행한다. 또한, 시선 검출에는, 임의의 방법을 이용할 수 있다. 그리고, 예를 들면, 제어부(322)는, 헤드마운트 디스플레이(461)의 각 부를 제어하여, 사용자의 시선의 움직임에 따라, 헤드마운트 디스플레이(461)의 각종 처리를 행한다. 이에 의해, 사용자는, 헤드마운트 디스플레이(461)를 장착하여 시선을 움직이는 것만으로, 헤드마운트 디스플레이(461)에 대한 각종의 조작을 행할 수 있다.
예를 들면, 도 31의 PC(491)의 경우, 제어부(322)는, 복원 화상 내의 사용자의 얼굴 화상에 기초하여, 사용자의 인식 처리 또는 인증 처리를 행한다. 그리고, 예를 들면, 제어부(322)는, 사용자의 인식 결과 또는 인증 결과에 기초하여, 인식 또는 인증한 사용자에 대응하는 사용자 인터페이스 화면을 출력부(326)의 디스플레이에 표시시키거나, PC(491)의 설정(예를 들면, 커스텀 설정, 화질 설정, 페어렌털 컨트롤(parental control) 설정) 등을 변경하거나, 특정 계정(account)에의 로그인, 특정 폴더나 파일에의 액세스, 및 특정 기능의 사용 등의 허가를 행하거나 한다.
그 후, 사용자 촬상 제어 처리는 종료한다.
또한, 이상에 있어서는, 촬상 소자(121)와 피사체 거리에 대응된 계수 세트군을 이용하여, 검출 신호 세트로부터 복원 화상을 복원하는 예에 대해 설명해 왔지만, 예를 들면, 피사체 거리에 더하여, 상술한 바와 같이, 복원 화상의 화각에 대응하는 계수 세트군을 더 준비하여, 피사체 거리 및 화각에 따른 계수 세트군을 이용하여, 복원 화상을 복원하도록 해도 된다.
이상과 같이 하여, 전자 기기(301)의 사이즈의 대형화나 디자인의 저하를 억제하면서 촬상 소자(121)를 배치하고, 전자 기기를 사용하는 사용자를 촬상할 수 있다. 그리고, 사용자의 화상을 복원하고, 복원한 화상에 기초하여, 각종의 애플리케이션 처리를 실행할 수 있다.
<<4. 제2 실시형태>>
다음으로, 도 33 내지 도 41을 참조하여, 본 개시의 제2 실시형태에 대해 설명한다.
상술한 제1 실시형태에서는, 전자 기기(301)를 사용하는 사용자의 촬상을 행하고, 복원 처리에 의해 얻어지는 사용자의 화상을 이용하여, 각종의 애플리케이션 처리를 실행하는 예를 나타냈다. 한편, 제2 실시형태에서는, 전자 기기(301)를 사용하는 사용자의 주위의 촬상이 행해지고, 복원 처리에 의해 얻어지는 사용자의 주위의 화상을 이용하여, 각종의 애플리케이션 처리가 실행된다.
또한, 제2 실시형태에서는, 제1 실시형태와 마찬가지로, 도 26의 전자 기기(301)가 이용된다. 한편, 제2 실시형태에서는, 제1 실시형태와 달리, 전자 기기(301)를 장착 또는 사용하고 있는 사용자의 주위가 찍히는 위치에 촬상 소자(121)가 배치된다.
<촬상 소자(121)의 배치예>
여기서, 도 33 내지 도 40을 참조하여, 전자 기기(301)의 구체예를 들면서, 촬상 소자(121)의 배치예에 대해 설명한다.
도 33의 A 내지 도 33의 C에는, 전자 기기(301)의 예로서, 사용자의 눈을 덮도록 장착되는 안경형의 웨어러블 디바이스(601)가 모식적으로 나타나 있다. 또한, 도 33의 A 내지 도 33의 C에는, 웨어러블 디바이스(601)를 사용자가 장착한 상태에 있어서 외측에 노출하는 프레임(612)의 표면에 촬상 소자(121)(의 각 화소(121a))가 배치되어 있는 예가 나타나 있다.
구체적으로, 도 33의 A의 예에서는, 프레임(612)의 표면의 좌렌즈(611L)의 상방에 촬상 소자(121-1)가 배치되고, 프레임(612)의 표면의 우렌즈(611R)의 상방에 촬상 소자(121-2)가 배치되어 있다.
도 33의 B의 예에서는, 프레임(612)의 표면의 좌렌즈(611L)의 우측에 촬상 소자(121-1)가 배치되고, 프레임(612)의 표면의 우렌즈(611R)의 좌측에 촬상 소자(121-2)가 배치되어 있다.
도 33의 C의 예에서는, 프레임(612)의 표면의 좌렌즈(611L)의 주위를 둘러싸도록 촬상 소자(121-1)가 배치되고, 프레임(612)의 표면의 우렌즈(611R)의 주위를 둘러싸도록 촬상 소자(121-2)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 웨어러블 디바이스(601)의 프레임(612)의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 웨어러블 디바이스(601)를 장착한 사용자의 전방의 촬상을 행할 수 있다.
도 34의 A 내지 도 34의 C에는, 전자 기기(301)의 예로서, 카메라(631)가 모식적으로 나타나 있다. 또한, 카메라(631)의 케이스의 전면에 촬상 소자(121)(의 각 화소(121a))가 배치되어 있는 예가 나타나 있다.
구체적으로, 도 34의 A의 예에서는, 카메라(631)의 본체부의 전면 중, 마운트(641)의 좌측으로서, 카메라(631)의 좌단 부근의 세로로 긴 사각형 영역에 촬상 소자(121)가 배치되어 있다.
도 34의 B의 예에서는, 카메라(631)의 본체부의 전면 중, 마운트(641)의 4개의 코너 부근의 4개의 사각형 영역 내에, 촬상 소자(121-1) 내지 촬상 소자(121-4)가 각각 배치되어 있다.
도 34의 C의 예에서는, 카메라(631)의 플래시가 내장되어 있는 플래시 내장부(642)의 전면에 촬상 소자(121)가 배치되어 있다.
도 34의 D의 예에서는, 카메라(631)의 마운트(641)의 외주를 따른 링 형상의 영역에 촬상 소자(121)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 카메라(631)의 케이스의 전면의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 카메라(631)의 촬상 방향의 촬상을 행할 수 있다.
도 35의 A 내지 도 35의 D에는, 전자 기기(301)의 예로서, 사용자의 눈을 덮도록 장착되는 고글형의 헤드마운트 디스플레이(661)가 모식적으로 나타나 있다. 또한, 도 35의 A 내지 도 35의 D에는, 헤드마운트 디스플레이(661)를 사용자가 장착한 상태에 있어서 외측에 노출하는 케이스의 전면에 촬상 소자(121)(의 각 화소(121a))가 배치되어 있는 예가 나타나 있다.
구체적으로, 도 35의 A의 예에서는, 본체부(671)의 전면의 하방의 가로로 긴 사각형 영역에 촬상 소자(121)가 배치되어 있다.
도 35의 B의 예에서는, 본체부(671)의 전면의 상단의 가로로 긴 영역에 촬상 소자(121)가 배치되어 있다.
도 35의 C의 예에서는, 헤드 패드(672)의 전면의 사각형 영역에 촬상 소자(121)가 배치되어 있다.
도 35의 D의 예에서는, 본체부(671)의 전면의 좌우의 사각형 영역에 촬상 소자(121-1) 및 촬상 소자(121-2)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 헤드마운트 디스플레이(661)의 케이스의 전면의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 헤드마운트 디스플레이(661)를 장착하고 있는 사용자의 전방의 촬상을 행할 수 있다.
도 36의 A 내지 도 37의 D에는, 전자 기기(301)의 예로서, 오버헤드형 헤드폰(691)이 모식적으로 나타나 있다. 도 36의 A 및 도 36의 B는, 헤드폰(691)을 비듬하게 앞에서 본 사시도를 나타내고, 도 37의 C 및 도 37의 D는, 헤드폰(691)을 비스듬하게 뒤에서 본 사시도를 나타내고 있다.
도 36의 A의 예에서는, 좌측의 하우징(701L)의 측면의 전방 중앙 부근에 촬상 소자(121-1)가 배치되고, 우측의 하우징(701R)의 측면의 전방 중앙 부근에 촬상 소자(121-2)가 배치되어 있다.
도 36의 B의 예에서는, 헤드셋(702)의 전면을 따른 영역에 촬상 소자(121)가 배치되어 있다.
도 37의 C의 예에서는, 좌측의 하우징(701L)의 측면의 후방 중앙 부근에 촬상 소자(121-1)가 배치되고, 우측의 하우징(701R)의 측면의 후방 중앙 부근에 촬상 소자(121-2)가 배치되어 있다.
도 37의 D의 예에서는, 헤드셋(702)의 후면을 따른 영역에 촬상 소자(121)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 사용자가 헤드폰(691)을 장착한 상태에 있어서 외측에 노출하는 면의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 헤드폰(691)을 장착하고 있는 사용자의 전방 또는 후방의 촬상을 행할 수 있다.
도 38의 A 및 도 38의 B에는, 전자 기기(301)의 예로서, 넥밴드형 헤드폰(721)이 모식적으로 나타나 있다.
도 38의 A의 예에서는, 좌측의 하우징(731L)의 측면의 전방에 촬상 소자(121-1)가 배치되어 있다. 또한, 도시는 생략하지만, 우측의 하우징(731R)의 측면의 전방에 촬상 소자(121-2)가 배치되어 있다.
도 38의 B의 예에서는, 넥밴드(732)의 후방 부근에 촬상 소자(121)가 배치되어 있다.
이와 같이, 사이즈의 대형화나 디자인의 저하를 억제하면서, 사용자가 헤드폰(721)을 장착한 상태에 있어서 외측에 노출하는 면의 빈 공간에 촬상 소자(121)를 배치할 수 있다. 그리고, 예를 들면, 헤드폰(721)을 장착하고 있는 사용자의 전방 또는 후방의 촬상을 행할 수 있다.
또한, 이상의 예에서는, 사용자의 전방 또는 후방을 촬상하는 예를 나타냈지만, 사용자의 주위의 다른 방향(예를 들면, 측방, 상방, 하방 등)을 촬상하기 위해, 각 촬상 소자(121)를 설치하도록 해도 된다.
<사용자 주위 촬상 제어 처리>
다음으로, 도 39의 플로우차트를 참조하여, 전자 기기(301)에 의해 실행되는 사용자 주위 촬상 제어 처리에 대해 설명한다.
스텝(S201)에 있어서, 전자 기기(301)의 각 촬상 소자(121)는, 도 20의 스텝(S1)과 마찬가지의 처리에 의해, 사용자의 주위의 촬상을 행한다.
예를 들면, 도 33의 웨어러블 디바이스(601)의 경우, 웨어러블 디바이스(601)를 장착하고 있는 사용자의 전방의 촬상이 행해진다.
도 34의 카메라(631)의 경우, 카메라(631)의 촬상 방향의 촬상이 행해진다.
도 35의 헤드마운트 디스플레이(661)의 경우, 헤드마운트 디스플레이(661)를 장착하고 있는 사용자의 전방의 촬상이 행해진다.
도 36 및 도 37의 헤드폰(691)의 경우, 헤드폰(691)을 장착하고 있는 사용자의 전방 또는 후방의 촬상이 행해진다.
도 38의 헤드폰(721)의 경우, 헤드폰(721)을 장착하고 있는 사용자의 전방 또는 후방의 촬상이 행해진다.
각 촬상 소자(121)는, 각 화소(121a)의 검출 신호로 이루어지는 검출 신호 세트를 연관부(325)에 공급한다.
스텝(S202)에 있어서, 복원부(321)는, 화상의 복원에 이용되는 계수를 구한다. 구체적으로, 복원부(321)는, 도 20의 스텝(S2)의 촬상 장치(101)의 복원부(122)에 의한 처리와 마찬가지의 처리에 의해, 피사체 거리를 설정한다. 그리고, 복원부(321)는, 설정한 피사체 거리에 대응지어져 있는 계수 세트군을 기억부(327)로부터 판독한다.
또한, 도 36 및 도 37의 헤드폰(691)의 헤드셋(702)이나, 도 38의 헤드폰(721)의 넥밴드(732)와 같이, 변형 가능한 부분에 촬상 소자(121)가 배치되어 있는 경우, 변형에 따라, 각 화소(121a) 간의 상대 위치가 변화된다.
한편, 상술한 복원 화상의 복원에 이용되는 연립 방정식의 계수 세트군은, 각 화소(121a)의 상대 위치가 변화되지 않는 것을 전제로 해서 설정되어 있다.
이에, 전자 기기(301)의 변형 가능한 부분에 촬상 소자(121)가 배치되는 경우, 변형 상태에 따른 계수 세트군을 미리 준비해 둠과 함께, 변형 상태를 검출하고, 검출한 변형 상태에 따른 계수 세트군을 이용하도록 해도 된다.
여기서, 변형 가능한 부분이란, 예를 들면 전자 기기(301)를 사용하거나, 장착하거나 하는 경우 등에 형상을 바꿀 수 있는 부분이다. 또한, 변형의 종류는, 특히 한정되는 것이 아니고, 예를 들면, 늘어남, 줄어듬, 구부러짐, 시프트, 비틀어짐, 분리 등이 포함된다. 또한, 변형 가능한 부분에는, 예를 들면, 외부에서 주어지는 힘에 의해 변형하는 부분, 및 액추에이터 등에 의해 스스로 형상을 바꾸는 부분이 있다.
예를 들면, 도 36 및 도 37의 헤드폰(691)의 헤드셋(702)에 굽힘 센서를 설치하고, 굽힘 센서에 의해 검출되는 헤드셋의 굽힘 상태에 대응하는 계수 세트군을 이용하도록 해도 된다.
예를 들면, 도 40의 A 내지 도 40의 C의 굽힘 센서(751)의 3개의 패턴의 굽힘 상태에 대응하는 계수 세트군이 미리 준비된다. 그리고, 사용자가 헤드폰(691)을 장착한 경우의 굽힘 센서(751)의 검출 결과에 가장 가까운 굽힘 상태에 대응하는 계수 세트군을 이용하여, 복원 화상의 복원이 행해진다.
스텝(S203)에 있어서, 도 32의 스텝(S103)의 처리와 마찬가지로, 검출 신호 세트 및 계수를 이용하여, 화상의 복원이 행해진다.
스텝(S204)에 있어서, 도 32의 스텝(S104)의 처리와 마찬가지로, 복원 화상에 대해 각종의 처리가 실행된다.
스텝(S205)에 있어서, 전자 기기(301)는, 복원 화상(즉, 사용자의 주위의 화상)을 이용한 애플리케이션 처리를 실행한다.
예를 들면, 도 33의 웨어러블 디바이스(601)의 경우, 제어부(322)는, 복원 화상에 기초하여, 사용자의 주위의 인식 처리를 행한다. 또한, 사용자의 주위의 인식 처리에는, 임의의 방법을 이용할 수 있다. 그리고, 예를 들면, 제어부(322)는, 출력부(326)를 제어하여, 인식 처리에 의해 얻어진 사용자의 주위의 환경에 대응하는 화상이나 정보를, 좌렌즈(611L) 및 우렌즈(611R)를 통해 사용자가 시인하는 시야 내에 중첩하고, AR(Augmented Reality)을 실현한다.
또는, 예를 들면, 제어부(322)는, 기록 재생부(328)를 제어하여, 사용자의 라이프 로그(life log)로서, 복원 화상을 기록 매체(329)에 기록시킨다.
예를 들면, 도 34의 카메라(631)의 경우, 제어부(322)는, 복원 화상에 기초하여, 사용자의 주위의 인식 처리를 행함으로써, 피사체의 추종이나 씬(scene)의 인식 등을 행한다. 또한, 사용자의 주위의 인식 처리에는, 임의의 방법을 이용할 수 있다. 이에 의해, 예를 들면, 카메라(631)의 렌즈(643)를 통해 촬상하는 촬상 소자(도시하지 않음)의 셔터 동작 중에 있어서도 피사체의 추종을 행할 수 있다. 또한, 예를 들면, 렌즈(643)보다 넓은 범위를 센싱하고, 피사체의 추종이나 씬의 인식을 행할 수 있다.
예를 들면, 도 35의 헤드마운트 디스플레이(661)의 경우, 제어부(322)는, 출력부(326)를 제어하여, 복원 화상의 일부 또는 모두를, 사용자가 시인하고 있는 화상 내에 중첩시킨다.
예를 들면, 도 36 및 도 37의 헤드폰(691), 또는 도 38의 헤드폰(721)의 경우, 제어부(322)는, 복원 화상에 기초하여, 사용자의 주위의 인식 처리를 행한다. 또한, 사용자의 주위의 인식 처리에는, 임의의 방법을 이용할 수 있다. 그리고, 제어부(322)는, 인식 결과에 기초하여, 출력부(326) 등을 제어하여 사용자의 보조 등을 행한다. 예를 들면, 차량의 접근 등의 위험이 검출된 경우, 진동이나 음성 등에 의해 위험이 통지되거나, 눈이 불편한 분에게의 음성 등에 의한 지원이 행해지거나, 인식한 사람의 이름이 음성으로 통지되거나 한다.
또는, 예를 들면, 제어부(322)는, 기록 재생부(328)를 제어하여, 사용자의 라이프 로그로서, 복원 화상을 기록 매체(329)에 기록시킨다.
그 후, 사용자 주위 촬상 제어 처리는 종료한다.
한편, 이상에 있어서는, 촬상 소자(121)와 피사체 거리에 대응된 계수 세트군을 이용하여, 검출 신호 세트로부터 복원 화상을 복원하는 예에 대해 설명해 왔지만, 예를 들면, 피사체 거리에 더하여, 상술한 바와 같이, 복원 화상의 화각에 대응하는 계수 세트군을 더 준비하고, 피사체 거리 및 화각에 따른 계수 세트군을 이용하여, 복원 화상을 복원하도록 해도 된다.
이상과 같이 하여, 전자 기기(301)의 사이즈의 대형화나 디자인의 저하를 억제하면서 촬상 소자(121)를 배치하고, 전자 기기를 사용하는 사용자의 주위를 촬상할 수 있다. 그리고, 사용자의 주위의 화상을 복원하고, 복원한 화상에 기초하여, 각종의 애플리케이션 처리를 실행할 수 있다.
또한, 이상에 있어서는, 라이프 로그로서 복원 화상을 기록하는 예를 나타냈지만, 복원 화상 대신에 검출 신호 세트를 기록해 두고, 필요에 따라 화상의 복원을 행하도록 해도 된다.
이 경우, 예를 들면, 각 촬상 소자(121)에 의해 취득된 검출 신호 세트와, 각 검출 신호 세트에 대응하는 메타데이터의 연관이 행해진다.
또한, 메타데이터에는, 예를 들면, 복원시의 계수 세트군을 포함하고 있어도 되고, 포함하지 않고 있어도 된다. 후자의 경우, 예를 들면, 복원시에 이용되는 피사체 거리, 화각, 촬상 소자(121)가 배치되어 있는 부분의 변형 정보 등이 메타데이터에 포함된다.
또한, 검출 신호 세트와 메타데이터를 연관시키는 방법은, 검출 신호 세트와 메타데이터의 대응 관계를 특정할 수 있으면, 특히 한정되지 않는다. 예를 들면, 검출 신호 세트를 포함하는 데이터에 메타데이터를 부여하거나, 검출 신호 세트와 메타데이터에 동일한 ID를 부여하거나, 검출 신호 세트와 메타데이터를 동일한 기록 매체(329)에 기록시키거나 함으로써, 검출 신호 세트와 메타데이터가 연관된다. 또한, 각 검출 신호 세트에 개별적으로 메타데이터를 연관시켜도 되고, 검출 신호 세트를 1개로 정리한 데이터에 메타데이터를 연관시켜도 된다.
<<5. 변형예>>
이하, 상술한 본 개시의 실시형태의 변형예에 대해 설명한다.
<시스템의 구성예에 관한 변형예>
도 26에서는, 1개의 전자 기기(301)가, 사용자 또는 사용자의 주위의 촬상 처리, 복원 화상의 복원 처리, 복원 화상을 이용한 애플리케이션 처리를 실행하는 예를 나타냈지만, 이들 처리를 2개 이상의 장치에 의해 분담하여 행해도 된다.
예를 들면, 도 41의 정보 처리 시스템(801)은, 전자 기기(811) 및 신호 처리 장치(812)를 구비하고 있다. 그리고, 전자 기기(811) 및 신호 처리 장치(812)가, 촬상 처리, 복원 처리, 애플리케이션 처리를 분담하여 행해도 된다.
예를 들면, 전자 기기(811)가, 촬상 처리를 행하고, 신호 처리 장치(812)가, 복원 처리 및 애플리케이션 처리를 행해도 된다. 또는, 예를 들면, 전자 기기(811)가, 촬상 처리 및 애플리케이션 처리를 행하고, 신호 처리 장치(812)가, 복원 처리를 행해도 된다. 또는, 촬상 처리, 복원 처리, 및 애플리케이션 처리 중 몇 개의 처리를, 전자 기기(811)와 신호 처리 장치(812)가 공동으로 행해도 된다.
또한, 본 개시는, 상술한 것 이외의 사용자 또는 사용자의 주위를 촬상하는 기능을 갖는 전자 기기에 적용할 수 있다. 사용자를 촬상하는 기능을 갖는 전자 기기에 있어서는, 예를 들면, 상술한 예와 같이, 접안부나 표시부의 주위에 촬상 소자(121)가 배치된다. 또한, 사용자의 주위를 촬상하는 기능을 갖는 전자 기기에 있어서는, 예를 들면, 상술한 예와 같이, 사용자가 장착한 상태에 있어서, 외측에 노출하는 면에 촬상 소자(121)가 배치된다. 또한, 촬상 소자(121)의 배치는, 상술한 예에 한정되는 것이 아니고, 주요한 촬상 대상 등에 따라 적절히 변경하는 것이 가능하다.
또한, 전자 기기의 접안부의 주위나 표시부의 주위가 아니라, 예를 들면, 접안부나 표시부에 촬상 소자(121)를 배치하도록 하는 것도 가능하다. 예를 들면, 도 27의 좌렌즈(411L) 및 우렌즈(411R)의 표면, 도 29의 파인더(441)의 표면, 도 30의 좌렌즈(471L) 및 우렌즈(471R)의 표면, 도 31의 디스플레이(501)의 표면 등에, 촬상 소자(121)를 배치하는 것이 가능하다.
<촬상 장치 및 촬상 소자에 관한 변형예>
또한, 예를 들면, 각 화소(121a)의 차광막(12lb)의 형상에는, 상술한 가로 밴드 타입, 세로 밴드 타입, L자 타입, 사각형의 개구부를 형성한 타입 이외의 형상을 채용하는 것이 가능하다.
또한, 예를 들면, 도 5를 참조하여 상술한 촬상 소자(121)에서는, 1개의 화소(121a) 내에 2행×2열의 4개의 포토다이오드(121f)를 마련하는 예를 나타냈지만, 포토다이오드(121f)의 수나 배치는, 이 예에 한정되는 것이 아니다.
예를 들면, 도 42에 나타내는 바와 같이, 1개의 화소(121a)에 있어서, 1개의 온-칩 렌즈(121c)에 대하여, 3행×3열로 배열된 9개의 포토다이오드(121f-111 내지 121f-119)를 마련하도록 해도 된다. 즉, 1개의 화소 출력 단위가, 9개의 포토다이오드(121f)를 구비하도록 해도 된다.
그리고, 예를 들면, 포토다이오드(121f-111, 121f-114, 121f-117 내지 121f-119)에 5화소의 신호를 판독하지 않도록 함으로써, 실질적으로, 포토다이오드(121f-111, 121f-114, 121f-117 내지 121f-119)의 범위에 차광막(12lb)이 설정된 L자 타입의 차광막(12lb)을 구비하는 화소(121a)와 같은 입사각 특성을 얻을 수 있다.
이와 같이 하여, 차광막(12lb)을 마련하는 일 없이, 차광막(12lb)을 마련한 경우와 마찬가지의 입사각 특성을 얻을 수 있다. 또한, 신호를 판독하지 않는 포토다이오드(121f)의 패턴을 전환함으로써, 차광막(12lb)에 의해 차광되는 위치와 범위를 바꾼 경우와 마찬가지로, 입사각 지향성을 변화시킬 수 있다.
또한, 이상의 설명에서는, 1개의 화소(121a)에 의해 1개의 화소 출력 단위가 구성되는 예를 나타냈지만, 복수의 화소(121a)에 의해 1개의 화소 출력 단위를 구성하는 것도 가능하다.
예를 들면, 도 43에 나타내는 바와 같이, 3행×3열로 배열된 화소(121a-111) 내지 화소(121a-119)에 의해 1개의 화소 출력 단위(85lb)를 구성하는 것이 가능하다. 또한, 화소(121a-111) 내지 화소(121a-119)는, 예를 들면, 각각 1개의 포토다이오드를 구비하고, 온-칩 렌즈를 구비하지 않고 있다.
예를 들면, 각 화소(121a)로부터의 화소 신호를 가산함으로써, 검출 화상의 1화소분의 검출 신호를 생성함과 함께, 일부 화소(121a)로부터의 화소 신호의 출력을 정지하거나, 가산하지 않도록 함으로써, 화소 출력 단위(85lb)의 입사각 지향성을 실현할 수 있다. 예를 들면, 화소(121a-112), 화소(121a-113), 화소(121a-115), 및, 화소(121a-116)의 화소 신호를 가산하여 검출 신호를 생성함으로써, 화소(121a-111), 화소(121a-114), 및, 화소(121a-117) 내지 화소(121a-119)의 범위에 L자 타입의 차광막(12lb)을 마련한 경우와 마찬가지의 입사각 지향성을 얻을 수 있다.
또한, 화소 신호를 검출 신호에 가산하는 화소(121a)의 패턴을 전환함으로써, 차광막(12lb)에 의해 차광되는 위치와 범위를 바꾼 경우와 마찬가지로, 입사각 지향성을 다른 값으로 설정할 수 있다.
또한, 이 경우, 예를 들면, 화소(121a)의 조합을 변경함으로써, 화소 출력 단위의 범위를 변경하는 것이 가능하다. 예를 들면, 화소(121a-111), 화소(121a-112), 화소(121a-114), 및 화소(121a-115)로 이루어지는 2행×2열의 화소(121a)에 의해 화소 출력 단위(851s)를 구성할 수 있다.
또한, 예를 들면, 모든 화소(121a)의 화소 신호를 기록해 두고, 화소(121a)의 조합을 나중에 설정함으로써, 화소 출력 단위의 범위를 나중에 설정하는 것이 가능하다. 나아가, 설정한 화소 출력 단위 내의 화소(121a) 중, 화소 신호를 검출 신호에 가산하는 화소(121a)를 선택함으로써, 화소 출력 단위의 입사각 지향성을 나중에 설정하는 것이 가능하다.
또한, 도 4에서는, 변조 소자로서 차광막(12lb)을 이용하거나, 출력에 기여하는 포토다이오드의 조합을 변경하거나 함으로써 화소마다 다른 입사각 지향성을 갖게 하는 예를 나타냈지만, 본 개시에서는, 예를 들면, 도 44에 나타내는 바와 같이, 촬상 소자(901)의 수광면을 덮는 광학 필터(902)를 변조 소자로서 이용하여, 각 화소에 입사각 지향성을 갖게 하도록 하는 것도 가능하다.
구체적으로, 광학 필터(902)는, 촬상 소자(901)의 수광면(901A)으로부터 소정의 간격을 두고, 수광면(901A)의 전체면을 덮도록 배치되어 있다. 피사체면(31)으로부터의 광은, 광학 필터(902)에 의해 변조되고 나서, 촬상 소자(901)의 수광면(901A)에 입사한다.
예를 들면, 광학 필터(902)에는, 도 45에 나타내는 흑백의 격자 형상의 패턴을 갖는 광학 필터(902BW)를 이용하는 것이 가능하다. 광학 필터(902BW)에는, 광을 투과하는 백색 패턴부(white pattern portion)와 광을 차광하는 흑색 패턴부(black pattern portion)가 랜덤하게 배치되어 있다. 각 패턴의 사이즈는, 촬상 소자(901)의 화소 사이즈와는 독립적으로 설정되어 있다.
도 46은, 광학 필터(902BW)를 이용한 경우의 피사체면(31) 상의 점광원(PA) 및 점광원(PB)으로부터의 광에 대한 촬상 소자(901)의 수광 감도 특성을 나타내고 있다. 점광원(PA) 및 점광원(PB)으로부터의 광은, 각각 광학 필터(902BW)에 의해 변조되고 나서, 촬상 소자(901)의 수광면(901A)에 입사한다.
예를 들면, 점광원(PA)으로부터의 광에 대한 촬상 소자(901)의 수광 감도 특성은, 파형(Sa)과 같이 된다. 즉, 광학 필터(902BW)의 흑색 패턴부에 의해 그림자가 생기기 때문에, 점광원(PA)으로부터의 광에 대한 수광면(901A) 상의 화상에 농담 패턴(shaded pattern)이 생긴다. 마찬가지로, 점광원(PB)으로부터의 광에 대한 촬상 소자(901)의 수광 감도 특성은, 파형(Sb)과 같이 된다. 즉, 광학 필터(902BW)의 흑색 패턴부에 의해 그림자가 생기기 때문에, 점광원(PB)으로부터의 광에 대한 수광면(901A) 상의 화상에 농담 패턴이 생긴다.
또한, 점광원(PA)으로부터의 광과 점광원(PB)으로부터의 광은, 광학 필터(902BW)의 각 백색 패턴부에 대한 입사각도가 다르기 때문에, 수광면에 농담 패턴이 나타나는 것에 어긋남(shift)이 생긴다. 따라서, 촬상 소자(901)의 각 화소는, 피사체면(31)의 각 점광원에 대해 입사각 지향성을 갖게 된다.
이러한 방식의 상세한 것은, 예를 들면, 상술한 비특허문헌 1에 개시되어 있다.
또한, 광학 필터(902BW) 대신에, 도 47의 광학 필터(902HW)를 이용하도록 해도 된다. 광학 필터(902HW)는, 편광 방향이 동일한 직선 편광 소자(911A)와 직선 편광 소자(911B), 및 1/2파장판(912)을 구비하고, 1/2파장판(912)은, 직선 편광 소자(911A)와 직선 편광 소자(911B)의 사이에 끼워져 있다. 1/2파장판(912)에는, 광학 필터(902BW)의 흑색 패턴부 대신에, 사선으로 나타내는 편광부가 마련되고, 백색 패턴부와 편광부가 랜덤하게 배치되어 있다.
직선 편광 소자(911A)는, 점광원(PA)으로부터 출사된 거의 무편광의 광 중, 소정의 편광 방향의 광만을 투과한다. 이하, 직선 편광 소자(911A)가, 편광 방향이 도면에 평행한 광만을 투과하는 것으로 한다. 직선 편광 소자(911A)를 투과한 편광광 중, 1/2파장판(912)의 편광부를 투과한 편광광은, 편광면이 회전됨으로써, 편광 방향이 도면에 수직인 방향에 변화된다. 한편, 직선 편광 소자(911A)를 투과한 편광광 중, 1/2파장판(912)의 백색 패턴부를 투과한 편광광은, 편광 방향이 도면에 평행한 방향인 채로 변화되지 않는다. 그리고, 직선 편광 소자(911B)는, 백색 패턴부를 투과한 편광광을 투과하고, 편광부를 투과한 편광광을 대부분 투과하지 않는다. 따라서, 편광부를 투과한 편광광은, 백색 패턴부를 투과한 편광광보다 광량이 감소한다. 이에 의해, 광학 필터(BW)를 이용한 경우와 거의 마찬가지의 농담 패턴이, 촬상 소자(901)의 수광면(901A) 상에 생긴다.
또한, 도 48의 A에 나타내는 바와 같이, 광 간섭 마스크를 광학 필터(902LF)로서 이용하는 것이 가능하다. 피사체면(31)의 점광원(PA, PB)으로부터 출사된 광은, 광학 필터(902LF)를 통해 촬상 소자(901)의 수광면(901A)에 조사된다. 도 48의 A의 하방의 확대도에 나타내는 바와 같이, 광학 필터(902LF)의 예를 들면 광입사면에는, 파장 정도의 요철이 마련되어 있다. 또한, 광학 필터(902LF)는, 연직 방향으로부터 조사된 특정 파장의 광의 투과가 최대가 된다. 피사체면(31)의 점광원(PA, PB)으로부터 출사된 특정 파장의 광의 광학 필터(902LF)에 대한 입사각의 변화(연직 방향에 대한 기울기)가 커지면 광학 경로 길이가 변화된다. 여기서, 광학 경로 길이가 반파장의 홀수배일 때에는 광이 서로 약화하고, 반파장의 짝수배일 때에는 광이 서로 강화한다. 즉, 점광원(PA, PB)으로부터 출사되어 광학 필터(902LF)를 투과한 특정 파장의 투과 광의 강도는, 도 48의 B에 나타내는 바와 같이, 광학 필터(902LF)에 대한 입사각에 따라 변조되어서 촬상 소자(901)의 수광면(901A)에 입사한다. 따라서, 촬상 소자(901)의 각 화소 출력 단위로부터 출력되는 검출 신호는, 화소 출력 단위마다 각 점광원의 변조 후의 광 강도를 합성한 신호가 된다.
이러한 방식의 상세한 것은, 예를 들면, 상술한 특허문헌 1에 개시되어 있다.
또한, 특허문헌 1 및 비특허문헌 1의 방식에서는, 상술한 도 4의 화소(121a) 또는 도 5의 화소(121a)를 이용한 촬상 소자(121)와 같이, 인접하는 화소에 영향을 주는 일 없이 화소(121a) 단위로 입사각 지향성을 독립적으로 설정할 수 없다. 따라서, 예를 들면, 광학 필터(902BW)의 패턴, 또는 광학 필터(902LF)의 회절 격자의 패턴이 다르면, 촬상 소자(901)의 적어도 인접하는 복수의 화소의 입사각 지향성이 모두 다른 것으로 되게 된다. 또한, 가까운 위치에 있는 화소(121a) 간에, 서로 가까운 입사각 지향성을 가지게 된다.
또한, 본 개시는, 적외광 등의 가시광 이외의 파장의 광의 촬상을 행하는 촬상 장치나 촬상 소자에도 적용하는 것이 가능하다. 이 경우, 복원 화상은, 사용자가 육안으로 피사체를 인식할 수 있는 화상으로는 되지 않고, 사용자가 피사체를 시인할 수 없는 화상이 된다. 또한, 통상의 촬상 렌즈는 원적외광을 투과하는 것이 곤란하기 때문, 본 기술은, 예를 들면, 원적외광의 촬상을 행하는 경우에 유효하다.
<그 밖의 변형예>
이상의 설명에서는, 사용자의 얼굴이나 눈을 촬상한 화상에 기초하여 생체 인증을 행하는 예를 나타냈지만, 본 개시는, 지문 인증 등의 사용자의 다른 부위를 촬상한 화상에 기초하여 생체 인증을 행하는 경우에도 적용할 수 있다.
또한, 본 개시는, 사용자의 시선 이외의 사용자의 눈의 움직임 또는 상태 등을 검출하는 경우에도 적용할 수 있다. 예를 들면, 사용자의 눈이나 얼굴을 촬상한 화상에 기초하여, 눈 깜빡임 검출이나 수면 검출 등을 행하는 경우에도, 본 개시를 적용할 수 있다. 나아가, 본 개시는, 예를 들면, 웨어러블 디바이스 등의 전자 기기(301)의 장착 등의 검출을 행하는 경우에도 적용할 수 있다.
또한, 예를 들면, 딥 러닝(deep learning) 등의 기계 학습을 적용함으로써, 복원 후의 복원 화상을 이용하지 않고, 복원 전의 검출 화상이나 검출 신호 세트를 이용하여 화상 인식 등을 행하도록 하는 것도 가능하다.
<<6. 응용예>>
본 개시에 관련되는 기술은 여러 가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은, 의료 기기, 예를 들면, 내시경 수술 시스템, 캡슐 내시경 등의 촬상부에 적용 가능하다.
도 49는, 본 개시에 관련되는 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 개략적인 구성의 일례를 나타내는 도면이다. 도 49에서는, 시술자(의사)(5067)가, 내시경 수술 시스템(5000)을 이용하여, 환자 침대(5069) 상의 환자(5071)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시한 것처럼, 내시경 수술 시스템(5000)은, 내시경(5001)과, 그 밖의 시술구(5017)와, 내시경(5001)을 지지하는 지지 암 장치(5027)와, 내시경 하 수술을 위한 각종 장치가 탑재된 카트(5037)로 구성된다.
내시경 수술에서는, 복벽을 잘라 개복하는 대신에, 트로카(trocar)(5025a∼5025d)로 칭해지는 통 형상의 개구 기구가 복벽에 천자(穿刺)된다. 그리고, 트로카(5025a∼5025d)로부터, 내시경(5001)의 경통(5003)이나, 그 밖의 시술구(5017)가 환자(5071)의 체강 내에 삽입된다. 도시하는 예에서는, 그 밖의 시술구(5017)로서, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(5023)가, 환자(5071)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5021)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구이다. 다만, 도시하는 시술구(5017)는 어디까지나 일례이며, 시술구(5017)로서는, 예를 들면 섭자, 리트랙터(retractor) 등, 일반적으로 내시경 하 수술에 있어서 이용되는 각종의 시술구가 이용되어도 된다.
내시경(5001)에 의해 촬영된 환자(5071)의 체강 내의 시술부의 화상이, 표시 장치(5041)에 표시된다. 시술자(5067)는, 표시 장치(5041)에 표시된 시술부의 화상을 리얼 타임으로 보면서, 에너지 처치구(5021)나 겸자(5023)를 이용하여, 예를 들면 환부를 절제하는 등의 처치를 행한다. 또한, 도시는 생략하고 있지만, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(5023)는, 수술 중에, 시술자(5067) 또는 조수 등에 의해 지지된다.
(지지 암 장치)
지지 암 장치(5027)는, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 도시하는 예에서는, 암부(5031)는, 관절부(5033a, 5033b, 5033c), 및 링크(5035a, 5035b)로 구성되어 있고, 암 제어장치(5045)로부터의 제어에 의해 구동된다. 암부(5031)에 의해 내시경(5001)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5001)의 안정적인 위치의 고정이 실현될 수 있다.
(내시경)
내시경(5001)은, 선단으로부터 소정의 길이의 영역이 환자(5071)의 체강 내에 삽입되는 경통(5003)과, 경통(5003)의 기단에 접속되는 카메라 헤드(5005)로 구성된다. 도시하는 예에서는, 경성의 경통(5003)을 갖는 이른바 경성경으로 구성되는 내시경(5001)을 도시하고 있으나, 내시경(5001)은, 연성의 경통(5003)을 갖는 이른바 연성경으로 구성되어도 된다.
경통(5003)의 선단에는, 대물 렌즈가 삽입된 개구부가 형성되어 있다. 내시경(5001)에는 광원 장치(5043)가 접속되어 있고, 해당 광원 장치(5043)에 의해 생성된 광이, 경통(5003)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(5071)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(5001)은 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(5005)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰 상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU: Camera Control Unit)(5039)에 송신된다. 또한, 카메라 헤드(5005)에는, 그 광학계를 적절히 구동시킴으로써, 배율 및 초점 거리를 조정하는 기능이 탑재된다.
또한, 예를 들면 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5005)에는 촬상 소자가 복수 설치되어도 된다. 이 경우, 경통(5003)의 내부에는, 해당 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수 계통 마련된다.
(카트에 탑재되는 각종의 장치)
CCU(5039)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(5001) 및 표시 장치(5041)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5039)는, 카메라 헤드(5005)로부터 수취한 화상 신호에 대하여, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다. CCU(5039)는, 해당 화상 처리를 실시한 화상 신호를 표시 장치(5041)에 제공한다. 또한, CCU(5039)는, 카메라 헤드(5005)에 대해서 제어 신호를 송신하고, 그 구동을 제어한다. 해당 제어 신호에는, 배율이나 초점 거리 등, 촬상 조건에 관한 정보가 포함될 수 있다.
표시 장치(5041)는, CCU(5039)로부터의 제어에 의해, 해당 CCU(5039)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다. 내시경(5001)이 예를 들면 4K(수평 화소수 3840 × 수직 화소수 2160) 또는 8K(수평 화소수 7680 × 수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우, 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5041)로서는, 각각에 대응하여, 고해상도의 표시가 가능한 것, 및/또는 3D 표시 가능한 것이 이용될 수 있다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5041)로서 55인치 이상의 사이즈의 것을 이용함으로써 더욱더 몰입감이 얻어진다. 또한, 용도에 따라, 해상도, 사이즈가 다른 복수의 표시 장치(5041)가 설치되어도 된다.
광원 장치(5043)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 시술부를 촬영할 때의 조사광을 내시경(5001)에 공급한다.
암 제어장치(5045)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써, 소정의 제어 방식에 따라 지지 암 장치(5027)의 암부(5031)의 구동을 제어한다.
입력 장치(5047)는, 내시경 수술 시스템(5000)에 대한 입력 인터페이스이다. 사용자는, 입력 장치(5047)를 거쳐, 내시경 수술 시스템(5000)에 대해서 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 사용자는, 입력 장치(5047)를 거쳐, 환자의 신체 정보나, 수술의 시술방식에 대한 정보 등, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 사용자는, 입력 장치(5047)를 거쳐, 암부(5031)를 구동시키는 취지의 지시나, 내시경(5001)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시, 에너지 처치구(5021)를 구동시키는 취지의 지시 등을 입력한다.
입력 장치(5047)의 종류는 한정되지 않고, 입력 장치(5047)는 각종의 공지의 입력 장치어도 된다. 입력 장치(5047)로서는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5057) 및/또는 레버 등이 적용될 수 있다. 입력 장치(5047)로서 터치 패널이 이용되는 경우에는, 해당 터치 패널은 표시 장치(5041)의 표시면 상에 설치되어도 된다.
또는, 입력 장치(5047)는, 예를 들면 안경형 웨어러블 디바이스나 HMD(Head Mounted Display) 등의, 사용자에 의해 장착되는 디바이스로서, 이 디바이스에 의해 검출되는 사용자의 제스처나 시선에 따라 각종의 입력이 행해진다. 또한, 입력 장치(5047)는, 사용자의 움직임을 검출 가능한 카메라를 포함하고, 해당 카메라에 의해 촬상된 영상으로부터 검출되는 사용자의 제스처나 시선에 따라 각종의 입력이 행해진다. 나아가, 입력 장치(5047)는, 사용자의 소리를 수음 가능한 마이크로폰을 포함하고, 해당 마이크로폰을 거쳐 음성에 의해 각종의 입력이 행해진다. 이와 같이, 입력 장치(5047)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨으로써, 특히 청결역에 속하는 사용자(예를 들면, 시술자(5067))가, 불결역에 속하는 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 사용자는, 소지하고 있는 시술구로부터 손을 떼지 않고 기기를 조작하는 것이 가능해지기 때문에, 사용자의 접근성이 향상한다.
처치구 제어장치(5049)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(5021)의 구동을 제어한다. 기복 장치(5051)는, 내시경(5001)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(5071)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(5019)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(5053)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5055)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
이하, 내시경 수술 시스템(5000)에 있어서 특히 특징적인 구성에 대해, 더욱 상세하게 설명한다.
(지지 암 장치)
지지 암 장치(5027)는, 기대인 베이스부(5029)와, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 도시하는 예에서는, 암부(5031)는, 복수의 관절부(5033a, 5033b, 5033c)와, 관절부(5033b)에 의해 연결되는 복수의 링크(5035a, 5035b)로 구성되어 있지만, 도 49에서는, 간단하게 나타내기 위하여, 암부(5031)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5031)가 원하는 자유도를 갖도록, 관절부(5033a∼5033c) 및 링크(5035a, 5035b)의 형상, 수 및 배치, 및 관절부(5033a∼5033c)의 회전축의 방향 등이 적절히 설정될 수 있다. 예를 들면, 암부(5031)는, 바람직하게, 6자유도 이상의 자유도를 갖도록 구성될 수 있다. 이에 의해, 암부(5031)의 가동 범위 내에 있어서 내시경(5001)을 자유롭게 이동시키는 것이 가능하게 되기 때문에, 원하는 방향으로부터 내시경(5001)의 경통(5003)을 환자(5071)의 체강 내에 삽입하는 것이 가능하게 된다.
관절부(5033a∼5033c)에는 액추에이터가 설치되어 있고, 관절부(5033a∼5033c)는 해당 액추에이터의 구동에 의해 소정의 회전축 주위에 회전 가능하게 구성되어 있다. 해당 액추에이터의 구동이 암 제어장치(5045)에 의해 제어됨으로써, 각 관절부(5033a∼5033c)의 회전 각도가 제어되고, 암부(5031)의 구동이 제어된다. 이에 의해, 내시경(5001)의 위치 및 자세의 제어가 실현될 수 있다. 이때, 암 제어장치(5045)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5031)의 구동을 제어할 수 있다.
예를 들면, 시술자(5067)가, 입력 장치(5047)(풋 스위치(5057)를 포함함)를 거쳐 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 암 제어장치(5045)에 의해 암부(5031)의 구동이 적절히 제어되고, 내시경(5001)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 암부(5031)의 선단의 내시경(5001)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5031)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5031)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치(5047)를 거쳐 사용자에 의해 원격 조작될 수 있다.
또한, 힘 제어가 적용되는 경우에는, 암 제어장치(5045)는, 사용자로부터의 외력을 받아, 그 외력에 따라 순조롭게 암부(5031)가 이동하도록, 각 관절부(5033a∼5033c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행해도 된다. 이에 의해, 사용자가 직접 암부(5031)에 접하면서 암부(5031)를 이동시킬 때에, 비교적 가벼운 힘으로 해당 암부(5031)를 이동시킬 수 있다. 따라서, 보다 직관적으로, 보다 간이한 조작으로 내시경(5001)을 이동시키는 것이 가능해지고, 사용자의 편리성을 향상시킬 수 있다.
여기서, 일반적으로, 내시경 하 수술에서는, 스코피스트(Scopist)로 불리는 의사에 의해 내시경(5001)이 지지되어 있었다. 이에 대해서, 지지 암 장치(5027)을 이용함으로써, 사람의 손에 의하지 않고 내시경(5001)의 위치를 보다 확실하게 고정하는 것이 가능하게 되기 때문에, 시술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활하게 행하는 것이 가능하게 된다.
또한, 암 제어장치(5045)는 반드시 카트(5037)에 설치되지 않아도 된다. 또한, 암 제어장치(5045)는 반드시 1개의 장치가 아니어도 된다. 예를 들면, 암 제어장치(5045)는, 지지 암 장치(5027)의 암부(5031)의 각 관절부(5033a∼5033c)에 각각 설치되어도 되고, 복수의 암 제어장치(5045)가 서로 협동함으로써, 암부(5031)의 구동 제어가 실현되어도 된다.
(광원 장치)
광원 장치(5043)는, 내시경(5001)에 시술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5043)는, 예를 들면 LED, 레이저광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성된다. 이 때, RGB 레이저광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5043)에 있어서 촬상 화상의 화이트 밸런스 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어함으로써, RGB 각각 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(5043)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(5043)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역 광 관찰(Narrow Band Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(5043)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.
(카메라 헤드 및 CCU)
도 50을 참조하여, 내시경(5001)의 카메라 헤드(5005) 및 CCU(5039)의 기능에 대해 보다 상세하게 설명한다. 도 50은, 도 49에 나타내는 카메라 헤드(5005) 및 CCU(5039)의 기능 구성의 일례를 나타내는 블록도이다.
도 50을 참조하면, 카메라 헤드(5005)는, 그 기능으로서, 렌즈 유닛(5007)과, 촬상부(5009)와, 구동부(5011)와, 통신부(5013)와, 카메라 헤드 제어부(5015)를 갖는다. 또한, CCU(5039)는, 그 기능으로서, 통신부(5059)와, 화상 처리부(5061)와, 제어부(5063)를 갖는다. 카메라 헤드(5005)와 CCU(5039)는, 전송 케이블(5065)에 의해 쌍방향으로 통신 가능하게 접속되어 있다.
우선, 카메라 헤드(5005)의 기능 구성에 대해 설명한다. 렌즈 유닛(5007)은, 경통(5003)과의 접속부에 설치되는 광학계이다. 경통(5003)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(5005)까지 도광되고, 해당 렌즈 유닛(5007)에 입사한다. 렌즈 유닛(5007)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5007)은, 촬상부(5009)의 촬상 소자의 수광면 상에 관찰광을 집광하도록, 그 광학 특성이 조정되고 있다. 또한, 줌 렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축 상의 위치가 이동 가능하도록 구성된다.
촬상부(5009)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5007)의 후단에 배치된다. 렌즈 유닛(5007)을 통과한 관찰광은, 해당 촬상 소자의 수광면에 집광되고, 광전 변환에 의해, 관찰 상에 대응한 화상 신호가 생성된다. 촬상부(5009)에 의해 생성된 화상 신호는, 통신부(5013)에 제공된다.
촬상부(5009)를 구성하는 촬상 소자로는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 타입의 이미지 센서로서, 베이어 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 해당 촬상 소자로는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 된다. 시술부의 화상이 고해상도로 얻어짐으로써, 시술자(5067)는, 해당 시술부의 모습을 보다 상세하게 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.
또한, 촬상부(5009)를 구성하는 촬상 소자는, 3D 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행해짐으로써, 시술자(5067)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(5009)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(5007)도 복수 계통 설치된다.
또한, 촬상부(5009)는, 반드시 카메라 헤드(5005)에 설치되지 않아도 된다. 예를 들면, 촬상부(5009)는, 경통(5003)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(5011)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5015)로부터의 제어에 의해, 렌즈 유닛(5007)의 줌 렌즈 및 포커스 렌즈를 광축을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5009)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(5013)는, CCU(5039)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5013)는, 촬상부(5009)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5065)을 통해 CCU(5039)에 송신한다. 이때, 시술부의 촬상 화상을 낮은 레이턴시(latency)로 표시하기 위하여, 해당 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술 시에는, 시술자(5067)가 촬상 화상에 의해 환부의 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해, 시술부의 동화상이 가능한 한 리얼 타임으로 표시되는 것이 요구되기 때문이다. 광통신이 행해지는 경우에는, 통신부(5013)에는, 전기 신호를 광신호로 변환하는 광전 변환 모듈이 설치된다. 화상 신호는 해당 광전 변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5065)을 거쳐 CCU(5039)에 송신된다.
또한, 통신부(5013)는, CCU(5039)로부터, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 수신한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5013)는, 수신한 제어 신호를 카메라 헤드 제어부(5015)에 제공한다. 또한, CCU(5039)로부터의 제어 신호도, 광통신에 의해 전송되어도 된다. 이 경우, 통신부(5013)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치되고, 제어 신호는 해당 광전 변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5015)에 제공된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 기초하여 CCU(5039)의 제어부(5063)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(5001)에 탑재된다.
카메라 헤드 제어부(5015)는, 통신부(5013)를 통해 수신한 CCU(5039)로부터의 제어 신호에 기초하여, 카메라 헤드(5005)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상시의 노광을 지정하는 취지의 정보에 기초하여, 촬상부(5009)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 기초하여, 구동부(5011)를 거쳐 렌즈 유닛(5007)의 줌 렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5015)는, 나아가, 경통(5003)이나 카메라 헤드(5005)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 된다.
또한, 렌즈 유닛(5007)이나 촬상부(5009) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5005)에 대해, 오토클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.
다음으로, CCU(5039)의 기능 구성에 대해 설명한다. 통신부(5059)는, 카메라 헤드(5005)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5059)는, 카메라 헤드(5005)로부터, 전송 케이블(5065)을 거쳐 송신되는 화상 신호를 수신한다. 이때, 상기와 같이, 해당 화상 신호는 바람직하게 광통신에 의해 송신될 수 있다. 이 경우, 광통신에 대응하여, 통신부(5059)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치된다. 통신부(5059)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5061)에 제공한다.
또한, 통신부(5059)는, 카메라 헤드(5005)에 대해서, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 송신한다. 해당 제어 신호도 광통신에 의해 송신되어도 된다.
화상 처리부(5061)는, 카메라 헤드(5005)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 실시한다. 해당 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5061)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.
화상 처리부(5061)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 해당 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 화상 처리나 검파 처리가 행해질 수 있다. 또한, 화상 처리부(5061)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5061)는, 화상 신호에 관련되는 정보를 적절히 분할하고, 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.
제어부(5063)는, 내시경(5001)에 의한 시술부의 촬상, 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5063)는, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 생성한다. 이 때, 촬상 조건이 사용자에 의해 입력되고 있는 경우에는, 제어부(5063)는, 해당 사용자에 의한 입력에 기초하여 제어 신호를 생성한다. 또는, 내시경(5001)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5063)는, 화상 처리부(5061)에 의한 검파 처리의 결과에 따라, 최적인 노출값, 초점 거리 및 화이트 밸런스를 적절히 산출하고, 제어 신호를 생성한다.
또한, 제어부(5063)는, 화상 처리부(5061)에 의해 화상 처리가 실시된 화상 신호에 기초하여, 시술부의 화상을 표시 장치(5041)에 표시시킨다. 이 때, 제어부(5063)는, 각종의 화상 인식 기술을 이용하여 시술부 화상 내에 있어서의 각종의 물체를 인식한다. 예를 들면, 제어부(5063)는, 시술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(5021) 사용 시의 미스트 등을 인식할 수 있다. 제어부(5063)는, 표시 장치(5041)에 시술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되어, 시술자(5067)에 제시됨으로써, 보다 안전하고 또한 확실하게 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(5005) 및 CCU(5039)를 접속하는 전송 케이블(5065)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(5065)을 이용하여 유선으로 통신이 행해지고 있었지만, 카메라 헤드(5005)와 CCU(5039)의 사이의 통신은 무선으로 행해져도 된다. 양자간의 통신이 무선으로 행해지는 경우에는, 전송 케이블(5065)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에 있어서의 의료 스탭의 이동이 해당 전송 케이블(5065)에 의해 방해할 수 있는 사태가 해소될 수 있다.
이상, 본 개시에 관련되는 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 일례에 대해 설명했다. 또한, 여기에서는, 일례로서 내시경 수술 시스템(5000)에 대해 설명했지만, 본 개시에 관련되는 기술이 적용될 수 있는 시스템은 이러한 예에 한정되지 않는다. 예를 들면, 본 개시에 관련되는 기술은, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 된다.
본 개시에 관련되는 기술은, 이상 설명한 구성 중, 촬상부(5009)에 바람직하게 적용될 수 있다. 촬상부(5009)에 본 개시에 관련되는 기술을 적용함으로써, 촬상부(5009)를 소형화할 수 있다. 또한, 촬상 소자의 각 화소의 배치 자유도가 높기 때문에, 원하는 위치의 시술부 화상이 얻기 쉬워지고, 수술을 보다 안전하고 또한 보다 확실하게 행하는 것이 가능하게 된다.
도 51은, 본 개시에 관련되는 기술이 적용될 수 있는 체내 정보 취득 시스템(5400)의 개략적인 구성의 일례를 나타내는 도면이다. 도 51을 참조하면, 체내 정보 취득 시스템(5400)은, 캡슐형 내시경(5401)과, 체내 정보 취득 시스템(5400)의 동작을 통괄적으로 제어하는 외부 제어 장치(5423)로 구성된다. 검사 시에는, 캡슐형 내시경(5401)이 환자에 의해 삼켜진다. 캡슐형 내시경(5401)은, 촬상 기능 및 무선 통신 기능을 가지며, 환자로부터 자연 배출될 때까지의 사이, 위나 장 등의 장기의 내부를 연동 운동 등에 의해 이동하면서, 해당 장기의 내부의 화상(이하, 체내 화상이라고도 함)을 소정의 간격으로 순차 촬상하고, 그 체내 화상에 관한 정보를 체외의 외부 제어 장치(5423)에 순차 무선 송신한다. 외부 제어 장치(5423)는, 수신한 체내 화상에 관한 정보에 기초하여, 표시 장치(도시하지 않음) 에 해당 체내 화상을 표시하기 위한 화상 데이터를 생성한다. 체내 정보 취득 시스템(5400)에서는, 이와 같이 하여, 캡슐형 내시경(5401)이 삼켜지고 나서 배출될 때까지의 사이, 환자의 체내의 모습을 촬상한 화상을 수시로 얻을 수 있다.
캡슐형 내시경(5401)과 외부 제어 장치(5423)의 구성 및 기능에 대해 보다 상세하게 설명한다. 도시한 바와 같이, 캡슐형 내시경(5401)은, 캡슐형의 케이스(5403) 내에, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 급전부(5415), 전원부(5417), 상태 검출부(5419) 및 제어부(5421)의 기능이 탑재되어 구성된다.
광원부(5405)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 촬상부(5407)의 촬상 시야에 대해 광을 조사한다.
촬상부(5407)는, 촬상 소자, 및 해당 촬상 소자의 전단에 설치되는 복수의 렌즈로 이루어지는 광학계로 구성된다. 관찰 대상인 체조직에 조사된 광의 반사광(이하, 관찰광이라고 함)은, 해당 광학계에 의해 집광되어, 해당 촬상 소자에 입사한다. 해당 촬상 소자는, 관찰광을 수광하여 광전 변환함으로써, 관찰광에 대응한 전기 신호, 즉 관찰 상에 대응한 화상 신호를 생성한다. 촬상부(5407)에 의해 생성된 화상 신호는, 화상 처리부(5409)에 제공된다. 또한, 촬상부(5407)의 촬상 소자로서는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서 등, 각종의 공지된 촬상 소자가 이용되어도 된다.
화상 처리부(5409)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 프로세서에 의해 구성되고, 촬상부(5407)에 의해 생성된 화상 신호에 대해 각종의 신호 처리를 행한다. 해당 신호 처리는, 화상 신호를 외부 제어 장치(5423)에 전송하기 위한 최소한의 처리(예를 들면, 화상 데이터의 압축, 프레임 레이트의 변환, 데이터 레이트의 변환 및/또는 포맷의 변환 등)이어도 된다. 화상 처리부(5409)가 필요 최소한의 처리만을 행하도록 구성됨으로써, 해당 화상 처리부(5409)를, 보다 소형, 보다 저소비 전력으로 실현할 수 있기 때문에, 캡슐형 내시경(5401)에 바람직하다. 다만, 케이스(5403) 내의 공간이나 소비 전력에 여유가 있는 경우라면, 화상 처리부(5409)에 있어서, 신호 처리(예를 들면, 노이즈 제거 처리나 다른 고화질화 처리 등)가 더욱 행해져도 된다. 화상 처리부(5409)는, 신호 처리를 실시한 화상 신호를, RAW 데이터로서 무선 통신부(5411)에 제공한다. 또한, 화상 처리부(5409)는, 상태 검출부(5419)에 의해 캡슐형 내시경(5401)의 상태(움직임이나 자세 등)에 관한 정보가 취득되고 있는 경우에는, 해당 정보와 관련지어, 화상 신호를 무선 통신부(5411)에 제공해도 된다. 이에 의해, 화상이 촬상된 체내에 있어서의 위치나 화상의 촬상 방향 등과, 촬상 화상을 연관시킬 수 있다.
무선 통신부(5411)는, 외부 제어 장치(5423)와의 사이에서 각종의 정보를 송수신 가능한 통신 장치에 의해 구성된다. 해당 통신 장치는, 안테나(5413)와, 신호의 송수신을 위한 변조 처리 등을 행하는 처리 회로 등으로 구성된다. 무선 통신부(5411)는, 화상 처리부(5409)에 의해 신호 처리가 실시된 화상 신호에 대해 변조 처리 등의 소정의 처리를 행하고, 그 화상 신호를, 안테나(5413)를 통해 외부 제어 장치(5423)에 송신한다. 또한, 무선 통신부(5411)는, 외부 제어 장치(5423)로부터, 캡슐형 내시경(5401)의 구동 제어에 관한 제어 신호를, 안테나(5413)를 통해 수신한다. 무선 통신부(5411)는, 수신한 제어 신호를 제어부(5421)에 제공한다.
급전부(5415)는, 수전용 안테나 코일, 해당 안테나 코일에 발생한 전류로부터 전력을 재생하는 전력 재생 회로, 및 승압 회로 등으로 구성된다. 급전부(5415)에서는, 이른바 비접촉 충전의 원리를 이용하여 전력이 생성된다. 구체적으로는, 급전부(5415)의 안테나 코일에 대해 외부로부터 소정의 주파수의 자계(전자파)가 주어짐으로써, 해당 안테나 코일에 유도 기전력이 발생한다. 해당 전자파는, 예를 들면 외부 제어 장치(5423)로부터 안테나(5425)를 통해 송신되는 반송파여도 된다. 해당 유도 기전력으로부터 전력 재생 회로에 의해 전력이 재생되고, 승압 회로에 있어서 그 전위가 적절히 조정됨으로써, 축전용의 전력이 생성된다. 급전부(5415)에 의해 생성된 전력은, 전원부(5417)에 축전된다.
전원부(5417)는, 2차 전지에 의해 구성되고, 급전부(5415)에 의해 생성된 전력을 축전한다. 도 51에서는, 도면이 번잡하게 되는 것을 피하기 위해, 전원부(5417)로부터의 전력의 공급처를 나타내는 화살표 등의 도시를 생략하고 있지만, 전원부(5417)에 축전된 전력은, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 상태 검출부(5419) 및 제어부(5421)에 공급되고, 이러한 구동에 이용될 수 있다.
상태 검출부(5419)는, 가속도 센서 및/또는 자이로 센서 등의, 캡슐형 내시경(5401)의 상태를 검출하기 위한 센서로 구성된다. 상태 검출부(5419)는, 해당 센서에 의한 검출 결과로부터, 캡슐형 내시경(5401)의 상태에 관한 정보를 취득할 수 있다. 상태 검출부(5419)는, 취득한 캡슐형 내시경(5401)의 상태에 관한 정보를, 화상 처리부(5409)에 제공한다. 화상 처리부(5409)에서는, 상술한 바와 같이, 해당 캡슐형 내시경(5401)의 상태에 관한 정보가, 화상 신호와 관련지어질 수 있다.
제어부(5421)는, CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써 캡슐형 내시경(5401)의 동작을 통괄적으로 제어한다. 제어부(5421)는, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 급전부(5415), 전원부(5417) 및 상태 검출부(5419)의 구동을, 외부 제어 장치(5423)로부터 송신되는 제어 신호에 따라 적절히 제어함으로써, 이상 설명한 바와 같은 각 부에 있어서의 기능을 실현시킨다.
외부 제어 장치(5423)는, CPU, GPU 등의 프로세서, 또는 프로세서와 메모리 등의 기억 소자가 혼재된 마이크로컴퓨터 또는 제어 기판 등일 수 있다. 외부 제어 장치(5423)는, 안테나(5425)를 가지며, 해당 안테나(5425)를 통해, 캡슐형 내시경(5401)과의 사이에서 각종의 정보를 송수신 가능하게 구성된다. 구체적으로, 외부 제어 장치(5423)는, 캡슐형 내시경(5401)의 제어부(5421)에 대해 제어 신호를 송신함으로써, 캡슐형 내시경(5401)의 동작을 제어한다. 예를 들면, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 광원부(5405)에 있어서의 관찰 대상에 대한 광의 조사 조건이 변경될 수 있다. 또한, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 촬상 조건(예를 들면, 촬상부(5407)에 있어서의 프레임 레이트, 노출값 등)이 변경될 수 있다. 또한, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 화상 처리부(5409)에 있어서의 처리의 내용이나, 무선 통신부(5411)가 화상 신호를 송신하는 조건(예를 들면, 송신 간격, 송신 화상수 등)이 변경되어도 된다.
또한, 외부 제어 장치(5423)는, 캡슐형 내시경(5401)으로부터 송신되는 화상 신호에 대해, 각종의 화상 처리를 실시하고, 촬상된 체내 화상을 표시 장치에 표시하기 위한 화상 데이터를 생성한다. 해당 화상 처리로서는, 예를 들면 현상 처리(디모자이크 처리), 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지된 신호 처리가 행해져도 된다. 외부 제어 장치(5423)는, 표시 장치(도시하지 않음)의 구동을 제어하여, 생성한 화상 데이터에 기초하여 촬상된 체내 화상을 표시시킨다. 또는, 외부 제어 장치(5423)는, 생성한 화상 데이터를 기록 장치(도시하지 않음)에 기록시키거나, 인쇄장치(도시하지 않음)에 인쇄 출력시켜도 된다.
이상, 본 개시에 관련되는 기술이 적용될 수 있는 체내 정보 취득 시스템(5400)의 일례에 대해 설명했다. 본 개시에 관련되는 기술은, 이상 설명한 구성 가운데, 촬상부(5407)에 바람직하게 적용될 수 있다. 촬상부(5407)에 본 개시에 관련되는 기술을 적용함으로써, 캡슐형 내시경(5401)을 보다 소형화할 수 있기 때문에, 환자의 부담을 더욱 경감할 수 있다.
<<7. 기타>>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 편입되어 있는 컴퓨터(예를 들면, 제어부(123) 등) 등이 포함된다.
컴퓨터가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 기록 매체(예를 들면, 기록 매체(130) 등)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성방송이라는, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 케이스 중에 있는지 어떤지는 상관없다. 따라서, 별개의 케이스에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치, 및 1개의 케이스 안에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.
더욱이, 본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들면, 본 기술은, 1개의 기능을 네트워크를 통해 복수의 장치에 의해 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 플로우차트에서 설명한 각 스텝은, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
더욱이, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.
(1)
사용자가 장착 또는 사용하는 전자 기기에 있어서,
상기 전자 기기를 장착 또는 사용하고 있는 사용자의 주위가 찍히는 위치에 배치되어 있는 촬상부로서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하고, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 1개 출력하는 화소 출력 단위를 복수개 구비하는 촬상부를 구비하는 전자 기기.
(2)
각각의 상기 화소 출력 단위는, 상기 전자 기기가 상기 사용자에게 장착되어 있는 상태에서, 상기 전자 기기의 외측에 노출하는 면에 배치되어 있는 상기 (1)에 기재된 전자 기기.
(3)
상기 전자 기기는 상기 사용자의 두부에 장착되는 상기 (2)에 기재된 전자 기기.
(4)
상기 전자 기기는, 안경형 또는 고글형인 상기 (3)에 기재된 전자 기기.
(5)
상기 전자 기기는 헤드폰인 상기 (3)에 기재된 전자 기기.
(6)
상기 전자 기기는 카메라인 상기 (1)에 기재된 전자 기기.
(7)
각각의 상기 화소 출력 단위로부터의 복수의 상기 검출 신호를 이용하여 복원 화상을 복원하는 복원부를 더 구비하는 상기 (1) 내지 (6) 중 어느 하나에 기재된 전자 기기.
(8)
상기 복원부는, 각각의 상기 화소 출력 단위의 상기 입사각 지향성을 나타내는 복수의 계수를 이용하여, 상기 복원 화상을 복원하는 상기 (7)에 기재된 전자 기기.
(9)
적어도 일부의 상기 화소 출력 단위가, 상기 전자 기기의 변형 가능한 부분에 배치되어 있고,
상기 복원부는, 상기 변형 가능한 부분의 변형 상태에 기초하여, 상기 복원 화상의 복원에 이용되는 상기 계수를 선택하는 상기 (8)에 기재된 전자 기기.
(10)
상기 복원 화상에 기초하여, 소정의 처리를 실행하는 제어부를 더 구비하는 상기 (7) 또는 (8)에 기재된 전자 기기.
(11)
상기 제어부는, 상기 복원 화상에 기초하여, 상기 사용자의 주위의 인식 처리를 행하는 상기 (10)에 기재된 전자 기기.
(12)
상기 복원 화상의 기록을 제어하는 기록부를 더 구비하는 상기 (11)에 기재된 전자 기기.
(13)
복수의 상기 검출 신호를 포함하는 상기 검출 신호 세트와, 상기 검출 신호 세트를 이용하여 복원 화상을 복원하는 경우에 이용되는 메타데이터를 연관시키는 연관부를 더 구비하는 상기 (1) 내지 (11) 중 어느 하나에 기재된 전자 기기.
(14)
상기 촬상부는 하나 이상의 촬상 소자를 구비하고,
복수의 상기 화소 출력 단위는, 상기 촬상 소자에 설치되어 있는 상기 (1) 내지 (13) 중 어느 하나에 기재된 전자 기기.
(15)
각각의 상기 화소 출력 단위는, 2개 이상의 떨어진 영역에 배치되어 있는 상기 (1) 내지 (14) 중 어느 하나에 기재된 전자 기기.
(16)
상기 복수의 화소 출력 단위는, 상기 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 상기 (1) 내지 (15) 중 어느 하나에 기재된 전자 기기.
(17)
상기 복수의 화소 출력 단위는,
1개의 포토다이오드와,
상기 입사광의 일부의 상기 포토다이오드에의 입사를 차단하는 차광막을 각각 구비하는 상기 (16)에 기재된 전자 기기.
(18)
상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위는, 복수의 포토다이오드를 구비하고, 출력에 기여하는 포토다이오드를 서로 다르게 함으로써, 상기 입사각 지향성이 서로 다른 상기 (16)에 기재된 전자 기기.
(19)
상기 촬상부는, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 상기 입사광에 대한 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는 상기 (1) 내지 (18) 중 어느 하나에 기재된 전자 기기.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
101: 촬상 장치
111: 신호 처리 제어부
121: 촬상 소자
121a, 121a': 화소
121A: 수광면
12lb: 차광막
121c: 온-칩 렌즈
121e, 121f: 포토다이오드
122: 복원부
123: 제어부
125: 검출부
126: 연관부
301: 전자 기기
311: 촬상부
312: 신호 처리 제어부
321: 복원부
322: 제어부
325: 연관부
326: 출력부
328: 기록 재생부
401: 웨어러블 디바이스
411L, 411R: 렌즈
412: 프레임
431: 카메라
441: 파인더
461: 헤드마운트 디스플레이
471L, 471R: 렌즈
491: PC
501: 디스플레이
502: 베젤
601: 웨어러블 디바이스
611L, 611R: 렌즈
612: 프레임
631: 카메라
641: 마운트
642: 플래시 내장부
643: 렌즈
661: 헤드마운트 디스플레이
671: 본체부
672: 헤드 패드
691: 헤드폰
701L, 701R: 하우징
702: 헤드셋
721: 헤드폰
731L, 731R: 하우징
732: 넥밴드
751: 굽힘 센서
801: 정보 처리 시스템
811: 전자 기기
812: 신호 처리 장치
90lb, 901s: 화소 출력 단위
111: 신호 처리 제어부
121: 촬상 소자
121a, 121a': 화소
121A: 수광면
12lb: 차광막
121c: 온-칩 렌즈
121e, 121f: 포토다이오드
122: 복원부
123: 제어부
125: 검출부
126: 연관부
301: 전자 기기
311: 촬상부
312: 신호 처리 제어부
321: 복원부
322: 제어부
325: 연관부
326: 출력부
328: 기록 재생부
401: 웨어러블 디바이스
411L, 411R: 렌즈
412: 프레임
431: 카메라
441: 파인더
461: 헤드마운트 디스플레이
471L, 471R: 렌즈
491: PC
501: 디스플레이
502: 베젤
601: 웨어러블 디바이스
611L, 611R: 렌즈
612: 프레임
631: 카메라
641: 마운트
642: 플래시 내장부
643: 렌즈
661: 헤드마운트 디스플레이
671: 본체부
672: 헤드 패드
691: 헤드폰
701L, 701R: 하우징
702: 헤드셋
721: 헤드폰
731L, 731R: 하우징
732: 넥밴드
751: 굽힘 센서
801: 정보 처리 시스템
811: 전자 기기
812: 신호 처리 장치
90lb, 901s: 화소 출력 단위
Claims (19)
- 사용자가 장착 또는 사용하는 전자 기기에 있어서,
상기 전자 기기를 장착 또는 사용하고 있는 사용자의 주위가 찍히는 위치에 배치되어 있는 촬상부로서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 피사체로부터의 입사광을 수광하고, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 1개 출력하는 화소 출력 단위를 복수개 구비하는 촬상부를 구비하는, 전자 기기. - 제1항에 있어서,
각각의 상기 화소 출력 단위는, 상기 전자 기기가 상기 사용자에게 장착되어 있는 상태에서, 상기 전자 기기의 외측에 노출하는 면에 배치되어 있는, 전자 기기. - 제2항에 있어서,
상기 전자 기기는 상기 사용자의 두부(頭部)에 장착되는, 전자 기기. - 제3항에 있어서,
상기 전자 기기는 안경형 또는 고글형인, 전자 기기. - 제3항에 있어서,
상기 전자 기기는 헤드폰인, 전자 기기. - 제1항에 있어서,
상기 전자 기기는 카메라인, 전자 기기. - 제1항에 있어서,
각각의 상기 화소 출력 단위로부터의 복수의 상기 검출 신호를 이용하여 복원 화상을 복원하는 복원부를 더 구비하는, 전자 기기. - 제7항에 있어서,
상기 복원부는, 각각의 상기 화소 출력 단위의 상기 입사각 지향성을 나타내는 복수의 계수를 이용하여, 상기 복원 화상을 복원하는, 전자 기기. - 제8항에 있어서,
적어도 일부의 상기 화소 출력 단위가, 상기 전자 기기의 변형 가능한 부분에 배치되어 있고,
상기 복원부는, 상기 변형 가능한 부분의 변형 상태에 기초하여, 상기 복원 화상의 복원에 이용되는 상기 계수를 선택하는, 전자 기기. - 제7항에 있어서,
상기 복원 화상에 기초하여, 미리 정해진 처리를 실행하는 제어부를 더 구비하는, 전자 기기. - 제10항에 있어서,
상기 제어부는, 상기 복원 화상에 기초하여, 상기 사용자의 주위의 인식 처리를 행하는, 전자 기기. - 제11항에 있어서,
상기 복원 화상의 기록을 제어하는 기록부를 더 구비하는, 전자 기기. - 제1항에 있어서,
복수의 상기 검출 신호를 포함하는 상기 검출 신호 세트와, 상기 검출 신호 세트를 이용하여 복원 화상을 복원하는 경우에 이용되는 메타데이터를 연관시키는 연관부를 더 구비하는, 전자 기기. - 제1항에 있어서,
상기 촬상부는 하나 이상의 촬상 소자를 구비하고,
복수의 상기 화소 출력 단위는, 상기 촬상 소자에 설치되어 있는, 전자 기기. - 제1항에 있어서,
각각의 상기 화소 출력 단위는, 2개 이상의 떨어진 영역에 배치되어 있는, 전자 기기. - 제1항에 있어서,
상기 복수의 화소 출력 단위는, 상기 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는, 전자 기기. - 제16항에 있어서,
상기 복수의 화소 출력 단위는,
1개의 포토다이오드와,
상기 입사광의 일부의 상기 포토다이오드에의 입사를 차단하는 차광막을 각각 구비하는, 전자 기기. - 제16항에 있어서,
상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위는, 복수의 포토다이오드를 구비하고, 출력에 기여하는 포토다이오드를 서로 다르게 함으로써, 상기 입사각 지향성이 서로 다른, 전자 기기. - 제1항에 있어서,
상기 촬상부는, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 상기 입사광에 대한 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는, 전자 기기.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2017-202863 | 2017-10-19 | ||
| JP2017202863 | 2017-10-19 | ||
| PCT/JP2018/038947 WO2019078339A1 (ja) | 2017-10-19 | 2018-10-19 | 電子機器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200062220A true KR20200062220A (ko) | 2020-06-03 |
Family
ID=66173720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207009788A KR20200062220A (ko) | 2017-10-19 | 2018-10-19 | 전자 기기 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11368609B2 (ko) |
| EP (1) | EP3700182A4 (ko) |
| JP (1) | JP7247890B2 (ko) |
| KR (1) | KR20200062220A (ko) |
| CN (1) | CN111201771B (ko) |
| WO (1) | WO2019078339A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112106343A (zh) * | 2018-03-29 | 2020-12-18 | 索尼公司 | 信息处理装置、信息处理方法、程序和信息处理系统 |
| US20220276702A1 (en) * | 2021-03-01 | 2022-09-01 | Qualcomm Incorporated | Movement detection of a head mounted device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016510910A (ja) | 2013-03-05 | 2016-04-11 | ラムバス・インコーポレーテッド | 高解像度レンズなし光学検知の奇対称を有する位相格子 |
| JP2016123529A (ja) | 2014-12-26 | 2016-07-11 | 株式会社大都技研 | 遊技台 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060125945A1 (en) * | 2001-08-07 | 2006-06-15 | Satoshi Suzuki | Solid-state imaging device and electronic camera and shading compensaton method |
| CN1670791B (zh) * | 2004-02-12 | 2010-11-10 | 精工爱普生株式会社 | 光学显示装置及图像显示方法 |
| US9658473B2 (en) * | 2005-10-07 | 2017-05-23 | Percept Technologies Inc | Enhanced optical and perceptual digital eyewear |
| US11428937B2 (en) * | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| JP4661912B2 (ja) * | 2008-07-18 | 2011-03-30 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
| EP3836215A1 (en) * | 2008-07-25 | 2021-06-16 | Cornell University | Light field image sensor, method and applications |
| US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| JP2012029209A (ja) * | 2010-07-27 | 2012-02-09 | Hitachi Ltd | 音処理システム |
| US8466530B2 (en) * | 2011-06-30 | 2013-06-18 | Taiwan Semiconductor Manufacturing Company, Ltd. | Co-implant for backside illumination sensor |
| JP6120508B2 (ja) | 2011-10-03 | 2017-04-26 | キヤノン株式会社 | 撮像素子および撮像装置 |
| US9389420B2 (en) * | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
| US8958005B1 (en) * | 2012-08-30 | 2015-02-17 | Google Inc. | Single pixel camera |
| US10430985B2 (en) * | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US9465991B2 (en) * | 2014-08-11 | 2016-10-11 | Microsoft Technology Licensing, Llc | Determining lens characteristics |
| US9761730B2 (en) * | 2014-10-29 | 2017-09-12 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device and electronic device |
| US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
| JP6549240B2 (ja) | 2015-01-29 | 2019-07-24 | ウィリアム マーシュ ライス ユニバーシティＷｉｌｌｉａｍ Ｍａｒｓｈ Ｒｉｃｅ Ｕｎｉｖｅｒｓｉｔｙ | 一つ以上の減衰層を有するイメージセンサを使用したレンズ無しイメージングシステム |
| US9779512B2 (en) * | 2015-01-29 | 2017-10-03 | Microsoft Technology Licensing, Llc | Automatic generation of virtual materials from real-world materials |
| US9558760B2 (en) * | 2015-03-06 | 2017-01-31 | Microsoft Technology Licensing, Llc | Real-time remodeling of user voice in an immersive visualization system |
| US10165949B2 (en) * | 2015-06-14 | 2019-01-01 | Facense Ltd. | Estimating posture using head-mounted cameras |
| US10261584B2 (en) * | 2015-08-24 | 2019-04-16 | Rambus Inc. | Touchless user interface for handheld and wearable computers |
| JP2017063393A (ja) | 2015-09-25 | 2017-03-30 | 日本電産コパル株式会社 | 撮像素子、及びカメラ |
| KR102639538B1 (ko) | 2015-09-29 | 2024-02-23 | 다이니폰 인사츠 가부시키가이샤 | 렌즈 시트, 렌즈 시트 유닛, 촬상 모듈, 촬상 장치 |
| EP3700185B1 (en) * | 2017-10-19 | 2021-12-01 | Sony Group Corporation | Information processing device, information processing method, imaging device, and program |
| JP7192778B2 (ja) * | 2017-10-19 | 2022-12-20 | ソニーグループ株式会社 | 撮像装置および方法、並びに、画像処理装置および方法 |
| EP3700192B1 (en) * | 2017-10-19 | 2023-08-30 | Sony Group Corporation | Imaging device and signal processing device |
| KR102606086B1 (ko) * | 2017-10-19 | 2023-11-23 | 소니그룹주식회사 | 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법 |
| WO2019078320A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 情報処理装置と情報処理方法および撮像装置とプログラム |
| WO2019078338A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 電子機器 |
| WO2019078340A1 (ja) * | 2017-10-19 | 2019-04-25 | ソニー株式会社 | 撮像装置および方法、並びに、画像処理装置および方法 |
| JP7230821B2 (ja) * | 2017-10-19 | 2023-03-01 | ソニーグループ株式会社 | 信号処理装置及び撮像装置 |
-
2018
- 2018-10-19 JP JP2019548814A patent/JP7247890B2/ja active Active
- 2018-10-19 CN CN201880066131.6A patent/CN111201771B/zh active Active
- 2018-10-19 WO PCT/JP2018/038947 patent/WO2019078339A1/ja unknown
- 2018-10-19 US US16/754,398 patent/US11368609B2/en active Active
- 2018-10-19 EP EP18868174.6A patent/EP3700182A4/en active Pending
- 2018-10-19 KR KR1020207009788A patent/KR20200062220A/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016510910A (ja) | 2013-03-05 | 2016-04-11 | ラムバス・インコーポレーテッド | 高解像度レンズなし光学検知の奇対称を有する位相格子 |
| JP2016123529A (ja) | 2014-12-26 | 2016-07-11 | 株式会社大都技研 | 遊技台 |
Non-Patent Citations (1)
| Title |
|---|
| 비특허문헌 1: M. Salman Asif, 외 4명, "Flatcam: Replacing lenses with masks and computation", "2015 IEEE International Conference on Computer Vision Workshop (ICCVW)", 2015년, 663-666페이지 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200314306A1 (en) | 2020-10-01 |
| JPWO2019078339A1 (ja) | 2020-11-19 |
| JP7247890B2 (ja) | 2023-03-29 |
| US11368609B2 (en) | 2022-06-21 |
| EP3700182A1 (en) | 2020-08-26 |
| EP3700182A4 (en) | 2020-12-30 |
| CN111201771B (zh) | 2022-08-30 |
| CN111201771A (zh) | 2020-05-26 |
| WO2019078339A1 (ja) | 2019-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7160044B2 (ja) | 電子機器 | |
| US20230124400A1 (en) | Imaging device and electronic device | |
| JP7322708B2 (ja) | 撮像素子 | |
| CN103168272B (zh) | 进深推定摄像装置以及摄像元件 | |
| JPWO2015015717A1 (ja) | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 | |
| US11064144B2 (en) | Imaging element, imaging apparatus, and electronic equipment | |
| KR20170032227A (ko) | 복안 촬상 장치 | |
| KR20200037244A (ko) | 촬상 소자 및 촬상 장치 | |
| JP7238887B2 (ja) | 情報処理装置、プログラム、及び、情報処理システム | |
| JPWO2014017092A1 (ja) | 撮像システム | |
| JPWO2012105157A1 (ja) | 立体画像撮影装置および内視鏡 | |
| CN110945399B (zh) | 信号处理设备、成像设备、信号处理方法和存储器 | |
| JP7247890B2 (ja) | 電子機器及び信号処理装置 | |
| CN213718047U (zh) | 电子设备 | |
| WO2021157237A1 (ja) | 電子機器 | |
| WO2017217053A1 (ja) | 画像撮像装置およびフィルタ | |
| JP2007219069A (ja) | 映像表示装置 | |
| JP2009223526A (ja) | 画像入力装置及び個人認証装置 | |
| JP2010092148A (ja) | 画像入力装置及び個人認証装置 | |
| JP2006053351A (ja) | 立体画像撮像装置 |