WO2023074404A1 - 発光装置及び電子機器 - Google Patents

発光装置及び電子機器 Download PDF

Info

Publication number
WO2023074404A1
WO2023074404A1 PCT/JP2022/038317 JP2022038317W WO2023074404A1 WO 2023074404 A1 WO2023074404 A1 WO 2023074404A1 JP 2022038317 W JP2022038317 W JP 2022038317W WO 2023074404 A1 WO2023074404 A1 WO 2023074404A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
emitting device
unit
light emitting
emitters
Prior art date
Application number
PCT/JP2022/038317
Other languages
English (en)
French (fr)
Inventor
竜也 市川
勝秀 内野
徹 長良
洋一 廣田
久之 館野
巨成 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023074404A1 publication Critical patent/WO2023074404A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present disclosure proposes a light-emitting device (lighting device) that enables highly accurate imaging (object detection) while having a simple configuration.
  • FIG. 4 is an explanatory diagram showing an example of a planar configuration of a unit 200d according to the embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram showing an example of a planar configuration of a unit 200e according to the embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram showing an example of a planar configuration of a unit 200f according to the embodiment of the present disclosure
  • FIG. 4 is an explanatory diagram showing an example of a planar configuration of a unit 200g according to the embodiment of the present disclosure
  • shapes expressed in the following descriptions refer not only to shapes defined mathematically or geometrically, but also to the degree of difference allowed in the operation of the lighting device (light emitting device) and the manufacturing process of the lighting device. It means that similar shapes including (error/distortion) are also included. Furthermore, “identical” as used in the following description with respect to specific shapes does not only mean that they are perfectly matched mathematically or geometrically; This includes cases where there is an allowable degree of difference (error/distortion) in the manufacturing process.
  • the subject is imaged, based on the imaged image, a three-dimensional volumetric image of the subject is generated (volumetric capture technology), and projected at a remote location away from the subject.
  • a video content providing method has been proposed in which a viewer views a displayed live-action volumetric.
  • this content provision method it is possible to change the actual volumetric of the subject according to the production effect and the movement of the viewer's viewpoint. It feels like the subject is actually there. Therefore, according to live-action volumetric, it is possible to enhance the sense of immersion and reality felt by viewers compared to conventional video content.
  • a photographed volumetric of the subject 50 can be generated.
  • a structured light does not require a plurality of imaging devices (cameras 20) for imaging the subject 50 from multiple viewpoints, so it is possible to avoid increasing the scale of the imaging system.
  • the present inventors have created the illumination device 10 that enables highly accurate imaging (object detection) while having a simple configuration. Details of the lighting device 10 according to the embodiment of the present disclosure created by the present inventors will be described below.
  • FIG. 2 is an explanatory diagram showing an example of the configuration of the illumination device 10 according to this embodiment.
  • the illumination device 10 according to this embodiment mainly includes a light emitting section (light emitting surface) 100 , a lens (projection lens) 300 , and a control section 400 that controls the light emitting section 100 .
  • An outline of each element included in the lighting device 10 according to the present embodiment will be sequentially described below.
  • one lighting device 10 can be used to irradiate light of different wavelengths. and the accuracy of background identification can be improved.
  • the control unit 400 can irradiate light of different wavelengths from one light emitting unit 100 while switching at high speed. There is no displacement in the stereoscopic image 80 and the background image obtained with the light of . As a result, according to the present embodiment, it is possible to generate highly accurate photographed volumetrics.
  • the lens 300 can project light from the light emitting unit 100 (for example, pattern light 60 having a predetermined pattern) onto the subject 50 . At this time, the lens 300 can enlarge or reduce the pattern light 60 according to the size and distance of the subject 50, for example. Details of the functions of the lens 300 according to this embodiment will be described later.
  • each light emitting element can be driven individually by the control unit 400, light having various wavelengths and various patterns (predetermined pattern) from one illumination device 10 can be obtained. can be irradiated. Therefore, in this embodiment, it is possible to irradiate light having a suitable wavelength and pattern according to the reflection characteristics of the surface of the subject 50, the shape (for example, unevenness of the surface), and the size. As a result, according to this embodiment, the surface shape of the subject 50 can be captured with high accuracy.
  • the illumination device 10 is not limited to the configuration shown in FIG. 2, and may include other elements such as a plurality of lenses 300, for example.
  • the light emitting section 100 is configured by arranging unit units (unit regions) 200 each including a predetermined number of light emitting elements in a two-dimensional array on a plane. Furthermore, in this embodiment, the unitary unit 200 is configured by arranging a plurality of light emitting elements 202 and 204 in a two-dimensional array.
  • the light emitting elements 202 and 204 can be formed from LEDs (Light Emitting Diodes), OLEDs (Organic Light Emitting Diodes), laser elements composed of semiconductor lasers, liquid crystals, or the like.
  • the light emitting elements 202 and 204 are not limited to emitting light having the wavelengths described above. It is only necessary to include two light emitting elements (first light emitter, second light emitter) 202 capable of emitting light.
  • the unit 200 includes three light emitting elements (a first light emitter, a second light emitter, a 3 light emitters) 202 .
  • the unit 200 can be said to include three light-emitting elements (fourth light-emitting bodies) 204 capable of emitting light of different wavelengths in the visible light region. .
  • FIG. 4 to 10 are explanatory diagrams showing an example of the planar configuration of the unit 200 according to this embodiment.
  • the planar shape of the light emitting element 202 is not limited to a substantially square shape or a vertically long substantially rectangular shape. , approximately triangular). Furthermore, in this embodiment, as in the example shown in FIG. 4, the unit 200a may be composed only of the light-emitting elements 202 capable of emitting light of wavelengths in the near-infrared region.
  • a light emitting element (NIR1) 202a that emits light with a wavelength of 1500 nm
  • a light emitting element (NIR2) 202b that emits light with a wavelength of 1200 nm
  • a light emitting element (NIR2) 202b that emits light with a wavelength of 940 nm.
  • the element (NIR3) 202c is provided adjacently on the substrate 102 (more specifically, on the same surface of the substrate 102). In this embodiment, by adopting such a cross-sectional configuration, the configuration of the lighting device 10 can be simplified, and the manufacturing of the lighting device 10 can be facilitated.
  • the light emitting elements 202 may be stacked on the substrate 102 .
  • a light-emitting element (NIR1) 202a that emits light is sequentially stacked.
  • three color filters 104a, 104b, and 104c are arranged adjacently on the uppermost light emitting element (NIR1) 202a (more specifically, on the same surface of the light emitting element 202a). is provided.
  • the color filter 104a selectively transmits light with a wavelength near 1500 nm
  • the color filter 104b selectively transmits light with a wavelength near 1200 nm
  • the color filter 104c selectively transmits light with a wavelength near 940 nm. wavelengths of light can be selectively transmitted.
  • color filters 104a, 104b, and 104c are provided adjacently on a stack of light emitting elements 202a, 202b, and 202c, so that light with different wavelengths is emitted from each section on the plane of the unit 200. can do.
  • the pattern light 60 having a suitable wavelength and pattern according to the reflection characteristics, shape (for example, unevenness of the surface) and size of the surface of the subject 50.
  • the pattern of the pattern light 60 may be striped, latticed, or dotted (for example, a plurality of cross patterns are arranged at predetermined intervals).
  • the shape of the pattern light 60 not only the shape of the pattern light 60 but also the spacing of the patterns can be suitably changed.
  • one lighting device 10 can be used to irradiate light having different wavelengths and different patterns, so a plurality of lighting devices 10 and green screens can be prepared. Instead, it is possible to use light having wavelengths and patterns corresponding to the reflection characteristics of the surface of the object 50 and the background. As a result, in this embodiment, it is possible to improve the accuracy of identifying (imaging) the object 50 and the background with a simple configuration.
  • the technology of the present disclosure it is possible to use a plurality of lights having different wavelengths according to the reflection characteristics of the subject 50 to be detected. It can be used as an illumination device for detecting a small subject 50 or a small difference in shape, which are difficult to detect.
  • the technology of the present disclosure can be applied to medical inspections, shipping inspections in manufacturing processes of foods, pharmaceuticals, and the like.
  • the technology of the present disclosure can also be applied to lighting for sensors mounted on autonomous robots, self-driving cars, and the like, which require detailed detection of surrounding conditions.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or part of the operations within the smartphone 900 according to various programs recorded in the ROM 902, RAM 903, storage device 904, or the like.
  • a ROM 902 stores programs and calculation parameters used by the CPU 901 .
  • a RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 , ROM 902 and RAM 903 are interconnected by a bus 915 .
  • the storage device 904 is a data storage device configured as an example of a storage unit of the smartphone 900 .
  • the storage device 904 is composed of, for example, a magnetic storage device such as a HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or the like.
  • the storage device 904 stores programs executed by the CPU 901, various data, and various data acquired from the outside.
  • the microphone 912 can collect, for example, the user's call voice, voice including commands for activating functions of the smartphone 900 , and ambient environment voice of the smartphone 900 .
  • the input device 913 is, for example, a device operated by a user, such as a button, keyboard, touch panel, or mouse.
  • the input device 913 includes an input control circuit that generates an input signal based on information input by the user and outputs the signal to the CPU 901 .
  • the user can input various data to the smartphone 900 and instruct processing operations.
  • an operator (physician) 11131 uses an endoscopic surgery system 11000 to perform surgery on a patient 11132 on a patient bed 11133 .
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as a pneumoperitoneum tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 for supporting the endoscope 11100. , and a cart 11200 loaded with various devices for endoscopic surgery.
  • An endoscope 11100 is composed of a lens barrel 11101 whose distal end is inserted into the body cavity of a patient 11132 and a camera head 11102 connected to the proximal end of the lens barrel 11101 .
  • an endoscope 11100 configured as a so-called rigid scope having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible scope having a flexible lens barrel. good.
  • the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the operations of the endoscope 11100 and the display device 11202 in an integrated manner. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various image processing such as development processing (demosaicing) for displaying an image based on the image signal.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204 .
  • the user inputs an instruction or the like to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100 .
  • the treatment instrument control device 11205 controls driving of the energy treatment instrument 11112 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 inflates the body cavity of the patient 11132 for the purpose of securing the visual field of the endoscope 11100 and securing the operator's working space, and injects gas into the body cavity through the pneumoperitoneum tube 11111. send in.
  • the recorder 11207 is a device capable of recording various types of information regarding surgery.
  • the printer 11208 is a device capable of printing various types of information regarding surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies irradiation light to the endoscope 11100 for photographing the surgical site can be composed of, for example, a light source composed of an LED, a laser light source, or a combination thereof.
  • the light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high precision, so the light source device 11203 adjusts the white balance of the captured image. be able to.
  • the observation target is irradiated with laser light from each of the RGB laser light sources in a time-division manner, and by controlling the drive of the imaging element of the camera head 11102 in synchronization with the irradiation timing, each of RGB can be handled. It is also possible to pick up images by time division. According to this method, a color image can be obtained without providing a color filter in the imaging device.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, the wavelength dependence of light absorption in body tissues is used to irradiate a narrower band of light than the irradiation light (i.e., white light) used during normal observation, thereby observing the mucosal surface layer.
  • narrow band imaging in which a predetermined tissue such as a blood vessel is imaged with high contrast, is performed.
  • fluorescence observation may be performed in which an image is obtained from fluorescence generated by irradiation with excitation light.
  • the body tissue is irradiated with excitation light and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is A fluorescence image can be obtained by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and/or excitation light corresponding to such special light observation.
  • FIG. 19 is a block diagram showing an example of functional configurations of the camera head 11102 and CCU 11201 shown in FIG.
  • the camera head 11102 has a lens unit 11401, an imaging section 11402, a drive section 11403, a communication section 11404, and a camera head control section 11405.
  • the CCU 11201 has a communication section 11411 , an image processing section 11412 and a control section 11413 .
  • the camera head 11102 and the CCU 11201 are communicably connected to each other via a transmission cable 11400 .
  • a lens unit 11401 is an optical system provided at a connection with the lens barrel 11101 . Observation light captured from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401 .
  • a lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the drive unit 11403 is configured by an actuator, and moves the zoom lens and focus lens of the lens unit 11401 by a predetermined distance along the optical axis under control from the camera head control unit 11405 . Thereby, the magnification and focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400 .
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405 .
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and/or information to specify the magnification and focus of the captured image. Contains information about conditions.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102 .
  • Image signals and control signals can be transmitted by electric communication, optical communication, or the like.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
  • FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the unit area further includes a third light emitter that emits light in the near-infrared region having a wavelength different from the wavelengths of light emitted by the first and second light emitters, The control unit individually drives the third light emitter, The light-emitting device according to (1) or (2) above.
  • the unit area includes one or more fourth light emitters that emit light in the visible light region, The control unit individually drives the fourth light emitter, The light-emitting device according to any one of (1) to (3) above.
  • the unit area further includes one or more sensor elements that receive reflected light from a subject.
  • the sensor element is at least one of a SWIR sensor, a visible light sensor, and an EVS.
  • the plurality of light emitters are arranged in any one of a square arrangement, a rectangular arrangement, a stripe arrangement, a polygonal arrangement, and a substantially circular arrangement. 1.
  • Each unit area is The light-emitting device according to (12) above, which has a plurality of color filters provided on a stack of the first and second light emitters.
  • (14) The light-emitting device according to any one of (1) to (13) above, wherein the control section controls each of the light emitters so as to project light having a predetermined pattern onto the subject.
  • (15) further comprising a projection lens that projects the light having the predetermined pattern from the light emitting surface onto a subject; The light-emitting device as described in (14) above.
  • (16) The light-emitting device according to (15) above, wherein the projection lens enlarges or reduces the light having the predetermined pattern.
  • An electronic device equipped with a light emitting device The light emitting device a light emitting surface configured by arranging a plurality of unit areas each including a plurality of light emitters in a two-dimensional array; a control unit that drives the light emitters individually; with Each unit area includes a first light emitter and a second light emitter that emit light having mutually different wavelengths in the near-infrared region, Electronics.

Abstract

複数の発光体(202、204)をそれぞれ含む複数の単位領域(200)を2次元アレイ配列させることにより構成される発光面と、前記発光体を個別に駆動する制御部(400)とを備え、前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、発光装置(10)を提供する。

Description

発光装置及び電子機器
 本開示は、発光装置及び電子機器に関する。
 近年、被写体を撮像し、撮像した画像に基づき、立体的な被写体の実写ボリュメトリック(立体映像)を生成し、当該被写体から離れた遠隔地にて投影又は表示された実写ボリュメトリックを視聴者に鑑賞してもらうという映像コンテンツの提供方法が提案されている。このようなコンテンツの提供方法においては、演出効果や視聴者の視点移動に応じて、被写体の実写ボリュメトリックを変化させたりすることも可能であることから、視聴者は、自身の目の前に被写体が実際に存在するように感じられる。従って、実写ボリュメトリックによれば、これまでの映像コンテンツに比べて、視聴者が感じられる没入感やリアリティをより高めることができる。
特開2006-47069号公報
 上記の実写ボリュメトリックに生成においては、他視点から被写体を撮像する複数の撮像装置や、異なる波長の光を被写体に照射する複数の照明装置(発光装置)等を準備する必要があることから、撮像のためのシステムの規模が大きくなることが避けられない。また、従来から提案されている照明装置では、被写体やその背景の反射特性や形状に応じた波長やパターンを持つ光を照射することが難しく、精度の高い実写ボリュメトリックを生成することが難しかった。さらに、従来から提案されている照明装置では、実写ボリュメトリックの生成において精度に限界があるだけでなく、物体表面の各領域の識別や被写体と背景の識別等といった物体検出の際に用いた場合でも、物体検出の精度に限界があった。
 そこで、本開示では、簡単な構成でありつつ、精度の高い撮像(物体検出)を可能にする発光装置(照明装置)を提案する。
 本開示によれば、複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、前記発光体を個別に駆動する制御部とを備え、前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、発光装置が提供される。
 また、本開示によれば、発光装置を搭載した電子機器であって、前記発光装置は、複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、前記発光体を個別に駆動する制御部とを備え、前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、電子機器が提供される。
実写ボリュメトリックの生成の一例を説明するための説明図である。 本開示の実施形態に係る照明装置10の構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200の平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200aの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200bの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200cの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200dの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200eの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200fの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200gの平面構成の一例を示す説明図である。 本開示の実施形態に係る単位ユニット200の断面構成の一例を示す説明図(その1)である。 本開示の実施形態に係る単位ユニット200の断面構成の一例を示す説明図(その2)である。 本開示の実施形態に係るレンズ300の動作の一例を説明する説明図である。 本開示の実施形態における、制御部400による発光素子202の制御の一例を説明する説明図(その1)である。 本開示の実施形態における、制御部400による発光素子202の制御の一例を説明する説明図(その2)である。 スマートフォンの概略的な機能構成の一例を示すブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びCCUの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
 以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 また、以下の説明で参照される図面は、本開示の一実施形態の説明とその理解を促すための図面であり、わかりやすくするために、図中に示される形状や寸法、比などは実際と異なる場合がある。さらに、図中に示される撮像装置は、以下の説明と公知の技術を参酌して適宜、設計変更することができる。
 以下の説明において表現される形状は、数学的又は幾何学的に定義される形状だけを意味するだけでなく、照明装置(発光装置)の動作及び照明装置の製造工程において許容される程度の違い(誤差・ひずみ)を含む類似形状も含むことを意味する。さらに、以下の説明において具体的な形状に対して使用される「同一」は、数学的又は幾何学的に完全に一致している場合だけを意味するものではなく、照明装置の動作及び照明装置の製造工程において許容される程度の違い(誤差・ひずみ)を有する場合も含まれているものとする。
 さらに、以下の説明において、「電気的に接続する」とは、複数の要素の間を、直接的に、もしくは、他の要素を介して間接的に接続することを意味する。
 なお、説明は以下の順序で行うものとする。
1. 本開示の実施形態を創作するに至る背景
2. 本開示の実施形態
   2.1 照明装置10
   2.2 単位ユニット200
   2.3 レンズ300
   2.4 制御部400
3. まとめ
4. 応用例
   4.1 スマートフォンへの応用例
   4.2 内視鏡手術システムへの応用例
   4.3 移動体への応用例
5. 補足
 <<1. 本開示の実施形態を創作するに至る背景>>
 まずは、発明者らが創作した本開示の実施形態の詳細を説明する前に、図1を参照して、本発明者らが本開示の実施形態を創作するに至る背景について説明する。図1は、実写ボリュメトリックの生成の一例を説明するための説明図である。
 先に説明したように、被写体を撮像し、撮像した画像に基づき、立体的な被写体の実写ボリュメトリック(立体映像)を生成し(ボリュメトリックキャプチャ技術)、当該被写体から離れた遠隔地にて投影又は表示された実写ボリュメトリックを視聴者に鑑賞してもらうという映像コンテンツの提供方法が提案されている。このようなコンテンツの提供方法においては、演出効果や視聴者の視点移動に応じて、被写体の実写ボリュメトリックを変化させたりすることも可能であることから、視聴者は、自身の目の前に被写体が実際に存在するように感じられる。従って、実写ボリュメトリックによれば、これまでの映像コンテンツに比べて、視聴者が感じられる没入感やリアリティをより高めることができる。
 上記ボリュメトリックキャプチャ技術としては、被写体を多視点から撮像し、撮像した複数の画像を立体的に合成して被写体の実写ボリュメトリック(立体映像)を生成する方法がある。しかしながら、多視点から被写体を撮像することから、撮像のためのシステムの規模が大きくなることが避けられず、手軽に実写ボリュメトリックを生成することができるとは言い難い。
 他のボリュメトリックキャプチャ技術としては、ストラクチャード ライト(structured light)が挙げられる。例えば、図1に示すように、ストラクチャード ライトにおいては、照明装置10から被写体50の表面に所定のパターンを持つパターン光60を投影し、カメラ(撮像装置)20で、被写体50に投影された光のパターンを撮像する。次に、撮像された光のパターンの変形(パターンの間隔の変化、パターンの曲がり具合等)を解析することにより、被写体50の表面までの距離を推定する。そして、カメラに備わるイメージセンサの画素ごとに推定された距離情報(奥行情報)を該当する画素の位置情報に紐づけることにより、実空間における3次元座標情報の集合体による被写体50の立体像80を得ることができる。さらに、このようにして得らえた立体像80に、例えば、被写体50の可視光画像に基づく像を重畳することにより、被写体50の実写ボリュメトリックを生成することができる。このようなストラクチャード ライトによれば、多視点から被写体50を撮像する複数の撮像装置(カメラ20)を必要としないことから、撮像のためのシステムの規模が大きくなることを避けることができる。
 しかしながら、ストラクチャード ライトを用いた場合には、環境光の変動の影響を完全にキャンセルすることが難しく、例えば、野外で被写体50の撮像を行った場合には、太陽光の影響により、被写体50の立体像80を精度よく生成することが難しい。そこで、例えば、太陽光による影響を回避するために、撮像装置として近赤外(Short Wavelength Infra-Red:SWIR)カメラを用いて、1000nm~2000nm程度の幅広い波長の光による像を捉えることが考えられている。この場合、上述の波長帯域の波長を持つ光をそれぞれ照射することができる単一照明装置10を複数個組み合わせて使用することとなるため、撮像のためのシステムの規模が大きくなることが避けられない。さらに、この場合であっても、被写体50の形状等に応じて、各照明装置10から照射される光の有するパターンを変化させることが難しい。
 また、所定の波長を持つ光を照射する単一照明装置10を1つ用いて撮像を行う場合、上記所定の波長における対象となる被写体50及び背景の反射特性により、被写体50と背景とを識別可能に撮像することが難しいことがある。このような場合、被写体50と背景とを識別可能に撮像するために、被写体50の後ろにモノトーンのスクリーンであるグリーンバックを設置することが考えられる。しかしながら、常にグリーンバックを準備したくてはならないため、実写ボリュメトリックによるコンテンツの制作を気軽にできるとは言い難い。
 さらに、上記単一照明装置10を1つ用いて撮像を行う場合には、照明装置10から照射される光の波長によっては、反射率差に起因して、被写体50の表面の異なる領域(例えば、被写体50が人物の顔である場合、顔(肌)及び頭(髪))を識別可能に撮像することが難しいことがある。そこで、識別したい領域ごとの反射特性に応じた波長を持つ光をそれぞれ照射することができる単一照明装置10を複数個組み合わせて使用することとなるが、やはり撮像のためのシステムの規模が大きくなることが避けられない。
 また、上述のように複数の照明装置10を組み合わせた場合においては、同軸上に位置していない各照明装置10から光を時間差で照射することとなる。この際、各照明装置10の切り替え制御を高速に行うが難しい。そのため、特に、高速に変化、移動する被写体50を対象にする場合には、各波長の光で得られた立体像80や背景画像に位置ずれが顕著となり、精度の高い実写ボリュメトリックを生成することが難しい。
 そこで、本発明者らは、このような状況を鑑みて、簡単な構成でありつつ、精度の高い撮像(物体検出)を可能にする照明装置10を創作するに至った。以下、本発明者らが創作した本開示の実施形態に係る照明装置10の詳細について説明する。
 <<2. 本開示の実施形態>>
 <2.1 照明装置10>
 まずは、図2を参照して、本開示の実施形態に係る照明装置(発光装置)10の構成例について説明する。図2は、本実施形態に係る照明装置10の構成の一例を示す説明図である。図2に示すように、本実施形態に係る照明装置10は、発光部(発光面)100と、レンズ(投影レンズ)300と、発光部100を制御する制御部400とを主に有する。以下に、本実施形態に係る照明装置10に含まれる各要素の概要を順次説明する。
 (発光部100)
 発光部100は、互いに異なる波長の光を放射することができる複数の発光素子(発光体)を2次元アレイ配列させることにより構成される。発光部100は、各発光素子から光が放射されることにより、被写体50に、光(例えば、所定のパターンを有するパターン光60)を照射することができる。また、本実施形態においては、複数の発光素子は、後述する制御部400によって個別に駆動されることができる。詳細には、本実施形態においては、発光部100は、図2に示すように、所定の数の発光素子を含む単位ユニット(単位領域)200を平面上に2次元アレイ配列させることにより構成することができる。
 従って、本実施形態においては、1つの照明装置10を用いて、異なる波長の光を照射することができることから、被写体50の表面や背景の反射特性に応じた光を用いることができる、被写体50や背景の識別の精度を向上させることができる。また、本実施形態においては、制御部400により、1つの発光部100から異なる波長の光を高速で切り替えながら照射することができることから、高速に変化、移動する被写体50であっても、各波長の光で得られた立体像80や背景画像に位置ずれがない。その結果、本実施形態によれば、精度の高い実写ボリュメトリックを生成することができる。
 さらに、本実施形態においては、複数の発光素子を2次元アレイ配列させていることから、被写体50の大きさ、表面形状、反射特性に応じて様々な所望のパターンを持つ光を照射することができる。従って、本実施形態によれば、被写体50の表面形状を精度よく捉えることができる。なお、本実施形態に係る発光部100は、パターンを有していない光を照射してもよい。
 さらに、本実施形態においては、上記の単位ユニット200は、少なくとも、近赤外領域(850nm~1500nm)にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)を含むことができる。本実施形態によれば、このような発光素子を含むことにより、撮像装置としてSWIRカメラを用いることで、太陽光による影響を回避することができる。なお、本実施形態に係る単位ユニット200の構成の詳細については後述する。
 (レンズ300)
 レンズ300は、発光部100からの光(例えば、所定のパターンを有するパターン光60)を被写体50に投影することができる。その際、レンズ300は、例えば、被写体50の大きさや距離等に応じてパターン光60を拡大投影又は縮小投影することができる。なお、本実施形態に係るレンズ300の機能の詳細については後述する。
 (制御部400)
 制御部400は、駆動回路から構成されており、先に説明したように、各発光素子を個別に駆動(制御)することができる(アクティブ独立駆動)。本実施形態においては、制御部400により各発光素子を個別に駆動させることができることから、1つの照明装置10を用いて異なる波長の光を異なるタイミング(時間分割)で被写体50に照射することができる。従って、本実施形態によれば、例えば、被写体50が高速に変化(移動)する場合であっても、異なる波長の光を順次高速で被写体50に照射することができる。その結果、本実施形態によれば、異なる波長の光を高速で切り替えながら照射することができることから、各波長の光で得られた立体像80や背景画像に位置ずれがなく、精度の高い実写ボリュメトリックを生成することができる。
 また、本実施形態においては、制御部400により各発光素子を個別に駆動させることができることから、1つの照明装置10から様々な波長を持ち、且つ、様々なパターン(所定のパターン)を有する光を照射することができる。従って、本実施形態においては、被写体50の表面の反射特性や、形状(例えば、表面の凹凸等)や大きさに応じて、好適な波長及びパターンを有する光を照射することができる。その結果、本実施形態によれば、被写体50の表面形状を精度よく捉えることができる。
 さらに、本実施形態においては、制御部400は、レンズ300の光軸上の位置を制御してもよい。なお、本実施形態に係る制御部400の機能の詳細については後述する。
 なお、本実施形態に係る照明装置10は、図2に示すような構成に限定されるものではなく、例えば、複数のレンズ300等、他の要素が含まれていてもよい。
 <2.2 単位ユニット200>
 (平面構成)
 次に、図3から図10を参照して、単位ユニット200の平面構成例について説明する。図3は、本実施形態に係る単位ユニット200の平面構成の一例を示す説明図である。
 先に説明したように、本実施形態においては、発光部100は、所定の数の発光素子を含む単位ユニット(単位領域)200を平面上に2次元アレイ配列させることにより構成されている。さらに、本実施形態においては、単位ユニット200は、複数の発光素子202、204が2次元アレイ配列させることにより構成されている。そして、発光素子202、204は、LED(Light Emitting Diode)、OLED(Organic Light Emitting Diode)、半導体レーザからなるレーザ素子、液晶(Liquid Crystal)等から形成することができる。
 本実施形態においては、例えば、図3に示すように、単位ユニット200は、略正方形状の6つの発光素子202、204が、例えば、2行3列で配列(矩形配列)することにより構成される。詳細には、発光素子202a、202b、202cは、近赤外領域(850nm~1500nm)にある波長の光を放射することができる。具体的には、例えば、発光素子(NIR1)202aは、1500nmの波長の光(詳細には、1500nm近傍にピークを持つ強度分布を持つ光、本明細書中では以下同様)を放射し、発光素子(NIR2)202bは、1200nmの波長の光を放射し、発光素子(NIR3)202cは、940nmの波長の光を放射する。
 さらに、発光素子(第4の発光体)204b、204g、204rは、可視光領域(360nm~830nm)にある波長の光を放射することができる。具体的には、例えば、発光素子(B)204bは、青色光(例えば、波長450nm~495nm)を放射し、発光素子(G)204gは、緑色光(例えば、波長495nm~570nm)を放射し、発光素子(R)204rは、赤色光(例えば、波長620nm~750nm)を放射する。なお、本実施形態においては、単位ユニット200に含まれる可視光領域(360nm~830nm)にある波長の光を放射する発光素子204は、1つであってもよく、複数であってもよく、特に限定されるものではない。
 このように、本実施形態においては、近赤外領域にある波長の光を放射することができる発光素子202と、可視光領域にある波長の光を放射することができる発光素子204と組み合わせることにより、近赤外領域にある波長の光ではカバーしきれないような反射特性を持つ被写体50等の検出(認識)の精度を向上させることができる。
 なお、本実施形態においては、単位ユニット200は、1500nm以上の波長を持つ、赤外領域の光を放射する発光素子(図示省略)を含んでいてもよい。このようにすることで、さらに幅広い帯域の光を1つの照明装置10によって照射することができることから、被写体50等の検出(認識)の精度を向上させることができる。
 また、本実施形態においては、発光素子202、204は、上述した波長を持つ光を放射することに限定されるものではなく、少なくとも、単位ユニット200が、近赤外領域にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)202を含んでいればよい。なお、図3に示す例では、単位ユニット200は、近赤外領域にある互いに異なる波長の光を放射することができる3個の発光素子(第1の発光体、第2の発光体、第3の発光体)202を含んでいるといえる。加えて、図3に示す例では、単位ユニット200は、可視光領域にある互いに異なる波長の光を放射することができる3個の発光素子(第4の発光体)204を含んでいるといえる。
 すなわち、本実施形態においては、単位ユニット200の構成は、図3に示されるような構成に限定されるものではなく、様々に変形することが可能である。そこで、図4から図10を参照して、単位ユニット200の様々な構成例について説明する。図4から図10は、本実施形態に係る単位ユニット200の平面構成の一例を示す説明図である。
 例えば、図4に示す例では、単位ユニット200aは、縦長の略矩形状の3個の発光素子202が、1行3列で配列(ストライプ配列)することにより構成される。図4の例では、発光素子202a、202b、202cは、近赤外領域にある波長の光を放射することができる。具体的には、例えば、発光素子(NIR1)202aは、1500nmの波長の光を放射し、発光素子(NIR2)202bは、1200nmの波長の光を放射し、発光素子(NIR3)202cは、940nmの波長の光を放射する。
 なお、本実施形態においては、発光素子202の平面形状は、略正方形状や縦長の略矩形状に限定されるものではなく、例えば、横長の略矩形状、略円形状、略多角形状(例えば、略三角形状)であってもよい。さらに、本実施形態においては、図4に示す例のように、単位ユニット200aは、近赤外領域にある波長の光を放射することができる発光素子202のみから構成されていてもよい。
 また、例えば、図5に示す例では、単位ユニット200bは、縦長の略矩形状の4個の発光素子202が、1行4列で配列することにより構成される。図5の例では、発光素子202a、202b、202c、202dは、近赤外領域にある波長の光を放射することができる。具体的には、例えば、発光素子(NIR1)202aは、1500nmの波長の光を放射し、発光素子(NIR2)202bは、1200nmの波長の光を放射し、発光素子(NIR3)202cは、940nmの波長の光を放射し、さらに、発光素子(NIR4)202dは、850nmの波長の光を放射する。すなわち、本実施形態においては、単位ユニット200は、近赤外領域にある互いに異なる波長の光を放射することができる複数の発光素子202を含むことができる。
 また、例えば、図6に示す例では、単位ユニット200cは、略正方形状の4個の発光素子(NIR1)202a、発光素子(NIR2)202b、発光素子(NIR3)202c、発光素子(NIR4)202dが、2行2列で配列(正方配列)することにより構成される。なお、本実施形態においては、単位ユニット200内の複数の発光素子202、204の配列は、各発光素子202、204が、矩形を構成するように配置される矩形配列や、正方形を構成するように配置される正方配列や、ストライプ状に配列されるストライプ配列に限定されるものではない。本実施形態においては、例えば、単位ユニット200内の複数の発光素子202、204が、多角形を構成するように配列される多角形配列(例えば、ハニカム配列、デルタ配列等)や略円形配列(例えば、円配列、楕円配列等)を採用してもよい。
 また、本実施形態においては、単位ユニット200は、発光素子202、204のみを含むことに限定されるものではなく、例えば、センサ(センサ素子)210を含んでいてもよい。例えば、図7に示す例では、単位ユニット200dは、略正方形状の3個の発光素子(NIR1)202a、発光素子(NIR2)202b、発光素子(NIR3)202cと、略正方形状の1つのセンサ210とが、2行2列で配列(正方配列)することにより構成される。当該センサ210は、例えば、照明装置10からの光が被写体50によって反射された反射光を受光するセンサであることができる。より具体的には、センサ210は、例えば、近赤外(SWIR)センサ、可視光センサ、赤外センサ、EVS(Event-based Vision Sensor)等のイメージセンサであることができる。
 なお、図7に示す例では、単位ユニット200dは1つのセンサ210を含んでいるが、本実施形態においては、同一種類又は異なる種類の複数のセンサ210を含んでいてもよい。本実施形態においては、単位ユニット200がセンサ210を含むことにより、照明装置10と撮像装置(カメラ20)とを一体化することができることから、撮像システムをよりコンパクトにすることができる。なお、本実施形態においては、照明装置10と別体の装置である、上記各種センサを含む撮像装置(カメラ20)を用いて、被写体50の撮像を行ってもよい。
 また、これまで説明した例では、各発光素子202、204は、平面視において同一面積、形状を持つ場合だけであったが、本実施形態においては、各発光素子202、204は、平面視において異なる面積や形状を持っていてもよい。例えば、図8に示す例では、単位ユニット200eは、縦長の略矩形状の3個の発光素子(NIR1)202a、発光素子(NIR2)202b、発光素子(NIR3)202cが、1行3列で配列(ストライプ配列)することにより構成されている。さらに、図8に示す例では、3個の発光素子202a、202b、202cの面積が互いに異なり、発光素子202aが最も広く、発光素子202cが最も狭くなっている。本実施形態においては、このように発光素子202、204が異なる面積を持つようにすることにより、被写体50の表面の反射特性に応じて、各波長の光を好適な強度(光量)で照射することができる。
 また、例えば、図9に示す例では、単位ユニット200fは、略正方形状の12個の発光素子202、204が、2行6列で配列(矩形配列)することにより構成される。詳細には、図9に示すように、近赤外領域にある波長の光を放射する1つの発光素子202(詳細には、発光素子(NIR1)202a、発光素子(NIR2)202b、発光素子(NIR3)202c)ごとに、可視光領域にある波長の光を放射することができる3個の発光素子204b、204g、204rが配置されている。すなわち、図9に示す例では、可視光領域にある波長の光を放射することができる発光素子204に比べて、近赤外領域にある波長の光を放射する発光素子202の分布が小さくなるように、発光素子202、204が配置される(言い換えると、近赤外領域にある波長の光を放射する発光素子202は、間引かれて配置される)。本実施形態においては、このように発光素子202、204の分布を異なるようにすることにより、被写体50の表面の反射特性に応じて、各波長の光を好適な強度(光量)で照射することができる。
 なお、本実施形態においては、可視光領域にある波長の光を放射することができる発光素子204に比べて、近赤外領域にある波長の光を放射する発光素子202の分布が小さくなるように、発光素子202、204が配置されることに限定されるものではない。本実施形態においては、例えば、可視光領域にある波長の光を放射することができる発光素子204に比べて、近赤外領域にある波長の光を放射する発光素子202の分布が大きくなるように、発光素子202、204が配置されてもよい。もしくは、例えば、可視光領域にある波長の光を放射することができる発光素子204と、近赤外領域にある波長の光を放射する発光素子202との分布が同じになるように、発光素子202、204が配置されてもよい。
 また、例えば、図10に示す例では、単位ユニット200gは、略正方形状の16個の発光素子202、204及びセンサ210が、4行4列で配列(正方配列)することにより構成される。詳細には、図10に示すように、近赤外領域にある波長の光を放射する1つの発光素子202(詳細には、発光素子(NIR1)202a、発光素子(NIR2)202b、発光素子(NIR3)202c)又はセンサ210ごとに、可視光領域にある波長の光を放射することができる3個の発光素子204b、204g、204rが配置されている。なお、図10に示す例では、センサ210の代わりに、850nmの波長の光を放射する発光素子202d等を配置してもよい。
 以上のように、本実施形態においては、単位ユニット200の構成を様々に変形することが可能である。なお、本実施形態においては、単位ユニット200の平面構成は、図3から図10に示される例に限定されるものではない。
 (断面構成)
 次に、図11及び図12を参照して、単位ユニット200の断面構成例について説明する。図11及び図12は、本実施形態に係る単位ユニット200の断面構成の一例を示す説明図であって、詳細には、図3のA-A´線で単位ユニット200を切断した際の断面図に対応する。
 例えば、図11に示す例では、1500nmの波長の光を放射する発光素子(NIR1)202aと、1200nmの波長の光を放射する発光素子(NIR2)202bと、940nmの波長の光を放射する発光素子(NIR3)202cとは、基板102上(詳細には、基板102の同一面上)に、隣接して設けられる。本実施形態においては、このような断面構成を採用することにより、照明装置10の構成をシンプルにし、照明装置10の製造を容易にすることができる。
 なお、先に説明したように、本実施形態においては、少なくとも、単位ユニット200が、近赤外領域にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)202を含んでいればよい。従って、本実施形態においては、近赤外領域にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)202は、基板102上に隣接して設けられることができる。
 また、本実施形態においては、図10に示す例のように、発光素子202a、202b、202cが基板102上に互いに隣接して設けられるような構造に限定されるものではない。本実施形態においては、例えば、発光素子202a、202b、202cに加えて、850nmの波長の光を放射する発光素子202dや、可視光領域の波長の光を放射することができる発光素子204や、センサ210も、同様に基板102上に設けられてもよい。
 また、本実施形態においては、発光素子202は基板102上に互いに積層されてもよい。例えば、図12に示す例では、基板102上に、940nmの波長の光を放射する発光素子(NIR3)202cと、1200nmの波長の光を放射する発光素子(NIR2)202bと、1500nmの波長の光を放射する発光素子(NIR1)202aとが、順次積層されている。さらに、図12に示す例では、一番上の発光素子(NIR1)202aの上(詳細には、発光素子202aの同一面上)に、3個のカラーフィルタ104a、104b、104cが隣接して設けられている。
 詳細には、例えば、カラーフィルタ104aは、1500nm近傍の波長の光を選択的に透過し、カラーフィルタ104bは、1200nm近傍の波長の光を選択的に透過し、カラーフィルタ104cは、940nm近傍の波長の光を選択的に透過することができる。図12に示す例では、発光素子202a,202b、202cの積層の上にカラーフィルタ104a、104b、104cを隣接して設けることにより、単位ユニット200の平面上の区画ごとに異なる波長の光を放射することができる。本実施形態においては、このような断面構成を採用することにより、カラーフィルタ104を設けることが必要であるものの、プロセスの能力により微細な発光素子202を形成することが難しい場合であっても、異なる波長の光を放射することができる複数の微細な区画を単位ユニット200上に形成することができる。
 先に説明したように、本実施形態においては、少なくとも、単位ユニット200が、近赤外領域にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)202を含んでいればよい。従って、本実施形態においては、近赤外領域にある互いに異なる波長の光を放射することができる2個の発光素子(第1の発光体、第2の発光体)202は、基板102上に互いに積層するように設けられることができる。
 また、本実施形態においては、図11に示す例のように、発光素子202a、202b、202cが基板102上に互いに積層するように設けられるような構造に限定されるものではない。本実施形態においては、例えば、発光素子202a、202b、202cに加えて、850nmの波長の光を放射する発光素子202dや、可視光領域の波長の光を放射することができる発光素子204も、同様に互いに積層するように設けられてもよい。この場合、積層の上には、所定の波長域の光を透過するカラーフィルタ104が隣接して設けられることとなる。
 なお、本実施形態においては、単位ユニット200の断面構成は、図11及び図12に示される例に限定されるものではなく、例えば、他の層が積層されてもよい。
 <2.3 レンズ300>
 先に説明したように、本実施形態に係る照明装置10は、レンズ(投影レンズ)300を有していてもよい。レンズ300は、ガラスや樹脂等から形成され、発光部100からのパターン光60を被写体50に投影することができる。なお、図2に示す例では、レンズ300は、1個の凸レンズとして図示されているが、本実施形態においては、ズームレンズやフォーカスレンズを含む複数のレンズが組み合わされて構成されてもよい。
 詳細には、本実施形態に係るレンズ300の動作の一例を説明する説明図である図13に示すように、レンズ300は、例えば、被写体50の大きさや距離等に応じてパターン光60を拡大投影又は縮小投影することができる。また、発光部100からの光は被写体50に等倍投影されてもよく、この場合には、図13に示すように、レンズ300が設けられていなくてもよい。
 さらに、本実施形態においては、レンズ300は、制御部400によって、パターン光60の倍率及び焦点の調整等のためにその光軸上の位置が制御されてもよい。このように、制御部400によって制御されることにより、レンズ300は、パターン光60を拡大投影又は縮小投影することができる。
 <2.4 制御部400>
 次に、図14及び図15を参照して、本実施形態に係る制御部400を説明する。図14及び図15は、本実施形態における、制御部400による発光素子202の制御の一例を説明する説明図である。
 先に説明したように、制御部400は、駆動回路から構成されており、各発光素子202、204を個別に駆動(制御)することができる(アクティブ独立駆動)。詳細には、制御部400においては、発光素子202、204ごとにアクティブ素子(駆動素子)が設けられており、各アクティブ素子をオン/オフすることによって、各発光素子(発光体)202、204を個別に駆動することが可能である。従って、本実施形態においては、各発光素子202、204を個別に駆動させることができることから、1個の照明装置10を用いて、様々な波長を持ち、且つ、様々なパターンを有するパターン光60を被写体50に照射することができる。その結果、本実施形態によれば、被写体50の表面の反射特性、形状(例えば、表面の凹凸等)や大きさに応じて、好適な波長及びパターンを有するパターン光60を照射することができる。例えば、パターン光60のパターンとしては、ストライプ状、格子状、ドット状(例えば、複数のクロスパターンが所定の間隔で配置される)等を挙げることができる。さらに、本実施形態においては、パターン光60の形状だけでなく、パターンの間隔等も好適に変化させることができる。
 また、本実施形態においては、制御部400は、異なる波長の光を異なるタイミングで被写体50に照射するように、発光素子(発光体)202、204を制御することができる(時分割駆動)。例えば、図14に示すように、制御部400は、例えば、1500nmの波長の光を放射する発光素子NIR1と、1200nmの波長の光を放射する発光素子NIR2と、940nmの波長の光を放射する発光素子NIR3とを互いに異なるタイミングで光を放射するように制御することができる。なお、図14に示す例においては、Hのときに発光素子が放射するように制御され、Lのときに発光素子が消灯するように制御される(図15も同様)。また、図14に示す例においては、制御部400による近赤外領域にある波長の光を放射することができる発光素子202に対する制御について図示されているが、本実施形態においては、制御部400は、発光素子202と同様に、可視光領域にある波長の光を放射することができる発光素子204等に対して制御を行うこともできる。
 従って、本実施形態においては、制御部400により、1つの発光部100から異なる波長の光を切り替えながら照射することができることから、被写体50と背景とを識別可能に撮像したり、被写体50の表面の異なる領域(例えば、被写体50が人物の顔である場合、顔(肌)及び頭(髪))を識別可能に撮像したりすることができる。さらに、本実施形態においては、制御部400により、異なる波長の光を高速で切り替えながら照射することができることから、高速に変化、移動する被写体50であっても、各波長の光で得られた立体像80や背景画像に位置ずれがない。その結果、本実施形態によれば、精度の高い実写ボリュメトリックを生成することができる。
 また、本実施形態においては、制御部400は、異なる波長の光を同じタイミング(所定の期間)で照射するように、発光素子(発光体)202、204を制御することができる。例えば、図15に示すように、制御部400は、例えば、1500nmの波長の光を放射する発光素子NIR1と、1200nmの波長の光を放射する発光素子NIR2とを互いに異なるタイミングで光を放射するように制御する。さらに、制御部400は、940nmの波長の光を放射する発光素子NIR3を、発光素子NIR1又は発光素子NIR2と同じタイミングで放射するように制御する。本実施形態においては、このようにすることで、所定の波長領域の範囲の光の輝度を高めてもよい。なお、図15に示す例においても、制御部400による近赤外領域にある波長の光を放射することができる発光素子202に対する制御について図示されているが、本実施形態においては、制御部400は、発光素子202と同様に、可視光領域にある波長の光を放射することができる発光素子204等に対して制御を行うこともできる。
 さらに、本実施形態においては、先に説明したように、制御部400は、パターン光60の倍率及び焦点の調整等のために、レンズ300の光軸上の位置を制御してもよい。
 <<3. まとめ>>
 以上のように、本開示の実施形態によれば、簡単な構成でありつつ、精度の高い撮像(物体検出)を可能にする照明装置10を提案することができる。
 詳細には、本実施形態によれば、1つの照明装置10を用いて、異なる波長を持つ、異なるパターンを持つ光を照射することができることから、複数の照明装置10やグリーンバックを準備することなく、被写体50の表面や背景の反射特性に応じた波長やパターンを持つ光を用いることができる。その結果、本実施形態においては、簡単な構成でありつつ、被写体50や背景の識別(撮像)の精度を向上させることができる。
 また、本実施形態においては、制御部400により、1つの発光部100から異なる波長の光を高速で切り替えながら照射することができることから、高速に変化、移動する被写体50であっても、各波長の光で得られた立体像80や背景画像に位置ずれがない。その結果、本実施形態によれば、精度の高い実写ボリュメトリックを生成することができる。
 また、本実施形態においては、照明装置10は、少なくとも近赤外領域にある互いに異なる波長の光を照射することができることから、撮像装置としてSWIRカメラを用いることにより、太陽光による影響を回避して撮像を行うことができる。
 また、本開示の実施形態に係る照明装置10は、一般的な半導体装置の製造に用いられる、方法、装置、及び条件を用いることで製造することが可能である。すなわち、本実施形態に係る照明装置10の発光部100や制御部400は、既存の半導体装置の製造工程を用いて製造することが可能である。
 なお、上述の方法としては、例えば、PVD(Physical Vapor Deposition)法、CVD(Chemical Vapor Deposition)法及びALD(Atomic Layer Deposition)法等を挙げることができる。PVD法としては、真空蒸着法、EB(電子ビーム)蒸着法、各種スパッタリング法(マグネトロンスパッタリング法、RF(Radio Frequency)-DC(Direct Current)結合形バイアススパッタリング法、ECR(Electron Cyclotron Resonance)スパッタリング法、対向ターゲットスパッタリング法、高周波スパッタリング法等)、イオンプレーティング法、レーザーアブレーション法、分子線エピタキシー法(MBE(Molecular Beam Epitaxy)法)、レーザ転写法を挙げることができる。また、CVD法としては、プラズマCVD法、熱CVD法、有機金属(MO)CVD法、光CVD法を挙げることができる。さらに、他の方法としては、電解メッキ法や無電解メッキ法、スピンコート法;浸漬法;キャスト法;マイクロコンタクトプリント法;ドロップキャスト法;スクリーン印刷法やインクジェット印刷法、オフセット印刷法、グラビア印刷法、フレキソ印刷法といった各種印刷法;スタンプ法;スプレー法;エアドクタコーター法、ブレードコーター法、ロッドコーター法、ナイフコーター法、スクイズコーター法、リバースロールコーター法、トランスファーロールコーター法、グラビアコーター法、キスコーター法、キャストコーター法、スプレーコーター法、スリットオリフィスコーター法、カレンダーコーター法といった各種コーティング法を挙げることができる。さらに、パターニング法としては、シャドーマスク、レーザ転写、フォトリソグラフィー等の化学的エッチング、紫外線やレーザ等による物理的エッチング等を挙げることができる。加えて、平坦化技術としては、CMP(Chemical Mechanical Polishing)法、レーザ平坦化法、リフロー法等を挙げることができる。
 <<4. 応用例>>
 本開示に係る技術(本技術)は、実写ボリュメトリックの生成以外でも様々な用途に適用することができる。
 本開示の技術によれば、照明装置10は、近赤外領域にある互いに異なる波長の光を照射することができる。近赤外領域にある波長の光は、人間の肌による反射率が高いことから、本開示の技術を適用することにより、上述のような異なる波長を持つ2つの光を用いて、精度よく人間の肌の検出を行うことができる。また、人間の肌は、白色、黒褐色、及びその中間というように様々な色を持つが、本開示の技術では、近赤外領域にある異なる波長を持つ複数の光を照射することができることから、精度よく人間の肌の検出を行うことができる。
 そして、本開示の技術によれば、精度よく人間の肌の検出を行うことができることから、本開示の技術は、人間の顔やその向きの検出(自動車の運転支援の際の運転者の状態検出、装置等の操作検出)や、顔認証、医療用検査(肌の健康状態を診断等)、美容機器(肌色の判定による化粧品の提案等)に適用することもできる。加えて、本開示の技術は、人間の表情の小さな変化も検出可能になるため、人間の心理/精神状態の推定にも適用することができる。
 また、本開示の技術によれば検出したい被写体50の反射特性に応じた異なる波長を持つ複数の光を用いることができることから、本開示の技術に係る照明装置10は、可視光等の下では検出の難しい、小さな被写体50や小さな形状の違い等を検出する際の照明装置として用いることができる。具体的には、本開示の技術は、医療用検査や、食品、医薬品等の製造工程における出荷検査等に適用することができる。さらに、本開示の技術は、周囲の状況を詳細に検出することが求められる、自律動作型ロボットや、自動運転車等に搭載されるセンサのための照明にも適用することができる。加えて、本開示の技術は、人間の眼球の微小な動き(視線の動き)を検出して、視線に応じた入力操作を行うことができるUI(User Interface)や、眼球の微小な動きを検出して、人間の覚醒状態を検出するセンサ等(例えば、自動車に搭載される)にも適用することができる。
 <4.1 スマートフォンへの応用例>
 例えば、本開示に係る技術は、スマートフォン等に適用されてもよい。そこで、図16を参照して、本技術を適用した電子機器としての、スマートフォン900の構成例について説明する。図16は、本開示に係る技術(本技術)が適用され得るスマートフォン900の概略的な機能構成の一例を示すブロック図である。
 図16に示すように、スマートフォン900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、及びRAM(Random Access Memory)903を含む。また、スマートフォン900は、ストレージ装置904、通信モジュール905、及びセンサモジュール907を含む。さらに、スマートフォン900は、撮像装置909、表示装置910、スピーカ911、マイクロフォン912、入力装置913、照明装置914及びバス915を含む。また、スマートフォン900は、CPU901に代えて、又はこれとともに、DSP(Digital Signal Processor)等の処理回路を有してもよい。
 CPU901は、演算処理装置及び制御装置として機能し、ROM902、RAM903、又はストレージ装置904等に記録された各種プログラムに従って、スマートフォン900内の動作全般又はその一部を制御する。ROM902は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。CPU901、ROM902、及びRAM903は、バス915により相互に接続されている。また、ストレージ装置904は、スマートフォン900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置904は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス等により構成される。このストレージ装置904は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータ等を格納する。
 通信モジュール905は、例えば、通信ネットワーク906に接続するための通信デバイスなどで構成された通信インタフェースである。通信モジュール905は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、WUSB(Wireless USB)用の通信カード等であり得る。また、通信モジュール905は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。通信モジュール905は、例えば、インターネットや他の通信機器との間で、TCP(Transmission Control Protocol)/IP(Internet Protocol)等の所定のプロトコルを用いて信号等を送受信する。また、通信モジュール905に接続される通信ネットワーク906は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信又は衛星通信等である。
 センサモジュール907は、例えば、モーションセンサ(例えば、加速度センサ、ジャイロセンサ、地磁気センサ等)、生体情報センサ(例えば、脈拍センサ、血圧センサ、指紋センサ等)、又は位置センサ(例えば、GNSS(Global Navigation Satellite System)受信機等)等の各種のセンサを含む。
 撮像装置909は、スマートフォン900の表面に設けられ、スマートフォン900の裏側又は表側に位置する対象物等を撮像することができる。詳細には、撮像装置909は、本開示に係る技術(本技術)が適用され得るCMOS(Complementary MOS)イメージセンサ等の撮像素子(図示省略)と、撮像素子で光電変換された信号に対して撮像信号処理を施す信号処理回路(図示省略)とを含んで構成することができる。さらに、撮像装置909は、撮像レンズ、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構(図示省略)及び、上記光学系機構の動作を制御する駆動系機構(図示省略)をさらに有することができる。そして、上記撮像素子は、対象物からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。
 表示装置910は、スマートフォン900の表面に設けられ、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイ等の表示装置であることができる。表示装置910は、操作画面や、上述した撮像装置909が取得した撮像画像などを表示することができる。
 スピーカ911は、例えば、通話音声や、上述した表示装置910が表示する映像コンテンツに付随する音声等を、ユーザに向けて出力することができる。
 マイクロフォン912は、例えば、ユーザの通話音声、スマートフォン900の機能を起動するコマンドを含む音声や、スマートフォン900の周囲環境の音声を集音することができる。
 入力装置913は、例えば、ボタン、キーボード、タッチパネル、マウス等、ユーザによって操作される装置である。入力装置913は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置913を操作することによって、スマートフォン900に対して各種のデータを入力したり処理動作を指示したりすることができる。
 照明装置914は、上述した撮像装置909で被写体を撮像する際に、被写体に所定の波長を有する光を照射することができる。詳細には、本開示の技術は、当該照明装置914に適用することができる。
 以上、スマートフォン900の構成例を示した。このようなスマートフォン900を用いることにより、実写ボリュメトリックの生成を容易に行うことができる。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
 <4.2 内視鏡手術システムへの応用例>
 例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
 図17は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
 図17では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
 内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
 CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
 表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
 光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
 入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
 処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される光源から構成することができる。RGBレーザ光源の組み合わせにより光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 図19は、図18に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
 カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
 レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
 撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1個(いわゆる単板式)であってもよいし、複数個(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
 また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
 駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
 また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
 カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
 通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
 また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
 画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
 制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
 また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
 カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
 以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、光源装置11203に適用され得る。
 なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。本開示の技術を適用することにより、小さな患部や小さな形状や表面状態の違い等を検出することができる。
 <4.3 移動体への応用例>
 例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
 図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図50に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。また、車外情報検出ユニット12030は、所定の波長の光を車外の物体に照射する照射部(図示省略)を有していてもよい。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。また、車内情報検出ユニット12040は、所定の波長の光を車内の運転者に照射する照射部(図示省略)を有していてもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図50の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図20は、撮像部12031の設置位置の例を示す図である。
 図20では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図20には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニット12030の照射部(図示省略)や、車内情報検出ユニット12040の照射部(図示省略)等に適用され得る。本開示の技術を適用することにより、車両12100の内外の状況を詳細に検出することができる。
 <<5. 補足>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、
 前記発光体を個別に駆動する制御部と、
 を備え、
 前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、
 発光装置。
(2)
 前記第1及び第2の発光体は、850nm~1500nmの波長を持つ光を放射する、上記(1)に記載の発光装置。
(3)
 前記単位領域は、前記第1及び第2の発光体が放射する光の波長と異なる波長を持つ近赤外領域の光を放射する第3の発光体をさらに含み、
 前記制御部は、前記第3の発光体を個別に駆動する、
 上記(1)又は(2)に記載の発光装置。
(4)
 前記単位領域は、可視光領域の光を放射する1つ又は複数の第4の発光体を含み、
 前記制御部は、前記第4の発光体を個別に駆動する、
 上記(1)~(3)のいずれか1つに記載の発光装置。
(5)
 前記複数の第4の発光体は、可視光領域の互いに異なる光を放射する3つの発光体からなる、上記(4)に記載の発光装置。
(6)
 前記単位領域は、被写体からの反射光を受光する1つ又は複数のセンサ素子をさらに含む、上記(1)~(5)のいずれか1つに記載の発光装置。
(7)
 前記センサ素子は、SWIRセンサ、可視光センサ、EVSのうちの少なくとも1つである、上記(6)に記載の発光装置。
(8)
 前記単位領域において、前記複数の発光体は、正方配列、矩形配列、ストライプ配列、多角形配列、略円形配列のうちのいずれか1つの形態で配列する、上記(1)~(7)のいずれか1つに記載の発光装置。
(9)
 前記単位領域に含まれる前記第1の発光体及び前記第2の発光体の面積は、互いに異なる、上記(1)~(8)のいずれか1つに記載の発光装置。
(10)
 前記発光体は、LED、OLED、レーザ素子、液晶のうちのいずれかからなる、上記(1)~(9)のいずれか1つに記載の発光装置。
(11)
 前記第1及び第2の発光体は、基板上に隣接して設けられる、上記(1)~(10)のいずれか1つに記載の発光装置。
(12)
 前記第1及び第2の発光体は、半導体基板上に互いに積層するように設けられる、上記(1)~(10)のいずれか1つに記載の発光装置。
(13)
 前記各単位領域は、
 前記第1及び第2の発光体からなる積層の上に設けられた複数のカラーフィルタを有する、上記(12)に記載の発光装置。
(14)
 前記制御部は、所定のパターンを持つ光を被写体に投影するように、前記各発光体を制御する、上記(1)~(13)のいずれか1つに記載の発光装置。
(15)
 前記発光面からの前記所定のパターンを持つ光を被写体に投影する投影レンズをさらに備える、
 上記(14)に記載の発光装置。
(16)
 前記投影レンズは、前記所定のパターンを持つ光を拡大又は縮小する、上記(15)に記載の発光装置。
(17)
 前記制御部は、前記所定のパターンを持つ光を拡大又は縮小するように、前記投影レンズを制御する、上記(16)に記載の発光装置。
(18)
 前記制御部は、異なるタイミングで光を放射するように、前記第1の発光体及び前記第2の発光体を制御する、
 上記(1)~(17)のいずれか1つに記載の発光装置。
(19)
 前記制御部は、所定の期間において同時に光を放射するように、前記第1及び第2の発光体を制御する、上記(1)~(17)のいずれか1つに記載の発光装置。
(20)
 発光装置を搭載した電子機器であって、
 前記発光装置は、
 複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、
 前記発光体を個別に駆動する制御部と、
 を備え、
 前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、
 電子機器。
  10  照明装置
  20  カメラ
  50  被写体
  60  パターン光
  80  立体像
  100  発光部
  102  基板
  104a、104b、104c  カラーフィルタ
  200、200a、200b、200c、200d、200e、200f、200g  単位ユニット
  202a、202b、202c、202d、204b、204g、204r  発光素子
  210  センサ
  300  レンズ
  400  制御部

Claims (20)

  1.  複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、
     前記発光体を個別に駆動する制御部と、
     を備え、
     前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、
     発光装置。
  2.  前記第1及び第2の発光体は、850nm~1500nmの波長を持つ光を放射する、請求項1に記載の発光装置。
  3.  前記単位領域は、前記第1及び第2の発光体が放射する光の波長と異なる波長を持つ近赤外領域の光を放射する第3の発光体をさらに含み、
     前記制御部は、前記第3の発光体を個別に駆動する、
     請求項1に記載の発光装置。
  4.  前記単位領域は、可視光領域の光を放射する1つ又は複数の第4の発光体を含み、
     前記制御部は、前記第4の発光体を個別に駆動する、
     請求項1に記載の発光装置。
  5.  前記複数の第4の発光体は、可視光領域の互いに異なる光を放射する3つの発光体からなる、請求項4に記載の発光装置。
  6.  前記単位領域は、被写体からの反射光を受光する1つ又は複数のセンサ素子をさらに含む、請求項1に記載の発光装置。
  7.  前記センサ素子は、SWIRセンサ、可視光センサ、EVSのうちの少なくとも1つである、請求項6に記載の発光装置。
  8.  前記単位領域において、前記複数の発光体は、正方配列、矩形配列、ストライプ配列、多角形配列、略円形配列のうちのいずれか1つの形態で配列する、請求項1に記載の発光装置。
  9.  前記単位領域に含まれる前記第1の発光体及び前記第2の発光体の面積は、互いに異なる、請求項1に記載の発光装置。
  10.  前記発光体は、LED、OLED、レーザ素子、液晶のうちのいずれかからなる、請求項1に記載の発光装置。
  11.  前記第1及び第2の発光体は、基板上に隣接して設けられる、請求項1に記載の発光装置。
  12.  前記第1及び第2の発光体は、半導体基板上に互いに積層するように設けられる、請求項1に記載の発光装置。
  13.  前記各単位領域は、
     前記第1及び第2の発光体からなる積層の上に設けられた複数のカラーフィルタを有する、請求項12に記載の発光装置。
  14.  前記制御部は、所定のパターンを持つ光を被写体に投影するように、前記各発光体を制御する、請求項1に記載の発光装置。
  15.  前記発光面からの前記所定のパターンを持つ光を被写体に投影する投影レンズをさらに備える、
     請求項14に記載の発光装置。
  16.  前記投影レンズは、前記所定のパターンを持つ光を拡大又は縮小する、請求項15に記載の発光装置。
  17.  前記制御部は、前記所定のパターンを持つ光を拡大又は縮小するように、前記投影レンズを制御する、請求項16に記載の発光装置。
  18.  前記制御部は、異なるタイミングで光を放射するように、前記第1の発光体及び前記第2の発光体を制御する、
     請求項1に記載の発光装置。
  19.  前記制御部は、所定の期間において同時に光を放射するように、前記第1及び第2の発光体を制御する、請求項1に記載の発光装置。
  20.  発光装置を搭載した電子機器であって、
     前記発光装置は、
     複数の発光体をそれぞれ含む複数の単位領域を2次元アレイ配列させることにより構成される発光面と、
     前記発光体を個別に駆動する制御部と、
     を備え、
     前記各単位領域は、近赤外領域の互いに異なる波長を持つ光を放射する第1の発光体及び第2の発光体を含む、
     電子機器。
PCT/JP2022/038317 2021-10-29 2022-10-14 発光装置及び電子機器 WO2023074404A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-177064 2021-10-29
JP2021177064 2021-10-29

Publications (1)

Publication Number Publication Date
WO2023074404A1 true WO2023074404A1 (ja) 2023-05-04

Family

ID=86157981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038317 WO2023074404A1 (ja) 2021-10-29 2022-10-14 発光装置及び電子機器

Country Status (1)

Country Link
WO (1) WO2023074404A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304821A (ja) * 2000-02-16 2001-10-31 Fuji Photo Film Co Ltd 画像撮像装置及び距離測定方法
JP2019515419A (ja) * 2016-06-13 2019-06-06 グーグル エルエルシー ある角度範囲を掃引するための発光素子の千鳥状アレイ
JP2020161800A (ja) * 2019-03-20 2020-10-01 株式会社リコー 面発光レーザ素子、照明装置、投影装置、計測装置、ロボット、電子機器、移動体、および造形装置
JP2021018079A (ja) * 2019-07-17 2021-02-15 株式会社リコー 撮像装置、計測装置、及び、計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304821A (ja) * 2000-02-16 2001-10-31 Fuji Photo Film Co Ltd 画像撮像装置及び距離測定方法
JP2019515419A (ja) * 2016-06-13 2019-06-06 グーグル エルエルシー ある角度範囲を掃引するための発光素子の千鳥状アレイ
JP2020161800A (ja) * 2019-03-20 2020-10-01 株式会社リコー 面発光レーザ素子、照明装置、投影装置、計測装置、ロボット、電子機器、移動体、および造形装置
JP2021018079A (ja) * 2019-07-17 2021-02-15 株式会社リコー 撮像装置、計測装置、及び、計測方法

Similar Documents

Publication Publication Date Title
WO2018135315A1 (ja) 撮像装置、画像処理方法および画像処理システム
CN108027238A (zh) 成像装置
US20200013819A1 (en) Solid-state imaging device and electronic apparatus
WO2017163927A1 (ja) チップサイズパッケージ、製造方法、電子機器、および内視鏡
US11075241B2 (en) Solid-state imaging device and electronic apparatus
US10915009B2 (en) Compound-eye camera module and electronic device
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
JP7229988B2 (ja) 測距システム、及び、受光モジュール、並びに、バンドパスフィルタの製造方法
JP2018200423A (ja) 撮像装置、および電子機器
JP2019083501A (ja) 撮像装置
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
US11715751B2 (en) Solid-state imaging element, electronic apparatus, and semiconductor device
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
WO2019049662A1 (ja) センサチップおよび電子機器
US10750060B2 (en) Camera module, method of manufacturing camera module, imaging apparatus, and electronic apparatus
US20210191019A1 (en) Resonator structure, imaging element, and electronic apparatus
WO2019188131A1 (ja) 半導体装置および半導体装置の製造方法
WO2023074404A1 (ja) 発光装置及び電子機器
US20230246049A1 (en) Light detection device
WO2019054177A1 (ja) 撮像素子および撮像素子の製造方法、撮像装置、並びに電子機器
US11329077B2 (en) Semiconductor device with a through electrode reception part wider than a through electrode, solid-state imaging device, and electronic equipment
WO2022239393A1 (ja) 撮像装置
WO2022196210A1 (ja) 撮像装置、撮像方法及び電子機器
US20240153978A1 (en) Semiconductor chip, manufacturing method for semiconductor chip, and electronic device
US20240145506A1 (en) Semiconductor package and electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886733

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556316

Country of ref document: JP