JP6460133B2 - Image processing apparatus, method of operating image processing apparatus, and imaging apparatus - Google Patents

Image processing apparatus, method of operating image processing apparatus, and imaging apparatus Download PDF

Info

Publication number
JP6460133B2
JP6460133B2 JP2017020203A JP2017020203A JP6460133B2 JP 6460133 B2 JP6460133 B2 JP 6460133B2 JP 2017020203 A JP2017020203 A JP 2017020203A JP 2017020203 A JP2017020203 A JP 2017020203A JP 6460133 B2 JP6460133 B2 JP 6460133B2
Authority
JP
Japan
Prior art keywords
illumination
image
unit
light
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017020203A
Other languages
Japanese (ja)
Other versions
JP2017119146A (en
Inventor
恒生 林
恒生 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017020203A priority Critical patent/JP6460133B2/en
Publication of JP2017119146A publication Critical patent/JP2017119146A/en
Application granted granted Critical
Publication of JP6460133B2 publication Critical patent/JP6460133B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この技術は、画像処理装置と画像処理装置の作動方法および撮像装置に関し、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行う。   This technique relates to an image processing apparatus, an operation method of the image processing apparatus, and an imaging apparatus, and performs light distribution control with high spatial resolution according to a subject for illumination light during imaging.

従来、配管内や体腔内を観察するために撮像装置例えば内視鏡装置が広く用いられている。内視鏡装置としては、挿入部が軟性で屈曲した配管内や体腔内等に挿入することで内部を観察できる軟性内視鏡装置、挿入部が硬性で目的部位に向けて直線的に挿入することで内部を観察できる硬性内視鏡装置がある。   Conventionally, an imaging device such as an endoscope device has been widely used for observing the inside of a pipe or a body cavity. As an endoscopic device, a flexible endoscope device in which the inside can be observed by being inserted into a pipe or body cavity where the insertion portion is soft and bent, and the insertion portion is rigid and is inserted linearly toward the target site There is a rigid endoscope apparatus that can observe the inside.

軟性内視鏡装置は、例えば先端のレンズ系でとらえた光学像を光ファイバで接眼部に伝達する光学式内視鏡装置や、先端にレンズ系と撮像素子を設けてレンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。硬性内視鏡装置は、先端からレンズ系を繋いで構成されているリレー光学系によって光学像が接眼部に伝達される。また、硬性内視鏡装置においても軟性内視鏡装置と同様に、レンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。   The flexible endoscope apparatus is, for example, an optical endoscope apparatus that transmits an optical image captured by the lens system at the tip to the eyepiece unit using an optical fiber, and a lens system and an image sensor provided at the tip, and is captured by the lens system. There is an electronic endoscope apparatus that converts an image into an electrical signal by an image sensor and transmits the signal to an external monitor. In the rigid endoscope apparatus, an optical image is transmitted to the eyepiece unit by a relay optical system configured by connecting a lens system from the distal end. In addition, as in the case of the flexible endoscope apparatus, there is an electronic endoscope apparatus that converts an image captured by a lens system into an electrical signal by an image pickup device and transmits the electrical signal to an external monitor.

このような内視鏡装置において、周辺部や中心部が共に見やすい画像を得ることができるように、例えば特許文献１では、キセノンランプからの照明光が集光レンズによってライトガイドの入射端に集光されている。また、ライトガイドの入射端と集光レンズとの間に絞りを設けて照明光の入射光量が制御されている。さらに、集光レンズを光軸にそって移動させることで、体腔内等に供給される照明光の配光を制御して、同時に光量が一定となるように絞りを制御することが行われている。   In such an endoscope apparatus, for example, in Patent Document 1, illumination light from a xenon lamp is collected at an incident end of a light guide by a condensing lens so that an image that is easy to see in both the peripheral part and the central part can be obtained. It is shining. In addition, a diaphragm is provided between the incident end of the light guide and the condenser lens to control the incident light amount of the illumination light. Furthermore, by moving the condenser lens along the optical axis, the light distribution of the illumination light supplied into the body cavity or the like is controlled, and at the same time, the diaphragm is controlled so that the light quantity becomes constant. Yes.

特開平０５−１３０９７３号公報JP 05-130973 A

ところで、集光レンズを光軸にそって移動させることにより照明光の配光を制御する場合、空間分解能の高い配光制御を行うことができない。例えば、特許文献１では、ライトガイドの入射端に焦点を結ぶように照明光を入射すればライトガイドの中心部に照明光が多く入射するので、配光の特性は中心部が強くなる。また、ライトガイドの入射端より奥に焦点を結ぶように照明光を入射すれば均一に照明光が入射するので、配光の特性は周辺および中心部にわたって均一になる。しかし、中心部の一部分や周辺部の一部分についてのみ照明強度を調整することができない。   By the way, when the distribution of illumination light is controlled by moving the condenser lens along the optical axis, it is not possible to perform light distribution control with high spatial resolution. For example, in Patent Document 1, if illumination light is incident so as to focus on the incident end of the light guide, a large amount of illumination light is incident on the center portion of the light guide. Further, if the illumination light is incident so as to be focused from the incident end of the light guide, the illumination light is uniformly incident, so that the light distribution characteristics are uniform over the periphery and the center. However, the illumination intensity cannot be adjusted only for a part of the central part and a part of the peripheral part.

そこで、この技術では、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行える画像処理装置と画像処理装置の作動方法および撮像装置を提供することを目的とする。   Accordingly, an object of the present technology is to provide an image processing apparatus, an operation method of the image processing apparatus, and an imaging apparatus that can perform light distribution control with high spatial resolution according to the subject with respect to illumination light during imaging.

この技術の第１の側面は、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する画像処理装置にある。 According to a first aspect of this technique, the illumination mode is set to the measurement light mode at a predetermined frame interval, the image captured in the illumination state in which the illumination intensity distribution is a predetermined spatial distribution, and the measurement light mode is set. During the non-frame period, the illumination mode is set to the correction light mode, the light distribution control for controlling the light amount for each partial region is performed, and the image division unit that divides the captured image, and the image captured in the measurement light mode A correction illumination calculation unit that calculates the amount of light for each partial region in the correction light mode based on the image, and an output unit that outputs an image captured in the correction light mode as an output image The image dividing unit performs interpolation using an image captured in the illumination state of the correction light mode, and the illumination state of the correction light mode corresponding to an image period captured in the illumination state of the measurement light mode In in an image processing apparatus for generating a captured image.

この技術においては、撮像部で生成された撮像画像から、照明強度分布が所定の空間分布、例えば照明強度が一定である空間分布とされた測定光モードの照明状態で撮像された画像を画像分割部によって分割する。この画像の分割は、画面単位例えば撮像画像がフレーム単位で生成されている場合、フレーム単位の撮像画像から測定光モードの照明状態で撮像されたフレーム画像を分割する。この分割された画像は、照明光の空間解像度に応じて解像度変換処理が行われて、解像度変換後の画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が補正照明算出部で算出される。照明強度分布の算出では、分割された画像の色分離処理を行い、色成分毎の画像に基づいて補正光モードでの照明強度分布を算出してもよい。出力制御部は、算出された照明強度分布に基づいて照明光の出力制御を行う。   In this technique, an image captured in a measurement light mode illumination state in which the illumination intensity distribution is a predetermined spatial distribution, for example, a spatial distribution in which the illumination intensity is constant, is divided from the captured image generated by the imaging unit. Divide by part. In this image division, when a captured image is generated on a screen basis, for example, on a frame basis, a frame image captured in the illumination state of the measurement light mode is divided from the captured image on a frame basis. This divided image is subjected to resolution conversion processing according to the spatial resolution of the illumination light, and based on the image after resolution conversion, the illumination intensity distribution in the correction light mode for performing illumination according to the subject is corrected illumination calculation. Calculated in parts. In the calculation of the illumination intensity distribution, the divided image may be subjected to color separation processing, and the illumination intensity distribution in the correction light mode may be calculated based on the image for each color component. The output control unit performs output control of illumination light based on the calculated illumination intensity distribution.

また、画像分割部は、補正光モードの照明状態で撮像された画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態で撮像された画像を、補間処理によって生成する。例えば、画像分割部は、補正光モードの照明状態で撮像されたフレーム画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態のフレーム画像を補間処理によって生成する。撮像部、画像分割部、補正照明算出部および出力制御部の動作は、動作制御部によって同期して行われる。また、被写体からの光を撮像部に導く光路を、光路制御部によって照明光の光路としても用いることができるようにする。   Further, the image dividing unit interpolates an image captured in the correction light mode illumination state corresponding to an image period captured in the measurement light mode illumination state from an image captured in the correction light mode illumination state. Generate by. For example, the image dividing unit generates a frame image in the illumination state in the correction light mode corresponding to the image period captured in the illumination state in the measurement light mode from the frame image captured in the illumination state in the correction light mode by interpolation processing. To do. The operations of the imaging unit, the image dividing unit, the corrected illumination calculating unit, and the output control unit are performed in synchronization by the operation control unit. Further, the optical path that guides light from the subject to the imaging unit can be used as an optical path of illumination light by the optical path control unit.

照明光を出力する照明部は、出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布とする。また、出力制御部からの制御信号に基づき自発光素子を駆動して、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布としてもよい。   The illumination unit that outputs the illumination light performs spatial light modulation of the illumination light output from the light source based on the control signal from the output control unit, and the illumination intensity distribution of the illumination light output in the correction light mode is corrected illumination calculation unit The distribution calculated in (1) above. Further, the illumination intensity distribution of the illumination light that is output in the corrected light mode by driving the self-luminous element based on the control signal from the output control unit may be the distribution calculated by the corrected illumination calculation unit.

照明強度分布の算出は、距離測定部で測定された被写体までの距離、多視点の撮像画像を用いて推定された被写体までの距離、被写体の３次元構造解析結果を用いて行うようにしてもよい。また、撮像画像の生成に用いる撮像光学系と、照明光の出射に用いる照明光学系のズーム動作を同期して行う。   The calculation of the illumination intensity distribution may be performed using the distance to the subject measured by the distance measuring unit, the distance to the subject estimated using the multi-viewpoint captured image, and the three-dimensional structure analysis result of the subject. Good. In addition, the zoom operation of the imaging optical system used to generate the captured image and the illumination optical system used to emit the illumination light are performed in synchronization.

この技術の第２の側面は、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を画像分割部で分割することと、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を補正照明算出部で算出することと、前記補正光モードで撮像された画像を出力部から出力画像として出力することと、前記画像分割部において、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成することと含む画像処理装置の作動方法にある。
また、この技術の第３の側面は、所定の空間解像度を有する照明部と、前記照明部から出力された照明光が照射された被写体の撮像を行う撮像部と、所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する撮像装置にある。
According to a second aspect of the present technology, the illumination mode is set to the measurement light mode at a predetermined frame interval, the image captured in the illumination state in which the illumination intensity distribution is a predetermined spatial distribution, and the measurement light mode is set. During the non-frame period, the illumination mode is set to the correction light mode, the light distribution control is performed to control the amount of light for each partial region, the captured image is divided by the image dividing unit, and the image is captured in the measurement light mode. Each time an obtained image is obtained , the correction illumination calculation unit calculates the light amount of each partial region in the correction light mode based on the image, and the image captured in the correction light mode is output from the output unit as an output image. And outputting and interpolating using the image captured in the illumination state of the correction light mode in the image dividing unit, and corresponding to the image period captured in the illumination state of the measurement light mode In the operating method of the image processing apparatus including a generating an image captured by illuminating state of positive optical mode.
In addition, the third aspect of the technology includes an illumination unit having a predetermined spatial resolution, an imaging unit that captures an object irradiated with illumination light output from the illumination unit, and an illumination mode at predetermined frame intervals. Set to the measurement light mode, the image captured in the illumination state in which the illumination intensity distribution is a predetermined spatial distribution, and the frame period not set to the measurement light mode, set the illumination mode to the correction light mode, An image dividing unit that performs light distribution control for controlling the amount of light for each partial region and divides the captured image , and whenever an image captured in the measurement light mode is obtained, the correction light mode based on the image is obtained. A correction illumination calculation unit that calculates the amount of light for each partial region; and an output unit that outputs an image captured in the correction light mode as an output image, wherein the image division unit captures an image in the illumination state of the correction light mode. Is an image performs interpolation by using the, in the imaging apparatus for generating an image captured by the illumination state of the correction light mode corresponding to the captured image period in the illuminating state of the measurement light mode.

この技術によれば、撮像画像から照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードでは、被写体に応じて空間分解能の高い配光制御が行われて、補正光モードの照明状態で撮像動作を行うことで、例えば白飛びや黒つぶれ等を生じていない撮像画像を得ることができる。   According to this technique, an image captured in the measurement light mode illumination state in which the illumination intensity distribution is a predetermined spatial distribution is divided from the captured image. Based on the divided image, an illumination intensity distribution in a correction light mode that performs illumination according to the subject is calculated, and output control of illumination light in the correction light mode is performed based on the calculated illumination intensity distribution. . For this reason, in the correction light mode, light distribution control with high spatial resolution is performed according to the subject, and imaging operation is performed in the illumination state of the correction light mode, for example, imaging that does not cause overexposure or blackout, etc. An image can be obtained.

撮像装置の外観を例示した図である。It is the figure which illustrated the appearance of the imaging device. 撮像装置の構成を例示した図である。It is the figure which illustrated the composition of the imaging device. 撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of an imaging device. 照明強度算出／出力制御を示すフローチャートである。It is a flowchart which shows illumination intensity calculation / output control. 撮像装置の動作を示すタイミングチャートである。It is a timing chart which shows operation of an imaging device. 従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示した図である。It is the figure which illustrated the picked-up image produced | generated by the picked-up image produced | generated with the conventional illumination, and the illumination of the correction light mode of this technique. 変形例１の構成を示した図である。10 is a diagram showing a configuration of Modification 1. FIG. 変形例２の構成を示した図である。10 is a diagram showing a configuration of Modification 2. FIG. 変形例３の構成を示した図である。10 is a diagram showing a configuration of Modification 3. FIG. 変形例３における撮像装置の動作を示すフローチャートである。14 is a flowchart illustrating an operation of an imaging apparatus according to Modification 3. 変形例４の構成を示した図である。FIG. 10 is a diagram showing a configuration of modification example 4. 変形例５の構成を示した図である。10 is a diagram showing a configuration of Modification 5. FIG. 変形例５における撮像装置の動作を示すフローチャートである。16 is a flowchart illustrating an operation of an imaging apparatus according to Modification 5. 変形例５における撮像装置の動作を示すタイミングチャートである。14 is a timing chart illustrating an operation of an imaging apparatus according to Modification 5. 変形例６の構成を示した図である。10 is a diagram showing a configuration of Modification 6. FIG. 照明光の光路の変形例を示した図である。It is the figure which showed the modification of the optical path of illumination light.

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の外観
２．撮像装置の構成
３．撮像装置の動作
４．変形例１
５．変形例２
６．変形例３
７．変形例４
８．変形例５
９．変形例６
１０．変形例７ Hereinafter, embodiments for carrying out the present technology will be described. The description will be given in the following order.
1. Appearance of imaging device 2. Configuration of imaging device 3. Operation of imaging device Modification 1
5. Modification 2
6). Modification 3
7). Modification 4
8). Modification 5
9. Modification 6
10. Modification 7

＜１．撮像装置の外観＞
図１は、本技術の画像処理装置を設けた撮像装置例えば内視鏡装置の外観を例示している。図１の（Ａ）は硬性内視鏡装置の外観、図１の（Ｂ）は軟性内視鏡装置の外観、図１の（Ｃ）はカプセル内視鏡装置の内部構成を示している。 <1. Appearance of imaging device>
FIG. 1 illustrates an appearance of an imaging apparatus, for example, an endoscope apparatus, provided with an image processing apparatus of the present technology. 1A shows the external appearance of the rigid endoscope apparatus, FIG. 1B shows the external appearance of the flexible endoscope apparatus, and FIG. 1C shows the internal configuration of the capsule endoscope apparatus.

硬性内視鏡装置は、観察対象内に挿入される挿入部１１ａとユーザが把持する操作部１２および撮像部２２を備えている。挿入部１１ａはイメージガイドシャフトと照明導光用ファイバを備えている。後述する光源部から出射された光は照明導光用ファイバおよび挿入部１１ａの先端に設けられた撮像レンズを介して観察対象に照射される。また、観察対象からの光は、撮像レンズおよびイメージガイドシャフト内のリレーレンズを介して撮像部２２に入射される。   The rigid endoscope apparatus includes an insertion unit 11a that is inserted into an observation target, an operation unit 12 that is held by a user, and an imaging unit 22. The insertion portion 11a includes an image guide shaft and an illumination light guiding fiber. Light emitted from a light source unit, which will be described later, is irradiated to an observation target via an illumination light guiding fiber and an imaging lens provided at the distal end of the insertion unit 11a. In addition, light from the observation target is incident on the imaging unit 22 via the imaging lens and a relay lens in the image guide shaft.

軟性内視鏡装置も硬性内視鏡装置と同様に、観察対象内に挿入される挿入部１１ｂとユーザが把持する操作部１２および撮像部２２を備えている。軟性内視鏡装置の挿入部１１ｂは、可撓性を有しており先端に撮像光学系２１や撮像部２２が設けられている。   Similar to the rigid endoscope apparatus, the flexible endoscope apparatus includes an insertion portion 11b to be inserted into the observation target, an operation portion 12 and an imaging portion 22 held by the user. The insertion portion 11b of the flexible endoscope apparatus has flexibility, and an imaging optical system 21 and an imaging portion 22 are provided at the tip.

カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。   In the capsule endoscope apparatus, for example, an imaging optical system 21, an imaging unit 22, an illumination control unit 30, and an illumination unit 40 are provided inside the housing 13. The capsule endoscope apparatus is also provided with a wireless communication unit 81, a power supply unit 82, and the like for performing transmission of image signals after processing and the like.

＜２．撮像装置の構成＞
図２は、撮像装置例えば内視鏡装置の構成を例示している。撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０等を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。 <2. Configuration of Imaging Device>
FIG. 2 illustrates the configuration of an imaging apparatus such as an endoscope apparatus. The imaging device 10 includes an imaging optical system 21, an imaging unit 22, an illumination control unit 30, an illumination unit 40, a system control unit 50, and the like. The illumination control unit 30 includes an image dividing unit 31, a corrected illumination calculation unit 38, and an output control unit 39.

撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。   The imaging optical system 21 is configured using a lens unit for focusing on a subject.

撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明制御部３０や照明部４０と同期して撮像動作を行う。また、撮像部２２では、撮像画像を良好な画質等で表示または記録できるように、撮像部２２で生成された画像信号に対して種々の処理を行うようにしてもよい。この場合、撮像部２２は、例えばホワイトバランス調整処理や色補正処理、輪郭強調処理等を行う。撮像部２２は、撮像画像の画像信号を照明制御部３０の画像分割部３１へ出力する。   The imaging unit 22 is configured using an imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and generates an image signal corresponding to a subject optical image. The imaging unit 22 performs an imaging operation in synchronization with the illumination control unit 30 and the illumination unit 40 based on the synchronization signal from the system control unit 50. The imaging unit 22 may perform various processes on the image signal generated by the imaging unit 22 so that the captured image can be displayed or recorded with good image quality. In this case, the imaging unit 22 performs, for example, white balance adjustment processing, color correction processing, contour enhancement processing, and the like. The imaging unit 22 outputs an image signal of the captured image to the image dividing unit 31 of the illumination control unit 30.

画像分割部３１は、後述する出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。   The image dividing unit 31 divides an image signal of a captured image at a screen unit, for example, a frame switching position based on an illumination mode signal from an output control unit 39 described later. When the illumination mode signal indicates that the illumination is set to the correction light mode, the image division unit 31 outputs the image signal of the captured image captured in the illumination state of the correction light mode, for example, the display device 91 or the image The data is output to the recording device 92. In addition, when the illumination mode signal indicates that the illumination is set to the measurement light mode, the image division unit 31 uses the corrected illumination calculation unit 38 to output the image signal of the captured image captured in the illumination state of the measurement light mode. Output to. Further, the image dividing unit 31 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode during a period in which the illumination is set to the measurement light mode. The image dividing unit 31 generates an image signal of an image corresponding to a captured image captured in the illumination state of the correction light mode by interpolation processing, and outputs the image signal to the display device 91 or the image recording device 92, for example.

補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、後述するように照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分が高輝度となり、反射率の低い被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（１／被写体の輝度） ・・・（１） The corrected illumination calculation unit 38 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the image signal of the captured image captured in the measurement light mode illumination state. In the measurement light illumination mode, illumination light having a constant illumination intensity distribution is output from the illumination unit 40 as described later. In a captured image captured in such a measurement light mode illumination state, a subject portion with high reflectivity has high brightness, and a subject portion with low reflectivity has low brightness. Therefore, the corrected illumination calculation unit 38 can obtain a captured image that does not cause overexposure or blackout even when a high-reflectance subject portion or a low-reflectance subject portion coexists in the imaging range. The illumination intensity distribution of the illumination light in the correction light mode is calculated. The corrected illumination calculation unit 38 performs, for example, the calculation shown in Expression (1) to calculate the illumination intensity distribution. “K” is a constant.
Illumination intensity = k (1 / luminance of subject) (1)

ところで、撮像画像に比べて後述する照明部４０の空間解像度が低い場合、例えば撮像画像の画素位置毎に照明強度を算出しても、算出した照明強度分布に応じて照明光を出力することができない。そこで、画像分割部３１は、測定光モードの照明状態で撮像された撮像画像に対して解像度変換処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布を算出することにより演算量を削減する。例えば、画像分割部３１は、画像分割部３１からの撮像画像の画像信号に対して解像度変換処理として低域フィルタ処理を行い、解像度が低下された画像に基づき照明強度分布を算出する。   By the way, when the spatial resolution of the illumination unit 40 to be described later is lower than that of the captured image, for example, even if the illumination intensity is calculated for each pixel position of the captured image, the illumination light can be output according to the calculated illumination intensity distribution. Can not. Therefore, the image dividing unit 31 performs resolution conversion processing on the captured image captured in the illumination state of the measurement light mode, and calculates the illumination intensity distribution with the resolution corresponding to the spatial resolution of the illumination unit 40, thereby calculating the amount of computation. To reduce. For example, the image dividing unit 31 performs a low-pass filter process as a resolution conversion process on the image signal of the captured image from the image dividing unit 31, and calculates an illumination intensity distribution based on the image with the reduced resolution.

出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。   The output control unit 39 switches the illumination mode to the measurement light mode or the correction light mode based on the control signal from the system control unit 50. Further, the output control unit 39 generates an illumination mode signal indicating whether the illumination mode is the measurement light mode or the correction light mode, and outputs the illumination mode signal to the image dividing unit 31. Further, the output control unit 39 generates an illumination control signal based on the calculation result of the illumination intensity distribution in the corrected illumination calculation unit 38 and outputs the illumination control signal to the illumination unit 40, so that the illumination intensity of the illumination light in the correction light mode is obtained. Control. In the measurement light mode, the output control unit 39 generates an illumination control signal for outputting illumination light having a constant illumination intensity distribution and outputs the illumination control signal to the illumination unit 40.

照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。   The illumination unit 40 includes a light source 41, a spatial light modulation unit 42, a light guide 45, and an illumination optical system 46.

光源４１は、キセノンランプ、白色ＬＥＤ（Light Emitting Diode）、ＧａＮ系半導体レーザを用いた高輝度白色光源等の発光素子を用いて構成されている。光源４１は、発光素子から出力された照明光を空間光変調部４２に出力する。   The light source 41 includes a light-emitting element such as a xenon lamp, a white LED (Light Emitting Diode), and a high-intensity white light source using a GaN semiconductor laser. The light source 41 outputs the illumination light output from the light emitting element to the spatial light modulator 42.

空間光変調部４２は、透過型液晶パネル、反射型液晶パネル（ＬＣＯＳ：Liquid crystal on silicon）、またはＤＭＤ（Digital Micromirror Device）等の光変調素子を用いて構成されている。空間光変調部４２は、出力制御部３９からの照明制御信号に基づき、光変調素子における照明光の透過または反射を制御して照明強度を調整する。例えば、空間光変調部４２は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、空間光変調部４２は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。   The spatial light modulator 42 is configured using a light modulation element such as a transmissive liquid crystal panel, a reflective liquid crystal panel (LCOS), or a DMD (Digital Micromirror Device). The spatial light modulation unit 42 adjusts the illumination intensity by controlling the transmission or reflection of the illumination light in the light modulation element based on the illumination control signal from the output control unit 39. For example, the spatial light modulator 42 makes the illumination intensity distribution of the illumination light constant when the illumination mode is the measurement light mode. Further, when the illumination mode is the correction light mode, the spatial light modulation unit 42 sets the illumination intensity distribution of the illumination light as the distribution calculated by the correction illumination calculation unit 38.

空間光変調部４２で照明強度が調整された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。   The illumination light whose illumination intensity is adjusted by the spatial light modulator 42 is supplied to the illumination optical system 46 via the light guide 45. The illumination optical system 46 irradiates the subject with illumination light supplied via the light guide 45.

システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。また、システム制御部５０（後述する変形例を含む）は、請求項の動作制御部に相当する。   The system control unit 50 operates the imaging unit 22, the illumination control unit 30, and the illumination unit 40 in synchronization. Specifically, the system control unit 50 changes the illumination mode so that an image captured in the measurement light mode illumination state and an image captured in the correction light mode illumination state are not mixed in one frame. Synchronized with the switching timing of. Note that whether the illumination mode of each frame is the measurement light mode or the correction light mode may be performed by the system control unit 50 instead of the output control unit 39. Further, the system control unit 50 (including modifications described later) corresponds to an operation control unit in the claims.

＜３．撮像装置の動作＞
図３は、撮像装置の動作を示すフローチャートである。ステップＳＴ１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２に進む。 <3. Operation of Imaging Device>
FIG. 3 is a flowchart illustrating the operation of the imaging apparatus. In step ST1, the imaging device 10 performs an imaging operation. The imaging device 10 captures a subject, generates a moving image, and proceeds to step ST2.

ステップＳＴ２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ３に進む。   In step ST2, the imaging device 10 performs image division processing. The imaging apparatus 10 divides the frame of the captured image captured in the illumination state in the measurement light mode and the frame of the captured image captured in the illumination state in the correction light mode, and proceeds to step ST3.

ステップＳＴ３で撮像装置１０は、照明強度算出／出力制御を行う。図４は、照明強度算出／出力制御を示すフローチャートである。ステップＳＴ５１で撮像装置１０は低域フィルタ処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に対して低域フィルタ処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行えるようにしてステップＳＴ５２に進む。   In step ST3, the imaging apparatus 10 performs illumination intensity calculation / output control. FIG. 4 is a flowchart showing illumination intensity calculation / output control. In step ST51, the imaging device 10 performs low-pass filtering. The imaging device 10 performs low-pass filter processing on the captured image captured in the illumination state of the measurement light mode so that the illumination intensity distribution can be calculated with a resolution according to the spatial resolution of the illumination unit 40, step ST52. Proceed to

ステップＳＴ５２で撮像装置１０は、補正照明計算を行う。撮像装置１０は、低域フィルタ処理後の画像信号に基づき、補正光モードにおける照明光の照明強度分布を算出する。撮像装置は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように照明強度分布を算出してステップＳＴ５３に進む。   In step ST52, the imaging device 10 performs correction illumination calculation. The imaging device 10 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the image signal after the low-pass filter processing. The imaging device has an illumination intensity distribution so that a captured image that does not cause overexposure or underexposure can be obtained even if a high-reflectance subject portion or a low-reflectance subject portion coexists in the imaging range. Calculate and proceed to step ST53.

ステップＳＴ５３で撮像装置１０は、光源輝度制御を行う。撮像装置１０は、光源４１から出射される照明光が所定の光強度となるように光源４１の発光動作を制御してステップＳＴ５４に進む。   In step ST53, the imaging device 10 performs light source luminance control. The imaging apparatus 10 controls the light emission operation of the light source 41 so that the illumination light emitted from the light source 41 has a predetermined light intensity, and proceeds to step ST54.

ステップＳＴ５４で撮像装置１０は、照明光出力制御を行う。撮像装置１０は、照明モードを測定光モードとする場合、照明強度分布が一定となるように照明光出力制御を行う。また、撮像装置１０は、照明モードを補正光モードとする場合、照明光がステップＳＴ５２で算出された照明強度分布となるように照明光出力制御を行い、図３のステップＳＴ３に戻る。   In step ST54, the imaging apparatus 10 performs illumination light output control. The imaging device 10 performs illumination light output control so that the illumination intensity distribution is constant when the illumination mode is the measurement light mode. Further, when the illumination mode is the correction light mode, the imaging apparatus 10 performs illumination light output control so that the illumination light has the illumination intensity distribution calculated in step ST52, and returns to step ST3 in FIG.

ステップＳＴ３で、照明強度算出／出力制御が行われてステップＳＴ４に進むと、撮像装置１０は、補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号から、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を補間処理等によって生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。   When the illumination intensity calculation / output control is performed in step ST3 and the process proceeds to step ST4, the imaging apparatus 10 performs an interpolation process. The imaging device 10 converts an image signal of a captured image captured in the illumination state of the correction light mode into a captured image captured in the illumination state of the correction light mode for the period when the illumination is performed in the measurement light mode. An image signal of the corresponding image is generated by interpolation processing or the like. In addition, the imaging device 10 displays the image signal of the captured image captured in the illumination state of the correction light mode and the image signal of the captured image generated by interpolation processing or the like during the period set in the measurement light mode. Or output to the image recording device 92 or the like.

図５は、撮像装置の動作を示すタイミングチャートを示している。図５の（Ａ）は照明モード、図５の（Ｂ）は撮像動作のフレームを示している。図５の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図５の（Ｄ）は画像分割部３１から出力される画像信号のフレーム、図５の（Ｅ）は補正照明算出部３８に供給される画像信号のフレームを示している。図５の（Ｆ）は照明強度分布の算出結果を示している。また、図５の（Ｇ）は照明制御信号を示している。   FIG. 5 is a timing chart showing the operation of the imaging apparatus. FIG. 5A shows an illumination mode, and FIG. 5B shows a frame of an imaging operation. FIG. 5C shows a frame of an image signal supplied to the image dividing unit 31. 5D shows a frame of the image signal output from the image dividing unit 31, and FIG. 5E shows a frame of the image signal supplied to the corrected illumination calculation unit 38. FIG. 5F shows the calculation result of the illumination intensity distribution. FIG. 5G shows the illumination control signal.

照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。   Based on the illumination control signal from the output control unit 39, the illumination unit 40 performs illumination in the measurement light mode, for example, for one frame period, and then performs illumination in the correction light mode for the next three frame periods. When the correction light mode illumination ends, the measurement light mode illumination is performed again for one frame period. Thereafter, the illumination mode is switched in the same manner.

撮像装置１０は、例えば最初のフレームＦＲ１において、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。   In the first frame FR1, for example, when the illumination mode is set to the measurement light mode (LM) as shown in FIG. 5A, the imaging apparatus 10 receives an illustration as an illumination control signal from the output control unit 39 to the illumination unit 40. The signal “CT-LM” is output as shown in (G) of FIG. The signal “CT-LM” is a signal for outputting illumination light from the illumination unit 40 in the measurement light mode. In addition, the imaging unit 22 performs an imaging operation P1 of a subject that is illuminated in the measurement light mode.

２番目のフレームＦＲ２において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、図５の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。   In the second frame FR2, when the illumination mode is set to the corrected light mode (LC) as shown in FIG. 5A, the imaging device 10 transmits an illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT-L0” is output as shown in FIG. In this case, since the calculation of the illumination intensity distribution of the illumination light in the correction light mode has not been completed, the output control unit 39 outputs a signal “CT-L0” having the illumination intensity as an initial value. The imaging unit 22 performs an imaging operation P2 of a subject that is illuminated in the correction light mode. Further, as illustrated in FIG. 5C, the imaging unit 22 supplies the image signal “D1-LM” generated in the imaging operation P1 to the image dividing unit 31. Here, the image signal supplied from the imaging unit 22 is an image signal obtained by imaging a subject that is illuminated in the measurement light mode. Therefore, as shown in FIG. 5E, the image dividing unit 31 supplies the image signal “D1-LM” to the corrected illumination calculating unit 38, and the illumination intensity distribution based on the image signal “D1-LM”. Perform the calculation.

３番目のフレームＦＲ３において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。   In the third frame FR3, when the imaging mode is set to the corrected light mode (LC) as shown in FIG. 5A, the imaging device 10 transmits the illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT1” is output as shown in (G) of FIG. Here, the corrected illumination calculation unit 38 calculates the illumination intensity distribution in the corrected light mode based on the image signal “D1-LM”, and a calculation result “VM1” is obtained as shown in FIG. Suppose that In this case, the output control unit 39 generates the signal “CT1” based on the calculation result “VM1” and outputs the signal “CT1” to the illumination unit 40. Therefore, when the imaging unit 22 performs the imaging operation P3 of the subject that is illuminated in the correction light mode, the imaging unit 22 can obtain a good captured image in which no whiteout or blackout occurs. Further, as illustrated in FIG. 5C, the imaging unit 22 outputs the image signal “D2-LC” generated in the imaging operation P <b> 2 to the image dividing unit 31. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject illuminated in the correction light mode, the image dividing unit 31 outputs the image signal “D2-LC” to the display device 91 or the image recording unit. Output to the device 92.

その後、５番目のフレームＦＲ５において、撮像装置１０は、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。   Thereafter, in the fifth frame FR5, when the illumination mode is set to the measurement light mode (LM) as illustrated in FIG. 5A, the imaging device 10 transmits an illumination control signal from the output control unit 39 to the illumination unit 40. The signal “CT-LM” is output as shown in FIG. In addition, the imaging unit 22 performs an imaging operation P5 of a subject that is illuminated in the measurement light mode.

６番目のフレームＦＲ６において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-LM」を画像分割部３１に出力する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、画像信号「Ｄ５-LM」を補正照明算出部３８に供給して、図５の（Ｅ）に示すように、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行う。また、画像分割部３１に供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理等を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。   In the sixth frame FR6, when the illumination mode is the corrected light mode (LC) as shown in FIG. 5A, the imaging apparatus 10 receives an illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT1” is output as shown in (G) of FIG. Further, in the frame FR6, the imaging unit 22 outputs the image signal “D5-LM” generated in the imaging operation P5 to the image dividing unit 31, as illustrated in FIG. Here, the image signal supplied from the imaging unit 22 is an image signal obtained by imaging a subject that is illuminated in the measurement light mode. Therefore, the image dividing unit 31 supplies the image signal “D5-LM” to the corrected illumination calculating unit 38, and as shown in FIG. 5E, the illumination intensity distribution based on the image signal “D5-LM”. Is calculated. In addition, when the image signal supplied to the image dividing unit 31 is an image signal obtained by imaging a subject illuminated in the measurement light mode, the image signal output to the display device 91 or the image recording device 92 is lost. Accordingly, the image dividing unit 31 performs an interpolation process or the like using an image signal obtained by imaging a subject that is illuminated in the measurement light mode, and the generated image signal is displayed on the display device 91 or the image recording device during the frame FR6. The data is output to 92.

補間処理としては、種々の方法を用いることができる。例えば第１の補間処理方法では直前のフレームの画像信号を繰り返し用いる。例えば画像信号「Ｄ４-LC」をフレームＦＲ６の期間でも出力する。第２の補間処理方法では、過去の複数フレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ３-LC」と画像信号「Ｄ４-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」の動き補償を行い、フレームＦＲ６に相当する動き補償画像の画像信号を生成する。生成した画像信号はフレームＦＲ６の期間に出力する。第３の補間処理方法としては、過去と未来のフレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ４-LC」と画像信号「Ｄ６-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」または画像信号「Ｄ６-LC」の動き補償を行い、動き補償画像の画像信号をフレームＦＲ６の期間に出力する。なお、第３の補間処理方法としては、過去と未来のフレームから動き補償画像を生成することから、精度のよい補間処理を行うことができる。しかし、未来のフレームの画像信号を用いることから、表示装置９１や画像記録装置９２に出力される画像信号は遅延が大きくなる。なお、補間処理方法は上述の方法に限らず他の方法を用いるようにしてもよい。   Various methods can be used as the interpolation processing. For example, in the first interpolation processing method, the image signal of the immediately preceding frame is repeatedly used. For example, the image signal “D4-LC” is output even during the period of the frame FR6. In the second interpolation processing method, a motion vector of each block is calculated from a plurality of past frames, and a motion compensated image is generated using the calculated motion vector. For example, the motion vector is calculated using the image signal “D3-LC” and the image signal “D4-LC”, the motion compensation of the image signal “D4-LC” is performed using the calculated motion vector, and the frame FR6 is obtained. An image signal of a corresponding motion compensated image is generated. The generated image signal is output during the frame FR6. As a third interpolation processing method, a motion vector of each block is calculated from past and future frames, and a motion compensated image is generated using the calculated motion vector. For example, a motion vector is calculated using the image signal “D4-LC” and the image signal “D6-LC”, and the image signal “D4-LC” or the image signal “D6-LC” is calculated using the calculated motion vector. Motion compensation is performed, and an image signal of the motion compensation image is output during the period of the frame FR6. As a third interpolation processing method, since motion compensation images are generated from past and future frames, it is possible to perform highly accurate interpolation processing. However, since the image signal of the future frame is used, the delay of the image signal output to the display device 91 or the image recording device 92 becomes large. The interpolation processing method is not limited to the above-described method, and other methods may be used.

７番目のフレームＦＲ７において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ５」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ５」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５」に基づき信号「ＣＴ５」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。   In the seventh frame FR7, when the illumination mode is the corrected light mode (LC) as shown in FIG. 5A, the imaging device 10 transmits the illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT5” is output as shown in (G) of FIG. Here, it is assumed that the corrected illumination calculation unit 38 calculates the illumination intensity distribution based on the image signal “D5-LM” and obtains the calculation result “VM5” as shown in FIG. In this case, the output control unit 39 generates a signal “CT5” based on the calculation result “VM5” and outputs the signal “CT5” to the illumination unit 40. Therefore, when the imaging unit 22 performs the imaging operation P7 of the subject that is illuminated in the correction light mode, the imaging unit 22 can obtain a good captured image in which no whiteout or blackout occurs. In addition, the imaging unit 22 outputs the image signal “D6-LC” generated in the imaging operation P6 to the image dividing unit 31, as illustrated in FIG. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject illuminated in the correction light mode, the image dividing unit 31 outputs the image signal “D6-LC” to the display device 91 or the image recording unit. Output to the device 92.

撮像装置１０は、以上のような処理を行い、白飛びや黒つぶれ等の生じていない良好な撮像画像を表示装置９１や画像記録装置９２へ出力する。   The imaging device 10 performs the above-described processing and outputs a good captured image in which no whiteout or blackout occurs to the display device 91 or the image recording device 92.

図６は、従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示している。従来の照明で生成された撮像画像では、図６の（Ａ）に示すように、例えば反射率の高い被写体部分が白飛び、反射率の低い被写体部分が黒つぶれを生じてしまう場合がある。また、反射率の高い被写体部分では照明光によって加熱されてしまう場合がある。しかし、上述の処理を行うと補正光モードの照明では、反射率の高い被写体部分では照明強度が低くされて、反射率の低い被写体部分では照明強度が高くされる。したがって、図６の（Ｂ）に示すように、反射率の高い被写体部分でも白飛びを生じることがなく、反射率の低い被写体部分でも黒つぶれを生じることがなく、良好な画像を得ることができる。   FIG. 6 illustrates a captured image generated by conventional illumination and a captured image generated by illumination in the correction light mode of the present technology. In the captured image generated by the conventional illumination, as shown in FIG. 6A, for example, a subject portion with a high reflectivity may be blown out and a subject portion with a low reflectivity may be blacked out. In addition, a subject portion having a high reflectance may be heated by illumination light. However, when the above-described processing is performed, in the correction light mode illumination, the illumination intensity is reduced in the subject portion having a high reflectance, and the illumination intensity is increased in the subject portion having a low reflectance. Therefore, as shown in FIG. 6B, a high-reflectance subject portion does not cause whiteout, and a low-reflectance subject portion does not cause blackout, thereby obtaining a good image. it can.

以上のように、撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に基づき、反射率の高い被写体部分や反射率の低い被写体部分を判別する。また、撮像装置１０は、補正光モードでは、反射率の高い被写体部分に対する照明強度は低く、反射率の低い被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。   As described above, the imaging device 10 determines a subject portion having a high reflectance and a subject portion having a low reflectance based on a captured image captured in the illumination state of the measurement light mode. Further, in the correction light mode, the imaging apparatus 10 adjusts the illumination intensity so that the illumination intensity for the subject portion with high reflectance is low and the illumination intensity for the subject portion with low reflectance is high. Therefore, the imaging device 10 can capture a captured image captured in the measurement light mode illumination state, such as overexposure or underexposure, even when a high-reflectance subject portion or a low-reflectance subject portion is mixed in the imaging range. It can be set as a favorable picked-up image in which no occurs.

また、撮像装置１０は、測定光モードにおける撮像動作を周期的に行い、測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の移動や状態変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない、良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。さらに、撮像装置１０は、撮像画像に比べて照明部４０の空間解像度が低い場合、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行う。したがって、照明強度分布の算出における演算量を削減できるので、消費電力の削減や照明制御部３０での演算処理による発熱を低減させることが可能となる。   The imaging device 10 periodically performs an imaging operation in the measurement light mode, and calculates an illumination intensity distribution in the correction light mode based on an image signal generated by the imaging operation in the measurement light mode. Therefore, even when the subject moves or the state of the subject changes during imaging, the illumination intensity distribution in the correction light mode is automatically adjusted to follow the movement or state change of the subject. For this reason, the imaging apparatus 10 can easily obtain a good captured image in which no whiteout or blackout occurs regardless of the change of the subject. In addition, the imaging device 10 can prevent the subject from being heated by illumination light. Furthermore, when the spatial resolution of the illumination unit 40 is lower than that of the captured image, the imaging device 10 calculates the illumination intensity distribution with a resolution corresponding to the spatial resolution of the illumination unit 40. Therefore, since the amount of calculation in the calculation of the illumination intensity distribution can be reduced, it is possible to reduce power consumption and to reduce heat generated by the calculation processing in the illumination control unit 30.

＜４．変形例１＞
ところで、上述の実施の形態における照明部は、光源から出射された照明光を空間光変調部で変調して、被写体の反射率に応じて照明強度を調整する構成を例示した。しかし、自発光デバイスを用いて照明部を構成すれば、光源と空間光変調部を個々に設けることなく、照明部の構成を簡略化できる。 <4. Modification 1>
By the way, the illumination part in the above-mentioned embodiment illustrated the structure which modulates the illumination light radiate | emitted from the light source with a spatial light modulation part, and adjusts illumination intensity according to the reflectance of a to-be-photographed object. However, if the illumination unit is configured using a self-luminous device, the configuration of the illumination unit can be simplified without providing a light source and a spatial light modulation unit individually.

変形例１では、自発光素子を用いて照明部を構成する場合について説明する。図７は変形例１の構成を示している。変形例１の照明部４０は、自発光素子部４３とライトガイド４５および照明光学系４６を備えている。   In the first modification, a case where an illumination unit is configured using self-luminous elements will be described. FIG. 7 shows a configuration of the first modification. The illumination unit 40 of Modification 1 includes a self-luminous element unit 43, a light guide 45, and an illumination optical system 46.

自発光素子部４３は、有機発光ダイオード（ＯＬＥＤ：Organic Light-Emitting Diode）等の自発発光素子を用いて構成されている。自発光素子部４３は、出力制御部３９からの照明制御信号に基づき、出射する照明光の照明強度を調整する。例えば、自発光素子部４３は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、自発光素子部４３は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。   The self-light-emitting element unit 43 is configured using a self-light-emitting element such as an organic light-emitting diode (OLED). The self-light emitting element unit 43 adjusts the illumination intensity of the emitted illumination light based on the illumination control signal from the output control unit 39. For example, when the illumination mode is the measurement light mode, the self-light emitting element unit 43 makes the illumination intensity distribution of the illumination light constant. Further, when the illumination mode is the correction light mode, the self-light emitting element unit 43 sets the illumination intensity distribution of the illumination light as the distribution calculated by the correction illumination calculation unit 38.

自発光素子部４３から出射された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。   The illumination light emitted from the self-luminous element unit 43 is supplied to the illumination optical system 46 through the light guide 45. The illumination optical system 46 irradiates the subject with illumination light supplied via the light guide 45.

このように、自発光素子を用いて照明を行うようにすれば、光源と空間光変調部を用いる照明部に比べて構成を簡単にできる。また、空間光変調部として透過率を調整して照明強度を調整する場合、非透過光の吸収により空間光変調部の発熱が生じることから、例えば体外の位置に空間光変調部を設けなければならない。しかし、光変換効率に優れた自発光素子を用いることで照明部の発熱量を少なくできるので、照明部を体内に設けることが可能となり、撮像装置１０における構成の自由度を高めることができる。   In this way, if illumination is performed using a self-luminous element, the configuration can be simplified compared to an illumination unit that uses a light source and a spatial light modulation unit. In addition, when adjusting the illumination intensity by adjusting the transmittance as the spatial light modulation unit, heat generation of the spatial light modulation unit occurs due to absorption of non-transmitted light. For example, if the spatial light modulation unit is not provided at a position outside the body Don't be. However, since the amount of heat generated by the illumination unit can be reduced by using a self-luminous element having excellent light conversion efficiency, the illumination unit can be provided in the body, and the degree of freedom of configuration in the imaging device 10 can be increased.

＜５．変形例２＞
変形例２は、補正照明算出部の他の構成を例示している。図８は変形例２の構成を示している。変形例２における補正照明算出部３８は、色分離部３８１と赤光補正照明算出部３８２Ｒ、緑光補正照明算出部３８２Ｇ、青光補正照明算出部３８２Ｂ、計算結果統合部３８３を備えている。 <5. Modification 2>
Modification 2 illustrates another configuration of the corrected illumination calculation unit. FIG. 8 shows a configuration of the second modification. The corrected illumination calculation unit 38 in Modification 2 includes a color separation unit 381, a red light correction illumination calculation unit 382R, a green light correction illumination calculation unit 382G, a blue light correction illumination calculation unit 382B, and a calculation result integration unit 383.

色分離部３８１は、画像分割部３１から供給された画像信号に対して色分離処理を行い、例えば赤色と緑色と青色の色成分信号を生成する。色分離部３８１は、生成した赤色成分信号を赤光補正照明算出部３８２Ｒに出力する。また、色分離部３８１は、生成した緑色成分信号を緑光補正照明算出部３８２Ｇ、青色成分信号を青光補正照明算出部３８２Ｂに出力する。   The color separation unit 381 performs color separation processing on the image signal supplied from the image division unit 31 to generate, for example, red, green, and blue color component signals. The color separation unit 381 outputs the generated red component signal to the red light correction illumination calculation unit 382R. In addition, the color separation unit 381 outputs the generated green component signal to the green light correction illumination calculation unit 382G and the blue component signal to the blue light correction illumination calculation unit 382B.

赤光補正照明算出部３８２Ｒは、赤色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。緑光補正照明算出部３８２Ｇは、緑色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。青光補正照明算出部３８２Ｂは、青色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。   The red light correction illumination calculation unit 382R performs correction illumination calculation based on the red component signal and outputs the calculation result to the calculation result integration unit 383. The green light correction illumination calculation unit 382G performs correction illumination calculation based on the green component signal and outputs the calculation result to the calculation result integration unit 383. The blue light correction illumination calculation unit 382B performs correction illumination calculation based on the blue component signal, and outputs the calculation result to the calculation result integration unit 383.

計算結果統合部３８３は、赤光補正照明算出部３８２Ｒと緑光補正照明算出部３８２Ｇと青光補正照明算出部３８２Ｂにおける計算結果から、各色成分について飽和やつぶれを生じることのない照明強度分布を算出して、算出結果を出力制御部３９に出力する。   The calculation result integration unit 383 calculates an illumination intensity distribution that does not cause saturation or collapse of each color component from the calculation results of the red light correction illumination calculation unit 382R, the green light correction illumination calculation unit 382G, and the blue light correction illumination calculation unit 382B. Then, the calculation result is output to the output control unit 39.

このように、補正照明算出部３８は、色成分毎に照明強度分布の計算を行う。したがって、変形例２の撮像装置では、例えば観察する被写体の所望の色に対して、色飽和または色つぶれを生じないように、照明光を最適な照明強度に調整できる。   As described above, the corrected illumination calculation unit 38 calculates the illumination intensity distribution for each color component. Therefore, in the imaging apparatus of the modification 2, for example, the illumination light can be adjusted to an optimal illumination intensity so that color saturation or color collapse does not occur for a desired color of the subject to be observed.

＜６．変形例３＞
変形例３は、補正照明算出部３８において、撮像範囲内に位置する各被写体までの距離を示す距離情報を用いて照明強度分布の算出を行う場合を示している。 <6. Modification 3>
Modification 3 shows a case where the corrected illumination calculation unit 38 calculates the illumination intensity distribution using distance information indicating the distance to each subject located within the imaging range.

図９は、変形例３の構成を示している。変形例３の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離測定部３２、補正照明算出部３８、出力制御部３９を備えている。   FIG. 9 shows a configuration of the third modification. The imaging device 10 of Modification 3 includes an imaging optical system 21, an imaging unit 22, an illumination control unit 30, an illumination unit 40, and a system control unit 50. The illumination control unit 30 includes an image dividing unit 31, a distance measuring unit 32, a corrected illumination calculating unit 38, and an output control unit 39.

撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。   The imaging optical system 21 is configured using a lens unit for focusing on a subject.

撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。   The imaging unit 22 is configured using an imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and generates an image signal corresponding to a subject optical image. The imaging unit 22 performs an imaging operation in synchronization with the illumination unit 40 based on the synchronization signal from the system control unit 50. The imaging unit 22 performs various processes on the generated image signal.

画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。   Based on the illumination mode signal from the output control unit 39, the image dividing unit 31 divides the image signal of the captured image by a screen unit, for example, a frame switching position. When the illumination mode signal indicates that the illumination is set to the correction light mode, the image division unit 31 outputs the image signal of the captured image captured in the illumination state of the correction light mode, for example, the display device 91 or the image The data is output to the recording device 92. In addition, when the illumination mode signal indicates that the illumination is set to the measurement light mode, the image division unit 31 uses the corrected illumination calculation unit 38 to output the image signal of the captured image captured in the illumination state of the measurement light mode. Output to. Further, the image dividing unit 31 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode during a period in which the illumination is set to the measurement light mode. The image dividing unit 31 generates an image signal of an image corresponding to a captured image captured in the illumination state of the correction light mode by interpolation processing, and outputs the image signal to the display device 91 or the image recording device 92, for example.

距離測定部３２は、撮像範囲内の被写体部分までの距離を算出する。距離測定部３２は、撮像範囲内における複数位置で被写体までの距離を算出する。例えば、距離測定部３２は、ＴＯＦ（Time of Flight）カメラのように赤外線を被写体に照射して、反射した赤外線がカメラに入射されるまでに要した時間から距離を算出する。また、測距用画素が設けられている撮像素子を撮像部２２で用いるようにして、測距用画素の信号を用いて距離を算出してもよい。距離測定部３２は、距離測定結果を補正照明算出部３８に出力する。   The distance measuring unit 32 calculates the distance to the subject portion within the imaging range. The distance measuring unit 32 calculates the distance to the subject at a plurality of positions within the imaging range. For example, the distance measuring unit 32 irradiates the subject with infrared rays like a TOF (Time of Flight) camera, and calculates the distance from the time required for the reflected infrared rays to enter the camera. Alternatively, the distance may be calculated using the signal of the distance measurement pixel by using the image sensor provided with the distance measurement pixel in the imaging unit 22. The distance measurement unit 32 outputs the distance measurement result to the corrected illumination calculation unit 38.

補正照明算出部３８は、距離測定部３２からの距離測定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。   The corrected illumination calculation unit 38 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the distance measurement result from the distance measurement unit 32 and the image signal of the captured image captured in the measurement light mode illumination state. In the measurement light illumination mode, illumination light having a constant illumination intensity distribution is output from the illumination unit 40. In a captured image captured in such a measurement light mode illumination state, a subject portion having a high reflectance and a close subject portion have high luminance, and a subject portion having a low reflectance and a remote subject portion have low luminance. Therefore, the corrected illumination calculation unit 38 can obtain a captured image that does not cause overexposure, blackout, or the like even if subject portions having different reflectances or subject portions having different distances are mixed in the imaging range. An illumination intensity distribution of illumination light in the correction light mode is calculated. The corrected illumination calculation unit 38 performs, for example, the calculation shown in Expression (1) to calculate the illumination intensity distribution.

補正照明算出部３８は、被写体の明るさは距離の２乗に反比例することが知られていることから、距離測定結果に基づき照明強度を調整する。例えば、補正照明算出部３８は、測定光モードの場合に式（２）に示す計算を行い、被写体までの距離に応じて算出した照明強度で照明強度分布を一定として照明を行う。また、補正照明算出部３８は、補正光モードの場合に式（３）に示す計算を行うことで、距離を考慮した照明強度を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（距離の２乗） ・・・（２）
照明強度＝ｋ（１／被写体の輝度）（距離の２乗） ・・・（３） Since it is known that the brightness of the subject is inversely proportional to the square of the distance, the corrected illumination calculation unit 38 adjusts the illumination intensity based on the distance measurement result. For example, the corrected illumination calculation unit 38 performs the calculation shown in Expression (2) in the measurement light mode, and performs illumination with the illumination intensity distribution being constant with the illumination intensity calculated according to the distance to the subject. Further, the corrected illumination calculation unit 38 calculates the illumination intensity considering the distance by performing the calculation shown in Expression (3) in the corrected light mode. “K” is a constant.
Illumination intensity = k (distance squared) (2)
Illumination intensity = k (1 / luminance of subject) (distance squared) (3)

また、補正照明算出部３８は、測定光モードを用いることなく測定された距離のみに基づいて照明強度を算出するようにしてもよい。この場合には式（４）の計算を行う。なお「ｋｃ」は補正光モードにおける定数である。
照明強度＝ｋｃ（距離の２乗） ・・・（４） Further, the corrected illumination calculation unit 38 may calculate the illumination intensity based only on the measured distance without using the measurement light mode. In this case, the calculation of Expression (4) is performed. “Kc” is a constant in the correction light mode.
Illumination intensity = kc (distance squared) (4)

出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。   The output control unit 39 switches the illumination mode to the measurement light mode or the correction light mode based on the control signal from the system control unit 50. Further, the output control unit 39 generates an illumination mode signal indicating whether the illumination mode is the measurement light mode or the correction light mode, and outputs the illumination mode signal to the image dividing unit 31. Further, the output control unit 39 generates an illumination control signal based on the calculation result of the illumination intensity distribution in the corrected illumination calculation unit 38 and outputs the illumination control signal to the illumination unit 40, so that the illumination intensity of the illumination light in the correction light mode is obtained. Control. In the measurement light mode, the output control unit 39 generates an illumination control signal for outputting illumination light having a constant illumination intensity distribution and outputs the illumination control signal to the illumination unit 40.

照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。   The illumination unit 40 includes a light source 41, a spatial light modulation unit 42, a light guide 45, and an illumination optical system 46. The illumination unit 40 modulates the illumination light emitted from the light source 41 by the spatial light modulation unit 42 based on the illumination control signal from the output control unit 39, and the illumination light whose illumination intensity is adjusted is illuminated with the light guide 45. The object is irradiated through the optical system 46.

システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。   The system control unit 50 operates the imaging unit 22, the illumination control unit 30, and the illumination unit 40 in synchronization. Specifically, the system control unit 50 changes the illumination mode so that an image captured in the measurement light mode illumination state and an image captured in the correction light mode illumination state are not mixed in one frame. Synchronized with the switching timing of. Note that whether the illumination mode of each frame is the measurement light mode or the correction light mode may be performed by the system control unit 50 instead of the output control unit 39.

図１０は、変形例３における撮像装置の動作を示すフローチャートである。ステップＳＴ１１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ１２に進む。   FIG. 10 is a flowchart illustrating the operation of the imaging apparatus according to the third modification. In step ST11, the imaging device 10 performs an imaging operation. The imaging device 10 captures a subject, generates a moving image, and proceeds to step ST12.

ステップＳＴ１２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ１３に進む
ステップＳＴ１３で撮像装置１０は、距離測定を行う。撮像装置１０は、被写体までの距離を測定してステップＳＴ１４に進む。 In step ST12, the imaging apparatus 10 performs image division processing. The imaging apparatus 10 divides the frame of the captured image captured in the illumination state in the measurement light mode and the frame of the captured image captured in the illumination state in the correction light mode, and proceeds to step ST13. In step ST13, the imaging apparatus 10 , Measure distance. The imaging apparatus 10 measures the distance to the subject and proceeds to step ST14.

ステップＳＴ１４で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ１５に進む。   In step ST14, the imaging apparatus 10 performs illumination intensity calculation / output control. The imaging apparatus 10 performs the processing of the flowchart shown in FIG. 4, calculates the illumination intensity distribution, performs illumination light output control so that the calculated illumination intensity distribution is obtained, and proceeds to step ST15.

ステップＳＴ１５で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行い、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。   In step ST15, the imaging apparatus 10 performs an interpolation process. The imaging device 10 performs an interpolation process using an image signal of a captured image captured in the correction light mode illumination state, and in the correction light mode illumination state with respect to the period during which the measurement light mode illumination is performed. An image signal of an image corresponding to the captured image is generated. In addition, the imaging device 10 displays the image signal of the captured image captured in the illumination state of the correction light mode and the image signal of the captured image generated by interpolation processing or the like during the period set in the measurement light mode. Or output to the image recording device 92 or the like.

このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。   As described above, the corrected illumination calculation unit 38 calculates the illumination intensity distribution in consideration of the distance to the subject, so that the illumination light is optimally illuminated even for the subject at the close position and the subject at the distant position. Can be adjusted to strength.

＜７．変形例４＞
変形例４は、撮像部２２として多視点カメラを用いていわゆるパッシブ計測を行い、距離測定部３２を用いることなく被写体までの距離を推定する場合を示している。なお、以下の説明では、多視点カメラとしてステレオカメラを用いた場合について説明する。 <7. Modification 4>
The fourth modification shows a case where so-called passive measurement is performed using a multi-viewpoint camera as the imaging unit 22 and the distance to the subject is estimated without using the distance measurement unit 32. In the following description, a case where a stereo camera is used as a multi-view camera will be described.

図１１は、変形例４の構成を示している。変形例４の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離推定部３３、補正照明算出部３８、出力制御部３９を備えている。   FIG. 11 shows a configuration of the fourth modification. The imaging device 10 of Modification 4 includes an imaging optical system 21, an imaging unit 22, an illumination control unit 30, an illumination unit 40, and a system control unit 50. The illumination control unit 30 includes an image dividing unit 31, a distance estimating unit 33, a corrected illumination calculating unit 38, and an output control unit 39.

撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。なお、レンズユニットは、右眼用のユニットと左眼用のユニットを備えている。   The imaging optical system 21 is configured using a lens unit for focusing on a subject. The lens unit includes a right eye unit and a left eye unit.

撮像部２２は、右眼画像の画像信号を生成する撮像素子と左眼画像の画像信号を生成する撮像素子を用いて構成されている。撮像素子は例えはＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。   The imaging unit 22 is configured using an imaging device that generates an image signal of a right eye image and an imaging device that generates an image signal of a left eye image. For example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like is used as the imaging device. The imaging unit 22 performs an imaging operation in synchronization with the illumination unit 40 based on the synchronization signal from the system control unit 50. The imaging unit 22 performs various processes on the generated image signal.

画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。出力する画像信号としては、右眼画像または左眼画像の何れか一方のみの画像信号としてもよく、右眼画像と左眼画像の画像信号の両方を出力してもよい。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を距離推定部３３へ出力する。画像分割部３１は、測定光モードの照明状態で撮像された撮像画像の画像信号として、右眼画像と左眼画像の画像信号を距離推定部３３へ出力する。また、画像分割部３１は、右眼画像と左眼画像の画像信号または何れか一方の信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。   Based on the illumination mode signal from the output control unit 39, the image dividing unit 31 divides the image signal of the captured image by a screen unit, for example, a frame switching position. When the illumination mode signal indicates that the illumination is set to the correction light mode, the image division unit 31 outputs the image signal of the captured image captured in the illumination state of the correction light mode, for example, the display device 91 or the image The data is output to the recording device 92. The image signal to be output may be an image signal of only one of the right eye image and the left eye image, or both the right eye image and the left eye image may be output. Further, when the illumination mode signal indicates that the illumination is set to the measurement light mode, the image division unit 31 sends the image signal of the captured image captured in the measurement light mode illumination state to the distance estimation unit 33. Output. The image dividing unit 31 outputs the image signals of the right eye image and the left eye image to the distance estimation unit 33 as image signals of the captured image captured in the measurement light mode illumination state. Further, the image dividing unit 31 outputs the image signal of the right eye image and the left eye image or one of the signals to the corrected illumination calculating unit 38. Further, the image dividing unit 31 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode during a period in which the illumination is set to the measurement light mode. The image dividing unit 31 generates an image signal of an image corresponding to a captured image captured in the illumination state of the correction light mode by interpolation processing, and outputs the image signal to the display device 91 or the image recording device 92, for example.

距離推定部３３は、例えばパッシブステレオ計測によって被写体までの距離を推定する。距離推定部３３は、右眼画像の画像信号と左眼画像の画像信号を用いて視差量を算出する。また、距離推定部３３は、右眼画像の撮像部と左眼画像の撮像部との間隔である基線長と視差量に基づき三角測量によって被写体までの距離を推定する。   The distance estimation unit 33 estimates the distance to the subject by, for example, passive stereo measurement. The distance estimation unit 33 calculates the amount of parallax using the image signal of the right eye image and the image signal of the left eye image. The distance estimation unit 33 estimates the distance to the subject by triangulation based on the baseline length and the parallax amount that are the distance between the imaging unit for the right eye image and the imaging unit for the left eye image.

補正照明算出部３８は、距離推定部３３からの距離推定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３と同様に、被写体までの距離を考慮して照明強度を調整する。   The corrected illumination calculation unit 38 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the distance estimation result from the distance estimation unit 33 and the image signal of the captured image captured in the measurement light mode illumination state. In the measurement light illumination mode, illumination light having a constant illumination intensity distribution is output from the illumination unit 40. In a captured image captured in such a measurement light mode illumination state, a subject portion having a high reflectance and a close subject portion have high luminance, and a subject portion having a low reflectance and a remote subject portion have low luminance. Therefore, the corrected illumination calculation unit 38 can obtain a captured image that does not cause overexposure, blackout, or the like even if subject portions having different reflectances or subject portions having different distances are mixed in the imaging range. An illumination intensity distribution of illumination light in the correction light mode is calculated. The corrected illumination calculation unit 38 adjusts the illumination intensity in consideration of the distance to the subject as in the third modification.

出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。   The output control unit 39 switches the illumination mode to the measurement light mode or the correction light mode based on the control signal from the system control unit 50. Further, the output control unit 39 generates an illumination mode signal indicating whether the illumination mode is the measurement light mode or the correction light mode, and outputs the illumination mode signal to the image dividing unit 31. Further, the output control unit 39 generates an illumination control signal based on the calculation result of the illumination intensity distribution in the corrected illumination calculation unit 38 and outputs the illumination control signal to the illumination unit 40, so that the illumination intensity of the illumination light in the correction light mode is obtained. Control. In the measurement light mode, the output control unit 39 generates an illumination control signal for outputting illumination light having a constant illumination intensity distribution and outputs the illumination control signal to the illumination unit 40.

照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。   The illumination unit 40 includes a light source 41, a spatial light modulation unit 42, a light guide 45, and an illumination optical system 46. The illumination unit 40 modulates the illumination light emitted from the light source 41 by the spatial light modulation unit 42 based on the illumination control signal from the output control unit 39, and the illumination light whose illumination intensity is adjusted is illuminated with the light guide 45. The object is irradiated through the optical system 46.

システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。   The system control unit 50 operates the imaging unit 22, the illumination control unit 30, and the illumination unit 40 in synchronization. Specifically, the system control unit 50 changes the illumination mode so that an image captured in the measurement light mode illumination state and an image captured in the correction light mode illumination state are not mixed in one frame. Synchronized with the switching timing of. Note that whether the illumination mode of each frame is the measurement light mode or the correction light mode may be performed by the system control unit 50 instead of the output control unit 39.

このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。また、撮像部２２としてステレオカメラを用いることで、表示装置９１では被写体の立体表示が可能となる。また、ステレオカメラを用いることで距離測定部３２を設けることなく、被写体までの距離を考慮して白飛びや黒つぶれ等を生じないように照明強度を調整することができる。   As described above, the corrected illumination calculation unit 38 calculates the illumination intensity distribution in consideration of the distance to the subject, so that the illumination light is optimally illuminated even for the subject at the close position and the subject at the distant position. Can be adjusted to strength. In addition, by using a stereo camera as the imaging unit 22, the display device 91 can perform stereoscopic display of a subject. In addition, by using a stereo camera, it is possible to adjust the illumination intensity so as not to cause overexposure or underexposure in consideration of the distance to the subject without providing the distance measurement unit 32.

＜８．変形例５＞
変形例５は、いわゆる光切断法を用いて被写体の３次元構造解析を行い、解析結果に基づき照明強度の調整を行う場合を示している。なお、光切断法では、スリット光を被写体に照射して３次元構造解析が行われる。 <8. Modification 5>
Modification 5 shows a case where a three-dimensional structure analysis of a subject is performed using a so-called light cutting method, and the illumination intensity is adjusted based on the analysis result. In the light cutting method, a three-dimensional structure analysis is performed by irradiating a subject with slit light.

図１２は、変形例５の構成を示している。変形例５の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、３次元構造解析部３４、パターン生成部３５、補正照明算出部３８、出力制御部３９を備えている。   FIG. 12 shows a configuration of the fifth modification. The imaging device 10 of Modification 5 includes an imaging optical system 21, an imaging unit 22, an illumination control unit 30, an illumination unit 40, and a system control unit 50. The illumination control unit 30 includes an image dividing unit 31, a three-dimensional structure analysis unit 34, a pattern generation unit 35, a corrected illumination calculation unit 38, and an output control unit 39.

撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。   The imaging optical system 21 is configured using a lens unit for focusing on a subject.

撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。   The imaging unit 22 is configured using an imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and generates an image signal corresponding to a subject optical image. The imaging unit 22 performs an imaging operation in synchronization with the illumination unit 40 based on the synchronization signal from the system control unit 50. The imaging unit 22 performs various processes on the generated image signal.

画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分離する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。また、画像分割部３１は、照明モード信号によって照明が３次元測定光モードに設定されていることが示された場合、３次元測定光モードの照明状態で撮像された撮像画像の画像信号を、３次元構造解析部３４に出力する。３次元測定光モードでは、スリット光の照射とスリット光の走査（例えば平行移動）を照明部４０で行う。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。   Based on the illumination mode signal from the output control unit 39, the image dividing unit 31 separates the image signal of the captured image at a screen unit, for example, a frame switching position. When the illumination mode signal indicates that the illumination is set to the correction light mode, the image division unit 31 outputs the image signal of the captured image captured in the illumination state of the correction light mode, for example, the display device 91 or the image The data is output to the recording device 92. In addition, when the illumination mode signal indicates that the illumination is set to the measurement light mode, the image division unit 31 uses the corrected illumination calculation unit 38 to output the image signal of the captured image captured in the illumination state of the measurement light mode. Output to. Further, when the illumination mode signal indicates that the illumination is set to the three-dimensional measurement light mode, the image dividing unit 31 outputs the image signal of the captured image captured in the illumination state of the three-dimensional measurement light mode, The data is output to the three-dimensional structure analysis unit 34. In the three-dimensional measurement light mode, the illumination unit 40 performs slit light irradiation and slit light scanning (for example, parallel movement). Further, the image dividing unit 31 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode during a period in which the illumination is set to the measurement light mode. The image dividing unit 31 generates an image signal of an image corresponding to a captured image captured in the illumination state of the correction light mode by interpolation processing, and outputs the image signal to the display device 91 or the image recording device 92, for example.

３次元構造解析部３４は、画像分割部３１から供給された画像信号に基づき、スリット光が当たっている部分の形状を判別する。さらに、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析する。３次元構造解析部３４は、解析結果を補正照明算出部３８に出力する。   The three-dimensional structure analysis unit 34 determines the shape of the portion where the slit light strikes based on the image signal supplied from the image dividing unit 31. Furthermore, the three-dimensional structure of the subject is analyzed by determining the shape of the portion where the slit light strikes for each scanning position of the slit light. The three-dimensional structure analysis unit 34 outputs the analysis result to the corrected illumination calculation unit 38.

パターン生成部３５は、３次元測定用パターンとして、照明部４０からスリット光の照射およびスリット光の走査（例えば平行移動）を行うパターン信号を生成して出力制御部３９に出力する。   The pattern generation unit 35 generates a pattern signal for performing irradiation with slit light and scanning (for example, parallel movement) of slit light from the illumination unit 40 as a three-dimensional measurement pattern, and outputs the pattern signal to the output control unit 39.

補正照明算出部３８は、３次元構造解析部３４からの解析結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３，４と同様に、被写体までの距離を考慮して照明強度を調整する。   The corrected illumination calculation unit 38 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the analysis result from the three-dimensional structure analysis unit 34 and the image signal of the captured image captured in the measurement light mode illumination state. . In the measurement light illumination mode, illumination light having a constant illumination intensity distribution is output from the illumination unit 40. In a captured image captured in such a measurement light mode illumination state, a subject portion having a high reflectance and a close subject portion have high luminance, and a subject portion having a low reflectance and a remote subject portion have low luminance. Therefore, the corrected illumination calculation unit 38 can obtain a captured image that does not cause overexposure, blackout, or the like even if subject portions having different reflectances or subject portions having different distances are mixed in the imaging range. An illumination intensity distribution of illumination light in the correction light mode is calculated. The corrected illumination calculation unit 38 adjusts the illumination intensity in consideration of the distance to the subject as in the third and fourth modifications.

出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モード、補正光モード、または３次元測定光モードに切り替える。また、出力制御部３９は、照明モードが測定光モード、補正光モード、３次元測定光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。また、出力制御部３９は、３次元測定光モードの場合に、パターン生成部３５からのパターン信号に基づき照明制御信号を生成して照明部４０に出力する。   The output control unit 39 switches the illumination mode to the measurement light mode, the correction light mode, or the three-dimensional measurement light mode based on the control signal from the system control unit 50. In addition, the output control unit 39 generates an illumination mode signal indicating whether the illumination mode is the measurement light mode, the correction light mode, or the three-dimensional measurement light mode, and outputs the illumination mode signal to the image dividing unit 31. Further, the output control unit 39 generates an illumination control signal based on the calculation result of the illumination intensity distribution in the corrected illumination calculation unit 38 and outputs the illumination control signal to the illumination unit 40, so that the illumination intensity of the illumination light in the correction light mode is obtained. Control. In the measurement light mode, the output control unit 39 generates an illumination control signal for outputting illumination light having a constant illumination intensity distribution and outputs the illumination control signal to the illumination unit 40. Further, the output control unit 39 generates an illumination control signal based on the pattern signal from the pattern generation unit 35 and outputs the illumination control signal to the illumination unit 40 in the three-dimensional measurement light mode.

照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。   The illumination unit 40 includes a light source 41, a spatial light modulation unit 42, a light guide 45, and an illumination optical system 46. The illumination unit 40 modulates the illumination light emitted from the light source 41 by the spatial light modulation unit 42 based on the illumination control signal from the output control unit 39, and the illumination light whose illumination intensity is adjusted is illuminated with the light guide 45. The object is irradiated through the optical system 46.

システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像、および３次元測定光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。   The system control unit 50 operates the imaging unit 22, the illumination control unit 30, and the illumination unit 40 in synchronization. Specifically, the system control unit 50 captures an image captured in the measurement light mode illumination state, an image captured in the correction light mode illumination state, and an image captured in the three-dimensional measurement light mode illumination state. The illumination mode is switched in synchronization with the frame switching timing so as not to be mixed within one frame. Note that whether the illumination mode of each frame is the measurement light mode or the correction light mode may be performed by the system control unit 50 instead of the output control unit 39.

図１３は、変形例５における撮像装置の動作を示すフローチャートである。ステップＳＴ２１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２２に進む。   FIG. 13 is a flowchart illustrating the operation of the imaging apparatus according to the fifth modification. In step ST21, the imaging device 10 performs an imaging operation. The imaging device 10 captures a subject, generates a moving image, and proceeds to step ST22.

ステップＳＴ２２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像された撮像画像のフレームを分割する。さらに、撮像装置１０は、３次元補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ２３に進む。   In step ST22, the imaging apparatus 10 performs image division processing. The imaging apparatus 10 divides a frame of a captured image captured in the measurement light mode illumination state and a captured image frame captured in the correction light mode illumination state. Furthermore, the imaging device 10 divides the frame of the captured image captured in the illumination state of the three-dimensional correction light mode, and proceeds to step ST23.

ステップＳＴ２３で撮像装置１０は、３次元測定用照明パターン生成を行う。撮像装置１０は、スリット光の出射および走査を行うためのパターン信号を生成してステップＳＴ２４に進む。   In step ST23, the imaging apparatus 10 generates a three-dimensional measurement illumination pattern. The imaging apparatus 10 generates a pattern signal for emitting and scanning the slit light, and proceeds to step ST24.

ステップＳＴ２４で撮像装置１０は、３次元構造解析を行う。撮像装置１０は、スリット光が当たっている部分の形状を判別する。また、撮像装置１０は、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析してステップＳＴ２５に進む。   In step ST24, the imaging device 10 performs a three-dimensional structure analysis. The imaging device 10 discriminates the shape of the portion that is irradiated with the slit light. Further, the imaging device 10 determines the shape of the portion where the slit light hits for each scanning position of the slit light, thereby analyzing the three-dimensional structure of the subject and proceeds to step ST25.

ステップＳＴ２５で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ２６に進む。   In step ST25, the imaging apparatus 10 performs illumination intensity calculation / output control. The imaging apparatus 10 performs the processing of the flowchart shown in FIG. 4 to calculate the illumination intensity distribution, performs illumination light output control so that the calculated illumination intensity distribution is obtained, and proceeds to step ST26.

ステップＳＴ２６で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行う。撮像装置は、補間処理によって、測定光モードおよび３次元測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードで照明が行われている状態で撮像された撮像画像の画像信号と、測定光モードおよび３次元測定光モードに設定されている期間は補間処理によって生成した画像信号を表示装置９１や画像記録装置９２等に出力する。   In step ST26, the imaging apparatus 10 performs an interpolation process. The imaging device 10 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode. The imaging device generates an image signal of an image corresponding to the captured image captured in the illumination state of the correction light mode for the period when the illumination is performed in the measurement light mode and the three-dimensional measurement light mode by interpolation processing. To do. In addition, the imaging apparatus 10 generates an image signal of a captured image captured in a state where illumination is performed in the correction light mode, and a period set in the measurement light mode and the three-dimensional measurement light mode by interpolation processing. The image signal is output to the display device 91, the image recording device 92, and the like.

図１４は、変形例５における撮像装置の動作を示すタイミングチャートである。図１４の（Ａ）は照明モード、図１４の（Ｂ）は撮像動作のフレームを示している。図１４の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図１４の（Ｄ）は、画像分割部３１から出力される画像信号のフレーム、図１４の（Ｅ）は、補正照明算出部３８に供給される画像信号のフレーム、図１４の（Ｆ）は、３次元構造解析部３４に供給される画像信号のフレームを示している。図１４の（Ｇ）は３次元構造の解析結果、図１４の（Ｈ）は照明強度分布の算出結果を示している。図１４の（Ｉ）は照明制御信号を示している。   FIG. 14 is a timing chart illustrating the operation of the imaging apparatus according to the fifth modification. FIG. 14A shows an illumination mode, and FIG. 14B shows a frame of an imaging operation. FIG. 14C shows a frame of an image signal supplied to the image dividing unit 31. 14D shows the frame of the image signal output from the image dividing unit 31, FIG. 14E shows the frame of the image signal supplied to the corrected illumination calculation unit 38, and FIG. 14F shows the frame of FIG. A frame of an image signal supplied to the three-dimensional structure analysis unit 34 is shown. 14G shows the analysis result of the three-dimensional structure, and FIG. 14H shows the calculation result of the illumination intensity distribution. FIG. 14I shows the illumination control signal.

照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、１フレーム期間だけ３次元測定光モードで照明を行う。３次元補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。   Based on the illumination control signal from the output control unit 39, the illumination unit 40 performs illumination in the measurement light mode, for example, for one frame period, and then performs illumination in the correction light mode for the next three frame periods. When the correction light mode illumination ends, illumination is performed in the three-dimensional measurement light mode for one frame period. When the illumination in the three-dimensional correction light mode is completed, the illumination is performed again in the measurement light mode for only one frame period. Thereafter, the illumination mode is switched in the same manner.

撮像装置１０は、例えば最初のフレームＦＲ１において、図１４の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。   In the first frame FR1, for example, when the illumination mode is set to the measurement light mode (LM) as shown in FIG. 14A, the imaging device 10 receives an illustration as an illumination control signal from the output control unit 39 to the illumination unit 40. The signal “CT-LM” is output as shown in 14 (I). The signal “CT-LM” is a signal for outputting illumination light from the illumination unit 40 in the measurement light mode. In addition, the imaging unit 22 performs an imaging operation P1 of a subject that is illuminated in the measurement light mode.

２番目のフレームＦＲ２において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、図１４の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。   In the second frame FR2, when the illumination mode is set to the corrected light mode (LC) as shown in FIG. 14A, the imaging device 10 receives an illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT-L0” is output as shown at 14 (I). In this case, since the calculation of the illumination intensity distribution of the illumination light in the correction light mode has not been completed, the output control unit 39 outputs a signal “CT-L0” having the illumination intensity as an initial value. The imaging unit 22 performs an imaging operation P2 of a subject that is illuminated in the correction light mode. In addition, the imaging unit 22 supplies the image signal “D1-LM” generated in the imaging operation P1 to the image dividing unit 31 as illustrated in FIG. The image dividing unit 31 is an image signal obtained by capturing an image of an object illuminated in the measurement light mode by the image signal supplied from the imaging unit 22. Therefore, as shown in FIG. 14E, the image signal “D1-LM” is supplied to the corrected illumination calculation unit 38, and the illumination intensity distribution is calculated based on the image signal “D1-LM”.

３番目のフレームＦＲ３において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図１４の（Ｈ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。   In the third frame FR3, when the imaging mode is set to the corrected light mode (LC) as shown in FIG. 14A, the imaging device 10 transmits the illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT1” is output as shown in (I) of FIG. Here, the corrected illumination calculation unit 38 calculates the illumination intensity distribution in the corrected light mode based on the image signal “D1-LM”, and the calculation result “VM1” is obtained as shown in FIG. Suppose that In this case, the output control unit 39 generates the signal “CT1” based on the calculation result “VM1” and outputs the signal “CT1” to the illumination unit 40. Therefore, when the imaging unit 22 performs the imaging operation P3 of the subject that is illuminated in the correction light mode, the imaging unit 22 can obtain a good captured image in which no whiteout or blackout occurs. Further, as illustrated in FIG. 14C, the imaging unit 22 outputs the image signal “D2-LC” generated in the imaging operation P <b> 2 to the image dividing unit 31. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject illuminated in the correction light mode, the image dividing unit 31 outputs the image signal “D2-LC” to the display device 91 or the image recording unit. Output to the device 92.

その後、５番目のフレームＦＲ５において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを３次元測定光モード（３ＤＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-3d」を出力する。また、撮像部２２は、３次元測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。なお、信号「ＣＴ-3d」は、照明部４０から３次元測定光モードで照明光を出力させる信号である。   Thereafter, in the fifth frame FR5, the imaging apparatus 10 controls the illumination control unit 40 to control the illumination when the illumination mode is set to the three-dimensional measurement light mode (3DLM) as shown in FIG. As a signal, a signal “CT-3d” is output as shown in FIG. In addition, the imaging unit 22 performs an imaging operation P5 of a subject that is illuminated in the three-dimensional measurement light mode. The signal “CT-3d” is a signal for outputting illumination light from the illumination unit 40 in the three-dimensional measurement light mode.

６番目のフレームＦＲ６において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-3d」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が３次元測定光モードで照明が行われている被写体を撮像した画像信号であるから、図１４の（Ｆ）に示すように画像信号「Ｄ５-3d」を３次元構造解析部３４に供給して３次元構造の解析を行う。また、画像分割部３１に供給された画像信号が測定光モードまたは３次元測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。補間処理では、上述の第１〜第３の補間処理方法または他の補間処理方法を用いる。   In the sixth frame FR6, when the illumination mode is set to the corrected light mode (LC) as shown in FIG. 14A, the imaging device 10 transmits the illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT1” is output as shown in (I) of FIG. In the frame FR6, the imaging unit 22 supplies the image signal “D5-3d” generated in the imaging operation P5 to the image dividing unit 31, as illustrated in FIG. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject that is illuminated in the three-dimensional measurement light mode, the image dividing unit 31 receives the image signal as shown in FIG. “D5-3d” is supplied to the three-dimensional structure analysis unit 34 to analyze the three-dimensional structure. Further, when the image signal supplied to the image dividing unit 31 is an image signal obtained by capturing an object illuminated in the measurement light mode or the three-dimensional measurement light mode, the image signal is output to the display device 91 or the image recording device 92. The image signal is missing. Therefore, the image dividing unit 31 performs an interpolation process using an image signal obtained by imaging a subject illuminated in the measurement light mode, and the generated image signal is displayed on the display device 91 or the image recording device 92 during the period of the frame FR6. Output to. In the interpolation processing, the above-described first to third interpolation processing methods or other interpolation processing methods are used.

７番目のフレームＦＲ７において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。ここで、３次元構造解析部３４は、図１４の（Ｇ）に示すように、解析結果「ＭＥ-3d」が得られたとする。また、補正照明算出部３８は、解析結果「ＭＥ-3d」に基づいて照明強度分布の算出を行い、図１４の（Ｆ）に示すように、算出結果「ＶＭ５-3d」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５-3d」に基づき信号「ＣＴ５-3d」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。   In the seventh frame FR7, when the imaging mode is set to the corrected light mode (LC) as shown in FIG. 14A, the imaging device 10 transmits the illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT5-3d” is output as shown at 14 (I). Here, it is assumed that the three-dimensional structure analysis unit 34 has obtained an analysis result “ME-3d” as shown in FIG. Further, the corrected illumination calculation unit 38 calculates the illumination intensity distribution based on the analysis result “ME-3d”, and the calculation result “VM5-3d” is obtained as illustrated in FIG. . In this case, the output control unit 39 generates a signal “CT5-3d” based on the calculation result “VM5-3d” and outputs the signal “CT5-3d” to the illumination unit 40. Accordingly, when the imaging unit 22 performs the imaging operation P7 of the subject that is illuminated in the correction light mode, the illumination is performed with the illumination intensity distribution considering the three-dimensional structure. It is possible to obtain a good captured image in which no occurrence occurs. Further, as illustrated in FIG. 14C, the imaging unit 22 outputs the image signal “D6-LC” generated in the imaging operation P <b> 6 to the image dividing unit 31. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject illuminated in the correction light mode, the image dividing unit 31 outputs the image signal “D6-LC” to the display device 91 or the image recording unit. Output to the device 92.

８番目のフレームＦＲ８において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ８を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ７で生成した画像信号「Ｄ７-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ７-LC」を表示装置９１や画像記録装置９２へ出力する。   In the eighth frame FR8, when the imaging mode is set to the corrected light mode (LC) as shown in FIG. 14A, the imaging device 10 transmits an illumination control signal from the output control unit 39 to the illumination unit 40 as an illumination control signal. The signal “CT5-3d” is output as shown at 14 (I). Accordingly, when the imaging unit 22 performs the imaging operation P8 of the subject that is illuminated in the correction light mode, the illumination is performed with the illumination intensity distribution considering the three-dimensional structure. It is possible to obtain a good captured image in which no occurrence occurs. In addition, the imaging unit 22 outputs the image signal “D7-LC” generated in the imaging operation P7 to the image dividing unit 31, as illustrated in FIG. Since the image signal supplied from the imaging unit 22 is an image signal obtained by imaging the subject illuminated in the correction light mode, the image dividing unit 31 outputs the image signal “D7-LC” to the display device 91 or the image recording unit. Output to the device 92.

以上のように、撮像装置１０は、３次元測定光モードの照明状態で撮像された撮像画像に基づき、被写体の３次元構造を解析する。また、撮像装置１０は、補正光モードでは、近接した被写体部分に対する照明強度は低く、離れた被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、被写体の３次元構造に対応させて測定光モードにおける照明強度分布を設定できるので、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。また、撮像装置１０は、３次元測定光モードにおける撮像動作を周期的に行い、３次元測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の３次元構造の変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。   As described above, the imaging device 10 analyzes the three-dimensional structure of the subject based on the captured image captured in the illumination state of the three-dimensional measurement light mode. Further, in the correction light mode, the imaging device 10 adjusts the illumination intensity so that the illumination intensity with respect to the close subject part is low and the illumination intensity with respect to the distant subject part is high. Therefore, since the imaging apparatus 10 can set the illumination intensity distribution in the measurement light mode corresponding to the three-dimensional structure of the subject, the captured image captured in the illumination state of the measurement light mode is caused to have whiteout or blackout. It is possible to obtain a good captured image. The imaging apparatus 10 periodically performs an imaging operation in the three-dimensional measurement light mode, and calculates an illumination intensity distribution in the correction light mode based on an image signal generated by the imaging operation in the three-dimensional measurement light mode. Accordingly, even when the subject moves or the state of the subject changes during imaging, the illumination intensity distribution in the correction light mode is automatically adjusted following the change in the three-dimensional structure of the subject. For this reason, the imaging apparatus 10 can easily obtain a good captured image in which no whiteout or blackout occurs regardless of the change of the subject. In addition, the imaging device 10 can prevent the subject from being heated by illumination light.

＜９．変形例６＞
変形例６は、撮像光学系２１と照明光学系４６にズーム機能を設けた場合を示している。図１５は、変形例６の構成を示している。変形例６の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。 <9. Modification 6>
Modification 6 shows a case in which the imaging optical system 21 and the illumination optical system 46 are provided with a zoom function. FIG. 15 shows a configuration of the sixth modification. The imaging device 10 of Modification 6 includes an imaging optical system 21, an imaging unit 22, an illumination control unit 30, an illumination unit 40, and a system control unit 50. The illumination control unit 30 includes an image dividing unit 31, a corrected illumination calculation unit 38, and an output control unit 39.

撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。変形例６における撮像光学系２１では、ズームレンズが用いられており、後述するシステム制御部５０からのズーム制御信号に基づきズームレンズを駆動して、ズーム動作を行う。   The imaging optical system 21 is configured using a lens unit for focusing on a subject. The imaging optical system 21 in Modification 6 uses a zoom lens, and performs a zoom operation by driving the zoom lens based on a zoom control signal from a system control unit 50 described later.

撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。   The imaging unit 22 is configured using an imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, and generates an image signal corresponding to a subject optical image. The imaging unit 22 performs an imaging operation in synchronization with the illumination unit 40 based on the synchronization signal from the system control unit 50. The imaging unit 22 performs various processes on the generated image signal.

画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。   Based on the illumination mode signal from the output control unit 39, the image dividing unit 31 divides the image signal of the captured image by a screen unit, for example, a frame switching position. When the illumination mode signal indicates that the illumination is set to the correction light mode, the image division unit 31 outputs the image signal of the captured image captured in the illumination state of the correction light mode, for example, the display device 91 or the image The data is output to the recording device 92. In addition, when the illumination mode signal indicates that the illumination is set to the measurement light mode, the image division unit 31 uses the corrected illumination calculation unit 38 to output the image signal of the captured image captured in the illumination state of the measurement light mode. Output to. Further, the image dividing unit 31 performs an interpolation process using an image signal of a captured image captured in the illumination state of the correction light mode during a period in which the illumination is set to the measurement light mode. The image dividing unit 31 generates an image signal of an image corresponding to a captured image captured in the illumination state of the correction light mode by interpolation processing, and outputs the image signal to the display device 91 or the image recording device 92, for example.

補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近距離の被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率や距離の異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。   The corrected illumination calculation unit 38 calculates the illumination intensity distribution of the illumination light in the correction light mode based on the image signal of the captured image captured in the measurement light mode illumination state. In the measurement light illumination mode, illumination light having a constant illumination intensity distribution is output from the illumination unit 40. In a captured image captured in such a measurement light mode illumination state, a subject portion with a high reflectance and a subject portion at a short distance have high brightness, and a subject portion with a low reflectance and a subject portion with a low reflectance have low brightness. . Therefore, the corrected illumination calculation unit 38 can obtain a captured image that does not cause overexposure or blackout even when subject portions having different reflectances and distances are mixed in the imaging range. The illumination intensity distribution of the illumination light is calculated.

出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。   The output control unit 39 switches the illumination mode to the measurement light mode or the correction light mode based on the control signal from the system control unit 50. Further, the output control unit 39 generates an illumination mode signal indicating whether the illumination mode is the measurement light mode or the correction light mode, and outputs the illumination mode signal to the image dividing unit 31. Further, the output control unit 39 generates an illumination control signal based on the calculation result of the illumination intensity distribution in the corrected illumination calculation unit 38 and outputs the illumination control signal to the illumination unit 40, so that the illumination intensity of the illumination light in the correction light mode is obtained. Control. In the measurement light mode, the output control unit 39 generates an illumination control signal for outputting illumination light having a constant illumination intensity distribution and outputs the illumination control signal to the illumination unit 40.

照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。また、照明光学系４６はズーム機能が設けられており、システム制御部５０からのズーム制御信号に基づき照明光のズーム動作を行う。   The illumination unit 40 includes a light source 41, a spatial light modulation unit 42, a light guide 45, and an illumination optical system 46. The illumination unit 40 modulates the illumination light emitted from the light source 41 by the spatial light modulation unit 42 based on the illumination control signal from the output control unit 39, and the illumination light whose illumination intensity is adjusted is illuminated with the light guide 45. The object is irradiated through the optical system 46. The illumination optical system 46 is provided with a zoom function, and performs a zoom operation of illumination light based on a zoom control signal from the system control unit 50.

システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。さらに、システム制御部５０は、ユーザ等の操作に応じてズーム制御信号を生成して撮像光学系２１と照明光学系４６へ出力することで、撮像光学系２１と照明光学系４６の動作を連動させる。   The system control unit 50 operates the imaging unit 22, the illumination control unit 30, and the illumination unit 40 in synchronization. Specifically, the system control unit 50 changes the illumination mode so that an image captured in the measurement light mode illumination state and an image captured in the correction light mode illumination state are not mixed in one frame. Synchronized with the switching timing of. Note that whether the illumination mode of each frame is the measurement light mode or the correction light mode may be performed by the system control unit 50 instead of the output control unit 39. Further, the system control unit 50 generates a zoom control signal in response to an operation by the user and outputs the zoom control signal to the imaging optical system 21 and the illumination optical system 46, thereby interlocking the operations of the imaging optical system 21 and the illumination optical system 46. Let

このように、撮像光学系２１と照明光学系４６のズーム動作を連動させることで、撮像光学系でズーム動作が行われた場合でも、白飛びが黒つぶれを生じないように照明部４０の動作を連動させることができる。   In this way, by linking the zoom operations of the imaging optical system 21 and the illumination optical system 46, the operation of the illumination unit 40 is performed so that the whiteout does not cause blackout even when the zoom operation is performed in the imaging optical system. Can be linked.

＜１０．変形例７＞
変形例７は、図１６に示すように、照明光の光路についての変形例である。図１６の（Ａ）は硬性内視鏡装置、図１６の（Ｂ）は軟性内視鏡装置、図１６の（Ｃ）はカプセル内視鏡装置の場合を図示している。 <10. Modification 7>
Modification 7 is a modification of the optical path of the illumination light as shown in FIG. 16A shows a case of a rigid endoscope apparatus, FIG. 16B shows a case of a flexible endoscope apparatus, and FIG. 16C shows a case of a capsule endoscope apparatus.

硬性内視鏡装置の場合、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射させる。ビームスプリッタ７２は、照明部４０から出射された照明を挿入部１１ａのイメージガイドシャフト内のリレーレンズや撮像光学系を介して被写体に出射させる。また、ビームスプリッタ７２は、撮像光学系および挿入部１１ａのイメージガイドシャフト内のリレーレンズを介して供給された観察対象からの光を撮像部２２に出射する。   In the case of the rigid endoscope apparatus, the illumination light emitted from the illumination unit 40 is incident on the beam splitter 72 by the mirror 71. The beam splitter 72 causes the illumination emitted from the illumination unit 40 to be emitted to the subject via a relay lens or an imaging optical system in the image guide shaft of the insertion unit 11a. The beam splitter 72 emits light from the observation target supplied to the imaging unit 22 via the imaging optical system and a relay lens in the image guide shaft of the insertion unit 11a.

軟性内視鏡装置も硬性内視鏡装置と同様に、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、可撓性を有している挿入部１１ｂのライトガイドに入射する。また、ビームスプリッタ７２は、撮像光学系やライトガイドを介して供給された観察対象からの光を、撮像部２２に出射する。   Similarly to the rigid endoscope apparatus, the flexible endoscope apparatus also makes the illumination light emitted from the illumination unit 40 enter the beam splitter 72 through the mirror 71. The beam splitter 72 makes the illumination emitted from the illumination unit 40 enter the light guide of the insertion portion 11b having flexibility. The beam splitter 72 emits light from the observation target supplied via the imaging optical system and the light guide to the imaging unit 22.

カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。照明部４０から出射された照明光はミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、撮像光学系２１を介して被写体に出射する。また、ビームスプリッタ７２は、撮像光学系２１を介して供給された観察対象からの光を、撮像部２２に出射する。   In the capsule endoscope apparatus, for example, an imaging optical system 21, an imaging unit 22, an illumination control unit 30, and an illumination unit 40 are provided inside the housing 13. The capsule endoscope apparatus is also provided with a wireless communication unit 81, a power supply unit 82, and the like for performing transmission of image signals after processing and the like. The illumination light emitted from the illumination unit 40 is incident on the beam splitter 72 by the mirror 71. The beam splitter 72 emits the illumination emitted from the illumination unit 40 to the subject via the imaging optical system 21. The beam splitter 72 emits light from the observation target supplied via the imaging optical system 21 to the imaging unit 22.

このように、ミラー７１とビームスプリッタ７２を光路制御部として用いて、被写体からの光を撮像部２２に導く光路を照明光の光路としても用いることで、照明光の光路を別個に設けた場合に比べて挿入部やカプセル内視鏡装置の構成を簡単とすることができる。   In this way, when the mirror 71 and the beam splitter 72 are used as the optical path control unit, and the optical path for guiding the light from the subject to the imaging unit 22 is also used as the optical path of the illumination light, the optical path of the illumination light is provided separately. As compared with the configuration, the configuration of the insertion portion and the capsule endoscope apparatus can be simplified.

以上、実施の形態およびいくつかの変形例を用いて本技術について説明したが、本技術は、実施の形態およびいくつかの変形例に限られず、上述の実施の形態および変形例を組み合わせてもよい。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。   As mentioned above, although this technique was demonstrated using embodiment and some modifications, this technique is not restricted to embodiment and some modifications, Even if it combines the above-mentioned embodiment and modifications. Good. The series of processing described in the specification can be executed by hardware, software, or a combined configuration of both. When processing by software is executed, a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware. Alternatively, the program can be installed and executed on a general-purpose computer capable of executing various processes.

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。   For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory card. Can be stored (recorded). Such a removable recording medium can be provided as so-called package software.

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。   In addition to installing the program from the removable recording medium to the computer, the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.

また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。   Further, the present technology should not be construed as being limited to the embodiments of the technology described above. The embodiments of this technology disclose the present technology in the form of examples, and it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present technology. In other words, in order to determine the gist of the present technology, the claims should be taken into consideration.

本技術の画像処理装置と画像処理方法では、撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードの照明状態で撮像された画像は、被写体に応じた空間分解能の高い配光制御が行われている照明状態で撮像された画像となり、例えば白飛びや黒つぶれ等を生じていない撮像画像を生成できるようになる。したがって、内視鏡装置やファイバースコープカメラ等に適している。   In the image processing apparatus and the image processing method of the present technology, an image captured in the measurement light mode illumination state in which the illumination intensity distribution is a predetermined spatial distribution is divided from the captured image. Based on the divided image, an illumination intensity distribution in a correction light mode that performs illumination according to the subject is calculated, and output control of illumination light in the correction light mode is performed based on the calculated illumination intensity distribution. . For this reason, an image captured in the illumination state of the correction light mode becomes an image captured in an illumination state in which light distribution control with high spatial resolution according to the subject is performed. A captured image that has not been generated can be generated. Therefore, it is suitable for an endoscope apparatus, a fiberscope camera, and the like.

１０・・・撮像装置、１１ａ・・・挿入部、１１ｂ・・・挿入部、１２・・・操作部、１３・・・筐体、２１・・・撮像光学系、２２・・・撮像部、３０・・・照明制御部、３１・・・画像分割部、３２・・・距離測定部、３３・・・距離推定部、３４・・・３次元構造推定部、３５・・・パターン生成部、３８・・・補正照明算出部、３９・・・出力制御部、４０・・・照明部、４１・・・光源、４２・・・空間光変調部、４３・・・自発光素子部、４５・・・ライトガイド、４６・・・照明光学系、５０・・・システム制御部、７１・・・ミラー、７２・・・ビームスプリッタ、８１・・・無線通信部、８２・・・電源部、９１・・・表示装置、９２・・・画像記録装置、３８１・・・色分離部、３８２Ｂ・・・青光補正照明算出部、３８２Ｇ・・・緑光補正照明算出部、３８２Ｒ・・・赤光補正照明算出部、３８３・・・計算結果統合部   DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11a ... Insertion part, 11b ... Insertion part, 12 ... Operation part, 13 ... Housing | casing, 21 ... Imaging optical system, 22 ... Imaging part, 30 ... Illumination control unit, 31 ... Image division unit, 32 ... Distance measurement unit, 33 ... Distance estimation unit, 34 ... Three-dimensional structure estimation unit, 35 ... Pattern generation unit, 38 ... corrected illumination calculation unit, 39 ... output control unit, 40 ... illumination unit, 41 ... light source, 42 ... spatial light modulation unit, 43 ... self-emitting element unit, 45. ..Light guide, 46... Illumination optical system, 50... System controller, 71... Mirror, 72 .. Beam splitter, 81. ... Display device, 92 ... Image recording device, 381 ... Color separation unit, 382B ... Blue light correction illumination calculation unit, 3 2G ... green light correction illumination calculation unit, 382R ... red light correction illumination calculation unit, 383 ... calculation result integration unit

Claims (16)

所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、
前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、
前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する
画像処理装置。 The illumination mode is set to the measurement light mode at a predetermined frame interval, and the illumination mode is corrected for an image captured in an illumination state in which the illumination intensity distribution is a predetermined spatial distribution and a frame period that is not set to the measurement light mode. An image dividing unit that sets the light mode and performs light distribution control for controlling the amount of light for each partial region and divides the captured image;
Each time an image captured in the measurement light mode is obtained, a correction illumination calculation unit that calculates a light amount for each partial region in the correction light mode based on the image ;
An output unit that outputs an image captured in the correction light mode as an output image;
The image dividing unit performs interpolation using an image captured in the illumination state of the correction light mode, and performs imaging in the illumination state of the correction light mode corresponding to an image period captured in the illumination state of the measurement light mode. Image processing apparatus for generating a processed image. 前記所定の空間分布は、照明強度が一定である空間分布である
請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the predetermined spatial distribution is a spatial distribution with a constant illumination intensity. 前記測定光モードにおける照明光は、３次元構造解析を行うための照明光であり、所定の照明光パターンを有する
請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the illumination light in the measurement light mode is illumination light for performing a three-dimensional structural analysis and has a predetermined illumination light pattern. 前記測定光モードにおける照明光は、距離測定のための測距光である
請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the illumination light in the measurement light mode is distance measurement light for distance measurement. 前記補正照明算出部は、前記距離測定の結果に基づいて配光制御を行う
請求項４記載の画像処理装置。 The image processing apparatus according to claim 4 , wherein the corrected illumination calculation unit performs light distribution control based on a result of the distance measurement. 前記補正照明算出部は、前記部分領域毎の輝度に基づいて、照明強度分布を算出する
請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the corrected illumination calculation unit calculates an illumination intensity distribution based on a luminance for each partial region. 前記補正照明算出部は、前記測定光モードの照明状態で撮像された画像の色分離処理を行い、色成分毎の画像に基づいて前記補正光モードでの照明強度分布を算出する
請求項１記載の画像処理装置。 The correction illumination calculation unit performs color separation processing of an image captured in the illumination state of the measurement light mode, and calculates an illumination intensity distribution in the correction light mode based on an image for each color component. Image processing apparatus. 前記補正照明算出部は、前記色成分毎の画像における部分領域毎の画像に基づいて、各色成分毎に照明強度の分布を算出する
請求項７記載の画像処理装置。 The image processing apparatus according to claim 7, wherein the corrected illumination calculation unit calculates a distribution of illumination intensity for each color component based on an image for each partial region in the image for each color component. 補正照明算出部で算出された光量に基づいて前記補正光モードにおける照明光の出力制御を行う出力制御部を有する
請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising: an output control unit that performs output control of illumination light in the correction light mode based on the light amount calculated by the correction illumination calculation unit. 撮像画像の生成を行う撮像部、および前記画像分割部と前記補正照明算出部と前記出力制御部を同期して動作させる動作制御部をさらに備える
請求項９記載の画像処理装置。 The image processing apparatus according to claim 9 , further comprising: an imaging unit that generates a captured image; and an operation control unit that operates the image dividing unit, the corrected illumination calculation unit, and the output control unit in synchronization. 被写体からの光を前記撮像部に導く光路を、前記測定光モードおよび前記補正光モードの照明光の光路として用いる光路制御部をさらに備える
請求項１０記載の画像処理装置。 The image processing apparatus according to claim 10 , further comprising: an optical path control unit that uses an optical path that guides light from a subject to the imaging unit as an optical path of illumination light in the measurement light mode and the correction light mode. 前記補正光モードで照明を行う照明部は、前記出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする
請求項９記載の画像処理装置。 The illumination unit that performs illumination in the correction light mode performs spatial light modulation of the illumination light output from the light source based on a control signal from the output control unit, and calculates an illumination intensity distribution of the illumination light output in the correction light mode. The image processing apparatus according to claim 9 , wherein the distribution is calculated by the corrected illumination calculation unit. 前記補正光モードで照明を行う照明部は、前記出力制御部からの制御信号に基づき自発光素子を駆動して、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする
請求項９記載の画像処理装置。 The illumination unit that performs illumination in the corrected light mode drives a self-luminous element based on a control signal from the output control unit, and calculates an illumination intensity distribution of illumination light output in the corrected light mode as the corrected illumination calculation unit. The image processing apparatus according to claim 9 , wherein the distribution is calculated as follows. 前記撮像画像の生成に用いる撮像光学系と、照明光の出射に用いる照明光学系のレンズを駆動して焦点距離を可変するズーム動作を同期して行い、撮像画角の変化に応じて照明範囲を変化させる
請求項１記載の画像処理装置。 The imaging optical system used for generating the captured image and the zoom operation for changing the focal length by driving the lenses of the illumination optical system used for emitting the illumination light are synchronized, and the illumination range is changed according to the change in the imaging angle of view. The image processing apparatus according to claim 1, wherein: 所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を画像分割部で分割することと、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を補正照明算出部で算出することと、
前記補正光モードで撮像された画像を出力部から出力画像として出力することと、
前記画像分割部において、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成することと
含む画像処理装置の作動方法。 The illumination mode is set to the measurement light mode at a predetermined frame interval, and the illumination mode is corrected for an image captured in an illumination state in which the illumination intensity distribution is a predetermined spatial distribution and a frame period that is not set to the measurement light mode. Set to the light mode, perform light distribution control to control the amount of light for each partial region , and divide the captured image by the image dividing unit;
Every time an image captured in the measurement light mode is obtained, a light amount for each partial region in the correction light mode is calculated by the correction illumination calculation unit based on the image ;
Outputting an image captured in the correction light mode as an output image from an output unit;
In the image dividing unit, interpolation is performed using an image captured in the illumination state of the correction light mode, and imaging is performed in the illumination state of the correction light mode corresponding to an image period captured in the illumination state of the measurement light mode. A method of operating an image processing apparatus including generating a processed image. 所定の空間解像度を有する照明部と、
前記照明部から出力された照明光が照射された被写体の撮像を行う撮像部と、
所定フレーム間隔で照明モードを測定光モードに設定して、照明強度分布が所定の空間分布である照明状態で撮像された画像と、前記測定光モードに設定されていないフレーム期間は照明モードを補正光モードに設定して、部分領域毎に光量を制御する配光制御を行い撮像された画像を分割する画像分割部と、
前記測定光モードで撮像された画像が得られる毎に、該画像に基づいて前記補正光モードにおける部分領域毎の光量を算出する補正照明算出部と、
前記補正光モードで撮像された画像を出力画像として出力する出力部とを備え、
前記画像分割部は、前記補正光モードの照明状態で撮像された画像を用いて補間を行い、前記測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する撮像装置。 An illumination unit having a predetermined spatial resolution;
An imaging unit for imaging a subject irradiated with illumination light output from the illumination unit;
The illumination mode is set to the measurement light mode at a predetermined frame interval, and the illumination mode is corrected for an image captured in an illumination state in which the illumination intensity distribution is a predetermined spatial distribution and a frame period that is not set to the measurement light mode. An image dividing unit that sets the light mode and performs light distribution control for controlling the amount of light for each partial region and divides the captured image;
Each time an image captured in the measurement light mode is obtained, a correction illumination calculation unit that calculates a light amount for each partial region in the correction light mode based on the image ;
An output unit that outputs an image captured in the correction light mode as an output image;
The image dividing unit performs interpolation using an image captured in the illumination state of the correction light mode, and performs imaging in the illumination state of the correction light mode corresponding to an image period captured in the illumination state of the measurement light mode. Imaging device for generating a processed image.
JP2017020203A 2017-02-07 2017-02-07 Image processing apparatus, method of operating image processing apparatus, and imaging apparatus Expired - Fee Related JP6460133B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017020203A JP6460133B2 (en) 2017-02-07 2017-02-07 Image processing apparatus, method of operating image processing apparatus, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020203A JP6460133B2 (en) 2017-02-07 2017-02-07 Image processing apparatus, method of operating image processing apparatus, and imaging apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012094660A Division JP6089436B2 (en) 2012-04-18 2012-04-18 Image processing apparatus, method of operating image processing apparatus, and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2017119146A JP2017119146A (en) 2017-07-06
JP6460133B2 true JP6460133B2 (en) 2019-01-30

Family

ID=59272599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020203A Expired - Fee Related JP6460133B2 (en) 2017-02-07 2017-02-07 Image processing apparatus, method of operating image processing apparatus, and imaging apparatus

Country Status (1)

Country Link
JP (1) JP6460133B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441822B2 (en) 2019-03-19 2024-03-01 ソニー・オリンパスメディカルソリューションズ株式会社 Medical control equipment and medical observation equipment
JP7367930B2 (en) * 2019-12-09 2023-10-24 株式会社島津製作所 Image display system for mobile objects

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370912B2 (en) * 1997-11-14 2003-01-27 松下電器産業株式会社 Imaging device
JP2001235686A (en) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd Endoscope device
JP2001281559A (en) * 2000-03-31 2001-10-10 Olympus Optical Co Ltd Endoscope instrument
JP4278086B2 (en) * 2003-02-24 2009-06-10 Ｈｏｙａ株式会社 Scanning confocal probe
JP2005160815A (en) * 2003-12-03 2005-06-23 Olympus Corp Optical imaging apparatus
JP4276629B2 (en) * 2005-01-25 2009-06-10 Ｈｏｙａ株式会社 Electronic endoscope device
JP2011206435A (en) * 2010-03-30 2011-10-20 Fujifilm Corp Imaging device, imaging method, imaging program and endoscope
EP2537456B1 (en) * 2010-06-25 2014-12-03 Olympus Medical Systems Corp. Endoscope device

Also Published As

Publication number Publication date
JP2017119146A (en) 2017-07-06

Similar Documents

Publication Publication Date Title
JP6089436B2 (en) Image processing apparatus, method of operating image processing apparatus, and imaging apparatus
US20240000295A1 (en) Light field capture and rendering for head-mounted displays
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
JP5108093B2 (en) Imaging apparatus and imaging method
JP5856733B2 (en) Imaging device
WO2019123796A1 (en) Endoscope system
JP7289653B2 (en) Control device, endoscope imaging device, control method, program and endoscope system
JP6017735B2 (en) Imaging system
JP5860663B2 (en) Stereo imaging device
US20210282630A1 (en) Image processing device and method, endoscope system, and program
WO2018211588A1 (en) Image capture device, image capture method, and program
WO2017022324A1 (en) Image signal processing method, image signal processing device and image signal processing program
JP6460133B2 (en) Image processing apparatus, method of operating image processing apparatus, and imaging apparatus
JP2015046019A (en) Image processing device, imaging device, imaging system, image processing method, program, and storage medium
JP2010085472A (en) Image projection/imaging apparatus
JP2013073076A (en) Projection type video display device
JP2014228851A (en) Endoscope device, image acquisition method, and image acquisition program
US10921577B2 (en) Endoscope device
US9232196B2 (en) Image capturing apparatus and endoscope system
US11717138B2 (en) Imaging unit, endoscope and endoscope system having optical systems with overlapping depth of fields
JP6257475B2 (en) Scanning endoscope device
JP2016106867A (en) Electronic scope, and electronic endoscope system
JP6983531B2 (en) Distance measuring device, distance measuring system, and distance measuring method
WO2023042354A1 (en) Endoscope processor, program, and method for controlling focus lens
WO2019082278A1 (en) Endoscope device and operation method of endoscope device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R151 Written notification of patent or utility model registration

Ref document number: 6460133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees