JP4162842B2 - Imaging apparatus and image pickup method - Google Patents

Imaging apparatus and image pickup method Download PDF

Info

Publication number
JP4162842B2
JP4162842B2 JP2000285383A JP2000285383A JP4162842B2 JP 4162842 B2 JP4162842 B2 JP 4162842B2 JP 2000285383 A JP2000285383 A JP 2000285383A JP 2000285383 A JP2000285383 A JP 2000285383A JP 4162842 B2 JP4162842 B2 JP 4162842B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
mirror
depth
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000285383A
Other languages
Japanese (ja)
Other versions
JP2002095016A (en )
Inventor
修司 小野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、画像撮像装置、画像撮像システム、画像処理方法及び記録媒体に関する。 The present invention relates to an image capturing apparatus, an image capturing system, an image processing method, and a recording medium. 特に本発明は、鏡像に基づいて被写体の奥行き情報を取得する画像撮像装置、画像撮像システム、画像処理方法及び記録媒体に関する。 In particular, the present invention relates to an image capturing apparatus for obtaining depth information of the object based on the mirror image, the image capturing system, an image processing method, and a recording medium.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
被写体の3次元情報を取得する方法として、人間の両眼立体視の機能を真似て、カメラを2台並べて、異なる2つの視点から被写体を見た場合の視差画像を撮像し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。 As a method for obtaining three-dimensional information of the object, imitating human features binocular stereopsis, the camera side by side two images a parallax image, resulting from viewing an object from two different viewpoints, the object depth values from old and technique of stereo photography to measure. さらに被写体の裏側の奥行き値も測定したいときは、被写体を回転させたり、撮影装置を裏側に回り込ませたり、複数台の撮影装置を準備し被写体の周りに配置したりして、ステレオ撮影を行う方法が提案されている。 Moreover when you want also measured depth value of the back side of the subject, or rotate the object, or to go around the imaging device on the back side, preparing a plurality of imaging devices or placed around the object, it performs stereo imaging methods have been proposed.
【0003】 [0003]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、被写体を回転させたり、撮影装置を裏側に回り込ませたり、撮影する場合、瞬時に撮影が完了しないために動きのある被写体には効果的ではなかった。 However, or rotate the object, or to go around the imaging device on the back side, when photographing, was not effective for a moving subject to instant photography is not completed. また、複数台の撮影装置を配置して撮影する場合、撮影のコストが大きくなり、また装置全体も大掛かりで複雑なものになってしまうという問題があった。 Also, when photographing by arranging a plurality of imaging apparatus, the cost of photographing is increased, also has a problem that the entire apparatus also becomes what large and complicated.
【0004】 [0004]
そこで本発明は、上記の課題を解決することのできる画像撮像装置、画像撮像システム、画像処理方法及び記録媒体を提供することを目的とする。 Accordingly, the present invention aims at providing an image capturing apparatus which can solve the above problems, an image capturing system, an image processing method and a recording medium. この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。 This object is achieved by combinations described in the independent claims. また従属項は本発明の更なる有利な具体例を規定する。 The dependent claims define further advantageous specific examples of the present invention.
【0005】 [0005]
【課題を解決するための手段】 In order to solve the problems]
即ち、本発明の第1の形態によると、被写体の奥行きに関する情報を取得する画像撮像装置であって、被写体が鏡に映された鏡像を撮像する撮像部と、撮像部が撮像した画像に基づき鏡に映された被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、被写体の鏡像と被写体との相対的な位置情報、及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。 That is, according to a first embodiment of the present invention, there is provided a imaging apparatus for acquiring information on the depth of the subject, an imaging unit for imaging a mirror image object is projected on the mirror, based on the image capturing section has captured relative position information of the temporary depth calculation unit for calculating the depth distribution information indicating a distribution of the depth in the region of the object mirrored in the mirror, the mirror image and the object of the subject, and based on the depth distribution information, the subject and a depth calculating unit for obtaining depth information of a portion that is mirrored in the mirror.
【0006】 [0006]
奥行き算出部は、撮像装置から被写体までの第1の距離、撮像装置から鏡像までの第2の距離及び奥行き分布情報に基づいて、被写体における鏡に映された部分の奥行き情報を取得してもよい。 Depth calculation unit, a first distance from the imaging apparatus to the object, based on the second distance and depth distribution information from the imaging device to mirror image, also acquire depth information of the portion mirrored in the mirror in the subject good. 奥行き算出部は、撮像装置から被写体までの方向及び撮像装置から鏡像までの方向をさらに用いて、被写体における鏡に映された部分の奥行き情報を取得してもよい。 Depth calculation unit further using the direction from the imaging device to mirror the direction and an imaging device to the object, may be acquired depth information of a portion mirrored in the mirror in the subject. 奥行き算出部は、被写体が直接撮像された実像の大きさ及び鏡像の大きさを比較することにより、撮像装置から被写体までの距離と撮像装置から鏡像までの距離の比を算出し、距離の比及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得してもよい。 Depth calculation unit, by comparing the size and magnitude of the mirror image of the real image of the subject is captured directly calculates the ratio of the distance from the distance and the imaging device to an object to mirror image from the imaging device, a distance ratio of and based on the depth distribution information may acquire the depth information of the part being mirrored in the mirror in the subject.
【0007】 [0007]
撮像部は、被写体及び鏡像の画像を撮像し、同一又は類似の形状もしくは色彩を有する複数の像が撮像されている場合において、撮像装置から複数の像のそれぞれまでの距離に基づいて、いずれの像が被写体を直接撮像した実像であるかを判断する判断部をさらに備えてもよい。 Imaging unit captures an image of an object and mirror image, when a plurality of images having the same or similar shape or color is captured, based on the distance to each of the plurality of images from the imaging device, either image may further include a determining section for determining whether the real image of the captured subject directly. 判断部は、複数の像における実像以外の像を鏡像と判断し、鏡像において同一又は類似の像に連続している部分を実像における同一又は類似の像に連続する部分の鏡像であると判断してもよい。 Determination unit determines an image other than the real image at a plurality of image a mirror image, it is determined that a mirror image of the portion continuous with the same or similar image in real image the portion continuous with the same or similar image in mirror image it may be. 撮像装置から被写体までの距離及び方向並びに撮像装置から鏡像までの距離及び方向に基づいて、被写体におけるいずれの部分が鏡像として映されているかを判断する判断部をさらに備えてもよい。 Based on the distance and direction from the imaging device to mirror the distance and direction, as well as an imaging device to an object, it may further include a determination unit for any part to determine whether the mirrored as a mirror image in the subject.
【0008】 [0008]
鏡の位置が既知であり、被写体の位置及び鏡の位置に基づいて、鏡に映されている鏡像の領域を判断する判断部をさらに備えてもよい。 Position of the mirror is known, based on the position of the position and the mirror of the object, it may further include a determining section for determining an area of ​​the mirror which is mirrored in the mirror. 鏡の位置が既知であり、奥行き算出部は、被写体の位置及び鏡の位置に基づいて、被写体と鏡像との相対的な位置情報を算出してもよい。 Mirror position is known, the depth calculation unit, based on the position of the position and the mirror of the object may be calculated relative position information of the object and mirror image. 撮像部は、異なる2つの視点位置から鏡像の視差画像を撮像し、仮奥行き算出部は、視差画像に基づき奥行き分布情報を算出してもよい。 Imaging unit captures the parallax image of a mirror from two different viewpoint positions, tentative depth calculation unit may calculate the depth distribution information based on the parallax image. 撮像部は、パターンの投影された被写体が鏡に映された鏡像をパターンの照射位置とは異なる位置で撮像し、仮奥行き算出部は、撮像部が撮像したパターンの投影された鏡像の画像に基づき奥行き分布情報を算出してもよい。 Imaging unit takes an image at a position different from the irradiation position of the pattern mirror image a subject projected pattern was mirrored in the mirror, the temporary depth calculation unit, the image of the projected mirror image of the pattern imaging unit has captured it may calculate the depth distribution information based.
【0009】 [0009]
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像撮像システムであって、被写体の鏡像を映す鏡面を有する鏡像表示部と、鏡像の画像を撮像する撮像部と、撮像部が撮像した画像に基づき鏡面に映された被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、被写体の鏡像と前記鏡面との相対的位置情報及び奥行き分布情報に基づき、被写体における鏡面に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。 According to another aspect of the present invention, there is provided an image imaging system to obtain information about the depth of the object, a mirror image display unit having a mirror that reflects the mirror image of the subject, an imaging unit for capturing an image of the mirror, the imaging unit based on the relative position information and depth distribution information of the temporary depth calculation unit for calculating the depth distribution information indicating a distribution of the depth in the region of a subject imaged to a mirror on the basis of the images captured, and the mirror surface and the mirror image of the subject , and a depth calculation unit for acquiring the depth information of the portion being projected on the mirror surface in the subject.
【0010】 [0010]
鏡像表示部は、鏡面上に特定の模様を有し、画像における特定の像と模様が重なる場合に、像が鏡面に映された像であると判断する判断部をさらに備えてもよい。 Mirror image display unit has a specific pattern on the mirror surface, if a particular image and pattern in the images overlap, the image may further include a determining section for determining that an image that is projected on the mirror surface. 鏡像表示部は、鏡面を撮像部の光軸に平行に配置してもよい。 Mirror image display unit may be arranged parallel to the optical axis of the imaging unit mirror. 撮像部は、広い視野角の光学レンズを有し、視点位置を光軸方向に移動させて異なる2つの視点位置で撮像してもよい。 The imaging unit has an optical lens of a wide viewing angle, the viewpoint position may be captured by two viewpoints different positions by moving in the optical axis direction. 鏡像表示部は、鏡面を、撮像部の光軸に垂直に、撮像装置から見た場合に被写体の後方に配置してもよい。 Mirror display unit, a mirror, perpendicular to the optical axis of the imaging unit may be arranged behind the object when viewed from the imaging device. 鏡像表示部は、被写体を囲むように光軸に平行に1以上の鏡面をさらに配置してもよい。 Mirror image display unit may be further arranged one or more mirror parallel to the optical axis so as to surround the subject.
【0011】 [0011]
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像処理装置であって、異なる2つの視点位置から被写体が鏡に映された鏡像を見た場合に得られる被写体の視差画像を入力する入力部と、視差画像に基づき、鏡に映された被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出部と、被写体の鏡像と被写体との相対的な位置情報及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。 According to another aspect of the present invention, an image processing apparatus for acquiring information on the depth of the object, the parallax image of the object obtained when viewed mirror images subject is imaged in a mirror from two different viewing position an input unit for inputting, based on the parallax images, the relative position information of the temporary depth calculation unit for obtaining depth-distribution information indicating the depth distribution in the region of the subject mirrored in the mirror, the mirror image and the object of the subject and based on the depth distribution information, and a depth calculation unit for acquiring the depth information of the part being mirrored in the mirror in the subject.
【0012】 [0012]
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像撮像方法であって、被写体の鏡像を鏡に映し、異なる2つの視点位置から鏡像の視差画像を撮像し、被写体の鏡像と被写体との相対的な位置情報及び視差画像に基づいて、被写体における鏡に映されている部分の奥行き情報を算出する。 According to another aspect of the present invention, there is provided an image capturing method for obtaining information regarding the depth of the object, reflects the mirror image of an object in a mirror, images the parallax image of a mirror from two different viewing position, the mirror image of an object based on the relative position information and parallax images to the subject, it calculates the depth information of the part being mirrored in the mirror in the subject.
【0013】 [0013]
本発明の他の形態によると、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、異なる2つの視点位置から被写体が鏡に映された鏡像を見た場合に得られる被写体の視差画像を入力する入力モジュールと、視差画像に基づき、鏡に映された被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出モジュールと、被写体の鏡像と被写体との相対的な位置情報及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出モジュールとを備えた。 According to another aspect of the present invention, there is provided a recording medium storing a program for a computer to obtain information about the depth of the object, the program saw a mirror image of the subject is projected on the mirror from two different viewing position an input module for inputting the parallax images of the subject obtained when, based on the parallax image, and the tentative depth calculating module for acquiring depth distribution information indicating the depth distribution in the region of the object mirrored in the mirror, and a mirror image of an object based on the relative position information and depth distribution information of the object, and a depth calculating module for acquiring the depth information of the portion it is mirrored in the mirror in the subject.
【0014】 [0014]
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。 The summary of the invention does not enumerate all the necessary features of the present invention may also be a sub-combination of these described features.
【0015】 [0015]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be described below through an embodiment of the invention, solving the following embodiments are not intended to limit the scope of the present invention, and all combinations of features described in the embodiments are INVENTION not necessarily essential to the means.
【0016】 [0016]
(実施形態1) (Embodiment 1)
本発明の第1の実施形態を説明する。 Illustrating a first embodiment of the present invention. 図1は、画像撮像装置の一例としてのデジタルカメラ10の構成図である。 Figure 1 is a block diagram of a digital camera 10 as an example of an image capturing apparatus. デジタルカメラ10には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。 The digital camera 10 includes a digital video camera or the like capable of capturing a digital still camera or a still image. デジタルカメラ10は、主に撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。 The digital camera 10 includes a main image pickup unit 20, the imaging control unit 40, processing unit 60, the display unit 100 and operation unit 110.
【0017】 [0017]
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。 Imaging unit 20 includes a mechanism member and the electrical member on imaging and imaging. 撮像ユニット20はまず、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、固体撮像素子の一例であるCCD30、および撮像信号処理部32を含む。 The imaging unit 20 first imaging lens 22 subjected to capture and process an image, including a stop 24, a shutter 26, an optical LPF (low pass filter) 28, which is an example of a solid-state imaging device CCD30 and the imaging signal processing section 32,. 撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。 Photographing lens 22 is composed of a focus lens and a zoom lens. この構成により、被写体像がCCD30の受光面上に結像する。 This configuration object image is formed on the light receiving surface of the CCD 30. 結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。 Depending on the amount of the formed subject image, charges to each sensor element of the CCD 30 (not shown) is accumulated (hereinafter the charge of "stored charge"). 蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。 Accumulated charge is read into the shift register (not shown) by a lead gate pulse is sequentially read as a voltage signal by a register transfer pulse.
【0018】 [0018]
デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。 Since the digital camera 10 generally has an electronic shutter function, a mechanical shutter such as the shutter 26 is not essential. 電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。 To realize the electronic shutter function, a shutter drain is provided through a shutter gate CCD 30. シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。 Accumulated charge and drives the shutter gate are swept out to the shutter drain. シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。 The control of the shutter gate, time for accumulating charges in each sensor element, i.e. control the shutter speed.
【0019】 [0019]
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。 Voltage signal output from the CCD 30, i.e. the analog signal is color-separated into R, G, and B components in the imaging signal processing section 32, the white balance first, is adjusted. つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。 The imaging signal processing section 32 subsequently performs gamma correction, R at necessary timing, G, sequentially A / D-converts the B signal, the resulting digital image data (hereinafter simply referred to as "digital image data" ) to the processing unit 60.
【0020】 [0020]
撮像ユニット20はさらに、ファインダ34とストロボ36を有する。 The imaging unit 20 further includes a viewfinder 34 and a strobe 36. ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。 It may be furnished an LCD not shown in the finder 34, in which case, it is possible to display various types of information from the main CPU62, etc., described later in the finder 34. ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。 Strobe 36 functions by energy stored in a capacitor (not shown) which emits light when supplied to the discharge tube 36a.
【0021】 [0021]
撮像制御ユニット40は、レンズ駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。 Imaging control unit 40, a lens driving unit 42, focus driver 44, aperture driving unit 46, a shutter driving unit 48, an imaging system CPU50 which controls them, with the distance measuring sensor 52 and the photometry sensor 54,. レンズ駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。 Driving unit such as a lens driving unit 42 includes a driving means such as a stepping motor, respectively. 後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。 Response to the pressing of the later of the release switch 114, the distance sensor 52 measures the distance to the object, the photometry sensor 54 measures the subject brightness. 測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。 The measured distance data (hereinafter simply "distance data" hereinafter) data and the subject brightness (hereinafter simply referred to as "photometric data") are sent to the imaging system CPU 50. 撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。 Imaging system CPU50, based on imaging information of the zoom magnification or the like which is instructed by the user adjusts the zoom magnification and focus of the taking lens 22 by controlling the lens driver 42 and the focus driver 44. また撮像系CPU50は、視差画像を撮像するために、レンズ駆動部42を制御して撮影レンズ22の位置を移動させる。 The imaging system CPU50, in order to image the parallax image, and controls the lens driving unit 42 moves the position of the imaging lens 22.
【0022】 [0022]
撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタ速度を決定する。 Imaging system CPU50 is, RGB digital signals accumulated value of one image frame, i.e., determines the aperture value and shutter speed based on the AE information. 決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。 According to the determined value, the diaphragm driver 46 and the shutter driver 48 to open and close the respective aperture amount of the adjustment and the shutter 26.
【0023】 [0023]
撮像系CPU50はまた、測光データに基づいてストロボ36の発光を制御し、同時に絞り26の絞り量を調整する。 Imaging system CPU50 also controls the light emission of the strobe 36 based on the photometric data, adjusts the aperture value of the diaphragm 26 at the same time. ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。 When the user instructs to capture the image, CCD 30 starts charge accumulation, after the shutter time calculated from the photometric data, the accumulated charge is output to the imaging signal processing section 32.
【0024】 [0024]
処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。 Processing unit 60, the entire digital camera 10, a main CPU62 to control the particular processing unit 60 itself, which memory controller 64 which is controlled by, YC processing unit 70, optional device controller 74, compression and decompression processing unit 78, a communication with the I / F unit 80. メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。 The main CPU62, due serial communication, exchanges necessary information to and from the imaging system CPU 50. メインCPU62の動作クロックは、クロック発生器88から与えられる。 Operation clock of the main CPU62 is given from the clock generator 88. クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。 Clock generator 88 includes an imaging system CPU 50, to provide a clock of different frequencies with respect to the display unit 100.
【0025】 [0025]
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。 The main CPU62, the character generator 84 and the timer 86 are juxtaposed. タイマ86は電池でバックアップされ、つねに日時をカウントしている。 Timer 86 is backed up by a battery, which counts the always date and time. このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。 Information on the shooting date and time from the count value, other time information is given to the main CPU62. キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。 Character generating unit 84, the photographing date and time, the character information such as title occurs, the character information is synthesized appropriately captured image.
【0026】 [0026]
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。 The memory control unit 64 controls the non-volatile memory 66 and main memory 68. 不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。 Nonvolatile memory 66 is comprised of a EEPROM (electrically erasable and programmable ROM) and FLASH memory, the adjustment value at the time of user configuration information and shipping, power of the digital camera 10 is to be held even during the off data is stored. 不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。 The non-volatile memory 66, such as a main CPU62 of the boot program or a system program may be stored optionally. 一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。 On the other hand, the main memory 68 is typically comprised of a large memory having a relatively inexpensive and capacity as DRAM. メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。 The main memory 68 functions as a frame memory for storing data output from the imaging unit 20, functions as a system memory for loading various programs, has a function as other work area. 不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。 Nonvolatile memory 66 and the main memory 68 exchanges data via the processing unit 60 and out of each section and the main bus 82.
【0027】 [0027]
YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。 YC processing unit 70 performs YC conversion on the digital image data, the luminance signal Y and color difference (chroma) signal B-Y, to generate the R-Y. 輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。 Luminance signal and color difference signals are temporarily stored in the main memory 68 by the memory controller 64. 圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。 Decompression processing unit 78 compresses sequentially reads out the luminance and chrominance signals from the main memory 68. こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。 Thus compressed data (hereinafter simply referred to as "compressed data") is written via the optional device controller 74 to the memory card is a kind optional devices 76.
【0028】 [0028]
処理ユニット60はさらにエンコーダ72をもつ。 The processing unit 60 further has an encoder 72. エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。 The encoder 72 inputs the luminance signal and the color difference signal, output from the video output terminal 90 and converts them into a video signal (NTSC or PAL signal). オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。 When generating the video signal from the data recorded in the optional device 76, the data is provided to the compression decompression processing unit 78 via the optional device controller 74 first. つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。 Subsequently, decompression processing required for compression and decompression processing unit 78 has been performed the data is converted into a video signal by the encoder 72.
【0029】 [0029]
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。 Optional device controller 74 performs in accordance with the bus specification of the signal specifications and main bus 82 is found in the optional device 76, it generates the required signals between the main bus 82 and the option device 76, and logic conversion, or voltage conversion . デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。 The digital camera 10, in addition to the aforementioned memory card as optional device 76, for example may support a PCMCIA-compliant standard I / O card. その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。 In that case, the optional device controller 74 may be constituted by a PCMCIA bus control LSI.
【0030】 [0030]
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネット、Bluetooth、IrDAなどの仕様に応じたプロトコル変換等の制御を行う。 Communication I / F section 80 performs communication specification the digital camera 10 is supported, for example USB, RS-232C, Ethernet, Bluetooth, a control protocol conversion or the like in accordance with specifications such as IrDA. 通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。 Communication I / F unit 80 includes a driver IC as needed to communicate via the external device connector 92 including a network. そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。 In addition to these standard specifications, such as a printer, a karaoke machine, it may be configured for transferring data according to its own I / F with an external device of a game machine or the like.
【0031】 [0031]
表示ユニット100は、LCDモニタ102とLCDパネル104を有する。 Display unit 100 includes an LCD monitor 102 and the LCD panel 104. それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。 They are controlled by a monitor driver 106, the panel driver 108 is a LCD driver. LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。 LCD monitor 102, for example, is mounted on the back of the camera in a size of about 2 inches, the current shooting or playback mode, the zoom magnification of the imaging and reproduction, battery level, the date and time, the screen for mode setting, the object image etc. to display. LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。 LCD panel 104 is provided on the top surface of the camera, for example, small black and white LCD, image quality (FINE / NORMAL / BASIC, etc.), a strobe light emitting / Flash Off, standard number of photographable images, the number of pixels, simple display of information such as battery capacity .
【0032】 [0032]
操作ユニット110は、ユーザーがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。 Operation unit 110 includes a mechanism and electrical members necessary for the user to set or instruct the like operation and its mode of the digital camera 10. パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。 Power switch 112, determines the on-off of the power supply of the digital camera 10. レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。 Release switch 114 is in the half-depressed and full depression of the two-step push structure. 一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。 As an example, AF and AE are locked by half-pressing, taking pictures with the full press is performed, and necessary signal processing, after such data compression, the main memory 68, is recorded in the optional device 76 or the like. 操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。 Operation unit 110 is another of these switches may accept settings due to a rotary mode dial or a cross key, which are collectively referred to as the function setting unit 116 in FIG. 1. 操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。 Examples of operations or functions can be specified by the operation unit 110, "file format", "special effects", "printing", "determination / save", and the like "display change". ズームスイッチ118は、ズーム倍率を決める。 Zoom switch 118, determines the zoom magnification.
【0033】 [0033]
以上の構成による主な動作は以下のとおりである。 The main operation by the above configuration is as follows. まずデジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。 First the power switch 112 of the digital camera 10 is turned on, power to the camera each unit is supplied. メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が撮影モードにあるか再生モードにあるかを判断する。 The main CPU62, by reading the state of the function setting unit 116, the digital camera 10 determines whether the or playback mode is the shooting mode.
【0034】 [0034]
カメラが撮影モードにあるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。 When the camera is in the shooting mode, the main CPU62 monitors the half-pressed state of the release switch 114. 半押し状態が検出されたとき、メインCPU62は測光センサ54および測距センサ52からそれぞれ測光データと測距データを得る。 When half-pressed state is detected, the main CPU62 respectively obtain photometric data and the distance data from the photometry sensor 54 and distance sensor 52. 得られたデータに基づいて撮像制御ユニット40が動作し、撮影レンズ22のピント、絞りなどの調整が行われる。 The resulting imaging control unit 40 operates on the basis of the data, focusing of the taking lens 22, is adjusted such aperture is performed. 調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。 When the adjustment is complete, tell that to the user by displaying characters, such as "standby" on the LCD monitor 102, monitors the full-press state of the release switch 114 followed. レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。 When the release switch 114 is fully pressed, the shutter 26 is closed after a predetermined shutter time, charges accumulated in the CCD30 are swept out to the image signal processing unit 32. 撮像信号処理部32による処理の結果生成されたデジタル画像データはメインバス82へ出力される。 Digital image data generated as a result of processing by the imaging signal processing section 32 is outputted to the main bus 82. デジタル画像データは一旦メインメモリ68へ格納され、この後YC処理部70と圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。 Digital image data is temporarily stored in the main memory 68, undergo processing by the compression and expansion processing unit 78 and the YC processing unit 70 thereafter, is recorded in the optional device 76 via the optional device controller 74. 記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。 Recorded image is displayed for a while on the LCD monitor 102 in a freeze state, the user can know the captured image. 以上で一連の撮影動作が完了する。 Series of photographing operations above is completed.
【0035】 [0035]
一方、デジタルカメラ10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。 On the other hand, when the digital camera 10 is the playback mode, the main CPU62 reads out the last picture taken from the main memory 68 via the memory controller 64, and displays it to the LCD monitor 102 of the display unit 100. この状態でユーザーが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。 "Forward" user at the function setting unit 116 in this state, and instructs the "backward", images captured before and after the currently displayed image is read out and displayed on the LCD monitor 102.
【0036】 [0036]
本実施形態において、撮像ユニット20は、2以上の異なる視点位置から被写体と被写体の鏡像とが混在した視差画像を撮像する。 In the present embodiment, the imaging unit 20, and two or more different viewpoints mirror image of an object and the object from the position to image the parallax image mixed. 2以上の異なる視点位置での撮像は、複数の撮像ユニット20を用いて実現してもよいが、撮像ユニット20の全体又は一部を移動させることで実現すれば撮像装置を小さく軽量にすることができ、また撮像装置のコストを抑えることができる。 Imaging at least two different viewpoint positions may be realized by using a plurality of imaging units 20, but the small weight of the imaging device be realized by moving the entire or part of the imaging unit 20 that it can be, also it is possible to reduce the cost of the imaging device. 図2は、視点位置を移動させる手段の一例をあらわす図である。 Figure 2 is a diagram showing an example of a means for moving the viewpoint position. 絞り駆動部46が絞り24を回転させることで開口25をレンズ瞳面に平行に移動させて異なる視点位置での撮像を実現すれば、動かす部分を小さくできるので更によい。 If realized imaging at different viewpoint positions by moving in parallel the opening 25 in the lens pupil plane by rotating the 24 diaphragm driver 46 is squeezed, better since the portion to move can be reduced.
【0037】 [0037]
図3は、鏡像の一例である。 Figure 3 is an example of a mirror image. 鏡面2は光を全反射する鏡、ガラス、金属、水面等であり、鏡面2に写し出される被写体aの鏡像a'は、あたかも被写体aと鏡面2に関して対称に存在するように見える。 Mirror 2 mirror which totally reflects the light, a glass, a metal, water, etc., mirror image a subject a Projected mirror 2 'appears as if existing in symmetrical with respect to the subject a and specular 2. 図4は、鏡像の他の例である。 Figure 4 is another example of a mirror image. 撮像ユニット20は、図4のように被写体aと鏡像a'の両方が画像に入るように撮像する。 Imaging unit 20, both the subject a mirror image a 'as shown in FIG. 4 is imaged to enter the image. 撮像ユニット20から被写体aを見たとき見えなかった死角領域bが、鏡像a'を同時に撮像することで死角領域bの鏡像は見ることができるようになる。 Blind area b from the imaging unit 20 did not appear when viewed object a is a mirror image of the blind spot region b by simultaneously imaging the mirror a 'will be able to see.
【0038】 [0038]
本実施形態のCCD30は、固体撮像素子の一例である。 CCD30 of this embodiment is an example of a solid-state imaging device. 固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。 Solid-in semiconductive and integrated imaging device, structurally, a group of pixels having a storage function of the charge as photoelectric conversion on the semiconductor substrate is obtained by two-dimensionally arranged. 固体撮像素子は、撮影レンズ22によって結像された光を受光し、光電変換作用によって電荷を蓄積する。 The solid-state imaging device receives light which is formed by the taking lens 22, it accumulates a charge by photoelectric conversion effect. 蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。 Accumulated charge image is scanned in a predetermined order, it is read out as an electric signal.
【0039】 [0039]
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。 The solid-state imaging device is basically a semiconductor device including a light receiving element unit for performing light to photoelectric conversion the light incident from the outside, and a package for accommodating a semiconductor element, light incident on the light-receiving element portion to enable, that the transparent protective member disposed at a position opposed to the package of the semiconductor device, the outer surface or inner transparent protective member, and a light shielding member having a high light-shielding property than the transparent protective member It is preferred. これにより、撮像される画像の品質を向上させることができる。 Thus, it is possible to improve the quality of an image to be captured. さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。 By further having the function of the transparent protective part microlens may be improved in resolution of the image formed. 受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。 During the light-receiving element portion and a transparent protective part, or a color filter is provided on or transparent protective portion of the transparent protective part, it may be capable of capturing a color image.
【0040】 [0040]
本実施形態のCCD30は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子(CCD)1次元イメージセンサ(リニアセンサ)又は2次元イメージセンサ(エリアセンサ)イメージセンサであることが望ましい。 CCD30 of this embodiment, as the parallax at the parallax image can be detected accurately, the resolution is sufficiently high charge-coupled device (CCD) 1-dimensional image sensor (linear sensor) or two-dimensional image sensor (area sensor) in an image sensor it is desirable. 固体撮像素子としてCCD以外に、MOSイメージセンサ、CdS−Se密着型イメージセンサ、a−Si(アモルファスシリコン)密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。 Besides CCD as a solid-state image pickup element, MOS image sensor, CdS-Se contact image sensor, a-Si (amorphous silicon) contact image sensor, or may be used either bipolar contact image sensor.
【0041】 [0041]
さらに、撮影レンズ22は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる2つのCCD30に撮像してもよい。 Further, the taking lens 22 has an optical lens system for the imaging in addition to the optical lens system for the parallax photographing optical lens system and the imaging lens system for parallax shooting for the shooting, an image and disparity image of the object it may be captured in different two CCD 30. 本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。 Optical lens system for the imaging may be a standard optical lens, it may be a wide angle lens or a fisheye lens viewing angle. 本撮影用の光学レンズ系が像を受光させるCCD30と、視差撮影用の光学レンズ系が像を受光させるCCD30とで、CCDの解像度や感度が異なっていてもよい。 And CCD30 the optical lens system for the photographing to receive an image, in a CCD30 the optical lens system for parallax shooting to receive an image, may be different CCD resolution and sensitivity.
【0042】 [0042]
本実施形態の処理ユニット60は、撮像ユニット20が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。 Processing unit 60 of the present embodiment, the imaging unit 20 based on the parallax image of the object captured, to acquire depth information of the object. 図5は、処理ユニット60の機能ブロック図である。 Figure 5 is a functional block diagram of the processing unit 60. 処理ユニット60は、視差画像記憶部302と、判断部306と、仮奥行き算出部310と、奥行き算出部312と、記録部314とを有する。 Processing unit 60 includes a parallax image storing unit 302, a determination unit 306, a temporary depth calculation unit 310, a depth calculating unit 312, a recording section 314.
【0043】 [0043]
視差画像記憶部302は、撮像ユニット20が2以上の異なる視点位置から撮像した被写体の像と被写体の鏡像の像とが混在する2以上の視差画像を記憶する。 Parallax image storing unit 302 stores at least two parallax images and the image of a mirror image of the image and the object of the subject captured image pickup unit 20 from two or more different viewpoint positions are mixed. 判断部306は、被写体を直接撮像した実像と鏡面に映った鏡像とが、視差画像のどの領域にあるかを判断する。 Determination unit 306, a mirror image reflected in real and mirror surface imaging a subject directly, to determine in which region of the parallax image. 仮奥行き算出部310は、相対的な位置情報の一例として空間座標を算出する。 Provisional depth calculation unit 310 calculates the spatial coordinates as an example of relative position information. 例えば、視差画像における位置ずれ量に基づき、撮像ユニット20からの光軸方向の距離を算出し、画像における像の位置と光軸方向の距離とに基づいて空間座標を算出してもよい。 For example, based on the positional deviation amount of parallax images, to calculate the distance in the optical axis direction from the imaging unit 20 may calculate the spatial coordinates based on the distance position and the optical axis direction of the image in the image. ただし、鏡像の「空間座標」とは、図3に例示したように、被写体から見てあたかも鏡面の向こう側にあるように見える鏡像空間までの座標である。 However, the "spatial coordinates" mirror image, as illustrated in FIG. 3, the coordinates of up to mirror image space that appears to the other side if it were a mirror as viewed from the subject. また、算出されるのは、画像撮像装置から実像までと画像撮像装置から鏡像までの距離の比と方向などの相対的な位置情報であってもよい。 Also, being calculated may be a relative positional information such as the ratio and the direction of the distance from the image capturing apparatus from the imaging apparatus to the real image to mirror image. 奥行き算出部312は、実像とその実像の鏡像との相対的な位置情報に基づいて、鏡像の空間座標を実像上に変換する。 Depth calculation unit 312, based on the relative positional information of the real image and the mirror image of the real image, converts the spatial coordinates of the mirror on the real image. 処理ユニット60によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。 By the processing unit 60, the partial region or the whole region of the object imaged on the parallax image, the depth value of the object is calculated.
【0044】 [0044]
鏡面の位置が既知である場合と鏡像の位置が分からない場合とに分けて説明する。 Mirror position is described by dividing into the case you do not know the position where the mirror image is known. 鏡面の位置が既知である場合とは、ユーザーが鏡面の位置を入力してもよいし、鏡面の枠も同時に撮像し視差画像における位置ずれと視差画像上の座標から算出してもよい。 And when the mirror position is known, to the user may input the position of the mirror surface may be calculated from the coordinates of the position deviation and the parallax images in the mirror surface of the frame is also captured simultaneously parallax images. 図6は、本実施形態の鏡面の位置が既知である場合の撮像フローチャートである。 Figure 6 is an imaging flowchart of the mirror position of the present embodiment are known. ユーザーは、ファインダ34を見て、被写体の方向を設定する。 User sees the finder 34, sets the direction of the object. 例えば、被写体が画像の中央に来ることを予め画像撮像装置に入力してある場合に、被写体が画像の中央にくるようにフレーミングする。 For example, when the subject is have entered in advance the image capturing apparatus to come to the center of the image, the subject is framed to come to the center of the image. その後、被写体の鏡像も画像に入るように画角を変え、鏡面の位置を入力する(S100)。 Thereafter, the mirror image of the subject also changes the angle of view to enter the image, and inputs the position of the mirror surface (S100). ユーザーがレリーズスイッチ114を押下すると撮像ユニット20が、2つの視点位置から2枚の視差画像を撮像する(S102)。 User imaging unit 20 and presses the release switch 114 to image the two parallax images from the two viewpoint position (S102). 視差画像記憶部302は、2枚の視差画像を格納する(S104)。 Parallax image storing unit 302 stores the two parallax images (S104). 判断部306は、被写体のあるべき領域の一例として視差画像の中央領域を仮奥行き算出部310に指定し、仮奥行き算出部310は、指定された領域の空間座標を算出する。 Determination unit 306 specifies the central region of the parallax images as an example of the area to a subject to temporary depth calculation unit 310, the temporary depth calculation unit 310 calculates the spatial coordinates of the designated area. 視差による位置ずれから奥行き値を算出し、その奥行き値と撮像ユニット20からその領域見た方向に基づき実空間の空間座標を算出する。 Calculating a depth value from the displacement caused by parallax, and calculates the spatial coordinates of the real space based on the direction seen that area from the depth value and the imaging unit 20. 方向は、画像上の座標でもよい。 Direction may be a coordinate on the image. 判断部306は、画像上の座標に対応した実空間の空間座標を受け取り、中央領域で奥行き値の連続した領域を「実像」と判断する(S106)。 Determination unit 306 receives the spatial coordinates of the real space corresponding to the coordinates on the image, a continuous region in the depth value in the central region is determined as "real image" (S106). 判断部306は、「実像」の空間座標を予め入力されている鏡面に対して対称移動させ、画像上の鏡像があるべき領域を算出する(S108)。 Determination unit 306 causes the symmetrical movement with respect to the mirror surface which is previously inputted to the spatial coordinates of the "real" mirror image on an image to calculate the area should be (S108). 仮奥行き算出部310は、鏡像のあるべき領域の奥行き値を視差画像における視差による位置ずれ量に基づき算出し、奥行き値と画像上の座標に基づき鏡像の空間座標を算出する。 Provisional depth calculation unit 310 calculates based on the depth values ​​of the area to a mirror image to the displacement amount due to parallax in the parallax image, and calculates the spatial coordinates of the mirror image based on the coordinates on the depth value and the image. 算出する領域は、奥行き値等が連続する限りにおいて順次広げていく(S110)。 Calculation areas is sequentially spread to the extent that the depth value or the like is continuously (S110). 奥行き算出部312は、鏡像の空間座標を鏡面に対称な位置に変換する(S112)。 Depth calculation unit 312 converts the spatial coordinates of the mirror image symmetrical positions mirror (S112). 記録部314は、「実像」の空間座標と、鏡像の空間座標を変換して求めた空間座標と、もとの視差画像を格納する(S118)。 Recording unit 314 stores the spatial coordinates, and space coordinates obtained by converting the spatial coordinates of the mirror, the original parallax images "real" (S118).
【0045】 [0045]
図7は、鏡面の位置は分からないが、図4の特徴部分cと鏡像c'のように対応する領域が見つけられる場合の処理のフローチャートである。 7, the position of the mirror surface is not known, is a flowchart of processing when a corresponding region as feature portions c and mirror c 'of FIG finding. 画像データを格納するところまで(S104まで)は、同じである。 Until it stores the image data (up to S104) are the same. 判断部306は、視差画像において同一又は類似する色彩又は形状を持つ領域を検索する(S120)。 Determination unit 306 searches for a region having the same or similar color or shape in the parallax image (S120). 判断部306は、同一又は類似する色彩又は形状の大きさを比較し、最大の像を「実像」と、その他の像を「鏡像」と判断する(S122)。 Determination unit 306 compares the magnitude of the same or similar color or shape, the maximum image as "real image", the other image is determined as "mirror image" (S122). 仮奥行き算出部310は、「鏡像」の周囲の奥行き値を算出し、判断部306は、色彩、形状又は奥行き値が「鏡像」に連続する領域を「準鏡像」と判断する(S124)。 Provisional depth calculation unit 310 calculates a depth value of the surrounding "mirror image", the determining unit 306, color, the area shape or depth value is continuous with the "mirror image" is determined as "Junkagamizo" (S124). 仮奥行き算出部310は、「実像」、「鏡像」及び「準鏡像」の空間座標を算出する(S126)。 Provisional depth calculation unit 310 calculates the spatial coordinates of the "real", "mirror image" and "Junkagamizo" (S126). 奥行き算出部312は、「実像」の空間座標と「鏡像」の空間座標との垂直2等分面を算出し、「準鏡像」の空間座標を垂直2等分面に対して対称移動させる(S130)。 Depth calculation unit 312 calculates the spatial coordinates and perpendicular bisector plane of the spatial coordinates of the "mirror image" of the "real", it is symmetrically moved to the spatial coordinates with respect to the vertical bisector plane of the "Junkagamizo" ( S130). 記録部314は、「実像」の空間座標と、対称移動させた「準鏡像」の空間座標を変換して求めた空間座標と、もとの視差画像とを格納する(S118)。 Recording unit 314 stores the spatial coordinates of the "real", and space coordinates obtained by converting the spatial coordinates were symmetrical movement "Junkagamizo", the original parallax images (S118). 鏡像において同一類似形状の領域に連続する領域の奥行き情報を奥行き算出部312が被写体上に変換した場合、変換後の奥行き情報は、実像における同一類似形状の領域から求めた奥行き情報に連続であるはずである。 If the depth calculating unit 312 and the depth information of the region continuous in the region of the same similar shape in mirror image is converted on the object, the depth information after conversion is a continuous depth information calculated from the area of ​​the same similar shapes in the real image it should. 対称移動させた「準鏡像」の空間座標は、「実像」の空間座標と連続であるはずであり、連続になるよう補正を加えてもよい。 Spatial coordinates of were symmetrical movement "Junkagamizo" is should be continuous and spatial coordinates of the "real image", it may be added corrected to be continuous.
【0046】 [0046]
奥行き算出部312は算出した被写体の奥行き情報を撮像制御ユニット40へ入力し、撮像制御ユニット40は、被写体の奥行き情報に基づいて、フォーカス駆動部44、絞り駆動部46及びシャッタ駆動部48を制御して、フォーカス、絞り、シャッター速度を調整してもよい。 Depth calculation unit 312 inputs the depth information of the calculated subject to the imaging control unit 40, the imaging control unit 40, based on the depth information of the subject, the focus driving section 44, controls the aperture driving unit 46 and the shutter drive unit 48 and, focus, iris, may adjust the shutter speed.
【0047】 [0047]
記録部314は、奥行き算出部312が算出した被写体の奥行き情報、及び視差画像記憶部302が記憶する被写体の視差画像をオプション装置76に記録させる。 Recording unit 314 records the parallax image of the object depth information of the object depth calculation unit 312 has calculated, and the parallax image storing unit 302 stores the option device 76.
【0048】 [0048]
処理ユニット60の判断部306、仮奥行き算出部310、及び奥行き算出部312の機能は一例として、図1のメインCPU62と、メインメモリ68や不揮発性メモリ66に格納またはロードされたプログラムとの連携によって実現することができる。 Determination unit 306 of the processing unit 60, as an example the function of the temporary depth calculation unit 310, and the depth calculating unit 312, cooperation between the main CPU62 shown in FIG. 1, the programs stored or loaded into the main memory 68 and nonvolatile memory 66 it can be realized by. メインCPU62が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。 If the main CPU62 has a built-in memory stores a program necessary for the memory may be implemented with various functions as firmware. 処理ユニット60の視差画像記憶部302が記憶すべき視差画像データは、メインメモリ68または不揮発性メモリ66に記憶させることができる。 Parallax image data to be stored parallax image storing unit 302 of the processing unit 60 can be stored in the main memory 68 or nonvolatile memory 66. また視差画像データは圧縮伸張処理部78によって圧縮されてもよい。 The parallax image data may be compressed by the compression and expansion processing unit 78. 処理ユニット60の記録部314の機能は一例として、オプション装置制御部74によって実現することができる。 Function of the recording unit 314 of the processing unit 60 as an example, can be implemented by optional device controller 74. また、ユーザの指示を受け付ける操作ユニット110が被写体の画像の特定領域を処理ユニット60に指示し、処理ユニット60は、ユーザーが指定する特定領域について奥行き値を算出してもよい。 The operation unit 110 that accepts an instruction from the user instructs the processing unit 60 the specific area of ​​the image of the subject, the processing unit 60 may calculate the depth values ​​for a specific region specified by the user. また、ユーザーは処理結果をLCDモニタ102で確認して、誤差が大きいと思われるときは、視差画像における被写体の像の領域を操作ユニット110で指示して被写体/鏡像の判断を補正してもよい。 Further, the user can confirm the processing result on the LCD monitor 102, when you think that the error is large, even if correct determination of the object / mirror directs the area of ​​the image of the subject in the parallax image by the operation unit 110 good. デジタルカメラ10において処理ユニット60の上述の機能を実現する設計には相当の自由度がある。 There is considerable freedom in the design to realize the aforementioned functions of the processing unit 60 in the digital camera 10.
【0049】 [0049]
次に、図7のS122において、「最も大きな像」を「実像」とした理由を説明する。 Next, in S122 of FIG. 7, for explaining the reason why the "greatest image" and "real image". 図8は、円錐の被写体Tの鏡面による鏡像の例である。 Figure 8 shows an example of a mirror image by the mirror surface of the cone of the subject T. 撮像の際は、被写体と鏡像とが重ならないように、鏡面と被写体とをある程度離して撮像した方がよい。 During imaging, so as not to overlap with each other and the object and the mirror image, it is better captured to some extent away and specular and the subject. 図8(A)のT1、T2及びT3は、鏡面R1、R2及びR3を見た場合の被写体Tの鏡像であり、図8(B)の画像Pは、撮像ユニット20がT、T1、T2及びT3を撮像した場合の画像である。 T1, T2 and T3 in FIG. 8 (A) is a mirror image of the subject T when viewed mirror R1, R2 and R3, the image P of FIG. 8 (B), the imaging unit 20 is T, T1, T2 and an image in the case of the captured T3. 鏡面と被写体とを離して撮像しても、TとT1の像は重なる。 It is imaged away and specular and the subject, the image of the T and T1 overlap. しかし、図8(A)から明らかなように撮像ユニット20のいわゆるフィルム面からの距離が異なる。 However, different distances from the so-called film surface of the imaging unit 20 as apparent from FIG. 8 (A). 一般に、同じ被写体の場合遠くにあるものが小さく見え、近くにあるものは大きく見える。 In general, it looks smaller ones in the distance the case of the same subject, which is near appears large. これらのことから「最も大きな像」を「実像」と推定することとした。 The "largest image" For these reasons it was decided to estimate the "real image". なお、鏡像T3や鏡像T2は、画像における像の位置が実像Tと大きく異なり、予め被写体をフレーミングすべき領域を設定しておけば判別できる。 Incidentally, mirror T3 and mirror image T2 is significantly different position of the image in the image is a real image T, it can be determined by setting the area to be framed in advance subject.
【0050】 [0050]
フィルム面からの距離は、像の大きさの他に、被写体にピントを合わせた場合の像のピンぼけ量や、視差画像に基づき算出した奥行き値等によって比較してもよい。 Distance from the film surface, in addition to the size of an image, defocus amount and the image when the focus on the subject, may be compared by the depth value, which is calculated based on the parallax image. ピンぼけ量は、ピントのあっているピント面からの距離が大きいほど、大きくなり、像がぼける。 Defocus amount, as the distance from the focal plane that is in focus is large, large, image blurs.
【0051】 [0051]
図9は、鏡面の位置は未知で、同一又は類似する色彩又は形状を持つ領域も検索不能(図3の対応する特徴部分を検索不能)の場合に有効な処理の他の例を説明する図である。 Figure 9 is a view position of the mirror surface is unknown, for explaining another example of effective treatment in the case of regions having the same or similar color or shape irretrievable (irretrievable corresponding characteristic portion of FIG. 3) it is. 鏡像Vは、鏡面2に映った被写体Vの鏡像である。 Mirror image V is the mirror image of an object V reflected in mirror 2. 対称移動面Qは、被写体Vと鏡像Vとを結ぶ直線に垂直な任意の平面である。 Symmetric movement plane Q is a straight line perpendicular to any plane connecting the object V mirror image V. 鏡像V'は、鏡像Vを対称移動面Qに対して対称移動したものである。 Mirror image V 'is obtained by symmetrically moving mirror V with respect to the symmetry plane of movement Q. 鏡像V'を、鏡像Vから見た被写体Vの方向に、連続的に繋がるように移動させると、合成像Vができる。 The mirror image V ', in the direction of the object V as seen from the mirror image V, is moved so as to be connected continuously, it is the composite image V.
【0052】 [0052]
図10は、処理の変形例のフローチャートである。 Figure 10 is a flow chart of a modification of the process. 鏡面の位置は未知で、同一又は類似する色彩又は形状を持つ領域も検索不能(図3の対応する特徴部分を検索不能)の場合に有効な処理の例を説明する。 Position of the mirror will be described an example of effective treatment in the case of an unknown, areas that have the same or similar color or shape irretrievable (irretrievable corresponding characteristic portion of FIG. 3). ユーザーは、撮像した視差画像をLCDモニタ102で見て、「実像」領域と「鏡像」領域を入力する(S300)。 User views the parallax image captured by the LCD monitor 102, entering the "real image" region and "mirror" area (S300). 仮奥行き算出部310は、「実像」領域と「鏡像」領域との空間座標を算出する(S302)。 Provisional depth calculation unit 310 calculates the spatial coordinates of the "real" region and "mirror" area (S302). 判断部306は、鏡像から実像への方向を求める。 Determination unit 306 obtains the direction of the real image from the mirror image. 例えば、「実像」の領域の位置と「鏡像」の領域の位置とを結ぶベクトルを算出する(S304)。 For example, to calculate a vector connecting the position of the region of the "mirror image" and the position of the region of the "real" (S304). 奥行き算出部312は、鏡像の奥行き分布情報をベクトルに垂直な平面に対して対称移動させる。 Depth calculation unit 312 causes the symmetrical movement with respect to a plane perpendicular to the depth distribution information of mirror image to the vector. 視差画像に基づき算出した鏡像の凹凸でもよく、一例として「鏡像」の空間座標を対称移動させ(S306)、「実像」の空間座標と対称移動した「鏡像」の空間座標が連続に繋がるまで、対称移動した「鏡像」の空間座標をベクトル方向に移動させる(S308)。 May be irregularities of the calculated mirror image based on the parallax image, until the spatial coordinates of the "mirror image" as an example is symmetrically moved (S306), the space coordinates of the moving space coordinates and symmetry of the "real image", "mirror image" leads to a continuous, the spatial coordinates of the symmetric movement "mirror image" is moved in the vector direction (S308).
【0053】 [0053]
図11は、鏡像の奥行き分布情報を取得する他の例を表す。 Figure 11 represents another example of obtaining the depth distribution information of mirror image. パターン照射装置37は、被写体に予め定められたパターンを照射する。 Pattern irradiation apparatus 37 irradiates a predetermined pattern on the object. パターン照射装置37は、鏡面2に反射させて被写体にパターンを照射してもよい。 Pattern irradiation device 37 may be irradiated with pattern on an object by reflecting mirror 2. パターンは、光パターンでもよく、例えば、格子パターンや照射角度に応じて照度を変調した光であってもよい。 Pattern may be a light pattern, for example, may be a light obtained by modulating the illumination in accordance with the grid pattern or the irradiation angle. 撮像ユニット20は、パターンの投影された被写体が鏡に映された鏡像をパターンの照射位置とは異なる位置で撮像する。 Imaging unit 20 takes an image at a position different from the irradiation position of the pattern mirror image a subject projected pattern was mirrored in the mirror. 仮奥行き算出部310は、撮像ユニット20が撮像したパターンの投影された鏡像の画像に基づき奥行き分布情報を算出する。 Provisional depth calculation unit 310, the imaging unit 20 calculates the depth distribution information based on the image of the projected mirror image of the pattern captured. 例えば、仮奥行き算出部310は、光パターンの投影された鏡像の画像、パターン照射装置37が照射した光パターン及び撮像ユニット20とパターン照射装置37の相対的位置情報に基づき三角測量の原理によって奥行き情報を算出する。 For example, the temporary depth calculation unit 310, an image of the projected mirror image of the light pattern, the depth by the principle of triangulation based on the relative position information of the light pattern and the imaging unit 20 and the pattern illumination device 37 in which the pattern irradiation device 37 irradiates to calculate the information.
【0054】 [0054]
以上述べたように、本実施形態の画像撮像装置によれば、被写体の鏡像も同時に撮像することにより被写体の死角領域の奥行き値も同時に算出することができる。 Above mentioned, according to the imaging apparatus of this embodiment can also be calculated at the same time the depth value of the blind spot region of the object by a mirror image simultaneously imaging the subject.
【0055】 [0055]
また、本実施形態の画像撮像装置で人工衛星から、海面等も入るように雲を撮像すれば、上層からみた雲と下層からみた雲を同時に撮像でき、雲の三次元の分布情報を取得することができる。 Further, from the artificial satellite imaging apparatus of this embodiment, if the imaging clouds to enter even sea etc., can simultaneously image the cloud as viewed from the clouds and the lower layer viewed from the upper layer, to obtain the distribution information of three-dimensional cloud be able to.
【0056】 [0056]
(実施形態2) (Embodiment 2)
本発明の第2の実施形態を説明する。 Illustrating a second embodiment of the present invention. 図12は、画像撮像システムの一例としての、被写体の奥行き値を求める3D撮像システム400の構成図である。 12, as an example of an image capturing system, a block diagram of a 3D imaging system 400 to determine a depth value of an object. 本実施形態の3D撮像システム400は、デジタルカメラ10と、鏡像表示部410とを有する。 3D imaging system 400 of this embodiment includes a digital camera 10, and a mirror image display unit 410. また、パターン照射装置37を加えてもよい。 It may also be added to the pattern irradiation device 37.
【0057】 [0057]
鏡像表示部410は、正四角柱の一つの底面を開口とし、他の底面と側面の内側を鏡面にしたものである。 Mirror image display unit 410, one of the bottom surface of a square prism with an opening, in which the inside other bottom and sides mirror. 鏡面表示部410の形状は他の正多角柱でもよく、円柱でもよい。 The shape of the mirror display unit 410 may be other regular polygonal prism, or a cylinder. 鏡面にした底面を鏡面R5、側面をR6、R7(図示せず)、R8、R9(図示せず)とする。 It mirrors a bottom surface and a mirror R5, side and R6, R7 (not shown), and R8, R9 (not shown). 撮像ユニット20は、図12(A)に示すように視点位置を移動させ、被写体Uを鏡像表示部410の中に入れて撮像する。 Imaging unit 20 moves the viewpoint position as shown in FIG. 12 (A), imaging put the subject U in mirror image display portion 410. また、光パターンを照射して撮像する場合は、パターン照射装置37が光パターンを照射する位置と撮像ユニット20の視点位置が異なればよく、視点位置を移動させる必要はない。 Also, when imaging by irradiating light pattern may Different viewpoint position of the imaging unit 20 to the pattern irradiation device 37 irradiates the light pattern, there is no need to move the viewpoint position. 撮像ユニット20のレンズ22は、視野角の広いレンズが望ましい。 Lens 22 of the imaging unit 20, a wide lens viewing angle is desirable. 魚眼レンズであってもよい。 It may be a fish-eye lens. 図12(B)に示すように、広角のレンズを用いて撮像すれば光軸に対してより直角にちかい方向からの画像が得られ、通常死角になりやすい領域の奥行き値を求めることが可能になる。 Figure 12 (B), the more right angle obtained images from the direction close to the optical axis when captured using a wide-angle lens, it is possible to determine the depth values ​​prone to normal blind spot become.
【0058】 [0058]
デジタルカメラ10の構成及び動作は、実施形態1の鏡面が既知の場合と同様であるため、説明は省略する。 Configuration and operation of the digital camera 10, since the mirror of the first embodiment is the same as in the case of known, description thereof is omitted.
【0059】 [0059]
図13は、鏡面R5、R6の一例をあらわす図である。 Figure 13 is a diagram showing an example of a mirror R5, R6. 鏡面上にその鏡面を特定する模様をつけておく。 Soak the pattern to identify the mirror on the mirror surface. 鏡面R6における鏡像には、×印が付くはずであり、鏡面R5とR6で反射した鏡像は、×印と格子縞が付くはずである。 The mirror image of a mirror R6, and should stick is × mark, mirror image reflected by the mirror R5 and R6 should stick is × mark and plaid. 特定の像が実像であるのか、またはどの鏡面における鏡像であるのかの判断が容易になる。 A determination of whether a mirror image of the or any specular specific image is a real image becomes easy. また、模様までの奥行きを視差画像に基づき算出すれば鏡面の位置が算出できる。 Further, the mirror position can be calculated by calculating, based the depth to pattern the parallax images.
【0060】 [0060]
図14は、画像のある領域が、実像であるのか、又はどの鏡面で反射した鏡像であるのかを判断する像判断のフローチャートである。 Figure 14 is a region of the image is a flowchart of image judgment to determine whether it is real or it's mirror image reflected by any mirror. 判断部306は、画像の特定領域を入力し(S200)、それぞれの鏡面の模様を検索し(S202)、模様がない場合は、「実像」と判断する。 Determination unit 306 inputs the specific area of ​​the image (S200), searches the pattern of the respective mirror surface (S202), if there is no pattern, it is determined as "real image". 模様がある場合において、模様が一種類の場合は、その模様の鏡面で反射している「鏡像」であると判断し(S206)、模様が二種類の場合は、その2種類の模様に対応した2つの鏡面で順次反射している「鏡像」と判断し(S208)、模様が3種類以上の場合は、「背景」と判断する(S210)。 When there is a pattern, if the pattern is one type, determines that the "mirror image", as reflected by the mirror surface of the pattern (S206), if the pattern is two, corresponding to the two kinds of patterns determines that sequentially reflected to have "mirror image" of two mirror that (S208), if the pattern is 3 or more, it is determined that the "background" (S210). 「背景」と判断された領域は奥行き値の算出には使わない。 Area it is determined that the "background" is not used in the calculation of the depth value.
【0061】 [0061]
本システムにおいて、より多方位からの視差画像の撮像を可能にするには、撮影レンズ22は、視野角の広い光学レンズであることが好ましく、広角レンズまたは魚眼レンズ等であってもよい。 In the present system, to enable imaging of parallax images from more multi orientation, the taking lens 22 is preferably a broad optical lens viewing angle may be a wide-angle lens or a fish-eye lens or the like. 魚眼レンズは視野角が180度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。 Fisheye lens is designed to viewing angle reaches 180 degrees, the most preferred for photographing an object in a wide field of view. また、撮影レンズ22は、同一の光軸を有する複数の光学レンズによって構成された光学レンズ系であってもよい。 The imaging lens 22 may be an optical lens system constituted by a plurality of optical lenses having the same optical axis.
【0062】 [0062]
次に、撮影レンズ22の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。 Next, the most desirable form of the taking lens 22, illustrating the lens characteristics of the fish-eye lens as an example of a broad optical lens viewing angle. 図15は、魚眼レンズ320が結像する被写体の点の入射角θと、全方位画像322における被写体の点の像の位置との関係を説明する図である。 Figure 15 is a diagram for explaining the incidence angle θ of a point of an object fisheye lens 320 is imaged, the relationship between the position of the image points of the subject in the omnidirectional image 322. 魚眼レンズ320の中心はxy平面の原点の位置にある。 The center of the fish-eye lens 320 is in the position of the origin of the xy plane. 被写体の点の方位は、被写体の点から魚眼レンズ320への入射光が魚眼レンズ320の光軸となす入射角θで表される。 Azimuth point of the object, the incident light from a point object into the fish-eye lens 320 is represented by an incident angle θ formed between the optical axis of the fisheye lens 320. 全方位画像322の中心はXY平面の原点の位置にある。 Center of the omnidirectional image 322 is in the position of the origin of the XY plane. 被写体の点の全方位画像322上での位置を、XY平面の原点からの距離rで表す。 The position on the omnidirectional image 322 of a point object, represented by a distance r from the origin of the XY plane. この距離rは像高とも呼ばれる。 This distance r is also referred to as the image height. 魚眼レンズの焦点距離をfとすると、被写体の点の位置rと入射角θの間には、r=f・θの関係がある。 When the focal length of the fisheye lens is is f, between the position r and the incident angle theta point of the object, a relationship of r = f · θ.
【0063】 [0063]
このように、魚眼レンズは、視野角が180度であり、被写体の全方位の画像を撮像面に結像することができる。 Thus, fish-eye lens, the viewing angle is 180 degrees, it is possible to image the omnidirectional image of the subject on the imaging surface. 特に、被写体の点の位置rと入射角θの間に成り立つレンズ特性を示す関係式がr=f・θとなる魚眼レンズは「fθレンズ」と呼ばれ、広く用いられている。 In particular, fish-eye lens that relational expression indicating the lens characteristics established between the incident angle theta and the position r of a point object is r = f · theta is called "fθ lens", are widely used. 撮影レンズ22として、fθレンズの代わりに、レンズ特性を示す関係式がr=f・sinθとなる「fsinθレンズ」と呼ばれる魚眼レンズを用いてもよい。 As the photographing lens 22, instead of the fθ lens, the relational expression indicating the lens characteristics may be used a fisheye lens called the r = f · sinθ "fsinθ lens". また、一般に位置rが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置rに撮像される魚眼レンズであればよく、必ずしもfθレンズ、fsinθレンズの特性を示す魚眼レンズでなくてもよい。 In general the position r increases monotonically with respect to the incident angle theta, the point in all directions in the region of the subject may be a fish-eye lens is imaged in the finite position r, necessarily fθ lens, the characteristics of the fsinθ lens it may not be a fish-eye lens shown. 魚眼レンズは視野角が180度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。 Fisheye lens is designed to viewing angle reaches 180 degrees, the most preferred for photographing an object in a wide field of view. しかし、撮影レンズ22は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。 However, the imaging lens 22, is sufficiently wide viewing angle, if the optical lens capable of imaging a subject over a wide field of view, not necessarily fisheye lens, may be used a wide angle lens viewing angle.
【0064】 [0064]
図16は、2つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。 Figure 16 is an explanatory view of a parallax when viewing the subject with the two fish-eye lenses. 魚眼レンズ324及び326は、それぞれ点L、Rの位置を視点位置とするように置かれている。 Fish-eye lenses 324 and 326, respectively point L, are placed so as to the position of the R viewpoint position. 点Lと点Rは距離2dだけ離れている。 Point L and the point R are separated by a distance 2d. 線328及び330はそれぞれ魚眼レンズ324及び326の光軸である。 Lines 328 and 330 is the optical axis of each fish-eye lenses 324 and 326. 点L、Rの中点を点Oとする。 Point L, the midpoint of R a point O. 被写体の奥行き値は、点Oからの距離によって定義する。 Depth values ​​of the subject is defined by the distance from point O. 被写体の点Aの奥行き値は、線分OAの長さZである。 Depth values ​​of points A of the object, the line segment OA is the length Z. また線分OAが、点Oから引いた垂線329となす角をθとする。 The line segment OA is the angle formed between the perpendicular 329 drawn from the point O to theta. 角θは点Oから点Aを見た場合の点Aの方位角である。 The angle θ is the azimuthal angle of the point A when viewed point A from the point O.
【0065】 [0065]
線分LAが魚眼レンズ324の光軸328となす角、すなわち点Aの魚眼レンズ324への入射角をθ1とし、線分RAが魚眼レンズ326の光軸330となす角、すなわち点Aの魚眼レンズ326への入射角をθ2とする。 Corner segment LA makes with the optical axis 328 of the fish-eye lens 324, i.e., the incident angle of the fish-eye lens 324 at the point A and .theta.1, corner segment RA makes with the optical axis 330 of the fish-eye lens 326, i.e., to the fish-eye lens 326 at point A the angle of incidence and θ2. 入射角θ1は視点Lから点Aを見た場合の点Aの方位、入射角θ2は視点Rから点Aを見た場合の点Aの方位である。 Orientation of the point A in the case where the incident angle θ1 is viewed point A from the perspective L, the incident angle θ2 is the azimuthal point A when viewed point A from the perspective R. 視点が異なるために、点Aの方位に差θ1−θ2が生じる。 For different viewpoints, difference .theta.1-.theta.2 to the azimuth of the point A occurs. これを視差角と呼ぶ。 This is referred to as the parallax angle. 線分LAと線分RAのなす角をθAとすると、θA=θ1−θ2であるから、便宜上、θAを、点Aを異なる視点L、Rから見た場合の視差角と考えてもよい。 When the angle of the line segment LA and the line segment RA and .theta.A, because it is θA = θ1-θ2, for convenience, .theta.A a viewpoint different point A L, may be considered as the parallax angle when viewed from R.
【0066】 [0066]
魚眼レンズ322及び324がfθレンズである場合、像高rと入射角θの間にr=f・θの関係が成立するので、視点L、Rから点Aを見た場合の像高r 、r の差と、入射角θ1、θ2の差との間には、次の比例関係r −r =f・(θ1−θ2) If fisheye lens 322 and 324 are fθ lens, the relationship of r = f · θ is established between the incident angle theta and the image height r, viewpoint L, the image height r L when viewed point A from R, the difference between the r R, the incidence angle .theta.1, between the difference .theta.2, following proportional relation r L -r R = f · ( θ1-θ2)
が成り立つ。 It holds.
【0067】 [0067]
したがって、魚眼レンズ324及び326で写した視差画像において、点Aの像高の差r −r を検出すると、魚眼レンズの焦点距離fが既知である場合、入射角の差θ1−θ2を計算することができ、視差角θAを算出できる。 Accordingly, the parallax pictures in the fisheye 324 and 326, when detecting the difference between r L -r R image height of the point A, if the focal length f of the fisheye lens is known, calculates the difference .theta.1-.theta.2 of the angle of incidence it can be calculated parallax angle .theta.A.
【0068】 [0068]
次に、視差角θAと奥行き値Z、方位角θの間に成り立つ関係式を導く。 Next, it guides the relational expression holds parallax angle θA and the depth value Z, between the azimuth angle theta. 角LAOをθL、角RAOをθRとおく。 The corner LAO θL, put the θR the corner RAO. 3角形LAH及び3角形RAHに注目すると、 When attention is paid to the triangle LAH and triangle RAH,
【0069】 [0069]
tan(θ+θL)=(Z・sinθ+d)/(Z・cosθ) tan (θ + θL) = (Z · sinθ + d) / (Z · cosθ)
tan(θ−θR)=(Z・sinθ−d)/(Z・cosθ) tan (θ-θR) = (Z · sinθ-d) / (Z · cosθ)
が成り立つ。 It holds.
【0070】 [0070]
したがって、視差角θAは、 Therefore, parallax angle θA is,
θA=θL+θR θA = θL + θR
=tan −1 (Z・sinθ+d)/(Z・cosθ) = Tan -1 (Z · sinθ + d) / (Z · cosθ)
−tan −1 (Z・sinθ−d)/(Z・cosθ) (1) -tan -1 (Z · sinθ-d ) / (Z · cosθ) (1)
と書ける。 It is written as.
【0071】 [0071]
図17は、視差角θAの式(1)のグラフである。 Figure 17 is a graph of the formula (1) of the parallax angle .theta.A. 視点間距離2d、及び奥行き値Zをある値に固定して、方位角θの値を変えて、視差角θAの値をグラフにした。 Distance between viewpoints 2d, and is fixed to a certain value a depth value Z, by changing the value of the azimuth angle theta, and the value of the parallax angle θA to the graph. 方位角θ=0のとき、視差角θAは最大である。 When the azimuth angle theta = 0, the parallax angle θA is the maximum. 方位角θ=π/2のとき、視差角θAは0になる。 When the azimuth angle θ = π / 2, the parallax angle θA becomes zero.
【0072】 [0072]
図17のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。 As apparent from the graph of FIG. 17, for an object in the area close to the lateral arrangement of the fish-eye lens, for parallax angle is very small, the deviation of the position of the image on the parallax image becomes very small . 図18は、異なる2つの視点位置の配置による視差角の違いを説明する図である。 Figure 18 is a diagram for explaining a difference in parallax angle by the arrangement of the two different viewpoint positions. 光軸に垂直に近い方向からの視差画像は、鏡面R6等側面の鏡面上の鏡像を方位角θが大きな方向(図18のように光軸に垂直な方向に大きくずれた方向)に、撮像されている。 Parallax images from a direction near normal to the optical axis, the (largely shifted direction in a direction perpendicular to the optical axis as shown in FIG. 18) mirror R6 like mirror on the mirror image azimuth angle θ is large direction of the side surface, imaging It is. この場合、視点位置iと視点位置jとを組み合わせたときの視差角θijは小さくなり、視点位置iと視点位置hとを組み合わせたときの視差角θhiの方が大きくなる。 In this case, the parallax angle θij when combining the viewpoint position i and the viewpoint position j becomes small, towards the parallax angle θhi increases when combining the viewpoint position i and the viewpoint position h. 奥行き値を求めるときは視差角は大きいほうがよく、この場合視点位置は光軸方向に移動させた方がより有効である。 It is better parallax angle is large when obtaining the depth value, in this case the viewpoint position is better to be moved in the optical axis direction is more effective.
【0073】 [0073]
一方、光軸方向からの視差画像の場合は、視点位置iと視点位置jとの組み合わせの方が有利であり、必要に応じて視点位置の組み合わせを変えてもよい。 On the other hand, in the case of parallax images from the optical axis direction, it is advantageous in combination with the viewpoint position i and the viewpoint position j, may be different combinations of the viewpoint position as required.
【0074】 [0074]
図19は、本システムの変形例を表す図である。 Figure 19 is a diagram illustrating a modification of the system. 鏡像制御部318は、鏡面についての情報、撮像ユニット20の位置情報、撮像ユニット20の光軸の方向等を予め入力されており、処理ユニット60に出力してもよい。 Mirror image control unit 318, information about the mirror, the position information of the imaging unit 20, are inputted in advance direction and the like of the optical axis of the imaging unit 20 may be output to the processing unit 60. 処理ユニット60は、鏡面の方向や鏡面と撮像ユニット20の相対的位置を知ることで、鏡面の位置を算出する必要がなくなる。 Processing unit 60, by knowing the relative position of the mirror surface direction and the mirror and the imaging unit 20, it is not necessary to calculate the position of the mirror. また、被写体の特定領域についてより詳しい奥行き情報を知りたい場合には、鏡面制御部318は、撮像ユニット20からの要求に応じて鏡像表示部410の鏡面の向きや位置等を変えてもよい。 Also, if you want to know more detailed depth information about a particular region of the subject, the mirror control unit 318 may change the mirror surface of the orientation and position of the mirror image display unit 410 in response to a request from the imaging unit 20.
【0075】 [0075]
また、処理ユニット60から算出した3次元情報を3次元モデリングの装置に出力してもよい。 It is also possible to output three-dimensional information calculated from the processing unit 60 in the apparatus of the three-dimensional modeling. 例えば、算出した被写体の3次元情報を3次元画像表示装置に入力し被写体の3次元画像を表示してもよい。 For example, type the three-dimensional information of the calculated subject to the three-dimensional image display device may display the 3-dimensional image of the object. 被写体の全周囲の位置情報が入力されるので被写体をあらゆる方向から見た場合の3次元画像が表示可能である。 Since the position information of the entire circumference of the subject is input 3-dimensional image can be displayed in a case where an object as seen from all directions.
【0076】 [0076]
以上述べたように、本実施形態の画像撮像システムによれば、複数の鏡像も同時に撮像することにより、全周囲からの視差画像が撮像可能になり、被写体の全周囲の奥行き情報をワンショットの撮像で取得できる。 As described above, according to the image capturing system of the present embodiment, by capturing a plurality of mirror images at the same time, parallax images from the entire circumference becomes possible imaging, a one shot the depth information of the entire circumference of the subject It can be acquired by the imaging.
【0077】 [0077]
(実施形態3) (Embodiment 3)
本発明の第3の実施形態を説明する。 Illustrating a third embodiment of the present invention. 図20は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム200の構成図である。 Figure 20, as an example of an image processing apparatus, a block diagram of a laboratory system 200 for developing and editing, etc. of the photographic image. 本実施形態のラボシステム200は、入力部210と、処理部220と、記録部240と、出力部250とを有する。 Laboratory system 200 of this embodiment includes an input unit 210, a processing unit 220, a recording unit 240, an output unit 250.
【0078】 [0078]
入力部210は、被写体の画像データを入力する。 The input unit 210 inputs image data of the object. 画像データとして、被写体及び被写体の鏡像を異なる視点から見た場合の視差画像を入力する。 As the image data, and inputs the parallax image as viewed from different viewpoints the mirror image of the object and the subject. デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部210には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。 When entering a digital image such as a digital camera captured the object, in the input unit 210, the reading device is used for reading the image data from the detachable recording medium such as a semiconductor memory card. また、フロッピーディスク、MO、CD−ROM等から画像データを読み取る場合は、入力部210として、それぞれフロッピードライブ、MOドライブ、CDドライブ等が用いられてもよい。 In the case of reading the image data from a floppy disk, MO, CD-ROM or the like, as the input unit 210, respectively floppy drive, MO drive may be a CD drive or the like is used.
【0079】 [0079]
処理部220は、入力部210が入力した視差画像を記憶し、被写体の奥行き情報を算出する。 Processing unit 220 stores the parallax image input unit 210 inputs, to calculate the depth information of the object. 処理部220は算出した奥行き情報を視差画像とともに記録部240に出力する。 Processing unit 220 outputs the depth information calculated with parallax image to the recording unit 240. また処理部220は算出した奥行き情報をもとに、被写体の画像を処理して、記録部240と出力部250に出力してもよい。 Also based on the depth information processing unit 220 calculated, by processing an image of an object may be output to the recording unit 240 and the output unit 250.
【0080】 [0080]
記録部240は、処理部220が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。 Recording unit 240 records the depth information or the image data processing unit 220 is output to the recording medium removably loaded. 記録媒体として、書き込み可能なCD−ROM、DVD等の光記録媒体や、MO等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。 As a recording medium, a writeable CD-ROM, or an optical recording medium such as a DVD, a magneto-optical recording medium such as an MO, a magnetic recording medium or the like such as a floppy disk is used. 記録部240として、CD−Rドライブ、DVDドライブ、MOドライブ、フロッピードライブ等が用いられる。 As the recording unit 240, CD-R drive, DVD drive, MO drive, floppy drive or the like is used. また、記録部240は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。 The recording unit 240, a flash memory, a semiconductor memory such as a memory card may be recorded depth information or image data.
【0081】 [0081]
出力部250は、処理部220が出力した被写体の処理された画像データを画像として出力する。 The output unit 250 outputs the processed image data of the object processing unit 220 is output as an image. 例えば画像を画面表示する場合、出力部250には画像を表示するモニタが用いられる。 For example, when the screen display an image, a monitor for displaying an image is used as the output unit 250. また例えば画像を印刷する場合、出力部250にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。 Also for example, when printing an image, a printer such as a digital printer or a laser printer is used as the output unit 250.
【0082】 [0082]
図21は、処理部220の機能構成図である。 Figure 21 is a functional block diagram of the processing unit 220. 処理部220は、視差画像記憶部302と、判断部306と、仮奥行き算出部310と、奥行き算出部312と、画像変換部316とを有する。 Processing unit 220 includes a parallax image storing unit 302, a determination unit 306, a temporary depth calculation unit 310, a depth calculating unit 312, and an image conversion unit 316.
【0083】 [0083]
視差画像記憶部302は、入力部210が入力した被写体及び被写体の鏡像の2の視差画像のデータをRAM等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。 Parallax image storing unit 302 stores the data of two parallax images of mirror image of the subject and the subject the input unit 210 and input to the magnetic recording medium of a semiconductor memory or a hard disk such as a RAM. 判断部306は、ピントの合っている領域を被写体の像であると判断する。 Determination unit 306 determines a region that is in focus as the image of the subject. 画像の中で高周波成分の多い領域をピントの合っている領域と判断してもよい。 The rich regions high-frequency components may be determined that the region has focused in the image. ユーザがモニターに表示された視差画像を見て被写体の像を選択し入力してもよい。 The user may look at the parallax image displayed on the monitor to select an image of a subject input. 仮奥行き算出部310は、視差画像おいて、被写体及び鏡像の特定領域の像の位置が視差によってずれる量を検出し、三角測量の原理に基づき奥行き値を算出し、奥行き値と視差画像上の像の座標に基づき、像の空間座標を算出する。 Provisional depth calculation unit 310, keep parallax image, detecting the amount of position of the image of a particular region of the subject and the mirror image is shifted by the parallax, and calculates a depth value based on the principle of triangulation, on the depth value and the parallax image based on the coordinates of the image, calculating the spatial coordinates of the image. 奥行き算出部312は、実像と鏡像の相対的な奥行き値と方向に基づき、鏡像の位置情報を鏡面に関して対称な位置に変換する。 Depth calculation unit 312, based on the relative depth value and direction of the real image and the mirror image, converts the position information of the mirror image symmetrical positions with respect to the mirror surface. 例えば、実像と鏡像の中で被写体の同じ領域の像が検索できた場合に、その領域の実像における像の位置情報とその領域の鏡像における像の位置情報とで、鏡像を対称移動すべき平面を算出してもよい。 For example, when the image of the same region of the object in the real image and the mirror image could be retrieved, in the position information of the image in the real image of the area and the position information of the image in the mirror image of the region, the plane should be symmetric moving a mirror image it may be calculated.
【0084】 [0084]
仮奥行き算出部304と、判断部306と、空間位置算出部308と、鏡面推定部310と、奥行き算出部312が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第1の実施形態と同じであるから、説明を省略する。 A temporary depth calculation unit 304, a determination unit 306, a spatial position calculating section 308, a mirror surface estimation unit 310, the depth calculating unit 312, the part of the area or the entire area of ​​the subject captured in the parallax image, the subject since for the processing of the calculated depth information is the same as the first embodiment, the description thereof is omitted.
【0085】 [0085]
画像変換部312は、奥行き算出部308が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。 Image converting unit 312, based on the depth information of the subject depth calculation unit 308 has calculated, to process the image of the object. 画像変換部312は、被写体の奥行き情報、視差画像、または処理された画像を記憶部240と出力部250に出力する。 Image converting unit 312 outputs the depth information of the object, the parallax image or the processed image in the storage unit 240 and an output unit 250.
【0086】 [0086]
本実施形態の画像処理装置によれば、被写体と被写体の鏡像との視差画像を入力して、撮像手段から直接見えない被写体の死角領域の奥行き情報を算出することができる。 According to the image processing apparatus of the present embodiment, it is possible to enter a parallax image of a mirror image of the subject and the object, and calculates the depth information of the blind area of ​​the object is not directly visible to the imaging means. また算出された奥行き情報に基づいて、画像処理を行い、CAD等の図面データを作成することができる。 Also based on the calculated depth information, it performs image processing, it is possible to create drawing data such as CAD. また、被写体全周囲の奥行き情報のある画像データは、3D画像の生成に利用することができる。 Further, the image data with depth information of the object all around can be utilized to produce 3D images.
【0087】 [0087]
(実施形態4) (Embodiment 4)
次に、本発明の第4の実施形態を説明する。 Next, a fourth embodiment of the present invention. 図22は、画像処理装置の構成図である。 Figure 22 is a block diagram of an image processing apparatus. 本実施形態の画像処理装置の基本的な構成及び動作は、第3の実施形態の画像処理装置と同様である。 The basic structure and operation of the image processing apparatus of this embodiment is the same as the image processing apparatus of the third embodiment. 本実施形態では、画像処理装置の処理部220として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第3の実施形態と異なる。 In the present embodiment, as the processing unit 220 of the image processing apparatus, it is that it uses a computer such as a personal computer or a work station, different from the third embodiment.
【0088】 [0088]
図22を参照しながら、本実施形態の処理部220のハードウエア構成を説明する。 With reference to FIG. 22, for explaining the hardware configuration of the processing unit 220 of the present embodiment. CPU230はROM232及びRAM234に格納されたプログラムに基づいて動作する。 CPU230 operates based on programs stored in the ROM232 and RAM 234. キーボード、マウス等の入力装置231を介して利用者によりデータが入力される。 Keyboard, data is input by the user via an input device 231 such as a mouse. ハードディスク233は、画像等のデータ、及びCPU230を動作させるプログラムを格納する。 Hard disk 233 stores data such as images, and a program for operating the CPU 230. CD−ROMドライブ235はCD−ROM290からデータ又はプログラムを読み取り、RAM234、ハードディスク233及びCPU230の少なくともいずれかに提供する。 CD-ROM drive 235 reads data or programs from CD-ROM290, RAM234, provided on at least one of the hard disk 233 and CPU 230.
【0089】 [0089]
CPU230が実行するプログラムの機能構成は、第3の実施形態の画像処理装置の処理部220の機能構成と同じであり、視差画像記憶モジュールと、判断モジュールと、仮奥行き算出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。 Functional structure of the program CPU230 performs is the same as the functional configuration of the processing unit 220 of the image processing apparatus of the third embodiment, a parallax image storing module, a determination module, and a temporary depth calculating module, a depth calculating module If, and an image conversion module.
【0090】 [0090]
視差画像記憶モジュール、判断モジュール、仮奥行き算出モジュール、奥行き算出モジュール及び画像変換モジュールが、CPU230に行わせる処理は、それぞれ、第3の実施形態の画像処理装置の処理部220における、視差画像記憶部302、判断部306、仮奥行き算出部310、奥行き算出部312及び画像変換部312の機能及び動作と同じであるから、説明を省略する。 Parallax image storing module, judging module, tentative depth calculation module, the depth calculating module and the image conversion module, processing to be performed by the CPU230, respectively, in the processing unit 220 of the image processing apparatus of the third embodiment, the parallax image storing unit 302, determination unit 306, the temporary depth calculation unit 310, since it is identical to the function and operation of the depth calculation unit 312 and the image converting unit 312, a description thereof will be omitted. これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。 These programs will be provided to the user is stored in a recording medium such as a CD-ROM 290. 記録媒体の一例としてのCD−ROM290には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。 The CD-ROM 290 as an example of the recording medium can store a part or all of the functionality of the image processing apparatus described in this application.
【0091】 [0091]
上記のプログラムは記録媒体から直接RAM234に読み出されてCPU230により実行されてもよい。 The above program may be executed by the CPU230 is read directly from the recording medium RAM 234. あるいは、上記のプログラムは記録媒体からハードディスク233にインストールされ、RAM234に読み出されてCPU230により実行されてもよい。 Alternatively, the above program is installed from the recording medium to the hard disk 233, it may be executed by CPU230 is read into RAM 234.
【0092】 [0092]
記録媒体としては、CD−ROM290の他にも、ハードディスク、ROMやRAM等のメモリ、DVDやPD等の光学記録媒体、フロッピーディスクやミニディスク(MD)等の磁気記録媒体、MO等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。 As the recording medium, in addition to the CD-ROM 290, a hard disk, ROM memory of or a RAM, an optical recording medium such as a DVD or a PD, a floppy disk and a mini disk (MD) magnetic recording media such as, for MO such as a magneto-optical recording medium, the tape-shaped recording medium, a nonvolatile semiconductor memory card, or the like can be used.
【0093】 [0093]
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。 The above program may be stored in a single recording medium, or may be stored is divided into a plurality of recording media. また、上記プログラムは記録媒体に圧縮されて格納されてもよい。 The program may be stored are compressed on a recording medium. 圧縮されたプログラムは伸張され、RAM234等の別の記録媒体に読み出され、実行されてもよい。 The compressed program is decompressed, read to another recording medium such as a RAM 234, may be performed. さらに、圧縮されたプログラムはCPU230によって伸張され、ハードディスク233等にインストールされた後、RAM234等の別の記録媒体に読み出され、実行されてもよい。 Further, the compressed program is decompressed by the CPU 230, after being installed in the hard disk 233 or the like, is read into another recording medium such as a RAM 234, it may be performed.
【0094】 [0094]
さらに、記録媒体の一例としてのCD−ROM290は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。 Furthermore, CD-ROM 290 as an example of a recording medium via the communication network, may store the above program provided by the host computer. 記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、RAM234等の別の記録媒体に読み出され、実行されてもよい。 Said program stored in the recording medium is stored in the hard disk of the host computer, sent from a host computer via a communication network to the computer, read into another recording medium such as a RAM 234, it may be executed .
【0095】 [0095]
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。 Recording medium that stores the program, which is used only to produce an image processing apparatus of the present application, the manufacture and sale of the work of such a recording medium is a patent based on this application it is clear that constitute infringement.
【0096】 [0096]
(実施形態5) (Embodiment 5)
次に、本発明の第5の実施形態を説明する。 Next, a description will be given of a fifth embodiment of the present invention. 本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。 An example of the imaging apparatus of this embodiment is an electronic device such as a handheld electronic device with a built-in notebook computers and cameras with a built-in camera. これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図22に示した処理部220として機能する。 In these cases, the computer portion of the notebook computers and handheld electronic devices are mainly functions as a processing unit 220 shown in FIG. 22. 本実施形態の画像撮像装置は、第1の実施形態の画像撮像装置の処理ユニット60を、図22に示した処理部220のハードウエア構成に換えたものである。 Imaging apparatus of this embodiment is that changing the processing unit 60 of the imaging apparatus of the first embodiment, the hardware configuration of the processing unit 220 shown in FIG. 22. 本実施形態の画像撮像装置の基本的な構成及び動作は、第1の実施形態の画像撮像装置と同様である。 The basic structure and operation of the imaging apparatus of this embodiment is the same as the imaging apparatus of the first embodiment.
【0097】 [0097]
本実施形態の処理部220のハードウエア構成は、第4の実施形態の処理部220のハードウエア構成と同じであるから説明を省略する。 The hardware configuration of the processing unit 220 of the present embodiment will be omitted because it is same as the hardware configuration of the processing unit 220 of the fourth embodiment. CPU230が実行するプログラムの機能構成は、第1の実施形態の画像撮像装置の処理ユニット60の機能構成と同じであり、視差画像記憶モジュールと、仮奥行き算出モジュールと、判断モジュールと、仮奥行き算出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。 Functional structure of the program CPU230 performs is the same as the functional configuration of the processing unit 60 of the imaging apparatus of the first embodiment, a parallax image storing module, the temporary depth calculating module, a determining module, tentative depth calculation has a module, a depth calculating module and a recording module.
【0098】 [0098]
視差画像記憶モジュール、判断モジュール、仮奥行き算出モジュール、奥行き算出モジュール及び記録モジュールが、CPU230に行わせる処理は、それぞれ、第1の実施形態の画像撮像装置の処理ユニット60における、視差画像記憶部302、判断部306、仮奥行き算出部310、奥行き算出部312及び記録部314の機能及び動作と同じであるから、説明を省略する。 Parallax image storing module, judging module, tentative depth calculation module, the depth calculating module and recording module, the processing to be performed by the CPU230, respectively, in the processing unit 60 of the imaging apparatus of the first embodiment, the parallax image storing unit 302 , determination unit 306, the temporary depth calculation unit 310, since it is identical to the function and operation of the depth calculation unit 312 and the recording unit 314, a description thereof will be omitted. これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。 These programs will be provided to the user is stored in a recording medium such as a CD-ROM 290. 記録媒体の一例としてのCD−ROM290には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。 The CD-ROM 290 as an example of a recording medium may store some or all of the functions of the operation of the image capturing apparatus described in the present application.
【0099】 [0099]
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。 Recording medium that stores the program, which is used only to produce an image capturing apparatus of the present application, the manufacture and sale of the work of such a recording medium is a patent based on this application it is clear that constitute infringement.
【0100】 [0100]
以上述べたように、本発明の画像撮像装置、画像撮像システム及び画像処理装置によれば、被写体の鏡像も同時に撮像し、鏡像までの見かけ上の奥行き情報を被写体上の奥行き情報に変換することで、撮像装置から直接見ることのできない被写体の領域の奥行き情報を取得できる。 As described above, imaging apparatus of the present invention, according to the image imaging system and an image processing apparatus, converting mirror image of an object is also captured at the same time, the depth information of the apparent to mirror the depth information on the subject in can obtain the depth information of a region of an object that can not be seen directly from the imaging device.
【0101】 [0101]
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。 Although the present invention has been described with the embodiment, the technical scope of the present invention is not limited to the scope described in the above embodiment. 上記実施の形態に、多様な変更又は改良を加えることができる。 To the above-described embodiment, it is possible to add various modifications or improvements. その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 It is apparent from the appended claims that the embodiments added with such alterations or improvements can be included in the technical scope of the present invention.
【0102】 [0102]
【発明の効果】 【Effect of the invention】
上記説明から明らかなように、本発明によれば被写体の広い領域にわたって被写体の奥行きに関する情報を取得することができる。 As apparent from the above description, it is possible to obtain information about the depth of the object over a wide area of ​​the object according to the present invention.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】画像撮像装置の一例としてのデジタルカメラ10の構成図である。 1 is a block diagram of a digital camera 10 as an example of an image capturing apparatus.
【図2】視点位置を移動させる手段の一例をあらわす図である。 2 is a diagram showing an example of a means for moving the viewpoint position.
【図3】鏡像の一例を表す図である。 3 is a diagram showing an example of a mirror image.
【図4】鏡像の他の例を表す図である。 4 is a diagram illustrating another example of the mirror image.
【図5】処理ユニット60の機能ブロック図である。 5 is a functional block diagram of the processing unit 60.
【図6】第1の実施形態の鏡面の位置が既知である場合の撮像フローチャートである。 [6] the mirror position of the first embodiment is an image pickup flowchart when known.
【図7】鏡面の位置は分からないが、対応する領域が見つけられる場合の処理のフローチャートである。 [7] the mirror position is not known, but is a flowchart of processing when the corresponding region is found.
【図8】円錐の被写体Tの鏡面による鏡像の例をあらわす図である。 8 is a diagram showing an example of a mirror image by the mirror surface of the cone of the subject T.
【図9】鏡面未知、同一類似領域検索不能の場合の処理の例を説明する図である。 9 is a diagram illustrating an example of a specular unknown, the same similar regions unsearchable processing when.
【図10】処理の変形例のフローチャートである。 10 is a flowchart of a modification of the process.
【図11】鏡像の奥行き分布情報を取得する他の例を表す図である。 11 is a diagram illustrating another example of obtaining the depth distribution information of mirror image.
【図12】3D撮像システム400の構成図である。 12 is a block diagram of a 3D imaging system 400.
【図13】鏡面R5、R6の一例をあらわす図である。 13 is a diagram showing an example of a mirror R5, R6.
【図14】像判断のフローチャートである。 14 is a flowchart of image judgment.
【図15】被写体の点の像の位置との関係を説明する図である。 15 is a diagram illustrating the relationship between the position of the image point of the object.
【図16】2つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。 [16] with two fisheye lens is an explanatory view of a parallax when viewing the object.
【図17】視差角θAの式(1)のグラフである。 17 is a graph of the formula (1) of the parallax angle .theta.A.
【図18】異なる2つの視点位置の配置による視差角の違いを説明する図である。 18 is a diagram explaining a difference in parallax angle by the arrangement of the two different viewpoint positions.
【図19】3D撮像システムの変形例を表す図である。 19 is a diagram illustrating a modification of the 3D imaging system.
【図20】処理部220の機能構成図である。 FIG. 20 is a functional block diagram of the processing unit 220.
【図21】ラボシステム200の構成図である。 FIG. 21 is a configuration diagram of a laboratory system 200.
【図22】画像処理装置の構成図である。 FIG. 22 is a configuration diagram of an image processing apparatus.
【符号の説明】 DESCRIPTION OF SYMBOLS
2 鏡面10 デジタルカメラ20 撮像ユニット22 レンズ24 絞り25 開口30 CCD 2 mirror 10 digital camera 20 imaging unit 22 lens 24 aperture 25 aperture 30 CCD
37 パターン照射装置46 絞り駆動部60 処理ユニット100 表示ユニット110 操作ユニット200 画像処理装置210 入力部220 処理部240 記録部250 出力部290 記録媒体302 視差画像記憶部306 判断部310 仮奥行き算出部312 奥行き算出部314 記録部316 画像変換部318 鏡面制御部324、326 魚眼レンズ410 鏡像表示部 37 pattern irradiation device 46 diaphragm driver 60 processing unit 100 display unit 110 operation unit 200 image processing device 210 input unit 220 processing unit 240 recording unit 250 output unit 290 recording medium 302 parallax image storing unit 306 determination unit 310 provisionally depth calculation unit 312 depth calculation unit 314 recording unit 316 the image converting unit 318 mirror controller 324, 326 fish-eye lens 410 mirror image display unit

Claims (20)

  1. 被写体の奥行きに関する情報を取得する画像撮像装置であって、 An image capturing apparatus for acquiring information on the depth of the object,
    前記被写体が鏡に映された鏡像を撮像する撮像部と、 An imaging unit for imaging a mirror image in which the subject is projected on the mirror,
    前記撮像部が撮像した画像に基づき前記鏡に映された前記被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、 And the temporary depth calculation unit for calculating the depth distribution information indicating the depth of the distribution in the region of the object which the imaging unit is projected on the mirror based on the image captured,
    前記被写体の鏡像と前記被写体との相対的な位置情報、及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えたことを特徴とする画像撮像装置。 Relative position information between the object and the mirror image of the subject, and based on the depth distribution information, that a depth calculation unit for acquiring the depth information of the portion being projected on the mirror in the subject imaging apparatus according to claim.
  2. 前記奥行き算出部は、当該撮像装置から前記被写体までの第1の距離、当該撮像装置から前記鏡像までの第2の距離及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映された部分の奥行き情報を取得することを特徴とする請求項1に記載の画像撮像装置。 The depth calculation unit, a first distance from the imaging apparatus to the subject, based on the second distance and the depth distribution information from the imaging device to said mirror image, the portion that is imaged on the mirror in the subject imaging apparatus according to claim 1, characterized in that to obtain depth information.
  3. 前記奥行き算出部は、当該撮像装置から前記被写体までの方向及び当該撮像装置から前記鏡像までの方向をさらに用いて、前記被写体における前記鏡に映された部分の奥行き情報を取得することを特徴とする請求項2に記載の画像撮像装置。 The depth calculation unit, and characterized in that the from the imaging device further used directions to the mirror image from the direction and the imaging apparatus to the subject, to acquire the depth information of the imaged part to the mirror in the subject imaging apparatus according to claim 2.
  4. 前記奥行き算出部は、前記被写体が直接撮像された実像の大きさ及び前記鏡像の大きさを比較することにより、当該撮像装置から前記被写体までの距離と当該撮像装置から前記鏡像までの距離の比を算出し、前記距離の比及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得することを特徴とする請求項1に記載の画像撮像装置。 The ratio of the depth calculation unit, by comparing the size and the size of the mirror image of the real image in which the subject is imaged directly, a distance from the distance and the imaging device from the imaging apparatus to the subject until the mirror image calculates, based on the ratio and the depth distribution information of the distance, the image capturing apparatus according to claim 1, characterized in that to obtain the depth information of the portion being projected on the mirror in the subject.
  5. 前記撮像部は、前記被写体及び前記鏡像の画像を撮像し、同一又は類似の形状もしくは色彩を有する複数の像が撮像されている場合において、当該撮像装置から前記複数の像のそれぞれまでの距離に基づいて、いずれの像が前記被写体を直接撮像した実像であるかを判断する判断部をさらに備えたことを特徴とする請求項1から請求項4のいずれかに記載の画像撮像装置。 The imaging unit captures an image of the object and the mirror image, in a case where a plurality of images having the same or similar shape or color is captured, the distance from the imaging apparatus to each of the plurality of image based on the image imaging device according to any one of claims 1 to 4, characterized in that one image is further comprising a determination unit that determines whether the real image obtained by capturing the subject directly.
  6. 前記判断部は、前記複数の像における実像以外の像を前記鏡像と判断し、前記鏡像において前記同一又は類似の像に連続している部分を前記実像における前記同一又は類似の像に連続する部分の鏡像であると判断することを特徴とする請求項5に記載の画像撮像装置。 Portion wherein the determination unit, an image other than the real image in the plurality of images is determined that the mirror image, successive portions are continuous in the same or similar image in the mirror image on the same or similar image in the real image imaging apparatus according to claim 5, characterized in that it is determined that a mirror image of.
  7. 当該撮像装置から前記被写体までの距離及び方向並びに当該撮像装置から前記鏡像までの距離及び方向に基づいて、前記被写体におけるいずれの部分が前記鏡像として映されているかを判断する判断部をさらに備えたことを特徴とする請求項1から請求項4までのいずれかに記載の画像撮像装置。 Based on the distance and direction, as well as the imaging device from the imaging apparatus to the subject in the distance and direction to the mirror image, any part of the subject is further provided with a determining section for determining whether the mirrored as the mirror image imaging apparatus according to claim 1, wherein up to claim 4 that.
  8. 前記鏡の位置が既知であり、前記被写体の位置及び前記鏡の位置に基づいて、前記鏡に映されている前記鏡像の領域を判断する判断部をさらに備えたことを特徴とする請求項1から請求項4のいずれかに記載の画像撮像装置。 Position of the lens is known, according to claim 1, based on the position of the position and the mirror of the subject, wherein the determination unit further comprising determining an area of ​​the mirror image is projected on the mirror imaging apparatus according to claim 4.
  9. 前記鏡の位置が既知であり、前記奥行き算出部は、前記被写体の位置及び前記鏡の位置に基づいて、前記被写体と前記鏡像との相対的な位置情報を算出することを特徴とする請求項1に記載の画像撮像装置。 Position of the lens is known, according to claim wherein the depth calculation unit, based on the position of the position and the mirror of the object, and calculates the relative position information between the mirror image and the object imaging device according to 1.
  10. 前記撮像部は、異なる2つの視点位置から前記鏡像の視差画像を撮像し、前記仮奥行き算出部は、前記視差画像に基づき前記奥行き分布情報を算出することを特徴とする請求項1から請求項9のいずれかに記載の画像撮像装置。 The imaging unit captures an parallax image of the mirror image from the two different viewpoint position, the tentative depth calculation unit, according to claim claim 1, characterized in that to calculate the depth distribution information based on the parallax image imaging device according to any one of 9.
  11. 前記撮像部は、パターンの投影された前記被写体が前記鏡に映された鏡像を前記パターンの照射位置とは異なる位置で撮像し、前記仮奥行き算出部は、前記撮像部が撮像した前記パターンの投影された鏡像の画像に基づき前記奥行き分布情報を算出することを特徴とする請求項1から請求項9のいずれかに記載の画像撮像装置。 The imaging unit captures an mirror image the subject projected pattern is projected on the mirror at a position different from the irradiation position of the pattern, the tentative depth calculation unit, the imaging unit of the pattern captured imaging device according to any one of claims 1 to 9, characterized in that to calculate the depth distribution information based on the image of the projected mirror image.
  12. 被写体の奥行きに関する情報を取得する画像撮像システムであって、 An image capturing system to obtain information about the depth of the object,
    前記被写体の鏡像を映す鏡面を有する鏡像表示部と、 And mirror display unit having a mirror that reflects the mirror image of the subject,
    前記鏡像の画像を撮像する撮像部と、 An imaging unit that captures an image of the mirror image,
    前記撮像部が撮像した前記画像に基づき前記鏡面に映された前記被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、 And the temporary depth calculation unit for calculating the depth distribution information indicating a distribution of the depth in the region of the object which is imaged on the mirror surface on the basis of the image which the image pickup unit has captured,
    前記被写体の鏡像と前記鏡面との相対的位置情報及び前記奥行き分布情報に基づき、前記被写体における前記鏡面に映されている部分の奥行き情報を取得する奥行き算出部とを備えたことを特徴とする画像撮像システム。 Based on the relative position information and the depth distribution information of the mirror surface and the mirror image of the object, characterized in that a depth calculation unit for acquiring the depth information of the portion being projected on the mirror surface in the object imaging system.
  13. 前記鏡像表示部は、前記鏡面上に特定の模様を有し、前記画像における特定の像と前記模様が重なる場合に、前記像が前記鏡面に映された像であると判断する判断部をさらに備えたことを特徴とする請求項11に記載の画像撮像システム。 The mirror image display unit has a specific pattern on the mirror surface, when the pattern with a particular image in the image overlap, a determination unit that the image is determined to be an image that is projected on the mirror surface further imaging system according to claim 11, characterized in that it comprises.
  14. 前記鏡像表示部は、前記鏡面を前記撮像部の光軸に平行に配置することを特徴とする請求項11に記載の画像撮像システム。 Imaging system of claim 11 wherein the mirror image display unit, characterized in that arranged parallel to the mirror surface to the optical axis of the imaging unit.
  15. 前記撮像部は、広い視野角の光学レンズを有し、前記視点位置を前記光軸方向に移動させて異なる2つの視点位置で撮像することを特徴とする請求項13に記載の画像撮像システム。 Imaging system of claim 13 wherein the imaging unit, which has an optical lens of a wide viewing angle, characterized in that it captured by two viewpoints different positions by moving the viewpoint position in the optical axis direction.
  16. 前記鏡像表示部は、前記鏡面を、前記撮像部の光軸に垂直に、前記撮像装置から見た場合に前記被写体の後方に配置することを特徴とする請求項11に記載の画像撮像システム。 The mirror image display section, an image capturing system according to claim 11, the mirror surface, perpendicular to the optical axis of the imaging unit, characterized in that arranged behind the object when viewed from the imaging device.
  17. 前記鏡像表示部は、前記被写体を囲むように前記光軸に平行に1以上の前記鏡面をさらに配置することを特徴とする請求項15に記載の画像撮像システム。 Imaging system of claim 15 wherein the mirror image display unit, characterized by further arranging one or more of the mirror surface parallel to the optical axis so as to surround the subject.
  18. 被写体の奥行きに関する情報を取得する画像処理装置であって、 An image processing apparatus for acquiring information on the depth of the object,
    異なる2つの視点位置から前記被写体が鏡に映された鏡像を見た場合に得られる前記被写体の視差画像を入力する入力部と、 An input unit for inputting the parallax images of the subject in which the subject from two different viewpoints position is obtained when viewed the mirror image mirrored in the mirror,
    前記視差画像に基づき、前記鏡に映された前記被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出部と、 And the temporary depth calculation unit for obtaining depth-distribution information indicating the depth distribution of the basis of the parallax image, the area of ​​the object that is imaged on the mirror,
    前記被写体の鏡像と前記被写体との相対的な位置情報及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えたことを特徴とする画像処理装置。 Characterized in that on the basis of the mirror image and the relative position information and the depth distribution information of the object of the subject, and a depth calculation unit for acquiring the depth information of the portion being projected on the mirror in the subject the image processing apparatus according to.
  19. 被写体の奥行きに関する情報を取得する画像撮像方法であって、 An image capturing method for obtaining information regarding the depth of the object,
    前記被写体の鏡像を鏡に映し、 Reflects the mirror image of the object in the mirror,
    異なる2つの視点位置から前記鏡像の視差画像を撮像し、 From two different viewpoints positions captured the parallax images of the mirror image,
    前記被写体の鏡像と前記被写体との相対的な位置情報及び前記視差画像に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を算出することを特徴とする画像撮像方法。 Imaging method characterized by based on the relative position information and the parallax image of the object and the mirror image of the object, it calculates the depth information of the portion being projected on the mirror in the subject.
  20. 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、 A recording medium storing a program for a computer to obtain information about the depth of the object, said program,
    異なる2つの視点位置から前記被写体が鏡に映された鏡像を見た場合に得られる前記被写体の視差画像を入力する入力モジュールと、 An input module for inputting the parallax images of the subject in which the subject from two different viewpoints position is obtained when viewed the mirror image mirrored in the mirror,
    前記視差画像に基づき、前記鏡に映された前記被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出モジュールと、 A provisional depth calculating module for acquiring depth distribution information indicating the depth distribution of the basis of the parallax image, the mirror is mirrored said subject region,
    前記被写体の鏡像と前記被写体との相対的な位置情報及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出モジュールとを備えたことを特徴とする記録媒体。 Wherein based on the relative position information and the depth distribution information of the mirror image and the object of the subject, and a depth calculating module for acquiring the depth information of the portion being projected on the mirror in the subject recording medium according to.
JP2000285383A 2000-09-20 2000-09-20 Imaging apparatus and image pickup method Expired - Fee Related JP4162842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000285383A JP4162842B2 (en) 2000-09-20 2000-09-20 Imaging apparatus and image pickup method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000285383A JP4162842B2 (en) 2000-09-20 2000-09-20 Imaging apparatus and image pickup method

Publications (2)

Publication Number Publication Date
JP2002095016A true JP2002095016A (en) 2002-03-29
JP4162842B2 true JP4162842B2 (en) 2008-10-08

Family

ID=18769465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000285383A Expired - Fee Related JP4162842B2 (en) 2000-09-20 2000-09-20 Imaging apparatus and image pickup method

Country Status (1)

Country Link
JP (1) JP4162842B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075528A1 (en) * 2005-01-13 2006-07-20 National University Corporation NARA Institute of Science and Technology Three-dimensional object measuring device
JP2008046952A (en) * 2006-08-18 2008-02-28 Seiko Epson Corp Image synthesis method and surface monitoring device
WO2010004763A1 (en) * 2008-07-11 2010-01-14 パナソニック株式会社 Three-dimensional shape measuring device, integrated circuit, and method
JP5818341B2 (en) * 2010-12-13 2015-11-18 国立大学法人 和歌山大学 Shape measuring apparatus and a shape measuring method
DE102012221566A1 (en) * 2012-11-26 2014-05-28 Dr. Johannes Heidenhain Gmbh An optical encoder

Also Published As

Publication number Publication date Type
JP2002095016A (en) 2002-03-29 application

Similar Documents

Publication Publication Date Title
US4978983A (en) Composite camera with automatic parallax correction
US8749620B1 (en) 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP3592147B2 (en) The solid-state imaging device
US20080117316A1 (en) Multi-eye image pickup device
US20020094131A1 (en) Image sensing apparatus, shading correction method, program, and storage medium
US20120026297A1 (en) Imaging apparatus and imaging method
US20110012998A1 (en) Imaging device, imaging method and recording medium
US20120249846A1 (en) Solid-state image sensor and image capturing apparatus
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US20110074928A1 (en) Image processing apparatus, camera, and image processing method
US7102686B1 (en) Image-capturing apparatus having multiple image capturing units
JP2006227080A (en) Electronic camera
JP2005086499A (en) Imaging apparatus
US20110228127A1 (en) Image capturing apparatus
JP2003324649A (en) Electronic camera with communication function, and photographing method for electronic camera system
US20090123144A1 (en) Stereoscopic imaging device
US20020028014A1 (en) Parallax image capturing apparatus and parallax image processing apparatus
JP2006162991A (en) Stereoscopic image photographing apparatus
JP2000338393A (en) Image pickup unit
JP2008116309A (en) Method and apparatus for generating range image
JP2006162990A (en) Stereoscopic image photographing apparatus
JP2009094724A (en) Imaging apparatus
US20080158384A1 (en) Image management method
JP2003179798A (en) Digital camera
JPH11341522A (en) Stereoscopic image photographing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050909

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080723

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees