WO2013151076A1 - 画像撮像装置、画像処理方法、プログラム - Google Patents

画像撮像装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2013151076A1
WO2013151076A1 PCT/JP2013/060159 JP2013060159W WO2013151076A1 WO 2013151076 A1 WO2013151076 A1 WO 2013151076A1 JP 2013060159 W JP2013060159 W JP 2013060159W WO 2013151076 A1 WO2013151076 A1 WO 2013151076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
length
comparison data
unit
Prior art date
Application number
PCT/JP2013/060159
Other languages
English (en)
French (fr)
Inventor
奈保 澁久
徳井　圭
保孝 若林
真一 有田
大輔 村山
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/390,449 priority Critical patent/US9729844B2/en
Publication of WO2013151076A1 publication Critical patent/WO2013151076A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Definitions

  • the present invention relates to an image pickup apparatus that displays the length of a photographed subject by converting it into the length of comparison data.
  • a method for capturing a stereoscopic image by using an image capturing apparatus having a plurality of image capturing units is known.
  • the stereoscopic image obtained by this imaging device can be stereoscopically viewed by displaying a left-eye image on the viewer's left eye and a right-eye image on the right eye in the stereoscopic display device.
  • This is a method using parallax generated between images obtained by photographing the same subject from different viewpoint positions. If this parallax, the distance between two viewpoint positions photographed by the image capturing apparatus, and the camera parameters of the image capturing apparatus are known, the distance to the subject can be measured by triangulation.
  • Patent Document 1 below discloses a method for measuring the length between two designated points on a subject using a stereo camera.
  • the display method described above can measure the length between two points designated by the user on the subject, it is difficult to compare the lengths of a plurality of subjects existing at different locations.
  • the present invention has been invented in view of the above-described problems, and an object thereof is to provide an image pickup apparatus capable of easily comparing the lengths of photographed subjects.
  • An image imaging apparatus that receives an image of a subject and parallax information corresponding to the image as input, and displays the length of the subject calculated based on the parallax information, using the parallax information from the captured image
  • a subject extraction unit that extracts the subject image
  • a comparison data holding unit that holds the subject image and the length of the subject
  • a subject length extracted by the subject extraction unit and the comparison data holding unit a subject comparison unit that compares the lengths of the comparison data
  • an image synthesis unit that synthesizes and outputs the comparison result to the captured image.
  • An image pickup apparatus that receives an image of a subject and distance information corresponding to the image as input, and displays the length of the subject calculated based on the distance information.
  • a subject extraction unit that extracts a subject using the image
  • a comparison data holding unit that holds an image of the subject and the length of the subject, a length of the subject extracted by the subject extraction unit, and the comparison data holding unit.
  • a subject comparison unit that compares the lengths of the comparison data, and an image synthesis unit that synthesizes and outputs the comparison result to the captured image.
  • the subject comparison unit includes a length calculation unit that calculates a length magnification, and the image composition unit uses at least one of a character or an image as the length magnification.
  • the image composition unit changes the image resolution of the comparison data so as to match the length of the subject and the length of the comparison data, and duplicates the image of the comparison data based on the length magnification.
  • the comparison data is displayed side by side.
  • the length magnification is a ratio between the length of the subject and the length of the comparison data.
  • the length of the subject is calculated from an average value of parallax corresponding to the subject included in an arbitrary frame having the same center of gravity as the image.
  • the subject comparison unit displays comparison data candidates from comparison data having a short length of comparison data held in the comparison data holding unit.
  • the present invention is an image display method that receives an image of a subject and parallax information corresponding to the image as input, and displays the length of the subject calculated based on the parallax information, and the captured image Extracted from a subject extraction step for extracting a subject image using the parallax information, a length of the subject extracted by the subject extraction step, and a comparison data holding unit that holds the subject image and the subject length
  • An image display method comprising: a subject comparison step for comparing lengths of comparison data; and an image combination step for combining and outputting the comparison result to the captured image.
  • the present invention may be a program for causing a computer to execute the image display method described above, or a computer-readable recording medium for recording the program.
  • the image pickup apparatus of the present invention it is possible to easily compare the lengths of photographed subjects.
  • FIG. 1A is a functional block diagram illustrating a configuration example of an image capturing apparatus according to an embodiment of the present invention.
  • the image capturing apparatus 100 includes an image capturing unit 101, a parallax calculation unit 102, a subject extraction unit 103, a subject comparison unit 104, a comparison data holding unit 105, an image composition unit 106, and a display unit 107. And comprising.
  • the image pickup unit 101 includes at least a first image pickup unit 101L and a second image pickup unit 101R, acquires an image for the left eye and an image for the right eye, respectively, and takes an image of a shooting lens, a CCD (Charge Coupled Device), and the like.
  • the device is equipped with an imaging function.
  • the imaging unit 101 the left-eye image D1 and the right-eye image D2, the parallax calculation unit 102, the baseline length L b [m], which is the interval between the imaging units 101L and 101R, and the camera parameters,
  • the result is output to the subject comparison unit 104 (D3).
  • the camera parameters are the focal length L f [m] of the imaging unit 101L, the pixel pitch p [pixel / m] of the imaging unit 101L, the vertical angle of view ⁇ [degree], and the vertical resolution of the image. h [pixel].
  • the parallax calculation unit 102 calculates the parallax from the left-eye image and the right-eye image.
  • the left-eye image is divided into small-area windows, that is, templates.
  • FIG. 2 shows a left-eye image 200L divided into templates. For each window, a corresponding position is searched on the right-eye image 200R. That is, as shown in FIG. 2, the template 201 of the left-eye image 200L overlaps the position of the point (u, v) of the right-eye image 200R, and the partial pattern of the overlapping image in the template 201 and the right-eye image.
  • the degree of difference S from 202 is calculated.
  • the degree of difference S can be expressed, for example, by the sum of the absolute values of the differences between the overlapped pixels of the template 201 of the left-eye image 200L and the partial pattern 202 of the right-eye image 200R, as in the following equation.
  • L (x, y) represents the pixel value at the (x, y) coordinate of the image for the left eye
  • R (u, v) represents the pixel value at the (u, v) coordinate of the image for the right eye.
  • T represents the size of the template.
  • This difference S represents the probability that the target exists at the point (u, v), and the smaller the value S, the more likely the target is.
  • this operation is performed on all the points on the image, and a position where the degree of difference is below a certain threshold value may be searched.
  • a difference 203 in the position of the object between the left-eye image 200L and the right-eye image 200R is the parallax of the object.
  • the left-eye image-based parallax is calculated by the above processing.
  • the parallax image shown in FIG. 3 is an image in which the parallax is stored for each pixel in association with the pixel of the subject, and the parallax value of the subject H is represented by a luminance value.
  • the subject closer to the image capturing device has a larger parallax value, and the subject farther from the image capturing device has a smaller parallax value.
  • the larger the parallax value, the brighter the pixel, and the smaller the parallax value the darker the pixel.
  • the parallax calculated by the parallax calculation unit 102 and the left-eye image (D4) are sent to the subject extraction unit 103.
  • the subject extraction unit 103 extracts a subject whose length is to be measured from the left eye image.
  • This subject is a comparison subject.
  • the subject H within the frame 400 shown in FIG. 4A is extracted as a subject to be compared.
  • the frame 400 is displayed on the preview screen when the subject is imaged by the imaging unit 101, and the user performs shooting so that the subject H circumscribes the frame 400.
  • the size of the frame 400 can also be operated by an external input device (not shown). That is, the user can set the aspect ratio and size of the image to arbitrary values (see arrows).
  • the center of gravity of the frame is the center of the screen, and the size of the frame is shown as a frame 500 (pattern 1), a frame 501 (pattern 2), a frame 502 ( If the setting is made as shown in pattern 3) and the user only performs the operation of switching between the three patterns, the user's operation is simplified. Further, by applying a frame, most of the area other than the subject H can be excluded from the processing target, but a background image other than the subject H exists in the frame. Therefore, it is preferable to separate the subject and the background using parallax because it is difficult for the image composition unit 106 to feel uncomfortable.
  • the parallax value of the subject may be extracted by analyzing the parallax histogram in the frame, or the parallax value at the point where the user touches the display with an external input device (not shown) may be used as the parallax value of the subject.
  • the subject image D5 extracted by the above-described processing is output to the subject comparison unit 104.
  • the subject comparison unit 104 calculates the length of the subject H using the subject image D5, the base line length, the camera parameter, and (D3), and outputs the subject image and its length to the comparison data holding unit 105 ( D6-1). Further, the length magnification A between the comparison subject input from the comparison data holding unit 105 and the comparison data (D6-2) is calculated, and the comparison data and the length magnification A are output to the image composition unit 106 (D7). ).
  • the length of the subject is calculated using the subject image, the baseline length, and the camera parameters.
  • the relationship between the subject's representative parallax d [pixel] and the distance Z [m] is as follows.
  • the representative parallax d of the subject is an average value of the parallax of the subject. If the parallax of the subject is not uniform, it is preferable to determine the representative parallax in this way because calculation is easy.
  • the subject length L o is expressed by the following equation.
  • h o is the number of pixels in the y-axis direction of the subject
  • h is the vertical resolution of the captured image
  • ⁇ is the angle of view in the vertical direction.
  • 6 and 7 illustrate parameters used for calculating the subject length L o .
  • the subject length L o calculated by the above process, the object image, and outputs the comparison data holding unit 105 (the D6-1).
  • the length magnification A is a value indicating that the length of the comparison subject that is the subject is A times the length of the comparison data.
  • the comparison data is held in the comparison data holding unit 105. From the comparison data storage unit 105, acquires the length L c of the comparison data with the comparison data (the D6-2). At this time, a list of comparison data image candidates held in the comparison data holding unit 105 is displayed on the preview screen together with the image for the left eye, and the user can select comparison data using an external input device (not shown). This is preferable because the visibility of the user is improved. Furthermore, it is preferable that the comparison data candidates are sorted by the length of the comparison data because the user can easily search for the comparison data. That is, the comparison data stored in the retained order is rearranged by the length of the comparison data and displayed.
  • FIG. 8 shows a state in which the comparison data R are arranged in order from the comparison data having a short length.
  • the selected comparison data R is the same even if the subject changes, the dynamically changing length of the subject H can be displayed with the length magnification of the selected comparison data. This is preferable because the user can easily grasp the length of the subject.
  • the length of the subject H is the same regardless of the position of the imaging apparatus, but the subject extraction unit 103 measures the length of the subject H existing in a fixed frame in the screen, Even if the same subject is photographed, the length of the subject included in the frame varies depending on the positional relationship between the subject and the imaging device. That is, when the subject moves away from the imaging device, the length of the whole body of the subject can be measured within the fixed frame, and when the subject approaches the imaging device, the length of a part of the subject can be measured within the fixed frame. By displaying the fluctuation with the same comparison data, it is possible to convey it to the user in an easy-to-understand manner. Using the comparative data length L c obtained as described above, the length ratio A is calculated by the following equation.
  • This length magnification indicates that the subject is A times larger than the comparison data.
  • the next image composition unit 106 realizes subject comparison display in which the user can easily compare the lengths of the subjects intuitively.
  • FIG. 1B is a functional block diagram illustrating a configuration example of the subject comparison unit 104.
  • the subject comparison unit 104 includes a data acquisition unit 104-1, a length calculation unit 104-2, an image / length storage unit 104-3, and a comparison data length ratio calculation unit 104-. 4 and an image / length ratio output unit 104-5.
  • FIG. 9 is a flowchart of the procedure of the subject comparison unit 104 described above.
  • the data acquisition unit 104-1 of the subject comparison unit 104 acquires the parallax information and the subject image from the subject extraction unit 103, the baseline length and the camera parameter from the imaging unit 101 (S1), and the length calculation unit 104-2 acquires From the parallax information, the base line length, and the camera parameters, the subject length Lo is calculated using the above equations (2) and (3) (S2).
  • the image / length storage unit 104-3 holds the subject image and its length in the comparison data holding unit 105 (S3). By holding the photographed subject and its length in the comparison data holding unit 105, the subject can be used as comparison data.
  • the comparison data storage unit 105 acquires the length L c of the comparison data with the comparison data (S4), the comparison data length ratio calculation unit 104-4, the comparative data with respect to the subject using Equation (4)
  • the length magnification A is calculated (S5).
  • the image / length ratio output unit 104-5 outputs the comparison data image and the length ratio A to the image composition unit 106, and the processing of the subject comparison unit 104 ends (S6).
  • the image composition unit 106 superimposes an image obtained by converting the comparison data image on the left eye image based on the length magnification A. Specifically, as shown in FIG. 10, the fact that the subject H is A times longer than the comparison data is displayed as an image or text. At this time, it is preferable to associate the type of the subject H with the counting method because it is easy for the user to grasp the length comparison when displaying the characters. For example, when the comparison data is “apple”, it is counted as “A”. In the case of a “mobile phone”, it is counted as “A”. In the case of “book”, it is counted as A “book”. An “animal” such as “dog” is counted as “A” animals.
  • the comparison data is “human” and counted as “A”.
  • the comparison data is “human face” and A is “head and body”, because the size of the head relative to the whole human body can be easily grasped. It is.
  • the “human face” is used as a method for determining the “human whole body” and the “human face”. Can do.
  • the counting method is not displayed, such as “It is A times longer than XX”, so that there is no sense of incongruity. If the approximate length is known, the display method of the value after the decimal point is changed to a display method such as “A and a half” or “A little longer than A”.
  • the comparison data image is duplicated and displayed so that the mass as the object can be easily understood.
  • the environment in which the subject H is photographed and the environment in which the comparison data is photographed, that is, the photographing distance and resolution are different, it is necessary to correct the mismatch between the length of the subject image and the length of the comparison data image.
  • the length of the comparison data is L c and the vertical resolution of the comparison data image is h c
  • the subject length is L o and the vertical resolution of the subject image is h o
  • the length of the comparison data image In order to adjust the length to the length of the subject image, the following expression is used.
  • ⁇ Enlarge the comparison data image by C and then combine it with the subject image. That is, the resolution of the comparison data is changed so that the length of the subject matches the length of the comparison data.
  • an apple of 0.05 [m] is adjusted to have a vertical resolution of 3 [pixel]. Then, 32 comparison data (apple) images after changing the resolution are duplicated and arranged so as not to overlap in the vertical direction.
  • the position where the R1 column is displayed may be displayed so as to be adjacent to the subject as shown in FIG. 11, or may be displayed at the edge of the screen as shown in FIG. If the positional relationship between the subject and the imaging device changes while the frame in the screen is fixed, the length of the subject included in the frame changes (H ′), so comparison data (R1 ′) as shown in FIG. Column) is changed so that the user can easily grasp the length of the subject included in the frame. In order to express a rough length, in the case of “the same length as A and a half”, an image cut out so as to have a length of A and a half of A is displayed.
  • comparison data having a length magnification A of 1 or less
  • the comparison data when the subject is an apple and the comparison data is a human, when the comparison data is cut out according to the length magnification, only the human foot is displayed next to the apple. Therefore, by displaying the comparison data at a length magnification of 1, that is, by displaying the whole human body, the comparison data can be easily grasped.
  • the image synthesizing unit 106 outputs an image obtained by synthesizing the comparison data image to the left eye image based on the length magnification A by the above-described processing to the display unit 107.
  • the display unit 107 displays the image output from the image composition unit 106 on the display device.
  • the parallax calculation unit 102 divides the left-eye image into small-area windows, that is, templates, and uses a method of searching for a corresponding position on the right-eye image for each window. The same effect can be obtained by using a method such as a graph cut method, an expansion / contraction matching method, or a corresponding point search method using energy minimization. Further, although the parallax calculation is performed based on the left-eye image, the parallax calculation may be performed based on the right-eye image.
  • two imaging units are provided, but a configuration including at least one imaging unit and at least one light source generation unit may be used. That is, by irradiating a subject with a specific pattern using a light source such as visible light or infrared light, and analyzing the distance information from the distortion and light intensity of the pattern, the distance information is used instead of the parallax information. The same effect can be obtained by calculating.
  • a light source such as visible light or infrared light
  • the subject is extracted from the image captured by the imaging unit 101, and the subject image and the length are stored in the comparison data holding unit 105.
  • a plurality of comparison data and the comparison data are stored via a network or a package medium. The same effect can be obtained even if a database holding the length is acquired and stored in the comparison data holding unit 105.
  • the frame for extracting the subject by the subject extraction unit 103 is expressed by a square, but the same effect can be obtained by a circle, a polygon, or free form.
  • the length magnification is calculated after selecting the comparison data in the subject comparison unit 104.
  • the length magnification may be calculated for all the comparison data in advance. In this case, the amount of calculation for calculating the length magnification is increased, and a memory area for holding the length magnification is required.
  • the comparison data with the length magnification of 1 or more can provide the effect after image synthesis. Therefore, there is an advantage that the user can know the information of the length magnification when selecting the comparison data. In other words, if comparison data with a length magnification of 1 or more is displayed as a comparison data candidate and the comparison data of less than 1 is displayed as a comparison data candidate, the order of the comparison is reduced, and the user compares the subject with the comparison data. This makes it easy to select comparative data that is easy to understand.
  • the subject comparison unit 103 calculates the length of the subject in the vertical direction, but the length in the horizontal direction can also be calculated in the same manner.
  • the vertical angle theta of the camera parameters in horizontal angle theta h, the vertical resolution h next resolution w changes the y-axis direction pixel count h o of the object in the x-axis direction number of pixels h of the subject
  • the length of the subject in the horizontal direction can be calculated using the mathematical formulas (2) and (3).
  • the length of the photographed subject is converted into the length of the comparison data and displayed, thereby allowing the user to easily compare the length of the displayed subject. It becomes possible.
  • Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
  • a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case is also used to hold a program for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system. At least a part of the functions may be realized by hardware such as an integrated circuit.
  • the present invention can be used for an image pickup apparatus.
  • DESCRIPTION OF SYMBOLS 100 ... Image pick-up apparatus, 101 ... Imaging part, 102 ... Parallax calculation part, 103 ... Subject extraction part, 104 ... Subject comparison part, 104-1 ... Data acquisition part, 104-2 ... Length calculation part, 104-3 ... Image / length storage unit 104-4 ... comparison data length ratio calculation unit 104-5 ... image / length ratio output unit 105 ... comparison data holding unit 106 ... image composition unit 107 ... display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　従来、異なる場所に存在する複数の被写体の長さを比較することは困難であったが、被写体を撮像した画像と前記画像に対応する視差情報を入力とし、前記視差情報に基づいて算出した前記被写体の長さを表示する画像撮像装置であって、前記撮像した画像から前記視差情報を用いて被写体の画像を抽出する被写体抽出部と、被写体の画像と被写体の長さとを保持する比較データ保持部と、前記被写体抽出部により抽出された被写体の長さと、前記比較データ保持部から抽出された比較データの長さと、を比較する被写体比較部と、前記撮像した画像に、前記比較結果を合成して出力する画像合成部と、を備えることを特徴とする画像撮像装置により、撮影した被写体の長さを比較することが容易になる。

Description

画像撮像装置、画像処理方法、プログラム
　本発明は、撮影した被写体の長さを、比較データの長さに変換して表示する、画像撮像装置に関する。
　複数の撮像部を有する画像撮像装置を用いることで立体画像を撮影する方法が知られている。この撮像装置で得られた立体画像は、立体表示装置において、視聴者の左眼には左眼用画像を、右眼には右眼用画像を各々表示させることにより、立体視が可能になる。これは、同一の被写体を異なる視点位置から撮影した画像間で生じる視差を利用した方法である。この視差と、画像撮像装置で撮影した二つの視点位置間の距離と、画像撮像装置のカメラパラメータとが分かれば、三角測量で被写体までの距離を測定することができる。例えば、下記特許文献１では、ステレオカメラを用いて被写体上の指定された２点間の長さを測定する方法が開示されている。
特開２０１１－２３２３３０号公報
　しかしながら、先述した表示方法では、被写体上のユーザが指定した２点間の長さを測定することができるものの、異なる場所に存在する複数の被写体の長さを比較することは困難であった。
　本発明は上記の課題を鑑みて発明されたものであり、撮影した被写体の長さを容易に比較することができる画像撮像装置を提供することを目的とする。
　本発明は上述した課題を解決するために、以下の技術手段を備えている。
　被写体を撮像した画像と前記画像に対応する視差情報を入力とし、前記視差情報に基づいて算出した前記被写体の長さを表示する画像撮像装置であって、前記撮像した画像から前記視差情報を用いて被写体の画像を抽出する被写体抽出部と、被写体の画像と前記被写体の長さとを保持する比較データ保持部と、前記被写体抽出部により抽出された被写体の長さと、前記比較データ保持部から抽出された比較データの長さと、を比較する被写体比較部と、前記撮像した画像に、前記比較結果を合成して出力する画像合成部と、を備えることを特徴とする。
　また、被写体を撮像した画像と前記画像に対応する距離情報を入力とし、前記距離情報に基づいて算出した前記被写体の長さを表示する画像撮像装置であって、前記撮像した画像から前記距離情報を用いて被写体を抽出する被写体抽出部と、被写体の画像と被写体の長さとを保持する比較データ保持部と、前記被写体抽出部により抽出された被写体の長さと、前記比較データ保持部から抽出された比較データの長さと、を比較する被写体比較部と、前記撮像した画像に、前記比較結果を合成して出力する画像合成部と、を備えることを特徴とする。
　前記被写体比較部は、長さ倍率を算出する長さ算出部を有し、前記画像合成部は、前記長さ倍率として、文字または画像の少なくとも一方を用いることが好ましい。
　前記画像合成部は、前記被写体の長さと前記比較データの長さを一致させるように前記比較データの画像解像度を変更し、前記比較データの画像を前記長さ倍率に基づき複製し、前記複製した比較データを並べて表示することを特徴とする。
　前記長さ倍率は、前記被写体の長さと前記比較データの長さとの比率であることを特徴とする。
　前記被写体の長さは、前記画像と重心を同じくする任意の枠内に含まれる被写体に対応する視差の平均値から算出することを特徴とする。
　前記被写体比較部は、前記比較データ保持部に保持されている比較データの長さが短い比較データから比較データ候補として表示することを特徴とする。
　また、本発明は、被写体を撮像した画像と前記画像に対応する視差情報を入力とし、前記視差情報に基づいて算出した前記被写体の長さを表示する画像表示方法であって、前記撮像した画像から前記視差情報を用いて被写体の画像を抽出する被写体抽出ステップと、前記被写体抽出ステップにより抽出された被写体の長さと、被写体の画像と被写体の長さとを保持する比較データ保持部から抽出された比較データの長さと、を比較する被写体比較ステップと、前記撮像した画像に、前記比較結果を合成して出力する画像合成ステップと、を備えることを特徴とする画像表示方法である。
　本発明は、上記に記載の画像表示方法をコンピュータに実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
　本発明の画像撮像装置によれば、撮影した被写体の長さを容易に比較することができるようになる。
本発明の実施の形態による画像撮像装置の一構成例を示す機能ブロック図である。 被写体比較部の一構成例を示す機能ブロック図である。 視差算出方法を説明するための図である。 視差について説明する図である。 被写体抽出について説明する図である。 被写体を抽出するための枠のパターンの例について説明する図である。 撮像装置と被写体との位置関係を説明するための図である。 被写体の長さの算出方法を説明するための図である。 比較データ候補の表示方法を説明するための図である。 被写体比較部の画像処理手順の一例を示すフローチャート図である。 被写体の長さを比較データの長さで表示する方法の第１例を説明するための図である。 被写体の長さを比較データの長さで表示する方法の第２例を説明するための図である。 被写体の長さを比較データの長さで表示する位置を説明するための図である。 被写体と撮像装置との位置関係が変化したときの比較データの解像度の変化を説明するための図である。
　以下、図面を用いて本発明の実施形態について詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
（実施形態）
　図１Ａは、本発明の実施形態による画像撮像装置の一構成例を示す機能ブロック図である。実施の形態に係る画像撮像装置１００は、撮像部１０１と、視差算出部１０２と、被写体抽出部１０３と、被写体比較部１０４と、比較データ保持部１０５と、画像合成部１０６と、表示部１０７と、を備える。
　撮像部１０１は、第１の撮像部１０１Ｌと第２の撮像部１０１Ｒとを少なくとも備え、それぞれ左眼用画像と右眼用画像とを取得し、撮影レンズ及びＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像素子を備えて撮像機能を発揮する。撮像部１０１では、左眼用画像Ｄ１と、右眼用画像Ｄ２とを、視差算出部１０２に、撮像部１０１Ｌと１０１Ｒとの間隔である基線長Ｌｂ［ｍ］と、カメラパラメータとを、被写体比較部１０４に出力する（Ｄ３）。ここで、カメラパラメータとは、撮像部１０１Ｌの焦点距離Ｌｆ［ｍ］と、撮像部１０１Ｌのピクセルピッチｐ［ｐｉｘｅｌ／ｍ］と、垂直方向の画角θ［度］と、画像の縦解像度ｈ［ｐｉｘｅｌ］とである。
　視差算出部１０２では、左眼用画像と右眼用画像とから視差を算出する。以下、左眼用画像を基準とした視差算出方法の例を説明する。左眼用画像を小面積の窓、つまりテンプレートに分割する。図２にテンプレートに分割した左眼用画像２００Ｌを示す。この各窓について右眼用画像２００Ｒ上で対応する位置を探索する。つまり、図２に示すように左眼用画像２００Ｌのテンプレート２０１を右眼用画像２００Ｒの点（ｕ、ｖ）の位置に重なるようにし、テンプレート２０１と右眼用画像中の重なる画像の部分パターン２０２との相違度Ｓを計算する。相違度Ｓは、例えば下式のように、左眼用画像２００Ｌのテンプレート２０１と、右眼用画像２００Ｒの部分パターン２０２との重ね合わさった画素の差の絶対値の和で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｌ（ｘ、ｙ）は、左眼用画像の（ｘ、ｙ）座標における画素値を表し、Ｒ（ｕ、ｖ）は右眼用画像の（ｕ，ｖ）座標における画素値を表す。Ｔはテンプレートの大きさを表す。この相違度Ｓは点（ｕ、ｖ）に対象が存在する確からしさを表しており、その値Ｓが小さいほど、その対象らしいことを示す。対象物の位置を求めるには、この操作を画像上のすべての点に対して施し、相違度があるしきい値以下となる位置を探せばよい。左眼用画像２００Ｌと右眼用画像２００Ｒとの対象物の位置の差２０３が、対象物の視差となる。上記の処理により左眼用画像基準の視差が算出される。
　図３に示した視差画像は、視差を、被写体の画素と対応させて画素毎に格納した画像であり、被写体Ｈの有する視差値を輝度値で表している。画像撮像装置に近い被写体ほど視差値は大きく、画像撮像装置に遠い被写体ほど視差値は小さくなり、ここでは視差値が大きいほど明るい画素で、視差値が小さいほど暗い画素で表している。
　視差算出部１０２で算出された視差及び左目用画像（Ｄ４）が、被写体抽出部１０３に送られる。被写体抽出部１０３では、左眼用画像から長さを計測したい被写体を抽出する。この被写体が、被比較被写体となる。具体的には、図４（ａ）に示す枠４００内の被写体Ｈを被比較被写体として抽出する。枠４００は、被写体を撮像部１０１で撮像するときにプレビュー画面に表示されており、ユーザは、枠４００に被写体Ｈが外接するように撮影を行う。この枠４００の大きさは、図示しない外部入力装置によって操作することもできる。すなわち、画像の縦横比や大きさを、ユーザが任意の値に設定することができる（矢印参照）。
　例えば、枠の重心を画面中心とし、枠の大きさを図５（ａ）、（ｂ）、（ｃ）に示すように、枠５００（パターン１）、枠５０１（パターン２）、枠５０２（パターン３）、のように設定しておき、ユーザがこの３パターンを切り替えるだけの操作にしておけば、ユーザの操作が簡単になり好適である。また、枠を当てはめることによって被写体Ｈ以外の大部分の領域を処理対象から除外することができるが、枠内には被写体Ｈ以外の背景画像が存在する。そこで、視差を用いて被写体と背景とを分離すると、画像合成部１０６での合成に違和感を生じにくくなるため好適である。このとき、被写体の視差値は、枠内の視差ヒストグラムを解析して抽出してもよいし、図示しない外部入力装置によってユーザがディスプレイをタッチした点の視差値を被写体の視差値としてもよい。上述した処理により抽出された被写体画像Ｄ５を、被写体比較部１０４に出力する。
　被写体比較部１０４では、被写体画像Ｄ５と、基線長と、カメラパラメータと（Ｄ３）を用いて、被写体Ｈの長さを算出し、被写体画像とその長さを比較データ保持部１０５に出力する（Ｄ６－１）。さらに、比較データ保持部１０５から入力された被比較被写体と比較データ（Ｄ６－２）との長さ倍率Ａを算出し、比較データとその長さ倍率Ａを画像合成部１０６に出力する（Ｄ７）。
　まず、被写体画像と基線長とカメラパラメータとを用いて、被写体の長さを算出する。被写体の代表視差ｄ［ｐｉｘｅｌ］と距離Ｚ［ｍ］の関係は下式となる。
Figure JPOXMLDOC01-appb-M000002
　被写体の代表視差ｄとは、被写体の視差の平均値のことである。被写体の視差が一様でない場合、このように代表視差を決めておくと、計算がしやすくなるため好適である。被写体の長さＬｏは下式で表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｈｏは被写体のｙ軸方向の画素数、ｈは撮像画像の縦解像度、θは垂直方向の画角である。図６、７に被写体長さＬｏを算出するために使用したパラメータを図示する。上述の処理により算出した被写体長さＬｏと、被写体画像を、比較データ保持部１０５に出力する（上記Ｄ６－１）。
　次に、被写体と比較データとの長さ倍率Ａを算出する。長さ倍率Ａとは、被写体である被比較被写体の長さが、比較データの長さのＡ倍であるということを表す値である。比較データは、比較データ保持部１０５に保持されている。比較データ保持部１０５から、比較データと比較データの長さＬｃを取得する（上記Ｄ６－２）。このとき、比較データ保持部１０５に保持されている比較データ画像候補の一覧がプレビュー画面上に左眼用画像とともに表示されており、図示しない外部入力装置等により、ユーザが比較データを選択できると、ユーザの視認性が向上するため、好適である。さらに、比較データ候補が、比較データの長さでソートされていると、ユーザが比較データを探しやすいため、好適である。すなわち、保持された順番に格納されている比較データを、比較データの長さで並べ替えて表示するということである。
　図８に、比較データＲが、長さが短い比較データから順番に並んでいる様子を示す。図８に示すように、比較データ候補（Ｒ１からＲ５）間で比較データ長さのスケールを合わせるように表示させると、ユーザが直感的に長さを把握しやすいため、好適である。さらに、選択した比較データＲを、被写体が変化しても同一にするようにしておくと、動的に変化する被写体Ｈの長さを、選択した比較データの長さ倍率で表示することができ、ユーザが被写体の長さを把握しやすくなるため好適である。
　被写体Ｈの長さは、撮像装置の位置に依存せずに同一であるが、被写体抽出部１０３において画面中の固定された枠内に存在する被写体Ｈの長さを測定するため、同じ枠内で同じ被写体を撮影したとしても、被写体と撮像装置との位置関係により枠内に含まれる被写体の長さが変動する。すなわち、被写体が撮像装置から離れると、固定された枠内で被写体の全身の長さが測定でき、被写体が撮像装置に近付くと、固定された枠内で被写体の一部分の長さが測定できる。その変動を同一の比較データで表示することでユーザにわかりやすく伝えることができる。
　上述のようにして取得した比較データ長さＬｃを用いて、長さ倍率Ａは下式で算出される。
Figure JPOXMLDOC01-appb-M000004
　この長さ倍率は、被写体が比較データのＡ倍大きいことを表す。この長さ倍率を用いて、次の画像合成部１０６において、ユーザが直感的に被写体の長さを比較しやすい、被写体比較表示を実現する。
　図１Ｂは、被写体比較部１０４の一構成例を示す機能ブロック図である。図１Ｂに示すように、被写体比較部１０４は、データ取得部１０４－１と、長さ算出部１０４－２と、画像／長さ保存部１０４－３と、比較データ長さ比率算出部１０４－４と、画像／長さ比率出力部１０４－５と、を有している。
　図９は、上述の被写体比較部１０４の手順のフローチャートである。被写体比較部１０４のデータ取得部１０４－１は、被写体抽出部１０３から視差情報と被写体画像を、撮像部１０１から基線長とカメラパラメータとを取得し（Ｓ１）、長さ算出部１０４－２が、視差情報と基線長とカメラパラメータから、上記式（２）、（３）を用いて被写体の長さＬｏを算出する（Ｓ２）。次に、画像／長さ保存部１０４－３が、被写体画像とその長さを比較データ保持部１０５に保持する（Ｓ３）。撮影した被写体とその長さを比較データ保持部１０５に保持することにより、被写体を比較データとして使用することが可能となる。さらに、比較データ保持部１０５から、比較データと比較データの長さＬｃを取得し（Ｓ４）、比較データ長さ比率算出部１０４－４が、式（４）を用いて被写体に対する比較データの長さ倍率Ａを算出する（Ｓ５）。次いで、画像／長さ比率出力部１０４－５が、比較データ画像と長さ比率Ａを画像合成部１０６に出力し、被写体比較部１０４の処理は終了する（Ｓ６）。
　画像合成部１０６では、左眼用画像に長さ倍率Ａに基づいて比較データ画像を変換した画像を重畳する。具体的には、図１０に示すように、被写体Ｈが比較データよりもＡ倍長いことを画像や文字等で表示する。このとき、被写体Ｈの種類と数え方を対応付けておけば、文字で表示する際に、ユーザが長さ比較を把握しやすいため好適である。例えば、比較データが「リンゴ」の場合はＡ「個」と数える。「携帯電話」の場合はＡ「台」と数える。「本」の場合はＡ「冊」と数える。「犬」のような「動物」の場合はＡ「匹」と数える。さらに、枠内に人間の顔が検出されたときは、比較データを「人間」とし、Ａ「人」と数える。検出された人間の顔が枠内に占める割合が大きい場合、比較データを「人間の顔」とし、Ａ「頭身」と数えると、人間の全身に対する頭の大きさが簡単に把握できるため好適である。「人間の全身」と「人間の顔」との判断方法は、例えば、検出した人間の顔の面積が、枠内の面積の８割以上を占めるときに「人間の顔」といった方法を用いることができる。
　数え方が不明な比較データの場合は、「○○よりＡ倍長いです」というように、数え方を表示しないと、違和感がなく好適である。また、おおまかな長さが分かればよい場合は、小数点以下の値の表示方法は、「Ａ個半」や「Ａ個よりちょっと長い」などの表示方法に変更する。具体的には、長さ倍率Ａを小数点以下２桁で四捨五入した値をＡ’とすると、Ａ’からＡを引いた値Ｂが、０＜Ｂ＜０．４であれば「Ａ個よりちょっと長い」、０．４≦Ｂ＜０．６であれば「Ａ個半と同じ長さ」、０．６≦Ｂ＜１．０であれば、「Ａ＋１個よりちょっと短い」となる。また、小数点以下を切り上げて「Ａ個より少ない」、小数点以下を切り捨てて「Ａ個より多い」などの表現でもよい。
　さらに、図１１に示すように被写体Ｈに隣接するように比較データＲ１の列で具体的な個数を表示すれば、長さ倍率Ａがわかりやすくなるため好適である。つまり、比較データ画像を複製して表示し、物体としての質量をわかりやすくするということである。まず、被写体Ｈが撮影された環境と、比較データが撮影された環境、すなわち撮影距離や解像度などが異なるため、被写体画像の長さと比較データ画像の長さの不一致を補正する必要がある。
　つまり、被写体画像では、縦解像度１００［ｐｉｘｅｌ］の人間が１．６［ｍ］の長さのとき、比較データ画像では、縦解像度１００［ｐｉｘｅｌ］のリンゴが０．０５［ｍ］の長さとなるような不一致を補正するということである。被写体画像（人間）と比較データ画像（リンゴ）を、そのまま合成すると、人間とリンゴが異なる長さであるにも関わらず同じ解像度で表現されてしまう。そこで、被写体の長さと解像度に合わせて、比較データの解像度を変更する。具体的には、比較データの長さがＬｃ、比較データ画像の縦解像度がｈｃの場合、被写体の長さがＬｏ、被写体画像の縦解像度がｈｏとすると、比較データ画像の長さを被写体画像の長さに合わせるために、以下の式を用いる。
Figure JPOXMLDOC01-appb-M000005
　比較データ画像をＣ倍拡大してから、被写体画像に合成する。つまり、被写体の長さと、比較データの長さとを、一致させるように、比較データの解像度を変更する。先述の例では、１００［ｐｉｘｅｌ］の人間が１．６［ｍ］の長さのとき、０．０５［ｍ］のリンゴは、縦解像度３［ｐｉｘｅｌ］となるように調整する。そして解像度を変更した後の比較データ（リンゴ）画像を３２枚複製し、縦方向に重ならないように並べる。
　このときＲ１列を表示する位置は、図１１のように被写体に隣接するように表示してもよいし、図１２のように画面端に表示してもよい。画面中の枠が固定されたまま、被写体と撮像装置との位置関係が変化すると、枠内に含まれる被写体の長さが変化するため（Ｈ’）、図１３のように比較データ（Ｒ１’列）の解像度を変更して、枠内に含まれる被写体の長さをユーザが把握しやすいようにする。また、おおまかな長さを表現するために、「Ａ個半と同じ長さ」の場合は、Ａ個とＡ個の半分の長さとなるように切り出した画像を表示する。
　これは、リンゴであれば、上半分、あるいは、下半分しか表示されていない状態を表す。ここで、長さ倍率Ａが１以下の比較データを表示させるとき、長さ倍率に応じて切り出した比較データ画像と、長さ倍率１で表示した比較データ画像とを切り替えられるようにしておくと、ユーザが比較データを把握しやすくなるため好適である。例えば、被写体がリンゴで、比較データが人間の場合、長さ倍率に応じて比較データを切り出すと、リンゴの横に人間の足のみ表示される。そこで、長さ倍率１で比較データを表示する、つまり人間の全身を表示することで、比較データを把握しやすくすることができる。画像合成部１０６は、上述の処理により、左眼用画像に長さ倍率Ａに基づいて比較データ画像を合成した画像を、表示部１０７に出力する。
　表示部１０７では画像合成部１０６から出力された画像を表示装置に表示する。
　本実施の形態では、視差算出部１０２にて、左眼用画像を小面積の窓、つまりテンプレートに分割し、この各窓について右眼用画像上で対応する位置を探索する手法を用いたが、グラフカットを用いる手法や、伸縮照合法、エネルギー最小化による対応点探索法などの方法を用いても同様の効果を得ることができる。また、左眼用画像を基準に視差算出を行ったが、右眼用画像を基準に視差算出を行っても良い。
　本実施の形態では、２つの撮像部を備えたが、少なくとも１つの撮像部と少なくとも１つの光源発生部を備えた構成でもよい。すなわち、可視光や赤外線などの光源を用いて特定のパターンを被写体に照射し、そのパターンの歪みや光強度から距離情報を解析することにより、視差情報に代えて距離情報を用いて、長さを算出することで同様の効果を得ることができる。
　本実施の形態では、撮像部１０１で撮影した画像から被写体を抽出し、被写体画像と長さとを、比較データ保持部１０５で保存したが、ネットワークやパッケージメディアなどを介して、複数の比較データと長さが保持されているデータベースを取得し、比較データ保持部１０５で保存しても同様の効果を得ることができる。
　本実施の形態では、被写体抽出部１０３にて被写体を抽出するための枠を四角で表現したが、丸や多角形、フリーフォームでも同様の効果を得ることができる。
　本実施の形態では、被写体比較部１０４にて、比較データを選択した後に長さ倍率を計算したが、あらかじめ全ての比較データに対して長さ倍率を算出しておいてもよい。この場合、長さ倍率を計算する計算量が増え、長さ倍率を保持するメモリ領域が必要となるが、長さ倍率が１以上である比較データの方が、画像合成後の効果が得られやすいため、ユーザが比較データ選択時に長さ倍率の情報を知ることができるという利点がある。つまり、長さ倍率が１以上の比較データを、比較データ候補として表示し、１未満の比較データは比較データ候補として表示させるときの順位を低くしておくと、ユーザが被写体と比較データを比較したときにわかりやすい比較データを選択しやすくなるため好適である。
　本実施の形態では、被写体比較部１０３において、被写体の縦方向の長さを算出したが、横方向の長さについても、同様に算出することができる。この場合、カメラパラメータの垂直画角θを水平画角θｈに、縦解像度ｈを横解像度ｗに、被写体のｙ軸方向の画素数ｈｏを被写体のｘ軸方向の画素数ｈに変更することで、数式（２）、（３）を用いて被写体の横方向の長さを算出することができる。
　以上のように本実施の形態の画像撮像装置では、撮影した被写体の長さを、比較データの長さに変換して表示することにより、表示された被写体の長さをユーザに容易に比較させることが可能となる。
　上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
　また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
　また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
　本発明は、画像撮像装置に利用可能である。
１００…画像撮像装置、１０１…撮像部、１０２…視差算出部、１０３…被写体抽出部、１０４…被写体比較部、１０４－１…データ取得部、１０４－２…長さ算出部、１０４－３…画像／長さ保存部、１０４－４…比較データ長さ比率算出部、１０４－５…画像／長さ比率出力部、１０５…比較データ保持部、１０６…画像合成部、１０７…表示部。

Claims (9)

  1. 　被写体を撮像した画像と前記画像に対応する視差情報を入力とし、前記視差情報に基づいて算出した前記被写体の長さを表示する画像撮像装置であって、
    　前記撮像した画像から前記視差情報を用いて被写体の画像を抽出する被写体抽出部と、
    　被写体の画像と被写体の長さとを保持する比較データ保持部と、
    　前記被写体抽出部により抽出された被写体の長さと、前記比較データ保持部から抽出された比較データの長さと、を比較する被写体比較部と、
    　前記撮像した画像に、前記比較結果を合成して出力する画像合成部と、を備えることを特徴とする画像撮像装置。
  2. 　被写体を撮像した画像と前記画像に対応する距離情報を入力とし、前記距離情報に基づいて算出した前記被写体の長さを表示する画像撮像装置であって、
    　前記撮像した画像から前記距離情報を用いて被写体を抽出する被写体抽出部と、
    　被写体の画像と被写体の長さとを保持する比較データ保持部と、
    　前記被写体抽出部により抽出された被写体の長さと、前記比較データ保持部から抽出された比較データの長さと、を比較する被写体比較部と、
    　前記撮像した画像に、前記比較結果を合成して出力する画像合成部と、を備えることを特徴とする画像撮像装置。
  3. 　前記被写体比較部は、長さ倍率を算出する長さ算出部を有し、
    　前記画像合成部は、前記長さ倍率として、文字または画像の少なくとも一方を用いることを特徴とする請求項１に記載の画像撮像装置。
  4. 　前記画像合成部は、前記被写体の長さと前記比較データの長さを一致させるように前記比較データの画像解像度を変更し、前記比較データの画像を前記長さ倍率に基づき複製し、前記複製した比較データを並べて表示することを特徴とする請求項３に記載の画像撮像装置。
  5. 　前記長さ倍率は、前記被写体の長さと前記比較データの長さとの比率であることを特徴とする請求項３又は４に記載の画像撮像装置。
  6. 　前記被写体の長さは、前記画像と重心を同じくする任意の枠内に含まれる被写体に対応する視差の平均値から算出することを特徴とする請求項１から５までのいずれか１項に記載の画像撮像装置。
  7. 　前記被写体比較部は、前記比較データ保持部に保持されている比較データの長さが短い比較データから比較データ候補として表示することを特徴とする請求項１から６のいずれか１項に記載の画像撮像装置。
  8. 　被写体を撮像した画像と前記画像に対応する視差情報を入力とし、前記視差情報に基づいて算出した前記被写体の長さを表示する画像表示方法であって、
    　前記撮像した画像から前記視差情報を用いて被写体の画像を抽出する被写体抽出ステップと、
    　前記被写体抽出ステップにより抽出された被写体の長さと、被写体の画像と被写体の長さとを保持する比較データ保持部から抽出された比較データの長さと、を比較する被写体比較ステップと、
    　前記撮像した画像に、前記比較結果を合成して出力する画像合成ステップと、を備えることを特徴とする画像表示方法。
  9. 　請求項８に記載の画像表示方法をコンピュータに実行させるためのプログラム。
PCT/JP2013/060159 2012-04-04 2013-04-03 画像撮像装置、画像処理方法、プログラム WO2013151076A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/390,449 US9729844B2 (en) 2012-04-04 2013-04-03 Image capturing device, image display method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012085735A JP6113416B2 (ja) 2012-04-04 2012-04-04 画像撮像装置、画像処理方法、プログラム
JP2012-085735 2012-04-04

Publications (1)

Publication Number Publication Date
WO2013151076A1 true WO2013151076A1 (ja) 2013-10-10

Family

ID=49300557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/060159 WO2013151076A1 (ja) 2012-04-04 2013-04-03 画像撮像装置、画像処理方法、プログラム

Country Status (3)

Country Link
US (1) US9729844B2 (ja)
JP (1) JP6113416B2 (ja)
WO (1) WO2013151076A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11102007A (ja) * 1997-09-25 1999-04-13 Casio Comput Co Ltd 画像重複表示方法およびカメラ装置
JP2006074460A (ja) * 2004-09-02 2006-03-16 Matsushita Electric Ind Co Ltd 物体検出装置および方法
JP2011153995A (ja) * 2010-01-28 2011-08-11 Fa System Engineering Kk 立体映像表示装置の立体ノギス像形成装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3947970B2 (ja) * 2002-07-30 2007-07-25 株式会社リコー 撮像装置
US20090148038A1 (en) 2007-12-10 2009-06-11 Youichi Sawachi Distance image processing apparatus and method
JP4998956B2 (ja) * 2007-12-10 2012-08-15 富士フイルム株式会社 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム
JP4991685B2 (ja) * 2008-12-19 2012-08-01 富士フイルム株式会社 立体画像処理装置および立体画像処理方法
JP5188452B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
JP5018980B2 (ja) * 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP5884260B2 (ja) * 2010-09-29 2016-03-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11102007A (ja) * 1997-09-25 1999-04-13 Casio Comput Co Ltd 画像重複表示方法およびカメラ装置
JP2006074460A (ja) * 2004-09-02 2006-03-16 Matsushita Electric Ind Co Ltd 物体検出装置および方法
JP2011153995A (ja) * 2010-01-28 2011-08-11 Fa System Engineering Kk 立体映像表示装置の立体ノギス像形成装置およびプログラム

Also Published As

Publication number Publication date
JP2013219425A (ja) 2013-10-24
US9729844B2 (en) 2017-08-08
US20150042756A1 (en) 2015-02-12
JP6113416B2 (ja) 2017-04-12

Similar Documents

Publication Publication Date Title
CN106797460B (zh) 三维视频的重建
US9325968B2 (en) Stereo imaging using disparate imaging devices
US11494929B2 (en) Distance measurement device
KR101379066B1 (ko) 화상 처리 장치, 화상 처리 방법, 및, 기록 매체
WO2019007180A1 (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
WO2014064870A1 (ja) 画像処理装置および画像処理方法
KR20150021522A (ko) 입체 결상을 구현하는 방법 및 장치
JP2019015575A (ja) 画像処理装置、測距装置および処理システム
WO2013105381A1 (ja) 画像処理方法、画像処理装置および画像処理プログラム
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
US20130271572A1 (en) Electronic device and method for creating three-dimentional image
JP5996233B2 (ja) 画像撮像装置
JP6113416B2 (ja) 画像撮像装置、画像処理方法、プログラム
JP6038489B2 (ja) 画像処理装置
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
JP2014116789A (ja) 撮影装置、その制御方法及びプログラム
JP6161874B2 (ja) 撮像装置、長さ計測方法及びプログラム
KR102355578B1 (ko) 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
JP2013190938A (ja) ステレオ画像処理装置
KR101242551B1 (ko) 입체 디지털 정보 표시 기능을 갖는 입체 영상 디스플레이 장치 및 입체 영상에서 입체 디지털 정보 표시 방법
JP6168601B2 (ja) 画像変換装置
KR101680882B1 (ko) 초다시점 영상 배열 획득을 위한 카메라 배열방법
JP2019079299A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13772381

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14390449

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13772381

Country of ref document: EP

Kind code of ref document: A1