WO2013187282A1 - 撮像画像表示装置、撮像画像表示方法、記録媒体 - Google Patents

撮像画像表示装置、撮像画像表示方法、記録媒体 Download PDF

Info

Publication number
WO2013187282A1
WO2013187282A1 PCT/JP2013/065463 JP2013065463W WO2013187282A1 WO 2013187282 A1 WO2013187282 A1 WO 2013187282A1 JP 2013065463 W JP2013065463 W JP 2013065463W WO 2013187282 A1 WO2013187282 A1 WO 2013187282A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
distance
image
horizontal
captured image
Prior art date
Application number
PCT/JP2013/065463
Other languages
English (en)
French (fr)
Inventor
昌志 多賀谷
森永　康夫
昌克 塚本
Original Assignee
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌ・ティ・ティ・ドコモ filed Critical 株式会社エヌ・ティ・ティ・ドコモ
Publication of WO2013187282A1 publication Critical patent/WO2013187282A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to a captured image display device including a camera and a display, a captured image display method using the captured image display device, and a recording medium on which the program is recorded.
  • FIG. 1 shows an example of live view video display on a display in a conventional portable terminal with a digital camera.
  • the mobile terminal 9 with a digital camera captures the subject 1 in real time within the angle of view of the camera, and the entire captured image just fits within the display size of the mobile terminal 9 with the digital camera. Adjust the size and display as Live View video 2.
  • FIG. 2 is a diagram showing a live view video display example when the display of the mobile terminal with a digital camera is used as a viewing window.
  • a live view image In order to configure a live view image as if it is a landscape observed through a viewing window of a display size, a straight line connecting a user eyeball position (for convenience, one point) and an arbitrary point on the subject 1 (referred to as point R)
  • the live view video must be displayed so that the point R of the subject 1 is displayed at the coordinates corresponding to the intersection of the display surface and the display surface.
  • the video must be displayed like a live view video 3 shown in FIG.
  • an object of the present invention is to provide a captured image display device that can process a captured image and display it on the display as if the display is a viewing window.
  • a captured image display device of the present invention includes a camera, a display that presents an image in a direction opposite to the imaging direction of the camera, a first distance sensor, a first distance calculation unit, a calibration value storage unit, and an image reduction unit.
  • the first distance sensor outputs data for measuring the distance to an object existing in the direction opposite to the imaging direction of the camera.
  • the first distance calculation unit calculates a first distance that is a distance from an object that exists in a direction opposite to the imaging direction based on the output of the first distance sensor.
  • the calibration value storage unit stores in advance a calibration value that is determined based on the relationship between the change amount of the imaging direction distance between the camera and the subject and the change amount of the occupied pixel in the captured image of the subject. Based on the first distance and the calibration value, the image reduction unit reduces the number of pixels in the horizontal and vertical directions of the captured image of the camera to generate a reduced image.
  • the trimming position calculation unit calculates the horizontal position based on the horizontal and vertical sizes of the display, the first distance, the number of pixels of the horizontal and vertical directions of the camera, and the angle of view of the horizontal and vertical directions of the camera.
  • the positions of the start pixel and the end pixel in the vertical direction are calculated.
  • the trimming unit cuts out the reduced image based on the positions of the start point pixel and the end point pixel.
  • the display control unit displays the clipped image on the display.
  • the captured image can be processed and displayed on the display as if the display were a viewing window.
  • FIG. 1 is a block diagram illustrating a configuration of a captured image display device according to Embodiment 1.
  • FIG. 5 is a flowchart showing the operation of the captured image display device of Embodiment 1.
  • FIG. 2 is a block diagram illustrating a configuration of a calibration unit according to the first embodiment.
  • 6 is a flowchart illustrating the operation of the calibration unit according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of a first image used by the calibration unit according to the first embodiment to calculate a calibration value.
  • FIG. 6 is a diagram illustrating an example of a second image used by the calibration unit according to the first embodiment to calculate a calibration value. The figure showing the relationship between the variation
  • FIG. 3 is a block diagram illustrating a configuration of a trimming position calculation unit according to the first embodiment. 6 is a flowchart illustrating an operation of a trimming position calculation unit according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a trimming position calculation unit according to the first embodiment.
  • FIG. 6 is a diagram illustrating a reduced image generated by an image reduction unit according to the first embodiment. The figure explaining the relationship between the angle of view of a camera, and the pixel of a camera.
  • FIG. 6 is a diagram for explaining a start point and an end point pixel calculated by a start point / end point pixel calculation unit of the trimming position calculation unit according to the first embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of a captured image display device according to a second embodiment.
  • 9 is a flowchart illustrating the operation of the captured image display device according to the second embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of a trimming position calculation unit according to the second embodiment.
  • 9 is a flowchart illustrating the operation of a trimming position calculation unit according to the second embodiment.
  • FIG. 10 is a diagram for explaining a start point and an end point pixel calculated by a start point / end point pixel calculation unit of a trimming position calculation unit according to the second embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of a captured image display device according to a third embodiment.
  • 10 is a flowchart showing the operation of the captured image display apparatus according to the third embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of a trimming position calculation unit according to a third embodiment.
  • 10 is a flowchart illustrating the operation of a trimming position calculation unit according to the third embodiment.
  • FIG. 10 is a diagram for explaining a start point and an end point pixel (pattern 1) calculated by a start point / end point pixel calculation unit of a trimming position calculation unit according to the third embodiment.
  • FIG. 10 is a diagram for explaining a start point and an end point pixel (pattern 2) calculated by a start point / end point pixel calculation unit of a trimming position calculation unit according to the third embodiment.
  • ⁇ Captured image display device> electronic devices including a camera and a display that continuously and in real time displays captured images of the camera as a live view video are collectively referred to as a captured image display device.
  • the captured image display device includes a portable terminal, a tablet terminal, a PDA, a portable game machine, and a notebook PC.
  • FIG. 3 is a block diagram showing the configuration of the captured image display apparatus 100 of the present embodiment.
  • FIG. 4 is a flowchart showing the operation of the captured image display apparatus 100 of the present embodiment.
  • the captured image display apparatus 100 of the present embodiment includes a camera 105, a camera control unit 110, an image storage unit 115, a calibration unit 120, a calibration value storage unit 125, and a first distance sensor. 130, a first distance sensor control unit 135, a first distance calculation unit 140, an image reduction unit 145, a trimming position calculation unit 150, a trimming unit 155, a display control unit 160, and a display 165.
  • the display 165 is provided in the main body of the captured image display apparatus 100 so that an image can be presented in a direction opposite to the imaging direction of the camera 105.
  • the camera control unit 110 controls the activation of the camera 105 and the operation (imaging, image recording, etc.) of the camera 105 according to the user input.
  • the captured image of the camera 105 is stored in the image storage unit 115.
  • the calibration unit 120 calculates a calibration value determined based on the relationship between the change amount of the imaging direction distance between the camera 105 and the subject and the change amount of the occupied pixel in the captured image of the subject, and calculates the calculated calibration value. It memorize
  • the first distance sensor 130 outputs data for measuring the distance to an object existing in the direction opposite to the imaging direction of the camera 105. Details of the first distance sensor 130 will be described later.
  • the first distance sensor control unit 135 detects the activation of the camera 105 (S105Y), and activates the first distance sensor 130 (S135). Based on the output of the first distance sensor 130, the first distance calculator 140 calculates a distance (hereinafter referred to as a first distance) from an object that exists in the direction opposite to the imaging direction (S140). Details of step S140 will be described later.
  • the image reduction unit 145 reduces the number of pixels in the horizontal and vertical directions of the image captured by the camera 105 to generate a reduced image (S145).
  • step S145 The trimming position calculator 150 determines the horizontal and vertical sizes of the display 165, the first distance, the number of pixels of the camera 105 in the horizontal and vertical directions, and the angle of view of the camera 105 in the horizontal and vertical directions. Based on this, the positions of the start pixel and the end pixel in the horizontal and vertical directions are calculated (S150). Details of step S150 will be described later.
  • the trimming unit 155 cuts out the reduced image based on the positions of the start point pixel and the end point pixel (S155).
  • the display control unit 160 displays the clipped image on the display 165 (S160).
  • FIG. 5 is a block diagram showing the configuration of the calibration unit 120 of this embodiment.
  • FIG. 6 is a flowchart showing the operation of the calibration unit 120 of this embodiment.
  • FIG. 7A is a diagram illustrating an example of the first image 10 that is used by the calibration unit 120 of this embodiment to calculate a calibration value.
  • FIG. 7B is a diagram illustrating an example of the second image 20 that is used by the calibration unit 120 of this embodiment to calculate a calibration value.
  • FIG. 8 is a diagram illustrating the relationship between the change amount of the imaging direction distance between the camera 105 and the reference 30 and the change amount of the occupied pixel (pixel) in the captured image of the reference 30.
  • the calibration unit 120 of this embodiment includes a first image acquisition unit 121, a second image acquisition unit 122, a region specifying unit 123, and a calibration value calculation unit 124.
  • Each constituent unit 121, 122, 123, 124, etc. of the calibration unit 120 is realized by application software.
  • the reference 30 that has a predetermined size and is distributed to the user is used.
  • the reference 30 is a rod shape having a length in the longitudinal direction.
  • the reference 30 may be enclosed in, for example, the product package of the captured image conversion apparatus 100 of the present embodiment.
  • the operation of the calibration unit 120 will be described with reference to FIG.
  • the first image acquisition unit 121 presents an instruction on the display to capture the reference 30 in the full width (horizontal) direction of the screen, and after presenting the instruction, the first image (first image 10) is captured. ) Is added with a unique flag value indicating the first image 10.
  • the first image 10 is an image as illustrated in FIG. 7A.
  • the unique flag value indicating the second image 20 is added to the first photographed image (second image 20) after presentation on the display and the indication.
  • the second image 20 is an image as illustrated in FIG. 7B. Both the first and second images 20 to which the unique flag value is added are stored in the image storage unit 115.
  • the user determines that the first image 10 and the second image 20 have been shot normally, the user notifies the end of shooting by operating the terminal. Specifically, in the application program of the calibration unit 120, the shooting end button is displayed on the touch screen, or one of the operation buttons is assigned as the shooting end button to display the assignment, and the pressing of the shooting end button is detected. That's fine.
  • the first image acquisition unit 121 searches the image storage unit 115 for an image (first image 10) to which a unique flag value indicating the first image 10 is added, triggered by a shooting end notification from the user.
  • the first image 10 is acquired (SS121).
  • the second image acquisition unit 122 searches the image storage unit 115 for an image (second image 20) to which a unique flag value indicating the second image 20 is added, triggered by a shooting end notification from the user,
  • the second image 20 is acquired (SS122).
  • the region specifying unit 123 detects the reference 30 captured from both the first image 10 and the second image 20 (SS123).
  • the detection method of the reference 30 may be a known image processing method. For example, the detection of contrast by convolution of a filter function may be used.
  • the occupation pixels of the reference 30 may be estimated by printing a predetermined identification pattern on both ends of the reference 30 and detecting this identification pattern. In this case, if the identification pattern cannot be detected, the process may be interrupted assuming that the reference 30 has not been shot.
  • the calibration value calculation means 124 calculates a calibration value from the number of pixels (pixels) in which the reference 30 in the first image 10 and the second image 20 is imaged, and stores it in the calibration value storage unit 125 (SS124). ). More specifically, as shown in FIG.
  • the number of pixels that reference 30 in the first image 10 is captured, for example, the number of pixels in the horizontal direction and Z 1
  • reference 30 in the second image 20 is captured the number of pixels, for example, the number of pixels in the horizontal direction as Z 2
  • the movement distance of the camera on the horizontal axis, vertical axis and horizontal number of the imaged pixel of the base 30 the position of the camera 105 in the first image 10
  • a linear function passing through coordinates (b, Z 2 ) with the movement distance 0, that is, Z 1 as an intercept the slope c of this linear function can be used as a calibration value.
  • the calibration value c is stored in the calibration value storage unit 125 and used in step S145 executed by the image reduction unit 145. Details will be described later. If the calibration value c is stored in advance in any storage area (for example, the calibration value storage unit 125) of the captured image display device 100 at the time of shipment, the above-described calibration operation through the user is not necessary. In this case, the entire calibration unit 120 can be omitted.
  • the first distance sensor 130 outputs data for measuring the distance to an object that exists in a direction opposite to the imaging direction of the camera 105.
  • the first distance sensor 130 may be, for example, a passive distance sensor that receives light by a CCD and measures a distance by an angle.
  • the first distance sensor 130 is a sonar method that emits a sound wave and measures the distance until the sound wave reflected by the object returns, the emission angle of near infrared light, and the infrared light reflected by the object.
  • An infrared method may be used in which the incident angle is measured and the distance is measured geometrically.
  • a contrast detection method may be used in which the contrast of an image captured by the CCD is detected, the lens position is moved back and forth, the focus position is determined, and the distance is measured.
  • a phase difference detection method that measures the distance by detecting the phase of the slit light guided from the lens may be used.
  • the second distance sensor 230 described in the second and subsequent embodiments may be either a passive method, a sonar method, an infrared method, a contrast detection method, a phase difference detection method, or another method.
  • the data output by the first distance sensor 130 is executed by the first distance sensor control unit 135 every 0.1 to 1 second, for example, and it is even better if it can sufficiently follow the user's movement.
  • the first distance calculation unit 140 calculates a distance (first distance) from an object existing in the opposite direction to the imaging direction based on the output of the first distance sensor 130 (S140).
  • the distance measurement program of the first distance calculation unit 140 is incorporated corresponding to the method of the first distance sensor 130, and can calculate the first distance based on the output data of the first distance sensor 130. it can.
  • what is assumed as an object that exists in a direction opposite to the imaging direction is a user's face or a part of the user's body.
  • the first distance calculation unit 140 is incorporated in the captured image display apparatus 100 on the assumption that the distance between the captured image display apparatus 100 and the user is calculated as the first distance.
  • the captured image display apparatus 100 includes the camera 105 and includes the display 165 that displays the captured image in the direction opposite to the imaging direction of the camera 105.
  • the user observes the display 165 as a viewfinder when the camera 105 is activated.
  • the object that is in the opposite direction to the imaging direction of the camera 105 and that is closest to the captured image display device 100 is likely to be the user's face or a part of the user's body. . Therefore, it can be considered that the user exists at a position separated by a distance calculated from the data output by the first distance sensor 130.
  • FIG. 11 is a diagram illustrating a reduced image generated by the image reduction unit 145 of the present embodiment.
  • the positive direction of the coordinate axis (the one-dot chain line in the figure) is the imaging direction of the camera 105, and the coordinate axis is at the center of the camera lens.
  • the imaging direction coordinate of the user eyeball position is C EYE
  • the imaging direction coordinate of the camera 105 is C CAM
  • the imaging direction coordinate of the subject is C OBJ .
  • the coordinates C CAM and the coordinates C EYE are separated by the first distance described above. Therefore, the description will be continued assuming that the first distance is equal to d, which means the distance between the coordinates C CAM and the coordinates C EYE in the figure.
  • d means the distance between the coordinates C CAM and the coordinates C EYE in the figure.
  • an image generated by the image reduction unit 145 is a captured image when the camera 105 is moved to the coordinates KEY of FIG.
  • the captured image before being deformed by the image reducing unit 145 is an image obtained by capturing the subject existing at the coordinate C OBJ with the angle of view ⁇ by the camera 105 at the coordinate C CAM .
  • the image reduction unit 145 does not reproduce the subject that should not be copied in the captured image before deformation and should be copied in the captured image after deformation, and sets the signal to, for example, zero.
  • the image reduction unit 145 reduces and deforms the subject captured in the pre-deformation captured image so as to have an angle of view at the coordinates KEYE . Accordingly, the image reduction unit 145 calculates the reduction ratio of the captured image based on the first distance d and the calibration value c, and reduces the number of pixels in the horizontal and vertical directions of the captured image of the camera 105 to reduce the image. Generate an image. The image generated in this way is arranged at the center of the image area where the number of camera pixels in the horizontal and vertical directions is equal, and the pixel value of the peripheral area not occupied by the arranged image is set to a predetermined value (for example, signal zero, RGB A reduced image with a value of 0) is generated.
  • a predetermined value for example, signal zero, RGB A reduced image with a value of 0
  • the peripheral area not occupied by the arranged image is displayed like a black frame.
  • the reduced image generated in this way is subjected to trimming (cutout) processing based on the position of the start point / end point pixel calculated by the trimming position calculation unit 150. Details will be described later.
  • FIG. 9 is a block diagram showing the configuration of the trimming position calculation unit 150 of this embodiment.
  • FIG. 10 is a flowchart showing the operation of the trimming position calculation unit 150 of this embodiment.
  • FIG. 12 is a diagram for explaining the relationship between the angle of view of the camera 105 and the pixels of the camera 105.
  • FIG. 13 is a diagram illustrating the start point and end point pixels calculated by the start point / end point pixel calculation means 154 of the trimming position calculation unit 150 of the present embodiment.
  • the trimming position calculation unit 150 includes a parameter storage unit 151, a finder angle calculation unit 152, and a start point / end point pixel calculation unit 154.
  • the parameter storage unit 151 stores display sizes in the horizontal and vertical directions, the numbers of pixels in the horizontal and vertical directions, and camera angles of view in the horizontal and vertical directions.
  • the display size the number of pixels (one side), and the camera angle of view, there are parameters in the horizontal and vertical directions, respectively. Accordingly, the horizontal display size is h 1 , the vertical display size is h 2 , the number of horizontal pixels is N 1 , the number of vertical pixels is N 2 , the horizontal camera field angle is ⁇ 1 , and the vertical direction Can be expressed as ⁇ 2 , etc.
  • the finder angle calculation unit 152 calculates the finder angle ⁇ using the display size h stored in the parameter storage unit 151 and the first distance d calculated by the first distance calculation unit 140 (SS152). .
  • the finder angle ⁇ is a line connecting a user eyeball position (for convenience, one point) and a point at one end of the display 165 (for convenience, the middle point of one end of the display), a user eyeball position, , An angle (acute angle) formed by a straight line connecting a point on the other end of the display 165 (for the sake of convenience, a middle point on the other end of the display).
  • the finder angle ⁇ can be estimated by the following equation.
  • the pixels in the image area corresponding to the finder angle ⁇ are cut out from the image reduced by the image reduction unit 145 and the cut image is displayed on the entire screen of the display 165, so that the user looks into the display 165 as a viewing window. It is possible to display an image that approximates the sight seen in the case.
  • the start point / end point pixel calculation means 154 calculates the pixels corresponding to the start point and the end point from the finder angle ⁇ , the number N of pixels in the horizontal or vertical direction of the camera, and the camera angle of view ⁇ (SS154).
  • the relationship between each pixel of the captured image of the camera 105 and the angle of view is as shown in FIG. If the angle of view occupied by the nth pixel is ⁇ div (n), the simplest is
  • an isosceles triangle is considered in which an imaginary length of an area where N pixels are arranged is L, a base length is L, and an apex angle is an angle of view ⁇ .
  • a right triangle having a height L / N and a base xn is considered, where the distance between the vertex of the isosceles triangle and the nth pixel is xn . If ⁇ div (n) is approximated as an angle (acute angle) formed by the base and hypotenuse of this right triangle,
  • the reduced image generated by the image reduction unit 145 is a reproduction of the image captured at the coordinates KEYE . Therefore, the reduced image is cut out at the start point and the end point of the pixel associated with the finder angle ⁇ . It is possible to generate an image that approximates a sight that can be seen when the user looks through the display 165 at the coordinates C EYE as a viewing window. Therefore, the start point and end point of the pixel associated with the finder angle ⁇ are obtained as shown in FIG.
  • the starting point pixel is the pth pixel and the ending point pixel is the qth pixel (where 0 ⁇ p ⁇ q ⁇ N).
  • the finder angle ⁇ is obtained from the equation (1).
  • the condition to be satisfied by p and q is as follows.
  • the start point / end point pixel calculation unit 154 uses the number of horizontal or vertical pixels N of the camera, the camera field angle ⁇ , and the calculated finder angle ⁇ stored in the parameter storage unit 151 to obtain the expression (3) ( 4)
  • the pixels corresponding to the start point and the end point are calculated using (5) and (6) (in the simple method, equations (2), (5), and (6) may be used) (SS154).
  • the trimming unit 155 cuts out the reduced image based on the positions of the p-th start point pixel and the q-th end point pixel (S155). More specifically, the trimming unit 155 has a horizontal start point pixel p 1 , a horizontal end point pixel q 1 , a vertical start point pixel p 2 , and a vertical end pixel q 2nd . If there is, a rectangle with four points of horizontal and vertical coordinates (p 1 , p 2 ), (q 1 , p 2 ), (q 1 , q 2 ), (p 1 , q 2 ) as vertices Crop the reduced image.
  • the display control unit 160 displays the clipped image on the display 165 (S160).
  • the captured image can be processed and displayed on the display as if the display were a viewing window, so that the user can use the display as a viewing window. You can use it to take photos and videos. For this reason, it is possible to generate a photograph or a movie that correctly reproduces the occupied solid angle of the subject as viewed from the user's viewpoint, which is useful for generating a photograph or a movie that reproduces the sense of size of the subject as viewed from the user. Furthermore, according to the captured image display apparatus 100 of the present embodiment, since the display can be used as a frame for cutting a landscape, convenience for the user is improved.
  • the device body can be produced as a see-through device, which can be used for the design of the appearance of the device, It becomes possible to provide the appearance of the device that does not get bored.
  • FIG. 14 is a block diagram showing the configuration of the captured image display apparatus 200 of this embodiment.
  • FIG. 15 is a flowchart showing the operation of the captured image display apparatus 200 of the present embodiment.
  • the captured image display device 200 of this embodiment includes a camera 105, a camera control unit 110, an image storage unit 115, a first distance sensor 130, a first distance sensor control unit 135, A first distance calculation unit 140, a second distance sensor 230, a second distance sensor control unit 235, a second distance calculation unit 240, a trimming position calculation unit 250, a trimming unit 155, a display control unit 160, A display 165.
  • the display 165 is provided in the main body of the captured image display device 200 so that an image can be presented in a direction opposite to the imaging direction of the camera 105.
  • the captured image display device 200 according to the present embodiment does not include the calibration unit 120, the calibration value storage unit 125, and the image reduction unit 145 included in the captured image display device 100 according to the first embodiment.
  • the captured image display device 200 according to the present embodiment includes a second distance sensor 230, a second distance sensor control unit 235, and a second distance calculation unit 240 that are not included in the captured image display device 100 according to the first embodiment.
  • the trimming position calculation unit 150 included in the captured image display apparatus 100 according to the first embodiment is changed to the trimming position calculation unit 250 in the present embodiment.
  • Each component of the captured image display apparatus 200 of the present embodiment which is assigned the same number as that of the captured image display apparatus 100 of the first embodiment, is the same as each component having the same number in the first embodiment, and thus description thereof is omitted. To do.
  • steps S105, S135, and S140 are executed to calculate the first distance.
  • the second distance sensor 230 outputs data for measuring the distance to an object existing in the imaging direction of the camera 105. Details of the second distance sensor 230 will be described later.
  • the second distance sensor control unit 235 detects the activation of the camera 105 and activates the second distance sensor 230 (S235). Based on the output of the second distance sensor 230, the second distance calculator 240 calculates a distance (hereinafter referred to as a second distance) from an object present in the imaging direction (S240). Details of step S240 will be described later.
  • the trimming position calculation unit 250 displays the size of the display 165 in the horizontal and vertical directions, the first and second distances, the number of pixels in the horizontal and vertical directions of the camera 105, and the images in the horizontal and vertical directions of the camera 105, respectively. Based on the corners, the positions of the start pixel and the end pixel in the horizontal and vertical directions are calculated (S250). Details of step S250 will be described later. As in the first embodiment, steps S155 and S160 are executed, and the clipped image is displayed on the display.
  • the second distance sensor 230 outputs data for measuring the distance to an object existing in the imaging direction of the camera 105. Similar to the first distance sensor 130, the second distance sensor 230 may be one of a passive method, a sonar method, an infrared method, a contrast detection method, a phase difference detection method, or another method.
  • the data output by the second distance sensor 230 is more preferably performed by the second distance sensor control unit 235 every 0.1 to 1 second, for example, and can sufficiently follow the movement of the camera.
  • the second distance calculation unit 240 calculates a distance (second distance) to an object existing in the imaging direction based on the output of the second distance sensor 230 (S240).
  • the distance measurement program of the second distance calculation unit 240 is incorporated corresponding to the method of the second distance sensor 230, and the second distance can be calculated based on the output data of the second distance sensor 230. it can.
  • a subject is assumed as an object existing in the imaging direction. Therefore, it is assumed that the second distance calculation unit 240 calculates the distance between the captured image display device 200 and the subject as the second distance.
  • FIG. 16 is a block diagram showing the configuration of the trimming position calculation unit 250 of this embodiment.
  • FIG. 17 is a flowchart showing the operation of the trimming position calculator 250 of this embodiment.
  • FIG. 18 is a diagram for explaining the angle of view ⁇ , the finder angle ⁇ , the first distance d, and the second distance s of the camera 105.
  • FIG. 19 is a diagram for explaining the trimming angle ⁇ .
  • FIG. 20 is a diagram illustrating the start point and end point pixels calculated by the start point / end point pixel calculation means 254 of the trimming position calculation unit 250 of the present embodiment.
  • the trimming position calculation unit 250 includes a parameter storage unit 151, a finder angle calculation unit 152, a trimming angle calculation unit 253, and a start point / end point pixel calculation unit 254.
  • the parameter storage unit 151 stores the display size in the horizontal and vertical directions, the number of pixels in the horizontal and vertical directions, and the camera angle of view in the horizontal and vertical directions.
  • the expressions of parameters h, N, and ⁇ are used, it is assumed that both the horizontal and vertical expressions are described together.
  • the finder angle calculation unit 152 calculates the finder angle ⁇ using h and d stored in the parameter storage unit 151 in the same manner as in the first embodiment (SS152).
  • the distance between the coordinate C OBJ and the coordinate C CAM is represented as s. It can be considered that s is equal to the second distance described above.
  • the trimming angle calculation means 253 calculates the trimming angle ⁇ from the first distance d, the second distance s, and the finder angle ⁇ (SS253).
  • the trimming angle ⁇ is an angle shown in FIG.
  • the relationship between the trimming angle ⁇ and the finder angle ⁇ can be expressed by the following equation using the first distance d and the second distance s.
  • the trimming angle calculation means 253 calculates the trimming angle ⁇ by substituting the first distance d, the second distance s, and the finder angle ⁇ into the equation (8) (SS253).
  • the start point / end point pixel calculation means 254 calculates the pixels corresponding to the start point and end point from the trimming angle ⁇ , the number N of pixels in the horizontal or vertical direction of the camera, and the camera angle of view ⁇ (SS254). Specifically, as shown in FIG. 20, the start point and end point of the pixel associated with the trimming angle ⁇ are obtained.
  • the starting point pixel is the pth pixel and the ending point pixel is the qth pixel (where 0 ⁇ p ⁇ q ⁇ N).
  • the trimming angle ⁇ is obtained by the equation (8).
  • the condition to be satisfied by p and q is as follows.
  • the start point / end point pixel calculation means 254 uses the number of horizontal or vertical pixels N of the camera, the camera angle of view ⁇ , and the calculated trimming angle ⁇ stored in the parameter storage means 151 to obtain the expression (3), Using (4), (6), and (9) (in a simple method, the equations (2), (6), and (9) may be used), and the pixels corresponding to the start point and the end point are calculated (SS254).
  • the trimming unit 155 cuts out the reduced image based on the positions of the p-th start point pixel and the q-th end point pixel (S155). More specifically, the trimming unit 155 has a horizontal start point pixel p 1 , a horizontal end point pixel q 1 , a vertical start point pixel p 2 , and a vertical end pixel q 2nd . If there is, a rectangle with four points of horizontal and vertical coordinates (p 1 , p 2 ), (q 1 , p 2 ), (q 1 , q 2 ), (p 1 , q 2 ) as vertices Crop the reduced image.
  • the display control unit 160 displays the clipped image on the display 165 (S160).
  • the same effects as those of the captured image display device 100 of Embodiment 1 can be obtained, and the prior calibration work can be omitted. And labor of equipment manufacturers are reduced.
  • FIG. 21 is a block diagram showing the configuration of the captured image display apparatus 300 of this embodiment.
  • FIG. 22 is a flowchart showing the operation of the captured image display apparatus 300 of this embodiment. As shown in FIG.
  • the captured image display apparatus 300 of the present embodiment includes a camera 105, a camera control unit 110, an image storage unit 115, a first distance sensor 130, a first distance sensor control unit 135, A first distance calculation unit 140, a second distance sensor 230, a second distance sensor control unit 235, a second distance calculation unit 240, an in-camera 370, an in-camera control unit 375, an eyeball detection unit 380, A peep angle calculation unit 385, a trimming position calculation unit 350, a trimming unit 155, a display control unit 160, and a display 165 are provided.
  • the display 165 is provided in the main body of the captured image display device 300 so that an image can be presented in a direction opposite to the imaging direction of the camera 105.
  • the captured image display apparatus 300 includes an in camera 370, an in camera control unit 375, an eyeball detection unit 380, and a peep angle calculation unit 385 that are not included in the captured image display apparatus 200 according to the second embodiment.
  • the trimming position calculation unit 250 included in the captured image display apparatus 200 according to the second embodiment is changed to a trimming position calculation unit 350 in the present embodiment.
  • Each component of the captured image display apparatus 300 of the present embodiment which is assigned the same number as that of the captured image display apparatus 200 of the second embodiment, is the same as each component having the same number in the second embodiment, so that the description thereof is omitted. To do.
  • steps S105, S135, S140, S235, and S240 are executed to calculate the first distance and the second distance.
  • the in-camera 370 sets the direction opposite to the imaging direction of the camera 105 as the imaging direction.
  • the in-camera control unit 375 detects the activation of the camera 105 and activates the in-camera 370 (S375).
  • the eyeball detection unit 380 detects a pixel in which the eyeball is captured from the captured image of the in-camera 370 (S380). Details of step S380 will be described later.
  • the peeping angle calculation unit 385 when a pixel in which the eyeball is imaged is detected, based on the position of the detected pixel, an angle (acute angle, hereinafter referred to as “acute angle,” hereinafter)
  • the peep angle is calculated (S385). Details of step S385 will be described later.
  • the trimming position calculator 350 determines the horizontal and vertical sizes of the display 165, the first and second distances, the number of pixels in the horizontal and vertical directions of the camera, and the angle of view in the horizontal and vertical directions of the camera. In addition, the positions of the start point pixel and the end point pixel in the horizontal and vertical directions are calculated based on the peep angle (S350). Details of step S350 will be described later. Similar to the first and second embodiments, Steps S155 and S160 are executed, and the clipped image is displayed on the display.
  • the eyeball detection unit 380 detects the pixel in which the eyeball is captured from the captured image of the in-camera 370. Since the in-camera 370 is provided on the display 165 side, it is highly likely that the in-camera 370 captures the user face with the same logic as described in the description of the first distance calculation unit 140. The method for detecting the eyeball from the captured image of the in-camera is sufficient if the conventional technology is used as it is.
  • a candidate for face is extracted by scanning the captured image with a face detection filter, and the extracted face candidate is identified as either a face or a non-face by a statistical discrimination method and then identified as a face.
  • What is necessary is just to specify the approximate position of the pixel from which the eyeball was imaged from within the region.
  • the eyeball position is described as a single point. Therefore, when two eyeballs are detected, the midpoint of the line segment that connects the coordinates of the pixels in which the eyeball is imaged is detected. Is the eyeball position.
  • Step S385 ⁇ About Operation of Peep Angle Calculation Unit 385 (Step S385)>
  • the peep angle calculation unit 385 determines the angle formed by the eye direction of the eyeball and the imaging direction of the camera 105 based on the position of the detected pixel when the pixel where the eyeball is captured is detected. (Peep angle) is calculated (S385).
  • step S385 the relationship between the pixel and the angle of view described with reference to FIG. 12 can be applied as it is.
  • a straight line connecting the eyeball position and the in-camera 370 has an angle with respect to the imaging direction of the camera 105.
  • the angle (acute angle) formed by the eye gaze direction calculated in this way and the imaging direction of the camera 105 is used as the peeping angle ⁇ in the following calculation.
  • FIG. 23 is a block diagram illustrating a configuration of the trimming position calculation unit 350 of the present embodiment.
  • FIG. 24 is a flowchart showing the operation of the trimming position calculation unit 350 of the present embodiment.
  • FIG. 25 is a diagram for explaining the viewing angle ⁇ , the first trimming angle ⁇ 1 , and the second trimming angle ⁇ 2 (pattern 1).
  • FIG. 26 is a diagram for explaining the start point and end point pixels (pattern 1) calculated by the start point / end point pixel calculation means 354 of the trimming position calculation unit 350 of the present embodiment.
  • FIG. 27 is a diagram for explaining the viewing angle ⁇ , the first trimming angle ⁇ 1 , and the second trimming angle ⁇ 2 (pattern 2).
  • FIG. 28 is a diagram illustrating the start point and end point pixels (pattern 2) calculated by the start point / end point pixel calculation means 354 of the trimming position calculation unit 350 of the present embodiment.
  • the trimming position calculation unit 350 includes a parameter storage unit 151, a first trimming angle calculation unit 352, a second trimming angle calculation unit 353, and a start point / end point pixel calculation unit 354.
  • the parameter storage unit 151 stores the display size in the horizontal and vertical directions, the number of pixels in the horizontal and vertical directions, and the camera angle of view in the horizontal and vertical directions.
  • the expressions “h”, “N”, and “ ⁇ ” when used, it is assumed that both the horizontal and vertical expressions are collectively described.
  • a first trimming angle calculating means 352 display size h, the first distance d, the second distance s, calculating a first trimming angle beta 1 from a corner ⁇ peeping (SS352).
  • the first trimming angle ⁇ 1 and the second trimming angle ⁇ 2 are angles shown in FIG. ⁇ 1 and ⁇ 2 can be expressed by the following equations using the first trimming distance y 1 , the second trimming distance y 2 , the first distance d, and the second distance s shown in FIG.
  • the first trimming angle calculation means 352 substitutes the display size h, the first distance d, the second distance s, and the peeping angle ⁇ into the expressions (10), (11), and (12) to thereby calculate the first trimming angle.
  • ⁇ 1 is calculated (SS352).
  • the second trimming angle calculation unit 353 substitutes the display size h, the first distance d, the second distance s, and the peeping angle ⁇ into the expressions (10), (11), and (13) to perform the second trimming. to calculate the angle ⁇ 2 (SS353).
  • the start point / end point pixel calculation means 354 calculates the pixels corresponding to the start point and the end point from the first and second trimming angles ⁇ 1 and ⁇ 2 , the number N of pixels in the horizontal or vertical direction of the camera, and the camera angle of view ⁇ . (SS354). Specifically, as shown in FIG. 26, the start point and end point of the pixels associated with the first and second trimming angles ⁇ 1 and ⁇ 2 are obtained.
  • the starting point pixel is the pth pixel and the ending point pixel is the qth pixel (where 0 ⁇ p ⁇ q ⁇ N).
  • the first and second trimming angles ⁇ 1 and ⁇ 2 are obtained by the equations (12) and (13). The condition to be satisfied by p and q is as follows.
  • the start point / end pixel calculation means 354 stores the number N of horizontal or vertical pixels of the camera, the camera angle of view ⁇ , and the calculated first and second trimming angles ⁇ 1 and ⁇ 2 stored in the parameter storage means 151.
  • the formulas (3), (4), (14), and (15) in the simple method, the formulas (2), (14), and (15) may be used), and corresponding to the start point and the end point Pixels are calculated (SS354).
  • the trimming unit 155 cuts out the reduced image based on the positions of the p-th start point pixel and the q-th end point pixel (S155). More specifically, the trimming unit 155 has a horizontal start point pixel p 1 , a horizontal end point pixel q 1 , a vertical start point pixel p 2 , and a vertical end pixel q 2nd . If there is, a rectangle with four points of horizontal and vertical coordinates (p 1 , p 2 ), (q 1 , p 2 ), (q 1 , q 2 ), (p 1 , q 2 ) as vertices Crop the reduced image.
  • the display control unit 160 displays the clipped image on the display 165 (S160).
  • the captured image display apparatus 300 of the present embodiment in addition to the effect of the captured image display apparatus 200 of the second embodiment, even when the user's line of sight is incident on the display 165 at an angle, the display When 165 is a viewing window, it is possible to correctly simulate the scene that the user sees.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　ディスプレイが覗き窓であるかのように、撮像画像を加工してディスプレイに表示することができる撮像画像表示装置を提供する。カメラと、カメラの撮像方向と反対方向に画像を提示するディスプレイと、カメラの撮像方向と反対方向に存在する物体との距離（第１距離）を測定するためのデータを出力する第１距離センサと、カメラと被写体との撮像方向距離の変化量と、被写体の撮像画像中の占有画素の変化量との関係に基づいて定まる校正値を記憶する校正値記憶部と、第１距離と校正値とに基づいてカメラの撮像画像の画素数を少なくして縮小し、縮小画像を生成する画像縮小部と、始点、終点画素の位置を計算するトリミング位置計算部と、縮小画像を始点、終点画素の位置に基づいて切り抜くトリミング部と、切り抜かれた画像をディスプレイに表示するディスプレイ制御部とを備える。

Description

撮像画像表示装置、撮像画像表示方法、記録媒体
　本発明はカメラとディスプレイとを備える撮像画像表示装置、撮像画像表示装置を用いる撮像画像表示方法、およびそのプログラムを記録した記録媒体に関する。
　従来、カメラと、カメラの撮像画像をライブビュー映像として連続的かつリアルタイムに表示するディスプレイ（ライブビュー機能付き電子ファインダ、液晶ファインダ）とを備えるディジタルカメラや、ディジタルカメラ付き電子機器（携帯端末、タブレット型端末、ＰＤＡ、携帯ゲーム機など）が開発されている（例えば、特許文献１のライブビュー機能付き携帯端末）。図１に従来のディジタルカメラ付き携帯端末におけるディスプレイへのライブビュー映像表示例を示す。図１のように、ディジタルカメラ付き携帯端末９は、被写体１を、カメラが備える画角内においてリアルタイムに撮像し、当該撮像画像全体がディジタルカメラ付き携帯端末９のディスプレイのサイズに丁度収まる程度にサイズを調整してライブビュー映像２として表示する。
特開２０１１－１７１９１７号公報
　しかしながら、従来のディジタルカメラ付き携帯端末９では、ユーザはディスプレイを素通しファインダ（覗き窓）のように使用することは出来ない。ディスプレイに表示されるライブビュー映像は通常、予め決められたカメラ画角内において撮像された画像全体を、ディスプレイ内になるべく大きく表示する性格のものであり、ユーザは、ディスプレイを観察したとしても、ディスプレイサイズの覗き窓を通して被写体を観察したことにはならない。これについて、図２を参照して詳細に説明する。図２は、ディジタルカメラ付き携帯端末のディスプレイを覗き窓として使用した場合のライブビュー映像表示例を示す図である。ライブビュー映像をあたかもディスプレイサイズの覗き窓を通して観察される風景のように構成するためには、ユーザ眼球位置（便宜上一点とする）と被写体１の任意の点（点Ｒと呼ぶ）とを結ぶ直線とディスプレイ面との交点にあたる座標に当該被写体１の点Ｒが表示されるように、ライブビュー映像を表示しなければならない。具体的には図２に示すライブビュー映像３のように映像を表示しなければならない。
　従来のディジタルカメラ付き携帯端末９では、前述のライブビュー映像３のような表示をすることが出来ないため、ユーザはディスプレイを覗き窓として使用することができない。このため、従来のディジタルカメラ付き携帯端末９において撮影される画像や映像はユーザ視点からみた被写体の占有立体角を正しく再現するものでなく、被写体のサイズ感を反映したものにならない。また、従来のディジタルカメラ付き携帯端末９では、ディスプレイを風景を切り取る枠として使用したいというユーザのニーズに応えることは出来ない。そこで本発明では、ディスプレイが覗き窓であるかのように、撮像画像を加工してディスプレイに表示することができる撮像画像表示装置を提供することを目的とする。
　本発明の撮像画像表示装置は、カメラと、カメラの撮像方向と反対方向に画像を提示するディスプレイと、第１距離センサと、第１距離計算部と、校正値記憶部と、画像縮小部と、トリミング位置計算部と、トリミング部と、ディスプレイ制御部とを備える。
　第１距離センサは、カメラの撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する。第１距離計算部は、第１距離センサの出力に基づいて、撮像方向と反対方向に存在する物体との距離である第１距離を計算する。校正値記憶部は、カメラと被写体との撮像方向距離の変化量と、被写体の撮像画像中における占有画素の変化量との関係に基づいて定められる校正値を予め記憶する。画像縮小部は、第１距離と校正値とに基づいて、カメラの撮像画像の水平、鉛直方向それぞれの画素数を少なくして縮小し、縮小画像を生成する。トリミング位置計算部は、ディスプレイの水平、鉛直方向それぞれのサイズと、第１距離と、カメラの水平、鉛直方向それぞれの画素数と、カメラの水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する。トリミング部は、縮小画像を始点画素、および終点画素の位置に基づいて切り抜く。ディスプレイ制御部は、切り抜かれた画像をディスプレイに表示する。
　本発明の撮像画像表示装置によれば、ディスプレイが覗き窓であるかのように、撮像画像を加工してディスプレイに表示することができる。
従来のディジタルカメラ付き携帯端末におけるディスプレイへのライブビュー映像表示例を示す図。 ディジタルカメラ付き携帯端末のディスプレイを覗き窓として使用した場合のライブビュー映像表示例を示す図。 実施例１の撮像画像表示装置の構成を示すブロック図。 実施例１の撮像画像表示装置の動作を示すフローチャート。 実施例１の校正部の構成を示すブロック図。 実施例１の校正部の動作を示すフローチャート。 実施例１の校正部が校正値の計算に用いる第１画像の例を説明する図。 実施例１の校正部が校正値の計算に用いる第２画像の例を説明する図。 カメラと基準との撮像方向距離の変化量と、基準の撮像画像中における占有画素（ピクセル）の変化量との関係を表す図。 実施例１のトリミング位置計算部の構成を示すブロック図。 実施例１のトリミング位置計算部の動作を示すフローチャート。 実施例１の画像縮小部が生成する縮小画像について説明する図。 カメラの画角とカメラの画素の関係について説明する図。 実施例１のトリミング位置計算部の始点終点画素計算手段が計算する始点、終点画素について説明する図。 実施例２の撮像画像表示装置の構成を示すブロック図。 実施例２の撮像画像表示装置の動作を示すフローチャート。 実施例２のトリミング位置計算部の構成を示すブロック図。 実施例２のトリミング位置計算部の動作を示すフローチャート。 カメラの画角、ファインダ角、第１距離、第２距離を説明する図。 トリミング角について説明する図。 実施例２のトリミング位置計算部の始点終点画素計算手段が計算する始点、終点画素について説明する図。 実施例３の撮像画像表示装置の構成を示すブロック図。 実施例３の撮像画像表示装置の動作を示すフローチャート。 実施例３のトリミング位置計算部の構成を示すブロック図。 実施例３のトリミング位置計算部の動作を示すフローチャート。 覗きこみ角、第１トリミング角、第２トリミング角（パターン１）を説明する図。 実施例３のトリミング位置計算部の始点終点画素計算手段が計算する始点、終点画素（パターン１）について説明する図。 覗きこみ角、第１トリミング角、第２トリミング角（パターン２）を説明する図。 実施例３のトリミング位置計算部の始点終点画素計算手段が計算する始点、終点画素（パターン２）について説明する図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜撮像画像表示装置＞
　本発明では、カメラと、カメラの撮像画像をライブビュー映像として連続的かつリアルタイムに表示するディスプレイとを備える電子機器を撮像画像表示装置と総称する。撮像画像表示装置には、携帯端末、タブレット型端末、ＰＤＡ、携帯ゲーム機、ノート型ＰＣが含まれる。
　以下、図３、図４を参照して本発明の実施例１の撮像画像表示装置について説明する。図３は本実施例の撮像画像表示装置１００の構成を示すブロック図である。図４は本実施例の撮像画像表示装置１００の動作を示すフローチャートである。図３に示すように、本実施例の撮像画像表示装置１００は、カメラ１０５と、カメラ制御部１１０と、画像記憶部１１５と、校正部１２０と、校正値記憶部１２５と、第１距離センサ１３０と、第１距離センサ制御部１３５と、第１距離計算部１４０と、画像縮小部１４５と、トリミング位置計算部１５０と、トリミング部１５５と、ディスプレイ制御部１６０と、ディスプレイ１６５とを備える。ディスプレイ１６５は、カメラ１０５の撮像方向と反対方向に画像を提示できるように、撮像画像表示装置１００本体に設けられている。
　以下、図４を参照しながら各構成部の動作の概略について説明する。カメラ制御部１１０は、ユーザ入力に従ってカメラ１０５の起動、カメラ１０５の動作（撮像、画像記録など）を制御する。カメラ１０５の撮像画像は画像記憶部１１５に記憶される。校正部１２０は、カメラ１０５と被写体との撮像方向距離の変化量と、被写体の撮像画像中における占有画素の変化量との関係に基づいて定められる校正値を計算し、計算された校正値を校正値記憶部１２５に記憶する（Ｓ１２０）。ステップＳ１２０について詳細は後述する。第１距離センサ１３０は、カメラ１０５の撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する。第１距離センサ１３０について詳細は後述する。第１距離センサ制御部１３５は、カメラ１０５の起動を検知して（Ｓ１０５Ｙ）、第１距離センサ１３０を起動する（Ｓ１３５）。第１距離計算部１４０は、第１距離センサ１３０の出力に基づいて、撮像方向と反対方向に存在する物体との距離（以下、第１距離という）を計算する（Ｓ１４０）。ステップＳ１４０について詳細は後述する。画像縮小部１４５は、第１距離と校正値とに基づいて、カメラ１０５の撮像画像の水平、鉛直方向それぞれの画素数を少なくして縮小し、縮小画像を生成する（Ｓ１４５）。ステップＳ１４５について詳細は後述する。トリミング位置計算部１５０は、ディスプレイ１６５の水平、鉛直方向それぞれのサイズと、第１距離と、カメラ１０５の水平、鉛直方向それぞれの画素数と、カメラ１０５の水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する（Ｓ１５０）。ステップＳ１５０について詳細は後述する。トリミング部１５５は、縮小画像を始点画素、および終点画素の位置に基づいて切り抜く（Ｓ１５５）。ディスプレイ制御部１６０は、切り抜かれた画像をディスプレイ１６５に表示する（Ｓ１６０）。
＜校正部１２０の動作（ステップＳ１２０）について＞
　以下、校正部１２０の動作（ステップＳ１２０）について図５から図８を参照して詳細に説明する。図５は、本実施例の校正部１２０の構成を示すブロック図である。図６は、本実施例の校正部１２０の動作を示すフローチャートである。図７Ａは、本実施例の校正部１２０が校正値の計算に用いる第１画像１０の例を説明する図である。図７Ｂは、本実施例の校正部１２０が校正値の計算に用いる第２画像２０の例を説明する図である。図８は、カメラ１０５と基準３０との撮像方向距離の変化量と、基準３０の撮像画像中における占有画素（ピクセル）の変化量との関係を表す図である。
　図５に示すように、本実施例の校正部１２０は、第１画像取得手段１２１と、第２画像取得手段１２２と、領域特定手段１２３と、校正値計算手段１２４とを備える。なお、校正部１２０の各構成手段１２１、１２２、１２３、１２４などはアプリケーションソフトウェアで実現される。また、校正部１２０が行う校正動作には、予めサイズを定めてユーザに配布した基準３０を使用する。図７の例では、基準３０は長手方向の長さがａの棒形状である。基準３０は、例えば本実施例の撮像画像変換装置１００の製品パッケージ等に同封しておけばよい。以下、図６を参照しながら校正部１２０の動作について説明する。まず、第１画像取得手段１２１は、基準３０を画面の幅（水平）方向一杯に撮影する旨の指示をディスプレイに提示して、指示提示の後、最初に撮影された画像（第１画像１０）に第１画像１０を示す固有のフラグ値を付加する。ユーザが第１画像取得手段１２１の指示に従って基準３０を撮影した場合、第１画像１０は図７Ａに例示したような画像となる。次に、第２画像取得手段１２１は、第１画像１０の撮影位置から所定の距離ｂ（例えばｂ＝１メートル）基準３０から撮影方向遠ざかった位置において、基準３０を再度撮影する旨の指示をディスプレイに提示して、指示提示の後、最初に撮影された画像（第２画像２０）に第２画像２０を示す固有のフラグ値を付加する。ユーザが第２画像取得手段１２２の指示に従って基準３０を撮影した場合、第２画像２０は図７Ｂに例示したような画像となる。固有のフラグ値を付加された第１、第２画像２０は何れも画像記憶部１１５に記憶される。ユーザは、第１画像１０、第２画像２０を正常に撮影したと判断した場合には、端末操作により撮影終了を通知する。具体的には、校正部１２０のアプリケーションプログラムにおいて、撮影終了ボタンをタッチスクリーン上に表示するか、撮影終了ボタンとして操作ボタンのひとつを割り当てて当該割り当てを表示し、撮影終了ボタンの押下を検知すればよい。第１画像取得手段１２１は、ユーザからの撮影終了通知を契機として、画像記憶部１１５から、第１画像１０を示す固有のフラグ値を付加された画像（第１画像１０）を検索して、当該第１画像１０を取得する（ＳＳ１２１）。第２画像取得手段１２２は、ユーザからの撮影終了通知を契機として、画像記憶部１１５から、第２画像２０を示す固有のフラグ値を付加された画像（第２画像２０）を検索して、当該第２画像２０を取得する（ＳＳ１２２）。領域特定手段１２３は、第１画像１０、第２画像２０の双方から撮像された基準３０を検出する（ＳＳ１２３）。基準３０の検出方法は周知の画像処理方法で構わない。例えばフィルタ関数の畳みこみによるコントラストの検知などでよい。例えば、基準３０の両端部に、予め定めた識別パタンを印刷しておき、この識別パタンを検知することによって、基準３０の占有画素を見積もってもよい。この場合、識別パタンが検知できない場合には、基準３０が撮影されていないものとして、処理を中断しても良い。次に、校正値計算手段１２４は、第１画像１０、第２画像２０中の基準３０が撮像された画素（ピクセル）数から校正値を計算して、校正値記憶部１２５に記憶する（ＳＳ１２４）。より具体的には、図８に示すように、第１画像１０における基準３０が撮像された画素の数、例えば水平方向の画素数をＺ１とし、第２画像２０における基準３０が撮像された画素の数、例えば水平方向の画素数をＺ２として、横軸をカメラの移動距離、縦軸を基準３０の撮像された画素の水平方向の個数とし、第１画像１０におけるカメラ１０５の位置を移動距離０、つまりＺ１を切片とし、座標（ｂ，Ｚ２）を通過する一次関数を考える。例えばこの一次関数の傾きｃを校正値とすることができる。校正値ｃは、ｃ＝（Ｚ２－Ｚ１）／ｂにより求められる。校正値ｃは、校正値記憶部１２５に記憶され、画像縮小部１４５が実行するステップＳ１４５において用いられる。詳細については後述する。なお、校正値ｃを出荷時点で撮像画像表示装置１００のいずれかの記憶領域（例えば校正値記憶部１２５）に予め記憶しておけば、上述のユーザを介した校正動作は必要ない。この場合、校正部１２０全体を省略することができる。
＜第１距離センサ１３０について＞
　以下、第１距離センサ１３０について説明する。前述したように、第１距離センサ１３０は、カメラ１０５の撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する。第１距離センサ１３０は、例えば、ＣＣＤで光を受けて角度で測距するパッシブ方式による距離センサでもよい。第１距離センサ１３０は、音波を発射し、物体に反射された音波が帰ってくるまでの時間で測距するソナー方式、近赤外光の出射角と、物体に反射された赤外光の入射角とを測り、幾何学的に距離を測距する赤外線方式によってもよい。または、ＣＣＤで撮像した画像のコントラストを検知して、レンズ位置を前後に動作させ、ピント位置を割り出して、測距するコントラスト検知方式でもよい。レンズから導いたスリット光の位相を検知することにより測距する位相差検知方式でもよい。実施例２以降で説明する第２距離センサ２３０についても同様に、パッシブ方式、ソナー方式、赤外線方式、コントラスト検知方式、位相差検知方式の何れか、または他の方式によってもよい。なお、第１距離センサ１３０によるデータ出力は、第１距離センサ制御部１３５により、例えば０．１から１秒毎に実行され、ユーザの動きに十分に追従できればさらによい。
＜第１距離計算部１４０の動作（ステップＳ１４０）について＞
　以下、第１距離計算部１４０について説明する。前述したように、第１距離計算部１４０は、第１距離センサ１３０の出力に基づいて、撮像方向と反対方向に存在する物体との距離（第１距離）を計算する（Ｓ１４０）。第１距離計算部１４０の測距用のプログラムは、第１距離センサ１３０の方式に対応して組み込まれており、第１距離センサ１３０の出力データに基づいて、第１距離を算出することができる。ここで、撮像方向と反対方向に存在する物体として想定しているのはユーザの顔面や、ユーザの身体の一部である。従って、第１距離計算部１４０は、撮像画像表示装置１００とユーザの間の距離を第１距離として計算することを想定して撮像画像表示装置１００に組み込まれている。前述したように、撮像画像表示装置１００は、カメラ１０５を備え、カメラ１０５の撮像方向と逆向きに撮像画像を表示するディスプレイ１６５を備えており、ユーザはカメラ１０５起動時にはディスプレイ１６５をファインダとして観察していることを考えれば、カメラ１０５の撮像方向と逆方向であって、撮像画像表示装置１００の最近傍に存在する物体はユーザの顔面、もしくはユーザの身体の一部である可能性が高い。従って、第１距離センサ１３０が出力したデータにより計算した距離離れた位置にユーザが存在すると考えることができる。また、カメラ１０５の撮像方向と逆方向にユーザが存在しない場合には、そもそもユーザがディスプレイ１６５を見ていない可能性が高い。具体的には、カメラ１０５を起動したまま、撮像画像表示装置１００を放置している場合などである。このような場合、第１距離センサ１３０が出力したデータによっては、ユーザとの距離を正しく計算することができず後述する画像の切り抜きなどにも影響を与えることになる。しかしながら、この場合、ユーザがディスプレイ１６５を見ていない可能性が高く、ディスプレイ１６５への表示自体が不必要であるため問題とならない。
＜画像縮小部１４５の動作（ステップＳ１４５）について＞
　図１１を参照して画像縮小部１４５の動作について説明を加える。図１１は本実施例の画像縮小部１４５が生成する縮小画像について説明する図である。図１１に示すように、座標軸（図中の一点鎖線）の正方向をカメラ１０５の撮像方向とし、当該座標軸がカメラレンズの中心をとおるものとする。ユーザ眼球位置の撮像方向座標をＣＥＹＥ、カメラ１０５の撮像方向座標をＣＣＡＭ、被写体の撮像方向座標をＣＯＢＪとする。この場合、座標ＣＣＡＭと座標ＣＥＹＥとは、前述した第１距離だけ離れているものと考えることができる。従って、第１距離は、図中の座標ＣＣＡＭと座標ＣＥＹＥとの距離を意味するｄと等しいものとして説明を続ける。ここで、画像縮小部１４５が生成する画像として想定しているのは、図１１の座標ＣＥＹＥにカメラ１０５を移動して被写体を撮像した場合の撮像画像である。ここで、画像縮小部１４５によって変形される前の撮像画像は、座標ＣＣＡＭにあるカメラ１０５により座標ＣＯＢＪに存在する被写体を、画角αで撮像した画像のことである。一方、カメラ１０５を、撮像方向の負方向に第１距離（ｄ）だけ移動させ、座標ＣＥＹＥにおいて被写体を画角αで撮影した場合、変形前よりも広範囲の被写体を画角α内に収めることができる。従って、変形前の撮像画像から、カメラ１０５を、撮像方向の負方向に第１距離（ｄ）だけ移動させたときの撮像画像を完全な形で取得することはできない。従って、画像縮小部１４５は、変形前の撮像画像に写されておらず、変形後の撮像画像に写されるはずの被写体については再現せずに、例えば信号ゼロとする。また、画像縮小部１４５は、変形前の撮像画像に写された被写体については、座標ＣＥＹＥにおける画角となるように、縮小変形する。従って、画像縮小部１４５は、第１距離ｄと校正値ｃとに基づいて、撮像画像の縮小率を計算し、カメラ１０５の撮像画像の水平、鉛直方向それぞれの画素数を少なくして縮小した画像を生成する。このように生成した画像を、水平、鉛直方向のカメラ画素数が等しくなる画像領域の中央に配置して、配置された画像が占有しない周辺領域の画素値を所定の値（例えば信号ゼロ、ＲＧＢ値が０）とした縮小画像を生成する。従ってこの場合、配置された画像が占有しない周辺領域は黒い額縁のように表示される。このようにして生成された縮小画像はトリミング位置計算部１５０が計算した始点終点画素の位置に基づいてトリミング（切り抜き）処理される。詳細については後述する。
＜トリミング位置計算部１５０の動作（ステップＳ１５０）について＞
　以下、トリミング位置計算部１５０の動作（ステップＳ１５０）について図９から図１３を参照して詳細に説明する。図９は、本実施例のトリミング位置計算部１５０の構成を示すブロック図である。図１０は、本実施例のトリミング位置計算部１５０の動作を示すフローチャートである。図１２は、カメラ１０５の画角とカメラ１０５の画素の関係について説明する図である。図１３は、本実施例のトリミング位置計算部１５０の始点終点画素計算手段１５４が計算する始点、終点画素について説明する図である。
　図９に示す通り、トリミング位置計算部１５０は、パラメータ記憶手段１５１と、ファインダ角計算手段１５２と、始点終点画素計算手段１５４とを備える。パラメータ記憶手段１５１には、水平、鉛直方向それぞれのディスプレイサイズ、水平、鉛直方向それぞれの画素数、水平、鉛直方向それぞれのカメラ画角が記憶されている。ディスプレイサイズ、画素数（一辺）、カメラ画角については、それぞれ水平、鉛直方向のパラメータが存在する。従って、水平方向のディスプレイサイズをｈ１、鉛直方向のディスプレイサイズをｈ２、水平方向の画素数をＮ１、鉛直方向の画素数をＮ２、水平方向のカメラ画角をα１、鉛直方向のカメラ画角をα２、などと表すことができる。しかしながら、以下の説明では、鉛直方向の計算が水平方向の計算にほぼそのまま当てはまり、その逆も真であるからこれらを区別しておく必要もないため、パラメータｈ、Ｎ、αという表現を用いた場合には水平、鉛直の双方を纏めて説明する表現であるものとする。
　以下、図１０を参照しながらトリミング位置計算部１５０の動作について説明する。まず、ファインダ角計算手段１５２は、パラメータ記憶手段１５１に記憶されているディスプレイサイズｈと、前述の第１距離計算部１４０が計算した第１距離ｄを用いてファインダ角θを計算する（ＳＳ１５２）。ファインダ角θとは図１１に示すようにユーザ眼球位置（便宜上、一点とする）と、ディスプレイ１６５一端の点（便宜上、ディスプレイ一端辺の中点としておく）とを結ぶ直線と、ユーザ眼球位置と、ディスプレイ１６５他端の点（便宜上、ディスプレイ他端辺の中点としておく）とを結ぶ直線とがなす角度（鋭角）のことである。ファインダ角θは以下の式により概算することができる。
Figure JPOXMLDOC01-appb-M000001
　前述の画像縮小部１４５により縮小された画像からファインダ角θに該当する画像領域の画素を切り抜いて、切り抜いた画像をディスプレイ１６５画面いっぱいに表示することにより、ユーザがディスプレイ１６５を覗き窓として覗いた場合に見える光景と近似した画像を表示することが可能となる。
　次に、始点終点画素計算手段１５４は、前述のファインダ角θ、カメラの水平、または鉛直方向の画素数Ｎ、カメラ画角αから始点、終点にあたる画素を計算する（ＳＳ１５４）。カメラ１０５の撮像画像の各画素と画角の関係は図１２に示すとおりである。ｎ番目の画素が占有する画角をαｄｉｖ（ｎ）とすると、もっとも単純には、
Figure JPOXMLDOC01-appb-M000002
と概算することができる。また、図１２に示すように、Ｎ個の画素を配置した領域の仮想的な長さをＬとし、底辺の長さをＬ、頂角の大きさを画角αとした二等辺三角形を考える。この場合、二等辺三角形の頂点とｎ番目の画素との距離をｘｎとし、高さＬ／Ｎ、底辺ｘｎである直角三角形を考える。αｄｉｖ（ｎ）をこの直角三角形の底辺と斜辺のなす角（鋭角）であるものとして近似すれば、
Figure JPOXMLDOC01-appb-M000003
となり、
Figure JPOXMLDOC01-appb-M000004
と概算することができる。式（４）において仮想的な長さＬはキャンセルされる。式（２）や式（４）のように画角と画素は対応付けることが可能である。
　一方、画像縮小部１４５により生成された縮小画像は、座標ＣＥＹＥにおいて撮像した画像を再現したものであるから、この縮小画像をファインダ角θに対応付けられる画素の始点と終点とで切り抜くことで、ユーザが座標ＣＥＹＥにおいてディスプレイ１６５を覗き窓として覗いた場合に見える光景と近似した画像を生成することができる。そこで、図１３のようにファインダ角θに対応付けられる画素の始点と終点とを求める。始点の画素をｐ番目の画素、終点の画素をｑ番目の画素とする（ただし、０≦ｐ＜ｑ≦Ｎ）。ここで、式（１）によりファインダ角θは求められている。ｐとｑの充たすべき条件は次式のようになる。
Figure JPOXMLDOC01-appb-M000005
　従って、始点終点画素計算手段１５４は、パラメータ記憶手段１５１に記憶されたカメラの水平、または鉛直方向の画素数Ｎ、カメラ画角α、計算されたファインダ角θを用いて、式（３）（４）（５）（６）を用いて（簡易的な方法では、式（２）、（５）、（６）でもよい）、始点、終点にあたる画素を計算する（ＳＳ１５４）。
　トリミング部１５５は、縮小画像をｐ番目の始点画素、およびｑ番目の終点画素の位置に基づいて切り抜く（Ｓ１５５）。より詳細には、トリミング部１５５は、水平方向の始点画素がｐ１番目、水平方向の終点画素がｑ１番目、鉛直方向の始点画素がｐ２番目、鉛直方向の終点画素がｑ２番目であった場合に、水平鉛直方向の座標（ｐ１，ｐ２）、（ｑ１，ｐ２）、（ｑ１，ｑ２）、（ｐ１，ｑ２）の４点を頂点とする長方形に縮小画像を切り抜く。ディスプレイ制御部１６０は、切り抜かれた画像をディスプレイ１６５に表示する（Ｓ１６０）。
　このように、本実施例の撮像画像表示装置１００によれば、ディスプレイが覗き窓であるかのように、撮像画像を加工してディスプレイに表示することができるため、ユーザはディスプレイを覗き窓として使用して写真や動画の撮影を行うことができる。このため、ユーザ視点からみた被写体の占有立体角を正しく再現した写真や動画を生成することができ、ユーザからみた被写体のサイズ感を再現した写真や動画の生成に役立つ。さらに、本実施例の撮像画像表示装置１００によれば、ディスプレイを風景を切り取る枠として使用することができるため、ユーザの利便性が向上する。さらに、本実施例の撮像画像表示装置１００のカメラを常時起動状態にしておけば、装置本体をシースルーな装置として演出することができるため、装置の外観のデザインに利用することができ、ユーザを飽きさせない装置外観を提供することが可能となる。
　以下、図１４、図１５を参照して本発明の実施例２の撮像画像表示装置について説明する。図１４は本実施例の撮像画像表示装置２００の構成を示すブロック図である。図１５は本実施例の撮像画像表示装置２００の動作を示すフローチャートである。図１４に示すように、本実施例の撮像画像表示装置２００は、カメラ１０５と、カメラ制御部１１０と、画像記憶部１１５と、第１距離センサ１３０と、第１距離センサ制御部１３５と、第１距離計算部１４０と、第２距離センサ２３０と、第２距離センサ制御部２３５と、第２距離計算部２４０と、トリミング位置計算部２５０と、トリミング部１５５と、ディスプレイ制御部１６０と、ディスプレイ１６５とを備える。ディスプレイ１６５は、カメラ１０５の撮像方向と反対方向に画像を提示できるように、撮像画像表示装置２００本体に設けられている。
　本実施例の撮像画像表示装置２００は、実施例１の撮像画像表示装置１００が備える校正部１２０、校正値記憶部１２５、画像縮小部１４５を備えない。本実施例の撮像画像表示装置２００は、実施例１の撮像画像表示装置１００が備えない第２距離センサ２３０、第２距離センサ制御部２３５、第２距離計算部２４０を備える。実施例１の撮像画像表示装置１００が備えるトリミング位置計算部１５０は、本実施例ではトリミング位置計算部２５０に変更されている。実施例１の撮像画像表示装置１００と同一の番号を付した本実施例の撮像画像表示装置２００の各構成部については、実施例１における同一番号の各構成部と同じであるから説明を割愛する。
　以下、図１５を参照しながら各構成部の動作の概略について説明する。実施例１と同様に、ステップＳ１０５、Ｓ１３５、Ｓ１４０が実行されて、第１距離が計算される。第２距離センサ２３０は、カメラ１０５の撮像方向に存在する物体との距離を測定するためのデータを出力する。第２距離センサ２３０について詳細は後述する。第２距離センサ制御部２３５は、カメラ１０５の起動を検知して、第２距離センサ２３０を起動する（Ｓ２３５）。第２距離計算部２４０は、第２距離センサ２３０の出力に基づいて、撮像方向に存在する物体との距離（以下、第２距離という）を計算する（Ｓ２４０）。ステップＳ２４０について詳細は後述する。トリミング位置計算部２５０は、ディスプレイ１６５の水平、鉛直方向それぞれのサイズと、第１、第２距離と、カメラ１０５の水平、鉛直方向それぞれの画素数と、カメラ１０５の水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する（Ｓ２５０）。ステップＳ２５０について詳細は後述する。実施例１と同様に、ステップＳ１５５、Ｓ１６０が実行されて、切り抜かれた画像がディスプレイに表示される。
＜第２距離センサ２３０について＞
　以下、第２距離センサ２３０について説明する。前述したように、第２距離センサ２３０は、カメラ１０５の撮像方向に存在する物体との距離を測定するためのデータを出力する。第２距離センサ２３０は、第１距離センサ１３０と同様に、パッシブ方式、ソナー方式、赤外線方式、コントラスト検知方式、位相差検知方式の何れか、または他の方式によってもよい。なお、第２距離センサ２３０によるデータ出力は、第２距離センサ制御部２３５により、例えば０．１から１秒毎に実行され、カメラの動きに十分に追従できればさらによい。
＜第２距離計算部２４０の動作（ステップＳ２４０）について＞
　以下、第２距離計算部２４０について説明する。前述したように、第２距離計算部２４０は、第２距離センサ２３０の出力に基づいて、撮像方向に存在する物体との距離（第２距離）を計算する（Ｓ２４０）。第２距離計算部２４０の測距用のプログラムは、第２距離センサ２３０の方式に対応して組み込まれており、第２距離センサ２３０の出力データに基づいて、第２距離を算出することができる。ここで、撮像方向に存在する物体として想定しているのは被写体である。従って、第２距離計算部２４０は、撮像画像表示装置２００と被写体の間の距離を第２距離として計算することを想定している。
＜トリミング位置計算部２５０の動作（ステップＳ２５０）について＞
　以下、トリミング位置計算部２５０の動作（ステップＳ２５０）について図１６から図２０を参照して詳細に説明する。図１６は、本実施例のトリミング位置計算部２５０の構成を示すブロック図である。図１７は、本実施例のトリミング位置計算部２５０の動作を示すフローチャートである。図１８は、カメラ１０５の画角α、ファインダ角θ、第１距離ｄ、第２距離ｓを説明する図である。図１９は、トリミング角βについて説明する図である。図２０は本実施例のトリミング位置計算部２５０の始点終点画素計算手段２５４が計算する始点、終点画素について説明する図である。
　図１６に示す通り、トリミング位置計算部２５０は、パラメータ記憶手段１５１と、ファインダ角計算手段１５２と、トリミング角計算手段２５３と、始点終点画素計算手段２５４とを備える。実施例１と同様、パラメータ記憶手段１５１には、水平、鉛直方向それぞれのディスプレイサイズ、水平、鉛直方向それぞれの画素数、水平、鉛直方向それぞれのカメラ画角が記憶されている。実施例１同様、パラメータｈ、Ｎ、αという表現を用いた場合には水平、鉛直の双方を纏めて説明する表現であるものとする。
　以下、図１７を参照しながらトリミング位置計算部２５０の動作について説明する。まず、ファインダ角計算手段１５２は、実施例１と同様に、パラメータ記憶手段１５１に予め記憶されているｈと、ｄを用いてファインダ角θを計算する（ＳＳ１５２）。ここで、図１８に示すように、座標ＣＯＢＪと、座標ＣＣＡＭの距離をｓと表す。ｓは前述した第２距離と等しいものと考えることができる。次に、トリミング角計算手段２５３は、第１距離ｄ、第２距離ｓ、ファインダ角θからトリミング角βを計算する（ＳＳ２５３）。トリミング角βとは図１９に表す角度のことである。トリミング角βとファインダ角θの関係は、第１距離ｄ、第２距離ｓを用いて以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000006
　従って、トリミング角計算手段２５３は、第１距離ｄ、第２距離ｓ、ファインダ角θを式（８）に代入してトリミング角βを計算する（ＳＳ２５３）。
　次に、始点終点画素計算手段２５４は、前述のトリミング角β、カメラの水平、または鉛直方向の画素数Ｎ、カメラ画角αから始点、終点にあたる画素を計算する（ＳＳ２５４）。具体的には、図２０のようにトリミング角βに対応付けられる画素の始点と終点とを求める。始点の画素をｐ番目の画素、終点の画素をｑ番目の画素とする（ただし、０≦ｐ＜ｑ≦Ｎ）。ここで、式（８）によりトリミング角βは求められている。ｐとｑの充たすべき条件は次式のようになる。
Figure JPOXMLDOC01-appb-M000007
　従って、始点終点画素計算手段２５４は、パラメータ記憶手段１５１に記憶されたカメラの水平、または鉛直方向の画素数Ｎ、カメラ画角α、計算されたトリミング角βを用いて、式（３）、（４）、（６）、（９）を用いて（簡易的な方法では、式（２）、（６）、（９）でもよい）、始点、終点にあたる画素を計算する（ＳＳ２５４）。
　トリミング部１５５は、縮小画像をｐ番目の始点画素、およびｑ番目の終点画素の位置に基づいて切り抜く（Ｓ１５５）。より詳細には、トリミング部１５５は、水平方向の始点画素がｐ１番目、水平方向の終点画素がｑ１番目、鉛直方向の始点画素がｐ２番目、鉛直方向の終点画素がｑ２番目であった場合に、水平鉛直方向の座標（ｐ１，ｐ２）、（ｑ１，ｐ２）、（ｑ１，ｑ２）、（ｐ１，ｑ２）の４点を頂点とする長方形に縮小画像を切り抜く。ディスプレイ制御部１６０は、切り抜かれた画像をディスプレイ１６５に表示する（Ｓ１６０）。
　このように、本実施例の撮像画像表示装置２００によれば、実施例１の撮像画像表示装置１００と同様の効果を得ることができるうえ、事前の校正作業を省略することができるため、ユーザや機器メーカーの手間が削減される。
　以下、図２１、図２２を参照して本発明の実施例３の撮像画像表示装置について説明する。図２１は本実施例の撮像画像表示装置３００の構成を示すブロック図である。図２２は本実施例の撮像画像表示装置３００の動作を示すフローチャートである。図２１に示すように、本実施例の撮像画像表示装置３００は、カメラ１０５と、カメラ制御部１１０と、画像記憶部１１５と、第１距離センサ１３０と、第１距離センサ制御部１３５と、第１距離計算部１４０と、第２距離センサ２３０と、第２距離センサ制御部２３５と、第２距離計算部２４０と、インカメラ３７０と、インカメラ制御部３７５と、眼球検出部３８０と、覗きこみ角計算部３８５と、トリミング位置計算部３５０と、トリミング部１５５と、ディスプレイ制御部１６０と、ディスプレイ１６５とを備える。ディスプレイ１６５は、カメラ１０５の撮像方向と反対方向に画像を提示できるように、撮像画像表示装置３００本体に設けられている。
　本実施例の撮像画像表示装置３００は、実施例２の撮像画像表示装置２００が備えないインカメラ３７０、インカメラ制御部３７５、眼球検出部３８０、覗きこみ角計算部３８５を備える。実施例２の撮像画像表示装置２００が備えるトリミング位置計算部２５０は、本実施例ではトリミング位置計算部３５０に変更されている。実施例２の撮像画像表示装置２００と同一の番号を付した本実施例の撮像画像表示装置３００の各構成部については、実施例２における同一番号の各構成部と同じであるから説明を割愛する。
　以下、図２２を参照しながら各構成部の動作の概略について説明する。実施例２と同様に、ステップＳ１０５、Ｓ１３５、Ｓ１４０、Ｓ２３５、Ｓ２４０が実行されて、第１距離、第２距離が計算される。インカメラ３７０は、カメラ１０５の撮像方向と反対の方向を撮像方向とする。インカメラ制御部３７５は、カメラ１０５の起動を検知して、インカメラ３７０を起動する（Ｓ３７５）。眼球検出部３８０は、インカメラ３７０の撮像画像から眼球が撮像された画素を検出する（Ｓ３８０）。ステップＳ３８０について詳細は後述する。覗きこみ角計算部３８５は、眼球が撮像された画素が検出された場合に、検出された画素の位置に基づいて、眼球の視線方向と、カメラの撮像方向とがなす角度（鋭角、以下、覗きこみ角という）を計算する（Ｓ３８５）。ステップＳ３８５について詳細は後述する。トリミング位置計算部３５０は、ディスプレイ１６５の水平、鉛直方向それぞれのサイズと、第１、第２距離と、カメラの水平、鉛直方向それぞれの画素数と、カメラの水平、鉛直方向それぞれの画角に加え、覗きこみ角に基づいて水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する（Ｓ３５０）。ステップＳ３５０について詳細は後述する。実施例１、２と同様に、ステップＳ１５５、Ｓ１６０が実行されて、切り抜かれた画像がディスプレイに表示される。
＜眼球検出部３８０の動作（ステップＳ３８０）について＞
　以下、眼球検出部３８０の動作（ステップＳ３８０）について説明する。前述のとおり、眼球検出部３８０は、インカメラ３７０の撮像画像から眼球が撮像された画素を検出する。インカメラ３７０は、ディスプレイ１６５側に設けられているため、第１距離計算部１４０の説明で述べたのと同じ論理で、インカメラ３７０によりユーザ顔面が撮影される可能性は高い。インカメラの撮像画像から眼球を検出する方法は従来技術をそのまま利用すれば足りる。例えば、顔検出用のフィルタで撮像画像内を走査して顔候補を抽出し、抽出された顔候補を統計的判別法により、顔・非顔の何れかに判別したうえで、顔と判別された領域内から眼球が撮像された画素の概略位置を特定すればよい。なお、以下の説明では、簡単のため眼球位置を１点に集約して説明するため、眼球が二つ検出された場合には、眼球が撮像された画素の座標同士を結ぶ線分の中点を眼球位置とする。
＜覗きこみ角計算部３８５の動作（ステップＳ３８５）について＞
　以下、覗きこみ角計算部３８５の動作（ステップＳ３８５）について説明する。前述のとおり、覗きこみ角計算部３８５は、眼球が撮像された画素が検出された場合に、検出された画素の位置に基づいて、眼球の視線方向と、カメラ１０５の撮像方向とがなす角度（覗きこみ角）を計算する（Ｓ３８５）。ステップＳ３８５では、図１２で説明した画素と画角の関係をそのまま応用できる。従って、眼球位置として特定された画素が水平、鉛直方向における何番目の画素であるかが分かれば、眼球位置とインカメラ３７０とを結ぶ直線が、カメラ１０５の撮像方向に対してどんな角度を持つかが分かる。このように計算される眼球の視線方向と、カメラ１０５の撮像方向とがなす角度（鋭角）を覗きこみ角φとして、以下の計算に用いる。
＜トリミング位置計算部３５０の動作（ステップＳ３５０）について＞
　以下、トリミング位置計算部３５０の動作（ステップＳ３５０）について図２３から図２８を参照して詳細に説明する。図２３は、本実施例のトリミング位置計算部３５０の構成を示すブロック図である。図２４は、本実施例のトリミング位置計算部３５０の動作を示すフローチャートである。図２５は、覗きこみ角φ、第１トリミング角β１、第２トリミング角β２（パターン１）を説明する図である。図２６は本実施例のトリミング位置計算部３５０の始点終点画素計算手段３５４が計算する始点、終点画素（パターン１）について説明する図である。図２７は、覗きこみ角φ、第１トリミング角β１、第２トリミング角β２（パターン２）を説明する図である。図２８は本実施例のトリミング位置計算部３５０の始点終点画素計算手段３５４が計算する始点、終点画素（パターン２）について説明する図である。
　図２３に示す通り、トリミング位置計算部３５０は、パラメータ記憶手段１５１と、第１トリミング角計算手段３５２と、第２トリミング角計算手段３５３と、始点終点画素計算手段３５４とを備える。実施例１、２と同様、パラメータ記憶手段１５１には、水平、鉛直方向それぞれのディスプレイサイズ、水平、鉛直方向それぞれの画素数、水平、鉛直方向それぞれのカメラ画角が記憶されている。実施例１、２同様、パラメータｈ、Ｎ、αという表現を用いた場合には水平、鉛直の双方を纏めて説明する表現であるものとする。
　以下、図２４を参照しながらトリミング位置計算部３５０の動作について説明する。まず、第１トリミング角計算手段３５２は、ディスプレイサイズｈ、第１距離ｄ、第２距離ｓ、覗きこみ角φから第１トリミング角β１を計算する（ＳＳ３５２）。同様に、第２トリミング角計算手段３５３は、ディスプレイサイズｈ、第１距離ｄ、第２距離ｓ、覗きこみ角φから第２トリミング角β２を計算する（ＳＳ３５３）。第１トリミング角β１、第２トリミング角β２とは図２５に表す角度のことである。β１、β２は、図２５に示す第１トリミング距離ｙ１、第２トリミング距離ｙ２、第１距離ｄ、第２距離ｓを用いて以下の式で表すことができる。
Figure JPOXMLDOC01-appb-M000008
　従って、第１トリミング角計算手段３５２は、ディスプレイサイズｈ、第１距離ｄ、第２距離ｓ、覗きこみ角φを式（１０）、（１１）、（１２）に代入して第１トリミング角β１を計算する（ＳＳ３５２）。同様に、第２トリミング角計算手段３５３は、ディスプレイサイズｈ、第１距離ｄ、第２距離ｓ、覗きこみ角φを式（１０）、（１１）、（１３）に代入して第２トリミング角β２を計算する（ＳＳ３５３）。
　次に、始点終点画素計算手段３５４は、前述の第１、第２トリミング角β１、β２、カメラの水平、または鉛直方向の画素数Ｎ、カメラ画角αから始点、終点にあたる画素を計算する（ＳＳ３５４）。具体的には、図２６のように第１、第２トリミング角β１、β２に対応付けられる画素の始点と終点とを求める。始点の画素をｐ番目の画素、終点の画素をｑ番目の画素とする（ただし、０≦ｐ＜ｑ≦Ｎ）。ここで、式（１２）、（１３）により第１、第２トリミング角β１、β２は求められている。ｐとｑの充たすべき条件は次式のようになる。
Figure JPOXMLDOC01-appb-M000009
　従って、始点終点画素計算手段３５４は、パラメータ記憶手段１５１に記憶されたカメラの水平、または鉛直方向の画素数Ｎ、カメラ画角α、計算された第１、第２トリミング角β１、β２を用いて、式（３）、（４）、（１４）、（１５）を用いて（簡易的な方法では、式（２）、（１４）、（１５）でもよい）、始点、終点にあたる画素を計算する（ＳＳ３５４）。
　図２５、図２６では始点画素、終点画素の何れもが端に寄っている場合（つまり切り抜かれる画像領域が元の画像の中心画素を含まない場合）について説明した。一方、始点画素、終点画素により切り抜かれる画像が元の画像の中心画素を含む場合については、図２７、図２８のようになる。この場合でも、第１、第２トリミング角β１、β２の計算は式（１２）、（１３）により行うことができる。また、始点、終点画素に該当するｐ、ｑについても、前述の式（１４）、（１５）により計算できる。
　トリミング部１５５は、縮小画像をｐ番目の始点画素、およびｑ番目の終点画素の位置に基づいて切り抜く（Ｓ１５５）。より詳細には、トリミング部１５５は、水平方向の始点画素がｐ１番目、水平方向の終点画素がｑ１番目、鉛直方向の始点画素がｐ２番目、鉛直方向の終点画素がｑ２番目であった場合に、水平鉛直方向の座標（ｐ１，ｐ２）、（ｑ１，ｐ２）、（ｑ１，ｑ２）、（ｐ１，ｑ２）の４点を頂点とする長方形に縮小画像を切り抜く。ディスプレイ制御部１６０は、切り抜かれた画像をディスプレイ１６５に表示する（Ｓ１６０）。
　このように、本実施例の撮像画像表示装置３００によれば、実施例２の撮像画像表示装置２００の効果に加え、ユーザの視線がディスプレイ１６５に対して斜めに入射している場合でも、ディスプレイ１６５が覗き窓であった場合にユーザが目にする光景を正しくシュミレーションすることができる。

Claims (7)

  1. 　カメラと、前記カメラの撮像方向と反対方向に画像を提示するディスプレイとを備える撮像画像表示装置であって、
    前記カメラの撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する第１距離センサと、
    　前記第１距離センサの出力に基づいて、前記撮像方向と反対方向に存在する物体との距離である第１距離を計算する第１距離計算部と、
    　前記カメラと被写体との撮像方向距離の変化量と、前記被写体の撮像画像中における占有画素の変化量との関係に基づいて定められる校正値を予め記憶する校正値記憶部と、
    　前記第１距離と前記校正値とに基づいて、前記カメラの撮像画像の水平、鉛直方向それぞれの画素数を少なくして縮小し、縮小画像を生成する画像縮小部と、
    　前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算するトリミング位置計算部と、
    　前記縮小画像を前記始点画素、および前記終点画素の位置に基づいて切り抜くトリミング部と、
    　前記切り抜かれた画像を前記ディスプレイに表示するディスプレイ制御部と、
    を含む撮像画像表示装置。
  2. 　カメラと、前記カメラの撮像方向と反対方向に画像を提示するディスプレイとを備える撮像画像表示装置であって、
    　前記カメラの撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する第１距離センサと、
    　前記カメラの撮像方向に存在する物体との距離を測定するためのデータを出力する第２距離センサと、
    　前記第１距離センサの出力に基づいて、前記撮像方向と反対方向に存在する物体との距離である第１距離を計算する第１距離計算部と、
    　前記第２距離センサの出力に基づいて、前記撮像方向に存在する物体との距離（以下、第２距離という）を計算する第２距離計算部と、
    　前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１、第２距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算するトリミング位置計算部と、
    　前記カメラの撮像画像を前記始点画素、および前記終点画素の位置に基づいて切り抜くトリミング部と、
    　前記切り抜かれた画像を前記ディスプレイに表示するディスプレイ制御部と、
    を含む撮像画像表示装置。
  3. 　請求項２に記載の撮像画像表示装置であって、
    　前記カメラの撮像方向と反対の方向を撮像方向とするインカメラと、
    　前記インカメラの撮像画像から眼球が撮像された画素を検出する眼球検出部と、
    　前記眼球が撮像された画素が検出された場合に、前記検出された画素の位置に基づいて、前記眼球の視線方向と、前記カメラの撮像方向とがなす角度である覗きこみ角を計算する覗きこみ角計算部と、をさらに含み、
    　前記トリミング位置計算部は、前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１、第２距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角に加え、前記覗きこみ角に基づいて水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する
    撮像画像表示装置。
  4. 　カメラと、前記カメラの撮像方向と反対方向に画像を提示するディスプレイと、前記カメラの撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する第１距離センサとを備える撮像画像表示装置により実行される撮像画像表示方法であって、
    　前記第１距離センサの出力に基づいて、前記撮像方向と反対方向に存在する物体との距離である第１距離を計算する第１距離計算ステップと、
    　前記カメラと被写体との撮像方向距離の変化量と、前記被写体の撮像画像中における占有画素の変化量との関係に基づいて定められる校正値と、前記第１距離とに基づいて、前記カメラの撮像画像の水平、鉛直方向それぞれの画素数を少なくして縮小し、縮小画像を生成する画像縮小ステップと、
    　前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算するトリミング位置計算ステップと、
    　前記縮小画像を前記始点画素、および前記終点画素の位置に基づいて切り抜くトリミングステップと、
    　前記切り抜かれた画像を前記ディスプレイに表示するディスプレイ制御ステップと、
    を含む撮像画像表示方法。
  5. 　カメラと、前記カメラの撮像方向と反対方向に画像を提示するディスプレイと、前記カメラの撮像方向と反対方向に存在する物体との距離を測定するためのデータを出力する第１距離センサと、前記カメラの撮像方向に存在する物体との距離を測定するためのデータを出力する第２距離センサとを備える撮像画像表示装置により実行される撮像画像表示方法であって、
    　前記第１距離センサの出力に基づいて、前記撮像方向と反対方向に存在する物体との距離である第１距離を計算する第１距離計算ステップと、
    　前記第２距離センサの出力に基づいて、前記撮像方向に存在する物体との距離である第２距離を計算する第２距離計算ステップと、
    　前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１、第２距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角とに基づいて、水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算するトリミング位置計算ステップと、
    　前記カメラの撮像画像を前記始点画素、および前記終点画素の位置に基づいて切り抜くトリミングステップと、
    　前記切り抜かれた画像を前記ディスプレイに表示するディスプレイ制御ステップと、
    を含む撮像画像表示方法。
  6. 　請求項５に記載の撮像画像表示方法であって、
    　前記撮像画像表示装置がインカメラをさらに含み、
    　前記インカメラの撮像画像から眼球が撮像された画素を検出する眼球検出ステップと、
    　前記眼球が撮像された画素が検出された場合に、前記検出された画素の位置に基づいて、前記眼球の視線方向と、前記カメラの撮像方向とがなす角度である覗きこみ角を計算する覗きこみ角計算ステップと、をさらに含み、
    　前記トリミング位置計算部ステップは、前記ディスプレイの水平、鉛直方向それぞれのサイズと、前記第１、第２距離と、前記カメラの水平、鉛直方向それぞれの画素数と、前記カメラの水平、鉛直方向それぞれの画角に加え、前記覗きこみ角に基づいて水平、鉛直方向それぞれの始点画素と、終点画素の位置を計算する
    撮像画像表示方法。
  7. 　コンピュータを、請求項１から３の何れかに記載の撮像画像表示装置として機能させるためのプログラムが記録された、コンピュータで読み取り可能な記録媒体。
PCT/JP2013/065463 2012-06-13 2013-06-04 撮像画像表示装置、撮像画像表示方法、記録媒体 WO2013187282A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012133718A JP5805013B2 (ja) 2012-06-13 2012-06-13 撮像画像表示装置、撮像画像表示方法、プログラム
JP2012-133718 2012-06-13

Publications (1)

Publication Number Publication Date
WO2013187282A1 true WO2013187282A1 (ja) 2013-12-19

Family

ID=49758108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/065463 WO2013187282A1 (ja) 2012-06-13 2013-06-04 撮像画像表示装置、撮像画像表示方法、記録媒体

Country Status (2)

Country Link
JP (1) JP5805013B2 (ja)
WO (1) WO2013187282A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662930A (zh) * 2014-09-17 2017-05-10 英特尔公司 用于调整所捕获的图像的视角以供显示的技术
CN111554283A (zh) * 2020-04-23 2020-08-18 海信集团有限公司 一种智能设备及其控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7146944B2 (ja) 2018-11-30 2022-10-04 マクセル株式会社 表示装置
WO2021145244A1 (ja) * 2020-01-16 2021-07-22 ソニーグループ株式会社 表示装置、画像生成方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307765A (ja) * 1995-05-11 1996-11-22 Canon Inc 撮像装置
JP2004215062A (ja) * 2003-01-07 2004-07-29 Minolta Co Ltd 撮像装置
JP2005121838A (ja) * 2003-10-15 2005-05-12 Olympus Corp カメラ
JP2007324976A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp デジタルカメラ
JP2010183378A (ja) * 2009-02-05 2010-08-19 Sony Ericsson Mobile Communications Ab 画像撮影装置、画像撮影装置の制御方法及び制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5136326B2 (ja) * 2008-09-25 2013-02-06 カシオ計算機株式会社 撮像装置及びそのプログラム、並びに電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307765A (ja) * 1995-05-11 1996-11-22 Canon Inc 撮像装置
JP2004215062A (ja) * 2003-01-07 2004-07-29 Minolta Co Ltd 撮像装置
JP2005121838A (ja) * 2003-10-15 2005-05-12 Olympus Corp カメラ
JP2007324976A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp デジタルカメラ
JP2010183378A (ja) * 2009-02-05 2010-08-19 Sony Ericsson Mobile Communications Ab 画像撮影装置、画像撮影装置の制御方法及び制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106662930A (zh) * 2014-09-17 2017-05-10 英特尔公司 用于调整所捕获的图像的视角以供显示的技术
EP3195595A4 (en) * 2014-09-17 2018-04-25 Intel Corporation Technologies for adjusting a perspective of a captured image for display
CN106662930B (zh) * 2014-09-17 2020-03-13 英特尔公司 用于调整所捕获的图像的视角以供显示的技术
CN111554283A (zh) * 2020-04-23 2020-08-18 海信集团有限公司 一种智能设备及其控制方法

Also Published As

Publication number Publication date
JP2013258583A (ja) 2013-12-26
JP5805013B2 (ja) 2015-11-04

Similar Documents

Publication Publication Date Title
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US10915998B2 (en) Image processing method and device
EP2328125A1 (en) Image splicing method and device
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
CN108605087B (zh) 终端的拍照方法、拍照装置和终端
US8965105B2 (en) Image processing device and method
CN114640833B (zh) 投影画面调整方法、装置、电子设备和存储介质
CN109313797B (zh) 一种图像显示方法及终端
WO2013187282A1 (ja) 撮像画像表示装置、撮像画像表示方法、記録媒体
US8194147B2 (en) Image presentation angle adjustment method and camera device using the same
JP2009105559A (ja) 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器
CN114390186A (zh) 视频拍摄方法及电子设备
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100736565B1 (ko) 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기
CN111726602B (zh) 异视场角摄像-显像系统的匹配方法及其系统和计算系统
JP7270052B2 (ja) 表示方法、及び、映像処理方法
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
JP6326023B2 (ja) 撮影用プログラム
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
CN104349131B (zh) 一种信息处理方法及电子设备
JP2014089304A (ja) 視点計測装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804375

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13804375

Country of ref document: EP

Kind code of ref document: A1