WO2013136601A1 - 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法 - Google Patents

画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法 Download PDF

Info

Publication number
WO2013136601A1
WO2013136601A1 PCT/JP2012/080613 JP2012080613W WO2013136601A1 WO 2013136601 A1 WO2013136601 A1 WO 2013136601A1 JP 2012080613 W JP2012080613 W JP 2012080613W WO 2013136601 A1 WO2013136601 A1 WO 2013136601A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical
display device
unit
image display
Prior art date
Application number
PCT/JP2012/080613
Other languages
English (en)
French (fr)
Inventor
宗之 大島
近藤　茂
貴嗣 青木
和紀 井上
林　大輔
三沢　岳志
三沢　充史
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2014504631A priority Critical patent/JP5640175B2/ja
Priority to CN201280071472.5A priority patent/CN104169795B/zh
Publication of WO2013136601A1 publication Critical patent/WO2013136601A1/ja
Priority to US14/486,653 priority patent/US9167166B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to an image display device, a photographing device equipped with the image display device as a finder device, and an image display method.
  • the main purpose is to know landmark information, building names, etc.
  • the live view image of the subject is displayed on the LCD display device provided on the back of the camera, etc., and the building name is superimposed on it. Just do it.
  • the main purpose is to observe the subject, there is a high demand for viewing a clear optical image of the subject directly through an observation window of binoculars or an optical viewfinder device.
  • Patent Document 2 proposes a device that, when observing a subject with binoculars or a magnifying glass, synthesizes and displays electronic information such as pictorial book information in a field of view viewed from an observation window.
  • a technique for displaying electronic information superimposed on an optical image can be achieved by applying, for example, the conventional technique described in Patent Document 3 below.
  • a display image of a projection display device provided in the finder is projected onto the optical image of a subject entering the user's eyes through the optical finder. Therefore, if the necessary electronic information is displayed on the projection display device, the user can see an image in which the optical image and the electronic information are superimposed.
  • Patent Documents 4 and 5 disclose a viewfinder device that combines an optical viewfinder and an electronic viewfinder.
  • the captured image of the subject displayed on the electronic viewfinder of this finder apparatus is not an optical image from the subject incident on the optical viewfinder. It is the optical image which was condensed with the imaging lens provided in the position a little away from the finder apparatus, and was imaged with the image pick-up element.
  • parallax occurs between the optical image that has passed through the optical viewfinder and the captured image displayed on the electronic viewfinder.
  • the parallax can be easily corrected because there is always a fixed relationship in a single-focus lens camera.
  • the parallax changes according to the change in magnification, and it is difficult to position the optical image and the captured image with high accuracy.
  • An object of the present invention is to provide an image display device capable of superimposing and displaying electronic information by aligning with high accuracy on an optical image of a subject, a photographing device equipped with the image display device as a finder device, and an image display method. Is to provide.
  • An image display apparatus converts a first optical image of a beam splitter that divides incident light captured from the subject side and one of the incident light beams divided by the beam splitter into an electrical signal and outputs the image as a captured image.
  • An image sensor a composite image generation unit that generates an electronic information image aligned with the main subject image in the captured image, a display panel that displays the electronic information image, and a second image generated by the other divided incident light.
  • an optical prism that superimposes and emits the optical image of the electronic information image projected from the display panel on the second optical image.
  • the imaging device of the present invention is characterized in that the image display device described above is mounted as a finder device.
  • incident light taken from the subject side is divided by a beam splitter, and a first optical image by one incident light divided by the beam splitter is converted into an electric signal by an image sensor, and a captured image is obtained.
  • the electronic information image aligned with the main subject image in the captured image is generated by the composite image generation unit, the electronic information image is displayed on the display panel, and the second divided incident light
  • the optical image of the electronic information image projected from the display panel is superimposed on the optical image of 2 and emitted by an optical prism.
  • an image sensor is provided in the image display device, and the same image as the subject optical image viewed by the user is captured by the image sensor. Therefore, the image is aligned based on the captured image, that is, with high accuracy.
  • An electronic information image can be displayed superimposed on the subject optical image.
  • FIG. 1 is an external perspective view of a digital camera equipped with a finder device as an image display device according to a first embodiment of the present invention. It is a functional block diagram of the digital camera of FIG. It is explanatory drawing of the image composition method of the finder apparatus shown in FIG. It is a figure which shows an example of the optical image seen through a finder apparatus. It is a figure which shows a whiteout part when the optical image of FIG. 4 is imaged. It is a functional block diagram of the digital camera which concerns on the 2nd Embodiment of this invention. It is a figure which shows an example of the synthesized image which the synthesized image generation part of FIG. 6 produced
  • a finder device image display device mounted on a digital camera
  • the image display device of the present invention is not limited to this, and binoculars incorporating an image sensor, Any image display device capable of observing a subject with both an optical image and a captured image, such as a monocular, a field scope, and a head-mounted display, can be applied.
  • FIG. 1 is an external perspective view of a digital camera 10 according to the first embodiment of the present invention.
  • a lens barrel 13 that houses a photographing lens 12 is attached to a front portion of a camera housing 11 so as to be retractable.
  • a shutter release button 14 is provided on the upper left shoulder of the camera housing 11 and a liquid crystal display unit (not shown) is provided on the back of the camera housing 11.
  • a flash light emitting unit 15 is provided at the upper front of the camera housing 11, and a finder device 16 is provided inside the right shoulder of the camera housing 11.
  • the viewfinder device 16 is provided between an opening window 17 on the subject side and a viewing window 18 on the photographer side (user side).
  • FIG. 2 is a functional block configuration diagram of the digital camera 10 shown in FIG.
  • An imaging system 21 that captures a still image or a moving image of a subject includes the imaging lens 12 shown in FIG. 1 and an imaging element 22 such as a CMOS image sensor provided on the back thereof.
  • the digital camera 10 includes a CPU 24 that controls the entire camera, a memory 25, a composite image generation unit 26, and an image analysis unit 27, which are connected to each other via a bus 30.
  • a captured image signal A from the image sensor 22 is output to the bus 30.
  • the bus 30 of the digital camera 10 has an image signal processing unit that performs offset processing, gamma correction processing, RGB / YC conversion processing, etc. on the captured image signal, as well as a captured image after image processing, as in a normal digital camera.
  • An image compression unit that converts signals into JPEG image data, a card interface that records JPEG image data on a memory card, a display control unit that displays captured images and live view images on a liquid crystal display unit on the back of the camera, and the like.
  • the viewfinder device 16 of this embodiment includes an objective lens 31 provided on the back of the subject-side opening window 17 shown in FIG. 1, a beam splitter 32 such as a half mirror provided on the back of the objective lens 31, and the back of the beam splitter 32. And an eyepiece 34 provided on the back of the optical prism 33 and facing the user side viewing window 18 shown in FIG. It is preferable that the objective lens 31 is a zoom lens and is driven in conjunction with the zoom magnification of the photographing lens 12.
  • the beam splitter 32 is disposed at an angle of 45 degrees with respect to the common optical axis of the objective lens 31 and the eyepiece lens 34, and divides incident light entering through the objective lens 31 into two. One of the divided lights goes straight along the optical axis, and the other is reflected at 45 degrees.
  • the condensing lens 35 of the finder device 16 is provided at the tip of the incident light reflected at 45 degrees, and an imaging element 36 such as a CMOS image sensor is provided on the back of the condensing lens 35.
  • the captured image signal B1 from the image sensor 36 is output to the bus 30.
  • the optical prism 33 on which the split light traveling straight through the beam splitter 32 is incident includes an incident surface 33a and an exit surface 33b.
  • the entrance surface 33a is provided perpendicular to the optical axis, and the exit surface 33b is provided inclined at 45 degrees with respect to the optical axis.
  • a display panel 37 of the finder device 16 and a lens 38 for condensing display image light of the display panel 37 on the output surface 33b are provided at a position facing the output surface 33b and orthogonal to the optical axis. It is done.
  • the display panel 37 is supplied with electronic information B2 generated based on the image signal B1 captured by the image sensor 36 via a display control unit (not shown) connected to the bus 30.
  • FIG. 3 is a functional explanatory diagram of the finder device 16.
  • the focal length of the incident light from the subject and the focal length of the image sensor 36 are matched.
  • Incident light from the subject is divided into two by the beam splitter 32, and the straight traveling light travels straight through the optical prism 33 and eyepiece 34 and enters the user's eyes. Thereby, the user can view the subject optical image 51 of FIG.
  • the divided light reflected in the 45-degree direction by the beam splitter 32 forms an image on the light receiving surface of the image sensor 36.
  • the formed subject optical image 52 is shown in FIG.
  • the positions of the subject optical images 51 and 52 in the screen coincide with each other with high accuracy.
  • a picked-up image signal B1 from the image pickup device 36 is a picked-up image signal of the subject optical image 52.
  • a frame 53 surrounding the face of the subject is combined with the composite image of FIG. Generated by the generation unit 26.
  • the image of the frame 53 is displayed on the display panel 37 as the electronic information B2
  • the image of the frame 53 is accurately aligned with the subject optical image 51 that travels straight through the viewfinder device 16, and enters the user's eyes.
  • the subject optical image 52 that is a face image captured by the image sensor 36
  • the face of the subject optical image 51 looks green.
  • the face image of the subject optical image 52 is displayed in black, that is, when the face image portion of the subject optical image 52 on the display panel 37 is not displayed, only the subject optical image 51 is surrounded by the frame 53 and enters the user's eyes. To do.
  • FIG. 4 is a diagram illustrating an example of a subject viewed through the finder device 16. It is an optical image of a violin.
  • FIG. 5 is a diagram illustrating only the whiteout portion 54 obtained by analysis by the image analysis unit 27 of FIG. 2 when the same optical image as the optical image of FIG. 4 is captured by the image sensor 36.
  • the composite image generation unit 26 generates the white-out portion 54 in FIG. 5 as an image of electronic information blinking red or white, for example, and the other area as a mask image (black display).
  • the whiteout region in the optical image of FIG. 4 is input to the user's eyes as an image in which red or white blinks.
  • the whiteout portion 54 described with reference to FIG. 5 is a whiteout portion in the image captured by the image sensor 36 in the finder device 16. That is, it is different from the whiteout portion in the captured image of the image sensor 22 that actually captures the subject. However, since the sensitivity difference between the image pickup device 36 and the image pickup device 22 and the difference in charge saturation amount are known in advance, if an image of a whiteout portion corresponding to the difference is obtained, the image pickup device 22 can be accurately obtained. You can know the whiteout.
  • the whiteout portion of the image sensor 22 that performs the actual photographing can be combined with an optical image that goes straight through the finder device 16 and enters the eyes of the user.
  • An image analysis unit 27 obtains a whiteout portion in a live view image obtained by the image sensor 22, and an image representing the whiteout portion is generated by a composite image generation unit 26.
  • the image analysis unit 27 analyzes the degree of deviation generated by performing a matching process between the image captured by the image sensor 22 and the image captured by the image sensor 36, and displays a composite image displayed on the display panel 37. The position is shifted and displayed. As a result, it is possible to display electronic information that is aligned with an optical image traveling straight through the finder device 16 with high accuracy as a composite image.
  • the above embodiment is an example in which an image of a whiteout portion is combined with an optical image.
  • a blackout region or a color saturation region (a state in which at least one of RGB is the maximum value) is combined with an optical image. You can do it.
  • FIG. 6 is a functional block configuration diagram of a digital camera according to the second embodiment of the present invention. 2 is different from the embodiment of FIG. 2 in that an imaging element 41 provided in the finder device 16 is provided with phase difference detection pixels over the entire imaging area. Further, the phase difference information analysis unit 28 is connected to the bus 30.
  • the phase difference detection pixel is, for example, a pixel in which one light shielding film opening and the other light shielding film opening of two adjacent pixels are decentered in opposite directions.
  • one pixel receives incident light when the subject is viewed with the right eye (or left eye), and the other pixel receives incident light when the subject is viewed with the left eye (or right eye).
  • Such a phase difference detection pixel is already known, for example, in Japanese Patent Application Laid-Open No. 2011-232371 and Japanese Patent Application Laid-Open No. 2011-227388, and in the field of digital cameras, it is normally used for the phase difference AF method. It has become.
  • the image sensor 41 of the present embodiment has discretely provided phase difference detection pixel pairs on the entire surface of the image sensor light receiving surface, it is possible to individually calculate the distances to individual subjects imaged in the screen. It has become.
  • the distance to the subject and the image blur are detected by the phase difference information analysis unit 28 in FIG.
  • FIG. 7 is a diagram illustrating an example of an image generated by the composite image generation unit 26 of FIG.
  • the image sensor 41 captures images of four buildings 1, 2, 3, 4 and three houses 5, 6, 7 as main subjects in one screen.
  • the phase difference information analysis unit 28 calculates the distances to the four buildings 1 to 4 and the three houses 5 to 7, and the composite image generation unit 26 selects each of the buildings 1 to 4 and the houses 5 to 7.
  • the image which cut out the image of this from the background image is calculated
  • the composite image generation unit 26 generates a colored image corresponding to the distance from the finder device 16 as electronic information for the images of the buildings 1 to 4 and the houses 5 to 7.
  • the nearest house 7 and building 3 are white images
  • the next nearest building 1 and house 6 are slightly pink images
  • the farthest building 4 is a red image
  • the background image is displayed in black on the display panel 37.
  • the image of the building or house displayed on the display panel 37 and the optical image of the house or building incident on the eyes of the user through the finder device 16 are matched with high accuracy. Thereby, when the user looks through the finder device 16 and sees the optical image, the user can intuitively recognize the distance to the main subject by the display color of the main subject.
  • the region where the image blur is generated can be known from the phase difference information. For this reason, the electronic information indicating the image blur area generated in the image captured by the image sensors 36 and 41 (or the image sensor 22 provided with the phase difference detection pixels) is matched with the optical image transmitted through the finder device 16. Can also be synthesized.
  • FIG. 8 is a functional block diagram of a digital camera according to the third embodiment of the present invention. 6 differs from the embodiment of FIG. 6 in that the following functions are added.
  • An object search unit 43, a subject detection unit 44, an object database (DB) 45, and a second bus 46 are connected to the bus 30, and a position information acquisition unit 47 and direction information are connected to the second bus 46.
  • An acquisition unit 48 and an attitude information acquisition unit 49 are connected.
  • the object database 45 may be provided in the camera. However, when a large amount of object data is used, a database connected to a network such as the Internet may be used.
  • the position information acquisition unit 47 is, for example, a GPS (Global Positioning System)
  • the azimuth information acquisition unit 48 is an electronic compass that detects an azimuth
  • the posture information acquisition unit 49 is, for example, a G sensor (gravity direction detection sensor).
  • the posture of the camera that is, the posture of the finder device 16 is detected.
  • objects are stored in the object database 45. Examples of objects include, for example, public facilities and other facilities, buildings, terrain, rivers, lakes, seas, railroads, roads, place names, and geographical information objects indicating the acquaintances of private users, Or the object of the information etc. which show the present position of various information equipment (for example, the smart phone explained in Drawing 20 and Drawing 21 mentioned below) which an acquaintance has etc. are mentioned.
  • FIG. 9 is a flowchart showing a control procedure executed by the CPU 24 of FIG.
  • the user designates a search target object.
  • the user designates Kasumigaseki Building 4 as a search target object through the menu screen of the liquid crystal display unit on the back of the camera in order to find the destination Kasumigaseki Building (for example, Building 4 in FIG. 7).
  • the CPU 24 acquires position information, orientation information, and posture information from the various information acquisition units 47, 48, and 49, and in the next step S3, the object search unit 43 in FIG. Is retrieved from the object database 45.
  • the search is performed with a search condition of “existing in a sector area having a center angle of Y degrees centering on the azimuth pointed by the optical axis of the finder device 16 within the radius Xkm with the current position as the center”.
  • step S4 it is determined whether or not a search target object exists among the objects existing in the field of view as viewed through the finder device 16 and searched in step S3. If the search target object does not exist, this process ends.
  • FIG. 10 shows a fan-shaped visual field range 61 that satisfies the search condition.
  • step S5 the phase difference information captured by the phase difference detection pixel in the image sensor 41 in the finder apparatus is acquired.
  • the phase difference information analysis unit 28 in FIG. 8 calculates distance information from the phase difference information, and the captured image of the pixel group in which the subject detection unit 44 images the subject at the same distance is selected as the subject candidate. Extract as
  • FIG. 11 is a diagram showing a relationship between an object obtained by searching the database within the fan-shaped field-of-view range 61, a search target object specified by the user (in this example, building 4), and an image captured by the image sensor 41. It is.
  • a subject candidate that satisfies the condition that “the relative azimuth angle between the subject and the image display device (finder device 16) is closest to the search target object” is determined as the search target object.
  • the composite image generation unit 26 replaces the detected area of the subject with an emphasized color image (electronic information) and masks the other area with black. That is, FIG. 12 is an image of the main subject imaged by the image sensor 41 and shows the buildings 1 to 4 and the houses 5 to 7. From this image, only the image of the subject candidate determined as the search target object (image of the building 4) is cut out. The cut out image is shown in FIG. In FIG. 13, only the image of the visible part of the building 4 is cut out and generated, for example, as a red image. The other areas are displayed in black. The black display is a state where there is no emission color when this is displayed on the display panel 37.
  • the image of FIG. 13 is displayed on the display panel 37 as electronic information to be synthesized in accordance with the optical image of the subject.
  • the image shown in FIG. 14 is incident on the eyes of the user.
  • the image in FIG. 14 is an image obtained by combining the image in FIG. 13 with an optical image that passes through the finder device 16 and enters the eyes of the user.
  • the black region of FIG. 13 since there is no light from the display panel 37, only a clear optical image transmitted through the finder device 16 enters the user's eyes.
  • the image of the red building 4 described in FIG. 13 is superimposed on the optical image of the building 4 that has passed through the finder device 16 and enters the user's eyes.
  • the user looks into the viewfinder device 16 only the building 4 sees an optical image in which the red color is highlighted.
  • the subject image corresponding to the search target object is colored with a highlight color.
  • the subject corresponding to the search target object is hidden behind the shadow of another subject and cannot be seen.
  • electronic information indicating the presence of the search target object may be displayed in a synthesized manner. For example, by displaying a red round frame in a blinking manner superimposed on the subject image on the near side, the user can recognize the presence of the search target object.
  • the subject image corresponding to the search target object is simply colored with a highlight color, but the name of the search target object can also be displayed on the display panel 37 together.
  • the name may be displayed superimposed on the captured image of the image sensor 41. Since the position of the optical image transmitted through the finder device 16 and the captured image of the divided light obtained by dividing the optical image coincide with each other with high accuracy, for example, if the subject is a mountain range in which many mountains are connected, The name of each individual mountain can be combined with an optical image and displayed without any misalignment.
  • FIG. 15 is a functional block configuration diagram of a digital camera according to the fourth embodiment of the present invention. Compared with the embodiment of FIG. 8, a content arrangement condition determination unit 63 and a content concealment area calculation unit 64 are provided instead of the object search unit 43 of FIG. Further, a content database 65 is provided instead of the object database 45.
  • the content image (virtual object CG image) is synthesized on the empty space between the optical images of the buildings 1, 2, and 3 that can be seen through the viewfinder device 16. Perform image composition for the user.
  • FIG. 17 is a flowchart showing a control procedure performed by the CPU 24 of FIG. First, in step S11, the arrangement condition of the content (virtual object) 8 is determined.
  • FIG. 18 is a flowchart showing details of the content arrangement condition determination processing procedure performed in step S11.
  • step S21 position information, azimuth information, and finder posture information data of the current location are received from the various information acquisition units 47, 48, and 49 in FIG.
  • the content arrangement condition determination unit 63 in FIG. This condition is, for example, “can be accommodated in an empty space within a sector area having a radius of X km centered on the current location and centering on the direction indicated by the finder optical axis and having a central angle of Y degrees”.
  • Each content stored in the content database 65 is assigned a size or the like based on world coordinates, and is searched according to conditions determined by the GPS signal, the azimuth signal, and the attitude signal of the finder device 16.
  • step S23 it is determined whether or not at least one content satisfying the condition exists as a result of searching the content database 65. If none exists, the process returns to step S21. When at least one content exists, the process proceeds from step S23 to step S24, and the distance A between the content and the current location is calculated from the searched content, and the actual size B of the content is read from the content database 65. To refer to. Then, the process proceeds to step S12 in FIG.
  • step S12 the region viewed through the viewfinder device 16 is imaged by the image sensor 41 with phase difference detection pixels, and phase difference information is acquired.
  • the subject detection unit 44 in FIG. 15 extracts the buildings 1, 2, and 3 in the captured image based on the phase difference information in the same manner as in step 6 in FIG.
  • the content concealment area is calculated from the arrangement conditions of the subject group (in the above example, buildings 1, 2, and 3) and the content.
  • the concealment area refers to an area that is hidden in the content on the rear side by the subject in the front in the depth direction of the captured image.
  • FIG. 19 is an explanatory diagram for calculating a content concealment area.
  • the captured images of the buildings 1, 2, and 3 of the subject group are arranged in a virtual three-dimensional space, and the content to be drawn is arranged in the three-dimensional space. Then, the concealment relationship between the subject group and the content is calculated by a known ray tracing method using the finder device 16 as a reference viewpoint.
  • the ray tracing method is a method of calculating the light reaching each pixel of the image sensor 41 based on the principle that “the light that jumps into the eye arrives from the closest subject”.
  • This ray tracing method is a general method of the 3DCG drawing method for determining the mounted filter color and luminance of each pixel.
  • step S14 of FIG. 17 the process proceeds to the next step S15, and the composite image generation unit 26 of FIG. In the last step S16, only the content drawing area is displayed on the display panel 37, and the other areas are displayed in black.
  • the CG image of the content 8 is displayed as if it exists after the optical images of the buildings 1 and 2 in the foreground.
  • the part hidden behind the content 8 in the building 3 after the content 8 is overwritten by the display of the content 8, and the image of the content 8 is displayed in front of the building 3.
  • the CG image of the content 8 is combined with the image captured by the image sensor 22 without positional deviation. can do.
  • a virtual object (content) provided in an empty space within the field of view of the finder device 16 is automatically selected from contents registered in the content database 65 in advance. ing. For this reason, there is an advantage that a user's trouble of content selection is reduced.
  • a CG image of the content desired by the user is desired to be synthesized and displayed in the finder device 16.
  • a CG image of user-specified content may be displayed instead of an existing building.
  • the user can select the content and specify the size and location of the content through the menu screen of the liquid crystal display unit on the back of the camera. Just do it.
  • the finder device of the photographing device has been described as the embodiment of the image display device of the present invention, but the configuration of the photographing device is not limited to this.
  • the photographing device for example, a built-in or external PC camera or a portable terminal device having a photographing function as described below can be used.
  • Examples of the portable terminal device that is an embodiment of the photographing device include a mobile phone, a smartphone, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 20 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus.
  • a smartphone 200 illustrated in FIG. 20 includes a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • a casing 201 includes the finder device 16 described in the embodiment of FIGS. 2 and 6.
  • the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 21 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) reception unit 214, a motion sensor unit 215, a power supply unit 216, a main control unit 220, and the finder device 16.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 204 displays images (still images and moving images), character information, and the like, visually transmits information to the user under the control of the main control unit 220, and detects a user operation on the displayed information.
  • a so-called touch panel which includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 203 is a device on which an image displayed on the display surface of the display panel 202 is placed so as to be visible, and detects one or a plurality of coordinates operated by a user's finger or stylus. When this device is operated with a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 220. Next, the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the display input unit 204 and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 212 includes a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and external storage unit 218 constituting the storage unit 212 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory) or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory) or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of external devices connected to the smartphone 200 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes positioning calculation processing based on the received plurality of GPS signals, and the latitude of the smartphone 200 Detect the position consisting of longitude and altitude.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 213 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 220 has an image processing function such as displaying video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or displays a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 and the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one position from a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 208 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 208 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 220 and records the data in the storage unit 212 or externally.
  • the data can be output through the input / output unit 213 and the wireless communication unit 210.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge-Coupled Device
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this and may be mounted on the back surface of the display input unit 204. Alternatively, a plurality of camera units 208 may be mounted. When a plurality of camera units 208 are installed, the camera unit 208 used for shooting can be switched for shooting alone, or a plurality of camera units 208 can be used for shooting simultaneously. it can.
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the GPS receiving unit 214 detects a position
  • the position can be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and stored in the storage unit 212, or can be output through the external input / output unit 213 or the wireless communication unit 210.
  • the finder device 16 provided in the thin smartphone 200 as described above is considerably small, and the image pickup device 41 provided in the finder device 16 is also quite small, but the embodiment described with reference to FIGS. It is possible to achieve the same thing.
  • the image sensor in the viewfinder device 16 may be used as the camera unit 208 without providing the camera unit 208.
  • 2 and 6 can be configured such that the photographing lens 12 and the imaging element 22 are omitted and the imaging elements 36 and 41 in the finder apparatus 16 perform the actual photographing.
  • the application software can sequentially notify the object database 45 of the current position. For this reason, for example, when the user of the imaging device in FIG. 1 or FIG. 20 wants to know the current position of an acquaintance's smartphone, that is, the location of the acquaintance, if the acquaintance's smartphone is designated as a search target object, Can be easily found.
  • the image display apparatus converts the incident light received from the subject side into a beam splitter, and converts the first optical image by one incident light divided by the beam splitter into an electrical signal.
  • An image sensor that outputs the captured image
  • a composite image generation unit that generates an electronic information image aligned with a main subject image in the captured image
  • a display panel that displays the electronic information image
  • the divided And an optical prism that superimposes and emits the optical image of the electronic information image projected from the display panel on the second optical image of the other incident light.
  • the image display apparatus includes a detection unit that detects a subject corresponding to a user-specified object from the captured image, and the electronic information image includes the object in the second optical image. It is characterized by being an image showing that it exists.
  • the image display apparatus includes a first sensor that detects position information of the current location, a second sensor that detects a direction in which the incident light is incident, and a third sensor that detects the attitude of the image display apparatus.
  • a sensor, and the detection unit detects the presence of the object based on the detection signals of the first, second, and third sensors.
  • the object of the image display device is registered in an object database and includes at least one of geographic information and information indicating a current position of the information device.
  • the electronic information image of the image display device of the embodiment is a virtual object CG image corresponding to the position of the main subject in the captured image, and an area that is hidden by the main subject in the depth direction and cannot be seen.
  • the image is a removed image.
  • the image display apparatus includes a first sensor that detects position information of the current location, a second sensor that detects a direction in which the incident light is incident, and a third sensor that detects the attitude of the image display apparatus. And the composite image generation unit determines the display position of the virtual object CG image based on the detection signals of the first, second, and third sensors.
  • the photographing apparatus is characterized in that the image display device described above is mounted as a finder device.
  • the incident light captured from the subject side is divided by the beam splitter, and the first optical image by the one incident light divided by the beam splitter is converted into an electric signal by the imaging device.
  • An electronic information image that is output as a captured image and is aligned with the main subject image in the captured image is generated by the composite image generation unit, the electronic information image is displayed on the display panel, and the other divided incident light is The optical image of the electronic information image projected from the display panel is superimposed on the second optical image by the optical prism and emitted.
  • the user can observe a clear optical image of a subject without a time lag by looking into an image display device such as a finder device.
  • an image display device such as a finder device.
  • an electronic information image that is aligned with the optical image with high accuracy can be seen in the field of view, and the usability and value of the image display device are increased.
  • the image display apparatus can superimpose and display electronic information aligned with high accuracy on an optical image of a subject to be seen with eyes, and thus can provide an image display apparatus with high user-friendliness and high utility value. Further, it is useful to use this image display device for a digital camera or the like as a finder device.
  • This application is based on a Japanese patent application filed on March 16, 2012 (Japanese Patent Application No. 2012-60381), the contents of which are incorporated herein by reference.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

　被写体側から取り込んだ入射光を分割するビームスプリッタと、分割された一方の入射光による第１の光学像を電気信号に変換し撮像画像として出力する撮像素子と、撮像画像の中の主要被写体画像に位置合わせした電子情報画像を生成する合成画像生成部と、電子情報画像を表示するディスプレイパネルと、分割された他方の入射光による第２の光学像にディスプレイパネルから投射された電子情報画像の光学像を重畳して出射させる光学プリズムとを備える。

Description

画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法
　本発明は、画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法に関する。
　例えば山歩きに行き、双眼鏡で八ヶ岳連峰を観たとき、どの山が赤岳でその隣に見える山が何の山なのかは、初心者には分かりづらい。このとき、双眼鏡内に見える山の光学像毎に、山の名前が合成して表示されると、使い勝手の優れた双眼鏡になる。
　或いは、都会の空き地にビルを建てる場合に、建築設計士が所持しているデジタルカメラのファインダ装置を通して空き地周りのビル群を観察したとき、周りのビル群の光学像と一緒に、設計したビルのＣＧ画像が空き地に立った状態を観察できれば、建築後の景観を事前に確認できるため、便利である。
　また、目的地に行きたい人が道に迷った場合に、デジタルカメラのファインダでその方向を覗けば、ビル群に隠れてしまった目的地の位置や周りのビルの名前がファインダ内に表示される、というものが実現されていれば、デジタルカメラの利用価値が高まる。
　デジタルカメラのレンズをある方向に向け、その撮像画像（ライブビュー画像）をカメラ背面のＬＣＤ表示装置に表示させたとき、撮像画像中に、ランドマークの情報やその地名，ビル名称等を重畳して表示させるものは既に存在する（例えば、特許文献１）。
　ランドマーク情報やビル名称等を知ることが主な目的であれば、従来の様に、カメラ背面等に設けたＬＣＤ表示装置に被写体のライブビュー画像を表示させ、これにビル名称等を重畳表示すれば良い。しかし、被写体の観察が主な目的であれば、被写体の鮮明な光学像を、直接、双眼鏡や光学ファインダ装置の観察窓を通して観たいという要望が高い。
　下記の特許文献２には、双眼鏡や拡大鏡などで被写体を観察するとき、観察窓から覗いた視界の中に、図鑑情報等の電子情報も併せて合成表示する装置が提案されている。
　被写体の光学像を目で直接観察し、その視界中にランドマークの名称等を電子情報で合成表示できれば、鮮明な光学像を観察できると同時に、必要な電子情報も一緒に知ることができる。しかし、それを実現する装置を具体的にどの様に構成すれば良いかは、特許文献２に記載されていない。
　電子情報を光学像に重ねて表示する技術は、例えば下記の特許文献３記載の従来技術を応用すれば可能である。この特許文献３記載のデジタルカメラでは、光学ファインダを通してユーザの目に入ってくる被写体の光学像に、ファインダ内に設けた投射型表示装置の表示画像を重ねて投射する構成になっている。このため、必要となる電子情報を投写型表示装置に表示すれば、光学像と電子情報とが重畳した画像をユーザは目で見ることが可能となる。
　被写体の光学像と、この光学像の近くの、大まかに合わせた位置に名称等の関連情報を表示することは容易である。しかし、例えば沢山の山々が連なった連峰を双眼鏡で見たときに、個々の山の名称が少しずつずれた位置に重畳表示されてしまうと、ユーザに誤った情報を提供することになってしまう。このため、被写体の光学像に高精度に整合する位置に電子情報を表示することが必要となる。
　例えば、特許文献４，５には、光学ファインダと電子ビューファインダとを組み合わせたファインダ装置が開示されている。このファインダ装置の電子ビューファインダに表示される被写体の撮像画像は、光学ファインダに入射してくる被写体からの光学像ではない。ファインダ装置から少し離れた位置に設けられた撮影レンズで集光され撮像素子で撮像された光学像である。
　つまり、光学ファインダを通した光学像と、電子ビューファインダに表示される撮像画像との間には、パララックスが生じる。このパララックスは、単焦点レンズのカメラであれば常に一定の関係があるため補正は容易である。しかし、撮影レンズがズームレンズの場合には、倍率変動に応じてパララックスが変化してしまい、光学像と撮像画像との高精度の位置合わせは困難となる。
日本国特開２００６―５９１３６号公報 日本国特開２０１１―２５３５１２号公報 日本国特開２０１０―１０７５２９号公報 日本国特開２００９―２００５５２号公報 日本国特開平３―２９２０６７号公報
　本発明の目的は、被写体の光学像に高精度に位置合わせして電子情報を重畳表示することが可能な画像表示装置と、この画像表示装置をファインダ装置として搭載する撮影装置と、画像表示方法を提供することにある。
　本発明の画像表示装置は、被写体側から取り込んだ入射光を分割するビームスプリッタと、そのビームスプリッタで分割された一方の入射光による第１の光学像を電気信号に変換し撮像画像として出力する撮像素子と、上記撮像画像の中の主要被写体画像に位置合わせした電子情報画像を生成する合成画像生成部と、その電子情報画像を表示するディスプレイパネルと、上記分割された他方の入射光による第２の光学像に上記ディスプレイパネルから投射された上記電子情報画像の光学像を重畳して出射させる光学プリズムとを備えることを特徴とする。
　本発明の撮影装置は、上記の画像表示装置をファインダ装置として搭載することを特徴とする。
　本発明の画像表示方法は、被写体側から取り込んだ入射光をビームスプリッタで分割し、上記ビームスプリッタで分割された一方の入射光による第１の光学像を撮像素子で電気信号に変換し撮像画像として出力し、その撮像画像の中の主要被写体画像に位置合わせした電子情報画像を合成画像生成部で生成し、上記電子情報画像をディスプレイパネルに表示し、上記分割された他方の入射光による第２の光学像に上記ディスプレイパネルから投射された上記電子情報画像の光学像を光学プリズムで重畳して出射させることを特徴とする。
　本発明によれば、画像表示装置内に撮像素子を設け、ユーザが目で見る被写体光学像と同じ画像を撮像素子で撮像するため、その撮像画像に基づいて、即ち、高精度に位置合わせした電子情報画像を被写体光学像に重ねて表示できる。
本発明の第１の実施形態に係る画像表示装置としてのファインダ装置を搭載したデジタルカメラの外観斜視図である。 図１のデジタルカメラの機能ブロック図である。 図２に示すファインダ装置の画像合成方法の説明図である。 ファインダ装置を通して見える光学像の一例を示す図である。 図４の光学像を撮像したときの白飛び部分を示す図である。 本発明の第２の実施形態に係るデジタルカメラの機能ブロック図である。 図６の合成画像生成部が生成した合成画像の一例を示す図である。 本発明の第３の実施形態に係るデジタルカメラの機能ブロック図である。 図８のＣＰＵが実行する制御手順を示すフローチャートである。 本発明の第３の実施形態に係るデジタルカメラのファインダ装置の視野内から検索対象オブジェクトを探す説明図である。 本発明の第３の実施形態に係るファインダ装置の視野内から検索対象オブジェクトを探す説明図である。 本発明の第３の実施形態に係るファインダ装置内の撮像素子による撮像画像の一例を示す図である。 図１２に示す撮像画像の中から検索対象オブジェクトに該当する画像領域を切り出した図である。 本発明の第３の実施形態に係るデジタルカメラのファインダ装置で覗いた光学像に図１３の画像を合成した画像を示す図である。 本発明の第４の実施形態に係るデジタルカメラの機能ブロック図である。 本発明の第４の実施形態で実現する合成画像の説明図である。 図１５のＣＰＵが実行する制御手順を示すフローチャートである。 図１７のフローチャート中のコンテンツ配置条件決定処理の詳細手順を示すフローチャートである。 図１７のフローチャート中のコンテンツ隠蔽領域算出処理の説明図である。 本発明の第５の実施形態に係るデジタルカメラ（スマートフォン）の外観斜視図である。 図２０のスマートフォンの機能ブロック図である。
　以下、本発明の一実施形態について、図面を参照して説明する。なお、実施形態では、デジタルカメラに搭載されるファインダ装置（画像表示装置）を例に説明するが、本発明の画像表示装置としてはこれに限定されるものではなく、撮像素子を内蔵した双眼鏡，単眼鏡，フィールドスコープ，ヘッドマウンドディスプレイ等、被写体を光学像と撮像画像の両方で観察できる画像表示装置であれば適用可能である。
　図１は、本発明の第１の実施形態に係るデジタルカメラ１０の外観斜視図である。デジタルカメラ１０は、カメラ筐体１１の前部に、撮影レンズ１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられている。カメラ筐体１１前面の向かって上面左肩部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図示省略の液晶表示部が設けられている。
　カメラ筐体１１の前面上部には、フラッシュ光の発光部１５が設けられており、カメラ筐体１１前面の向かって右肩部の内部には、ファインダ装置１６が設けられている。ファインダ装置１６は、被写体側の開口窓１７と、撮影者側（ユーザ側）の覗き窓１８との間に設けられている。
　図２は、図１に示すデジタルカメラ１０の機能ブロック構成図である。被写体の静止画像や動画像を撮影する撮像系２１は、図１に示す撮影レンズ１２と、その背部に設けられたＣＭＯＳイメージセンサ等の撮像素子２２とを備える。
　デジタルカメラ１０は、カメラ全体を統括制御するＣＰＵ２４と、メモリ２５と、合成画像生成部２６と、画像解析部２７とを備え、これらはバス３０によって相互に接続されている。撮像素子２２による撮像画像信号Ａは、バス３０に出力される。
　デジタルカメラ１０のバス３０には、通常のデジタルカメラと同様に、撮像画像信号に対してオフセット処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等を行う画像信号処理部や、画像処理後の撮像画像信号をＪＰＥＧ形式の画像データに変換する画像圧縮部、ＪＰＥＧ画像データをメモリカード等に記録するカードインタフェース、カメラ背部の液晶表示部に撮像画像やライブビュー画像を表示する表示制御部等を備えるが、これらの図示は、省略している。
　本実施形態のファインダ装置１６は、図１に示す被写体側開口窓１７の背部に設けた対物レンズ３１と、対物レンズ３１の背部に設けたハーフミラーなどのビームスプリッタ３２と、ビームスプリッタ３２の背部に設けた光学プリズム３３と、光学プリズム３３の背部に設けられ図１に示すユーザ側覗き窓１８に対面する接眼レンズ３４とを備える。対物レンズ３１をズームレンズとし、これを撮影レンズ１２のズーム倍率に連動させて駆動させる構成とするのが良い。
　ビームスプリッタ３２は、対物レンズ３１及び接眼レンズ３４の共通光軸に対して４５度に傾けて配置され、対物レンズ３１を通して入ってくる入射光を２分割する。分割光の一方は光軸に沿って直進し、他方は４５度に反射される。
　この４５度に反射される入射光の先に、ファインダ装置１６の集光レンズ３５が設けられ、集光レンズ３５の背部にＣＭＯＳイメージセンサ等の撮像素子３６が設けられる。撮像素子３６による撮像画像信号Ｂ１は、バス３０に出力される。
　ビームスプリッタ３２を直進した分割光が入射する光学プリズム３３は、入射面３３ａと出射面３３ｂを備える。入射面３３ａは、光軸に対して垂直に設けられ、出射面３３ｂは、光軸に対して４５度に傾けて設けられている。そして、出射面３３ｂに臨む位置であって光軸に対して直交する位置に、ファインダ装置１６のディスプレイパネル３７と、ディスプレイパネル３７の表示画像光を出射面３３ｂに集光するレンズ３８とが設けられる。
　ディスプレイパネル３７は、バス３０に接続された図示省略の表示制御部を介して、撮像素子３６による撮像画像信号Ｂ１に基づいて生成された電子情報Ｂ２が供給される。
　図３は、ファインダ装置１６の機能説明図である。図２の集光レンズ３５の光軸方向位置を調整することで、被写体からの入射光の焦点距離と撮像素子３６の焦点距離を同一に合わせる。被写体からの入射光は、ビームスプリッタ３２で２分割され、直進する分割光は、光学プリズム３３，接眼レンズ３４を直進してユーザの目に入射する。これにより、ユーザは、図３の被写体光学像５１を観ることができる。
　一方、ビームスプリッタ３２で４５度方向に反射した分割光は、撮像素子３６の受光面に結像する。この結像した被写体光学像５２を図３に示す。被写体光学像５１，５２の夫々の画面内の位置は、高精度に一致する。撮像素子３６による撮像画像信号Ｂ１は、被写体光学像５２の撮像画像信号であり、画像処理された後の撮像画像に基づいて例えば被写体の顔を囲む枠５３が、電子情報として図２の合成画像生成部２６で生成される。
　この枠５３の画像を電子情報Ｂ２としてディスプレイパネル３７に表示させると、枠５３の画像が、ファインダ装置１６内を直進した被写体光学像５１と精度良く位置合わせされ、ユーザの目に入射することになる。このとき、枠５３の画像と一緒に、撮像素子３６で撮像された顔画像である被写体光学像５２を、例えば緑色で表示したとすると、被写体光学像５１の顔が緑色に見えることになる。被写体光学像５２の顔画像を真っ黒に表示すると、つまり、ディスプレイパネル３７の被写体光学像５２の顔画像部分を無表示にすると、被写体光学像５１のみが枠５３に囲まれてユーザの目に入射する。
　図４は、ファインダ装置１６を通して見た被写体の一例を示す図である。ヴァイオリンの光学像となっている。図５は、図４の光学像と同じ光学像を撮像素子３６で撮像したとき、図２の画像解析部２７が解析して求めた白飛び部分５４だけを図示した図である。この図５の白飛び部分５４を例えば赤や白を点滅した電子情報の画像とし、他の領域をマスク画像（黒表示）として合成画像生成部２６が生成する。これを電子情報Ｂ２としてディスプレイパネル３７に表示すると、図４の光学像の中の白飛びを起こしている領域が赤や白が点滅する画像としてユーザの目に入力される。
　図５で説明した白飛び部分５４は、ファインダ装置１６内の撮像素子３６が撮像した画像の中の白飛び部分である。つまり、実際に被写体を本撮影する撮像素子２２の撮像画像中の白飛び部分とは異なる。しかし、撮像素子３６と撮像素子２２との間の感度差や電荷飽和量の差等は予め分かっているため、その差に応じた白飛び部分の画像を求めれば、精度良く、撮像素子２２の白飛びを知ることができる。
　或いは、本撮影を行う撮像素子２２の白飛び部分をファインダ装置１６を直進してユーザの目に入射する光学像に合成することもできる。撮像素子２２によるライブビュー画像中の白飛び部分を画像解析部２７で求め、この白飛び部分を表す画像を合成画像生成部２６で生成する。
　この合成画像をそのままディスプレイパネル３７に表示してしまうと、ファインダ装置１６を直進してくる光学像との間にパララックス分のズレが生じてしまう。そこで、撮像素子２２による撮像画像と、撮像素子３６による撮像画像とのマッチング処理を行ってどの程度のズレが生じているかを画像解析部２７で解析し、ディスプレイパネル３７に表示する合成画像の表示位置をズレ分だけずらして表示する。これにより、ファインダ装置１６を直進してくる光学像に高精度に位置合わせした電子情報を合成画像として表示することが可能となる。
　上記の実施形態は、白飛び部分の画像を光学像に合成する例であるが、黒潰れ領域や色飽和（ＲＧＢのうちの少なくとも１色が最大値となった状態）領域を光学像に合成することでも良い。
　以上述べた実施形態によれば、ディスプレイパネル３７に表示した画像と、ファインダ装置１６を直進してユーザの目に入射する光学像との間の幾何的なズレが無くなるため、白飛び，黒潰れ等の警告といった画素単位のＧＵＩ表示を行っても、違和感のない表示が可能となる。
　なお、図２の構成において、光学プリズム３３の前段に液晶シャッタを設けておけば、液晶シャッタを閉じ撮像素子２２のライブビュー画像をディスプレイパネル３７に表示することで、ファインダ装置１６を電子ビューファインダ装置として使用できる。
　図６は、本発明の第２の実施形態に係るデジタルカメラの機能ブロック構成図である。図２の実施形態と異なるのは、ファインダ装置１６に設ける撮像素子４１として、位相差検出画素を撮像領域の全面に設けたものを使用する。また、バス３０に、位相差情報解析部２８を接続する。
　位相差検出画素とは、例えば、隣接する２つの画素の一方の遮光膜開口と他方の遮光膜開口とを互いに反対方向に偏心して設けた画素をいう。これにより、一方の画素が被写体を右目（又は左目）で見た入射光を受光し、他方の画素が被写体を左目（又は右目）で見た入射光を受光することになり、被写体までの距離を検出することが可能となる。この様な位相差検出画素は、例えば特開２０１１―２３２３７１号公報や特開２０１１―２２７３８８号公報などで既に知られており、デジタルカメラの分野では、位相差ＡＦ方式に用いられるのが普通となっている。
　本実施形態の撮像素子４１は、位相差検出画素ペアを撮像素子受光面の全面に離散的に設けているため、画面内に撮像された個々の被写体までの距離を個別に算出することが可能となっている。被写体までの距離や画像ボケは、図６の位相差情報解析部２８で検出される。
　図７は、図６の合成画像生成部２６が生成する画像例を示す図である。図示する例では、撮像素子４１は、１画面内の主要被写体として、４つのビル１，２，３，４と３つの家５，６，７の画像を撮像している。位相差情報解析部２８は、これら４つのビル１～４及び３つの家５～７までの距離を算出し、合成画像生成部２６は、ビル１～４及び家５～７のぞれぞれの画像を背景画像から切り出した画像を求める。
　そして、合成画像生成部２６は、ビル１～４，家５～７の画像に対して、ファインダ装置１６からの距離に応じた色付け画像を電子情報として生成する。例えば、最も近い家７やビル３は白画像，次に近いビル１と家６は少しピンク色画像，…，最も遠いビル４は赤色画像とし、背景画像を真っ黒にしてディスプレイパネル３７に表示する。ディスプレイパネル３７に表示されたビルや家の画像と、ファインダ装置１６を通してユーザの目に入射する家やビルの光学像とは、高精度に整合する。これにより、ユーザは、ファインダ装置１６を覗いて光学像を見たとき、主要被写体の表示色によって直感的に主要被写体までの距離を認識することが可能となる。
　なお、位相差情報により、画像ボケが発生している領域を知ることができる。このため、撮像素子３６，４１（又は位相差検出画素が設けられた撮像素子２２）による撮像画像で発生している画像ボケの領域を示す電子情報を、ファインダ装置１６を透過する光学像に合わせて合成することもできる。
　図８は、本発明の第３の実施形態に係るデジタルカメラの機能ブロック図である。図６の実施形態に、次の機能を付加した点が異なる。バス３０には、オブジェクト検索部４３と、被写体検出部４４と、オブジェクトデータベース（ＤＢ）４５と、第２バス４６とが接続され、第２バス４６には、位置情報取得部４７と、方位情報取得部４８と、姿勢情報取得部４９が接続されている。
　オブジェクトデータベース４５は、カメラ内に設けても良いが、膨大なオブジェクトデータを利用する場合には、インターネット等のネットワークに接続されたデータベースを利用できる様にしても良い。
　位置情報取得部４７は、例えばＧＰＳ（Global Positioning System）であり、方位情報取得部４８は方位を検出する電子コンパスであり、姿勢情報取得部４９は、例えばＧセンサ（重力方向の検出センサ）等でカメラの姿勢つまりファインダ装置１６の姿勢を検出するものである。オブジェクトデータベース４５には種々のオブジェクトが記憶されている。オブジェクトの例としては、例えば、公共施設や他の施設、建築物、地形、河川、湖沼、海、鉄道、道路、地名、更には、私的なユーザの知人居所等を示す地理情報のオブジェクト、或いは、知人等が所持する様々な情報機器（例えば、後述する図２０，図２１で説明するスマートフォン）の現在位置を示す情報のオブジェクト、等が挙げられる。
　図９は、図８のＣＰＵ２４が実行する制御手順を示すフローチャートである。先ず、ステップＳ１で、ユーザは、検索対象オブジェクトを指定する。例えば、ユーザは、目的地の霞ヶ関ビル（例えば、図７のビル４）を見つけたいとして霞ヶ関ビル４を検索対象オブジェクトとして、カメラ背面の液晶表示部のメニュー画面を通して指定する。
　次に、ＣＰＵ２４は、各種情報の取得部４７，４８，４９からの位置情報，方位情報，姿勢情報を取得し、次のステップＳ３で、図８のオブジェクト検索部４３が、検索条件を満たすオブジェクトを、オブジェクトデータベース４５から検索する。例えば、「現在地を中心として、半径Ｘｋｍ以内で、かつ、ファインダ装置１６の光軸が指す方位を中心として中心角Ｙ度の扇形領域内に存在する」という検索条件で検索する。
　次のステップＳ４では、ファインダ装置１６を覗いた視野範囲内に存在するオブジェクトであってステップＳ３で検索されたオブジェクトの中に、検索対象オブジェクトが存在するか否かを判定する。検索対象オブジェクトが存在しない場合にはこの処理を終了する。図１０に検索条件を満たす扇形の視野範囲６１を示す。
　視野範囲６１内に検索対象オブジェクトが存在する場合には、次のステップＳ５に進み、ファインダ装置内の撮像素子４１における位相差検出画素が撮影した位相差情報を取得する。次に、ステップＳ６で、図８の位相差情報解析部２８が位相差情報から距離情報を算出し、被写体検出部４４が同一距離にある被写体を撮像している画素群の撮像画像を被写体候補として抽出する。
　次のステップＳ７では、被写体候補と検索対象オブジェクトとを照合する。図１１は、扇形の視野範囲６１内でデータベースを検索することで求めたオブジェクトと、ユーザが指定した検索対象オブジェクト（この例ではビル４）と、撮像素子４１による撮像画像との関係を示す図である。このステップＳ７での照合では、「被写体と画像表示装置（ファインダ装置１６）との相対方位角が検索対象オブジェクトに最も近いもの」という条件を満たす被写体候補を、検索対象オブジェクトであると決定する。
　次のステップＳ８では、合成画像生成部２６が、検出された被写体の領域を強調色の画像（電子情報）に置き換え、他の領域を黒でマスクする。即ち、図１２は、撮像素子４１で撮像された主要被写体の画像であり、ビル１～４と家５～７が映っている。この画像から、検索対象オブジェクトとして決定された被写体候補の画像（ビル４の画像）だけを切り出す。切り出した画像を、図１３に示す。図１３では、ビル４のうち見えている部分の画像だけを切り出し、例えば赤色画像で生成する。そして、他の領域は黒表示とする。黒表示とは、これをディスプレイパネル３７に表示するとき、何も発光色の無い状態である。
　次のステップＳ９では、図１３の画像を、被写体の光学像に合わせて合成する電子情報として、ディスプレイパネル３７に表示する。これにより、図１４に示す画像が、ユーザの目に入射されることになる。図１４の画像は、ファインダ装置１６を透過してユーザの目に入射する光学像に、図１３の画像が合成された画像となっている。図１３の黒領域は、ディスプレイパネル３７からの光は何もないため、ファインダ装置１６を透過した鮮明な光学像だけがユーザに目に入射する。これに対し、ビル４について、ファインダ装置１６を透過したビル４の光学像に、図１３で説明した赤色のビル４の画像が重畳してユーザの目に入射することになる。これにより、ユーザは、ファインダ装置１６を覗いたとき、ビル４だけが赤色強調色となった光学像を見ることになる。
　なお、第３の実施形態では、検索対象オブジェクトに該当する被写体画像を強調色で色付けした。しかし、検索対象オブジェクトに該当する被写体が、他の被写体の影に隠れて見えない場合もある。検索対象オブジェクトが、奥行き方向の手前側に存在する被写体の影に隠れていることが検出できた場合、検索対象オブジェクトの存在を示す電子情報を合成表示すれば良い。例えば赤色の丸枠を、その手前側の被写体画像に重ねて点滅表示することで、ユーザに検索対象オブジェクトの存在を認識させることができる。
　また、第３の実施形態では、検索対象オブジェクトに該当する被写体画像を強調色で色付けしただけであるが、検索対象オブジェクトの名称も一緒にディスプレイパネル３７に表示することも可能である。
　或いは、名称だけを、撮像素子４１の撮像画像に重ねて表示することでも良い。ファインダ装置１６を透過した光学像と、この光学像を分割した分割光の撮像画像とは、高精度に位置が一致するため、例えば被写体が沢山の山々が連なった連峰である場合、この連峰を構成する個々の山の名称を位置ズレ無く光学像に合成して表示できる。
　図１５は、本発明の第４の実施形態に係るデジタルカメラの機能ブロック構成図である。図８の実施形態に比べると、図８のオブジェクト検索部４３の代わりにコンテンツ配置条件決定部６３とコンテンツ隠蔽領域演算部６４を設けている。更に、オブジェクトデータべース４５の代わりにコンテンツデータベース６５を設けている。
　第４の実施形態では、例えば図１６に示す様に、ファインダ装置１６を覗いて見えるビル１，２，３の光学像の間の空き地に、コンテンツの画像（仮想物ＣＧ画像）を合成してユーザに見せる画像合成を行う。
　図１７は、図１５のＣＰＵ２４が行う制御手順を示すフローチャートである。先ず、ステップＳ１１で、コンテンツ（仮想物）８の配置条件を決定する。このステップＳ１１で行うコンテンツ配置条件決定処理手順の詳細を示すフローチャートを図１８に示す。
　図１８において、先ず、ステップＳ２１で、図１５の各種情報取得部４７，４８，４９から、現在地の位置情報，方位情報，ファインダ姿勢情報のデータを受信する。
　次のステップＳ２２では、図１５のコンテンツ配置条件決定部６３により、条件を満たすコンテンツをコンテンツデータベース６５から検索する。この条件とは、例えば、「現在地を中心として半径Ｘｋｍ以内であり、ファインダ光軸の指す方向を中心に中心角度Ｙ度の扇形領域内に存在する空きスペースに収めることができる。」である。コンテンツデータベース６５に格納されている各コンテンツには、世界座標による大きさ等が割り当てられており、ファインダ装置１６のＧＰＳ信号，方位信号，姿勢信号によって定まる条件により検索される。
　次のステップＳ２３では、コンテンツデータベース６５を検索した結果、条件に合うコンテンツが少なくとも１つは存在したか否かを判定する。１つも存在しない場合には、ステップＳ２１に戻る。少なくとも１つのコンテンツが存在した場合には、ステップＳ２３からステップＳ２４に進み、検索されたコンテンツから、そのコンテンツと現在地との距離Ａを算出すると共に、そのコンテンツの実サイズＢをコンテンツデータベース６５から読み出して参照する。そして、図１７のステップＳ１２に進む。
　ステップＳ１２では、ファインダ装置１６で覗いた領域を位相差検出画素付きの撮像素子４１で撮影し、位相差情報を取得する。次のステップＳ１３では、図１５の被写体検出部４４が位相差情報に基づき、図９のステップ６と同様にして撮像画像中のビル１，２，３を抽出する。
　次のステップＳ１４では、被写体群（上記例では、ビル１，２，３）とコンテンツとの配置条件から、コンテンツの隠蔽領域を算出する。隠蔽領域とは、撮像画像の奥行き方向で、手前の被写体によって後側のコンテンツのうち隠れてしまう領域をいう。
　図１９は、コンテンツの隠蔽領域を算出する説明図である。被写体群のビル１，２，３の撮像画像を仮想の三次元空間上に配置すると共に、描画対象とするコンテンツをこの三次元空間上に配置する。そして、ファインダ装置１６を基準視点として、周知の光線追跡法により、被写体群とコンテンツとの間の隠蔽関係を算出する。
　光線追跡法とは、「目に飛び込んで来る光は、一番手前にある被写体から届く」という原理に基づいて、撮像素子４１の各画素に到達する光を計算する方法である。この光線追跡法は、各画素の搭載フィルタ色や輝度を決定する３ＤＣＧ描画方法の一般的な手法である。
　図１７のステップＳ１４でコンテンツや被写体の隠蔽領域，描画する領域が分かると、次のステップＳ１５に進み、図１５の合成画像生成部２６は、コンテンツのＣＧ画像のうち描画する領域のみ生成する。そして、最後のステップＳ１６で、ディスプレイパネル３７に、コンテンツの描画領域のみ表示し、その他の領域は黒表示とする。
　これにより、図１６に示す様に、コンテンツ８のＣＧ画像が、あたかも、手前のビル１，２の光学像の後に存在する様に表示される。コンテンツ８の後のビル３のうちコンテンツ８に隠れる部分は、コンテンツ８の表示によって上書きされ、ビル３の手前にコンテンツ８の画像が表示されることになる。
　撮像素子４１と撮像素子２２との位置関係等は予め既知のため、撮像素子２２で被写体を撮像したとき、このコンテンツ８のＣＧ画像を、撮像素子２２による撮像画像中に、位置ズレ無く、合成することができる。
　この第４の実施形態によれば、ファインダ装置１６の視野範囲内の空きスペースに設ける仮想物（コンテンツ）を、予めコンテンツデータベース６５に登録されているコンテンツの中から自動的に選択する構成になっている。このため、ユーザのコンテンツ選択の手間が軽減されるという利点がある。
　しかし、ユーザによっては、自身の希望するコンテンツのＣＧ画像をファインダ装置１６内に合成表示させたい場合もある。また、空きスペースではなく、既存の建物に替えてユーザ指定のコンテンツのＣＧ画像を表示させたい場合もある。
　この様な場合には、ユーザにコンテンツを選択させ、その大きさや設ける場所などを、カメラ背面の液晶表示部のメニュー画面を通して指定させることで、そのコンテンツを拡大／縮小して撮像画像中に合成すれば良い。
　以上、本発明の画像表示装置の実施形態として、撮影装置のファインダ装置について説明してきたが、撮影装置の構成はこれに限定されない。撮影装置としては、例えば、内蔵型又は外付け型のPC用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
　撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　図２０は、撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図２０に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６、操作部２０７と、カメラ部２０８とを備える他に、図２，図６の実施形態で説明したファインダ装置１６を備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図２１は、図２０に示すスマートフォン２００の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ(Global Positioning System)受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０と、ファインダ装置１６とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。
　表示パネル２０２は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図２０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０或いは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力したりするものである。また、図２０に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、そのスマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２０８は、主制御部２２０の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力することができる。図２０に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよいし、或いは、複数のカメラ部２０８が搭載されてもよい。なお、複数のカメラ部２０８が搭載されている場合には、撮影に供するカメラ部２０８を切り替えて単独にて撮影したり、或いは、複数のカメラ部２０８を同時に使用して撮影したりすることもできる。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記憶させたり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。
　上記した様な薄型のスマートフォン２００に設けるファインダ装置１６は、かなり小型のものとなり、ファインダ装置１６内に設ける撮像素子４１もかなり小型なものとなるが、図１～図１９で説明した実施形態と同様のことを実現することは可能である。
　なお、図２０の実施形態においては、カメラ部２０８を設けずに、ファインダ装置１６内の撮像素子をカメラ部２０８として兼用させても良い。また、図２，図６などの実施形態でも、撮影レンズ１２や撮像素子２２を省略し、ファインダ装置１６内の撮像素子３６，４１で本撮影を行う構成とすることも可能である。
　スマートフォンの様な高機能な情報機器の場合、アプリケーションソフトが現在位置をオブジェクトデータベース４５に逐次連絡することができる。このため、例えば図１や図２０の撮影装置のユーザは、知人のスマートフォンの現在位置つまり知人の居場所を知りたい場合、検索対象オブジェクトとして知人のスマートフォンを指定すれば、ファインダ装置１６を覗くことで、容易に見つけることができる。
　以上述べた様に、実施形態の画像表示装置は、被写体側から取り込んだ入射光を分割するビームスプリッタと、そのビームスプリッタで分割された一方の入射光による第１の光学像を電気信号に変換し撮像画像として出力する撮像素子と、上記撮像画像の中の主要被写体画像に位置合わせした電子情報画像を生成する合成画像生成部と、その電子情報画像を表示するディスプレイパネルと、上記分割された他方の入射光による第２の光学像に上記ディスプレイパネルから投射された上記電子情報画像の光学像を重畳して出射させる光学プリズムとを備えることを特徴とする。
　また、実施形態の画像表示装置は、ユーザ指定のオブジェクトに該当する被写体を上記撮像画像の中から検出する検出部を備え、上記電子情報画像は、上記オブジェクトが上記第２の光学像の中に存在することを示す画像とすることを特徴とする。
　また、実施形態の画像表示装置は、現在地の位置情報を検出する第１センサと、上記入射光が入射してくる方向を検出する第２センサと、その画像表示装置の姿勢を検出する第３センサとを備え、上記検出部は、上記第１，第２，第３センサの各検出信号に基づいて上記オブジェクトの存在を検出することを特徴とする。
　また、実施形態の画像表示装置の上記オブジェクトは、オブジェクトデータベースに登録され、地理情報と、情報機器の現在位置を示す情報と、の少なくともいずれかの情報を含むことを特徴とする。
　また、実施形態の画像表示装置の上記電子情報画像は、上記撮像画像の中の主要被写体の配置位置に応じた仮想物ＣＧ画像であり、かつ上記主要被写体により奥行き方向で隠れて見えない領域を除いた画像であることを特徴とする。
　また、実施形態の画像表示装置は、現在地の位置情報を検出する第１センサと、上記入射光が入射してくる方向を検出する第２センサと、その画像表示装置の姿勢を検出する第３センサとを備え、上記合成画像生成部は、上記第１，第２，第３センサの各検出信号により上記仮想物ＣＧ画像の表示位置を決めることを特徴とする。
　また、実施形態の撮影装置は、上記のいずれかに記載の画像表示装置を、ファインダ装置として搭載したことを特徴とする。
　また、実施形態の画像表示方法は、被写体側から取り込んだ入射光をビームスプリッタで分割し、上記ビームスプリッタで分割された一方の入射光による第１の光学像を撮像素子で電気信号に変換し撮像画像として出力し、その撮像画像の中の主要被写体画像に位置合わせした電子情報画像を合成画像生成部で生成し、上記電子情報画像をディスプレイパネルに表示し、上記分割された他方の入射光による第２の光学像に上記ディスプレイパネルから投射された上記電子情報画像の光学像を光学プリズムで重畳して出射させることを特徴とする。
　以上述べた実施形態によれば、フォインダ装置等の画像表示装置を覗くことで、ユーザは、鮮明な被写体の光学像をタイムラグ無しで観察することができる。しかも、この光学像に高精度に位置合わせした電子情報画像も併せて視界内で見ることができ、画像表示装置の使い勝手や使用価値が高くなる。
　本発明に係る画像表示装置は、目で見る被写体の光学像に、高精度に位置合わせした電子情報を重畳して表示できるため、ユーザの使い勝手や使用価値の高い画像表示装置を提供できる。また、この画像表示装置をファインダ装置としてデジタルカメラ等に用いると有用である。
　本出願は、２０１２年３月１６日出願の日本特許出願（特願２０１２－６０３８１）に基づくものであり、その内容はここに参照として取り込まれる。
１～４　ビルの像
５～７　家の像
８　コンテンツのＣＧ画像
１０　デジタルカメラ
１１　筐体
１２　撮影レンズ
１６　ファインダ装置
２２　本撮影用の撮像素子
２６　合成画像生成部
２７　画像解析部
２８　位相差情報解析部
３２　ビームスプリッタ
３３　光学プリズム
３６，４１　ファインダ装置内の撮像素子
４３　オブジェクト検索部
４４　被写体検出部
４５　オブジェクトデータベース
４７　位置情報取得部（ＧＰＳ）
４８　方位情報取得部（電子コンパス）
４９　姿勢情報取得部
６３　コンテンツ配置条件決定部
６４　コンテンツ隠蔽領域演算部
６５　コンテンツデータベース

Claims (8)

  1. 　被写体側から取り込んだ入射光を分割するビームスプリッタと、該ビームスプリッタで分割された一方の入射光による第１の光学像を電気信号に変換し撮像画像として出力する撮像素子と、前記撮像画像の中の主要被写体画像に位置合わせした電子情報画像を生成する合成画像生成部と、該電子情報画像を表示するディスプレイパネルと、前記分割された他方の入射光による第２の光学像に前記ディスプレイパネルから投射された前記電子情報画像の光学像を重畳して出射させる光学プリズムとを備える画像表示装置。
  2. 　請求項１に記載の画像表示装置であって、ユーザ指定のオブジェクトに該当する被写体を前記撮像画像の中から検出する検出部を備え、前記電子情報画像は、前記オブジェクトが前記第２の光学像の中に存在することを示す画像とする画像表示装置。
  3. 　請求項２に記載の画像表示装置であって、現在地の位置情報を検出する第１センサと、前記入射光が入射してくる方向を検出する第２センサと、該画像表示装置の姿勢を検出する第３センサとを備え、前記検出部は、前記第１，第２，第３センサの各検出信号に基づいて前記オブジェクトの存在を検出する画像表示装置。
  4. 　請求項２又は請求項３に記載の画像表示装置であって、前記オブジェクトは、オブジェクトデータベースに登録され、地理情報と、情報機器の現在位置を示す情報と、の少なくともいずれかの情報を含む画像表示装置。
  5. 　請求項１に記載の画像表示装置であって、前記電子情報画像は、前記撮像画像の中の主要被写体の配置位置に応じた仮想物ＣＧ画像であり、かつ前記主要被写体により奥行き方向で隠れて見えない領域を除いた画像である画像表示装置。
  6. 　請求項５に記載の画像表示装置であって、現在地の位置情報を検出する第１センサと、前記入射光が入射してくる方向を検出する第２センサと、該画像表示装置の姿勢を検出する第３センサとを備え、前記合成画像生成部は、前記第１，第２，第３センサの各検出信号により前記仮想物ＣＧ画像の表示位置を決める画像表示装置。
  7. 　請求項１乃至請求項６のいずれか１項に記載の画像表示装置を、ファインダ装置として搭載した撮影装置。
  8. 　被写体側から取り込んだ入射光をビームスプリッタで分割し、前記ビームスプリッタで分割された一方の入射光による第１の光学像を撮像素子で電気信号に変換し撮像画像として出力し、該撮像画像の中の主要被写体画像に位置合わせした電子情報画像を合成画像生成部で生成し、前記電子情報画像をディスプレイパネルに表示し、前記分割された他方の入射光による第２の光学像に前記ディスプレイパネルから投射された前記電子情報画像の光学像を光学プリズムで重畳して出射させ画像表示方法。
PCT/JP2012/080613 2012-03-16 2012-11-27 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法 WO2013136601A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014504631A JP5640175B2 (ja) 2012-03-16 2012-11-27 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法
CN201280071472.5A CN104169795B (zh) 2012-03-16 2012-11-27 图像显示装置、将该图像显示装置作为取景器装置搭载的摄影装置以及图像显示方法
US14/486,653 US9167166B2 (en) 2012-03-16 2014-09-15 Image display device, imaging apparatus mounted with image display device as finder device, and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-060381 2012-03-16
JP2012060381 2012-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/486,653 Continuation US9167166B2 (en) 2012-03-16 2014-09-15 Image display device, imaging apparatus mounted with image display device as finder device, and image display method

Publications (1)

Publication Number Publication Date
WO2013136601A1 true WO2013136601A1 (ja) 2013-09-19

Family

ID=49160554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080613 WO2013136601A1 (ja) 2012-03-16 2012-11-27 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法

Country Status (4)

Country Link
US (1) US9167166B2 (ja)
JP (1) JP5640175B2 (ja)
CN (1) CN104169795B (ja)
WO (1) WO2013136601A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004960A (ja) * 2013-05-22 2015-01-08 パナソニックＩｐマネジメント株式会社 撮像装置および撮像画像の表示方法
WO2019049532A1 (ja) * 2017-09-07 2019-03-14 富士フイルム株式会社 撮像装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104782110B (zh) * 2012-09-19 2018-09-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
GB2537398A (en) 2015-04-16 2016-10-19 Nokia Technologies Oy Apparatus and method for capturing images
CN107065164B (zh) * 2017-04-20 2019-09-20 深圳市元征科技股份有限公司 图像展示方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008078908A (ja) * 2006-09-20 2008-04-03 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2009239651A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置
JP2009267792A (ja) * 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
JP2010135894A (ja) * 2008-12-02 2010-06-17 Canon Inc 撮像装置
JP2011035638A (ja) * 2009-07-31 2011-02-17 Toppan Printing Co Ltd 仮想現実空間映像制作システム
JP2012004763A (ja) * 2010-06-16 2012-01-05 Nikon Corp カメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161025A (en) 1989-12-28 1992-11-03 Fuji Photo Film Co., Ltd. Optical/electrical view finder
DE102004004806B4 (de) * 2004-01-30 2012-04-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronische Laufbildkamera
JP2006059136A (ja) * 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2010107529A (ja) * 2007-02-21 2010-05-13 Nikon Corp ファインダ装置および光学装置
JP2009200552A (ja) * 2008-02-19 2009-09-03 Olympus Imaging Corp 撮像装置および撮像装置の表示方法
JP2011253512A (ja) * 2010-06-02 2011-12-15 Kunio Yasuzawa 拡張現実感の応用装置
JP2012015889A (ja) 2010-07-02 2012-01-19 Sony Corp 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008078908A (ja) * 2006-09-20 2008-04-03 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2009239651A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置
JP2009267792A (ja) * 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
JP2010135894A (ja) * 2008-12-02 2010-06-17 Canon Inc 撮像装置
JP2011035638A (ja) * 2009-07-31 2011-02-17 Toppan Printing Co Ltd 仮想現実空間映像制作システム
JP2012004763A (ja) * 2010-06-16 2012-01-05 Nikon Corp カメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004960A (ja) * 2013-05-22 2015-01-08 パナソニックＩｐマネジメント株式会社 撮像装置および撮像画像の表示方法
WO2019049532A1 (ja) * 2017-09-07 2019-03-14 富士フイルム株式会社 撮像装置
US10805545B2 (en) 2017-09-07 2020-10-13 Fujifilm Corporation Imaging device
JPWO2019049532A1 (ja) * 2017-09-07 2020-10-29 富士フイルム株式会社 撮像装置

Also Published As

Publication number Publication date
CN104169795A (zh) 2014-11-26
CN104169795B (zh) 2016-05-18
US9167166B2 (en) 2015-10-20
US20150036025A1 (en) 2015-02-05
JP5640175B2 (ja) 2014-12-10
JPWO2013136601A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
US9721392B2 (en) Server, client terminal, system, and program for presenting landscapes
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
CN108702445B (zh) 一种图像显示方法、电子设备及计算机可读存储介质
WO2010001778A1 (ja) 撮像装置、画像表示装置および電子カメラ
JP5640175B2 (ja) 画像表示装置及びこの画像表示装置をファインダ装置として搭載した撮影装置並びに画像表示方法
US20090278949A1 (en) Camera system and method for providing information on subjects displayed in a camera viewfinder
JP5571498B2 (ja) 周囲情報検索装置及び周囲情報検索方法
WO2015198690A1 (ja) 撮像装置
JPWO2014141522A1 (ja) 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
US9635234B2 (en) Server, client terminal, system, and program
WO2013146041A1 (ja) 画像処理装置及び方法並びに撮像装置
KR20190040015A (ko) 증강 현실 장치 및 방법
JP2010050927A (ja) 撮影装置、撮影方法、プログラム、および記録媒体
JP2009060338A (ja) 表示装置、電子カメラ
JP2021125789A (ja) 映像処理装置、映像処理システム、映像処理方法、及びコンピュータプログラム
JP2009224890A (ja) 撮影装置及び携帯情報端末
JP2008152374A (ja) 画像システム、撮影方位特定装置、撮影方位特定方法、プログラム
JP5969062B2 (ja) 画像処理装置及び画像処理方法
JP2012227717A (ja) 表示装置、表示プログラムおよび表示方法
JP6966011B1 (ja) 撮像装置、撮像方法および情報処理装置
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
CN114758082A (zh) 地图构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12871199

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014504631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12871199

Country of ref document: EP

Kind code of ref document: A1