WO2005041167A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2005041167A1
WO2005041167A1 PCT/JP2004/013487 JP2004013487W WO2005041167A1 WO 2005041167 A1 WO2005041167 A1 WO 2005041167A1 JP 2004013487 W JP2004013487 W JP 2004013487W WO 2005041167 A1 WO2005041167 A1 WO 2005041167A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
display
distance
display device
Prior art date
Application number
PCT/JP2004/013487
Other languages
English (en)
French (fr)
Inventor
Katsuhiro Kanamori
Hideto Motomura
Hiroyoshi Komobuchi
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2005509261A priority Critical patent/JP3791848B2/ja
Priority to EP04773146.8A priority patent/EP1679689B1/en
Publication of WO2005041167A1 publication Critical patent/WO2005041167A1/ja
Priority to US11/402,793 priority patent/US20060238502A1/en

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414—Vertical resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421—Horizontal resolution change

Definitions

  • the present invention relates to an image display and an image reproduction technique, and relates to an image display device and an image display method for displaying an image of a subject on a display with rich texture to an observer.
  • online shopping does not allow customers to actually see the actual product. For this reason, many sales sites provide notices stating that photos may differ from the actual product, but there are many complaints and returns from customers. In other words, it is desired to display a product image with the highest possible texture on the user's display.
  • the display used by the customer is 1 if a computer or digital TV is used.
  • a portable display of about 2 to 4 inches is used. In the future, the usage rate of portable displays is expected to increase significantly.
  • FIG. 1 is a diagram showing a usage state of a conventional image display device.
  • the image display device 1701 has a configuration including a portable display and a position detection sensor.
  • the position detection sensor detects acceleration in two or three axes.
  • Fig. 1 shows a case where a part of the building is displayed on the image display device 1701, and when the user moves the image display device 1701, another part of the building is displayed. The portion can be displayed on the image display device 1701.
  • the vertical and horizontal components of the acceleration of the image display device 1701 are detected by using the position detection sensors in the two-axis direction, and time integration is performed. Calculate the component and the displacement component.
  • the movement direction in two dimensions, for example, it is possible to cut out and observe a part of a large image such as a newspaper or a map, and to perform the movement direction in three dimensions, that is, in the depth direction.
  • grasp the structure of each floor of the building For medical use, it is possible to intuitively observe brain cross-sections, etc. (see, for example, Japanese Patent Application Laid-Open No. 2002-72027 (page 4, FIG. 2)). .).
  • an image display method in which a plurality of images having different reflection states of a stationary subject are obtained by illumination, and the plurality of frame images are sequentially switched on a display to display an image.
  • an observer monitoring camera may be provided on the display, and the image may be displayed on the display while being switched to the selected frame image in accordance with the movement of the viewpoint of the monitor observer looking at the display.
  • CG for example, see Japanese Patent Application Laid-Open No. 2003-001). See Japanese Patent Publication No. 32350 (page 16, FIG. 6).
  • the present invention is intended to solve the above-described conventional problems. Even in an application such as online shopping using a portable display with a narrow screen, the observer can observe the product of the subject with his / her hand. Image display that can effectively display products with the greatest reality It is an object to provide an apparatus and an image display method.
  • an image display device is an image display device that displays an image of a subject, wherein a distance detection that detects a distance between an observer and the image display device as an observation distance.
  • Means an angle detecting means for detecting an angle of the image display device with respect to the observer, or a moving direction of the image display device with respect to the observer, as an observation direction, and according to the observation distance.
  • a first display mode for displaying an image of the subject by changing a display magnification
  • a second display mode for displaying an image having a normal direction different from the surface of the subject according to the observation direction.
  • Display switching control means for switching in accordance with an observation distance and displaying an image of the subject in the first display mode or the second display mode.
  • the image display device further includes an approach state detection unit that calculates a display magnification of the image based on the observation distance. Further, when the observation distance is equal to or less than a predetermined distance, the approach state detection means calculates that the display magnification is 1 as the object is present at the predetermined distance, and Is larger than a predetermined distance, the display magnification is calculated to be less than 1 assuming that the subject exists farther than the predetermined distance, and the display switching control means includes: When the display magnification calculated by the above is less than 1 ⁇ , the image of the subject is displayed in the first display mode, and when the display magnification is 1 ⁇ , the image in the second display mode is displayed. An image of the subject may be displayed.
  • the display switching control means may select and display an image of a part of the subject based on the display magnification and the observation direction in the first display mode.
  • the part of the subject is a predetermined area
  • the display switching control unit is configured to determine one of the plurality of areas based on the observation direction and the display magnification in the first display mode. The image of the area may be selected and displayed.
  • the image display device may further include, in the first display mode, displaying a first marker indicating the predetermined area, and displaying a second marker based on the observation direction and the display magnification.
  • the display switching control means may include a marker generating means for displaying, and the display switching control means may select one of the plurality of areas according to a positional relationship between the first marker and the second marker. .
  • the observer can easily confirm the expandable area, and can move the second force.
  • the display switching control means may include an optical model describing any one of reflection, scattering, and transmission of light on the surface of the subject in the second display mode. May be displayed as a computer graphics image rendered under constant illumination on an arbitrary plane or curved surface.
  • the observer when the observer observes the subject, the observer can observe the subject with a sense of reality and richness.
  • an image display system is an image display system for displaying an image of an object stored in a server device on an image display device, wherein the image display device includes an observer and the image display device.
  • Distance detecting means for detecting a distance between the two as an observation distance; and an angle for detecting an angle of the image display device with respect to the observer or a moving direction of the image display device with respect to the observer as an observation direction.
  • Detecting means a first display mode for displaying an image of the subject by changing a display magnification according to the observation distance, and a first display mode for displaying an image having a normal direction different from the normal direction of the subject surface according to the observation direction.
  • Display switching control means for displaying an image of the subject as described above, and transmitting and receiving means for transmitting an image request signal based on the request to a server device via a network, and receiving an image corresponding to the image request signal.
  • the server device is connected to the network, stores an entire image of the object, and transmits an image in response to the image request signal; and An enlarged image database for storing an image of a part of the subject and transmitting the image in response to the image request signal; and a tilt-changed close-up image generated by giving an image of the part of the subject in the normal direction. And a tilt-changed close-up image database for transmitting an image in response to the image request signal.
  • the present invention not only can be realized as such an image display device, but also includes characteristic means included in such an image display device. It can also be realized as an image display method that includes as a computer, or as a program that causes a computer to execute those steps. It goes without saying that such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • the image display device of the present invention when an input image of a subject product is displayed on a small display such as a portable display, a distance between the display and a viewer, that is, an observation distance is acquired by a sensor, and the distance is obtained according to the observation distance. This enables continuous observation from the photographed image of the subject to the surface fine structure.
  • the method of generating the image presented here differs depending on whether the observation distance is long or short. In the range where the observation distance is far, the actual captured image is reduced.In the range where the observation distance is short, the detailed texture image of the subject measured in advance using the actual sample or rendering it on an arbitrary surface The display switches to the computer graphics image. The effect is that when the observation distance is long, the subject is looking at the distant view using the frame of the display as a window, and when the distance is short, the subject surface is regarded as the display surface itself.
  • FIG. 1 is a diagram showing a conventional image display device.
  • FIG. 2 is a block diagram showing a configuration of the image display device according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration of the image display device according to the first embodiment.
  • FIG. 3 shows (a) the relationship between the observation distance in the approaching process state and the virtual subject position according to the first embodiment, and (b) the observation distance and the virtual distance in the maximum approach state according to the first embodiment.
  • FIG. 4 is a diagram illustrating a relationship with a subject position.
  • FIG. 4 is a diagram showing display of an approach marker in an approach process state according to the first embodiment.
  • FIGS. 5A and 5B are diagrams showing (a) a display of the target force according to the first embodiment, (b) a diagram showing the display of the target marker and the approach marker according to the first embodiment, and A diagram showing the display of the target force and the approach marker reaction area according to the embodiment of the present invention, (d) a diagram showing the display of an enlarged image according to the first embodiment, and (e) an enlargement according to the first embodiment. It is a figure showing display of an image.
  • FIG. 6 is a diagram showing a display in the maximum approach state according to the first embodiment.
  • FIG. 7 is a flowchart showing the procedure of the image display method according to the first embodiment.
  • FIG. 8 is a diagram illustrating the configuration of the imaging device according to the first embodiment.
  • FIG. 9 is a diagram showing a tilt image database according to the first embodiment.
  • FIG. 10 is a diagram showing the relationship between the viewing distance and the display magnification.
  • FIG. 11 is a block diagram illustrating a configuration of an image display device according to the second embodiment.
  • FIGS. 12A and 12B are diagrams showing (a) illumination detection in the maximum approach state according to the second embodiment, and (b) and (c) diagrams showing a process of generating a maximum approach image according to the second embodiment. is there.
  • FIG. 13 is a diagram illustrating a configuration of an imaging device according to the second embodiment.
  • FIG. 14 is a flowchart showing a procedure of an image display method according to the second embodiment. It is a chart.
  • FIG. 15 is a block diagram illustrating a configuration of an image display device according to the third embodiment.
  • FIG. 16 is a diagram illustrating a state of distance detection in a maximum approach state according to the third embodiment.
  • FIG. 17 is a diagram illustrating a configuration of an imaging device according to the third embodiment.
  • FIG. 18 is a flowchart showing a procedure of an image display method according to the third embodiment.
  • FIG. 2 is a block diagram showing the configuration of the image display device according to the first embodiment of the present invention, which aims to enable a viewer to observe a product image with high reality when performing online shopping using a portable display terminal. are doing.
  • the observation with high reality in the present invention refers to not only the entire product, but also the state of examining the actual product by touching it with hand, and the continuous and unconscious observation of the detailed observation of a partial local area. Means to do.
  • the image display device 110 is, for example, a device such as a portable display terminal that can be freely moved while being held by the observer's hand. As shown in FIG. 2, a sensor unit 101, a distance detection unit 102, It has an angle detection unit 103, an approach state detection unit 104, a display switching control unit 105, a power generation unit 108, an image display unit 109, and a transmission / reception unit 111. . Further, the image display device 110 is connected to the subject database 113, the enlarged image database 106, and the tilt change close-up image database 110 via the network 112.
  • the image display unit 109 is used to display an image, for example, a liquid crystal display panel.
  • the sensor unit 101 is a composite sensor system including an optical imaging system such as a camera, an ultrasonic sensor, an acceleration sensor, or a combination thereof, for detecting a use state of the image display device 110 by the user.
  • the distance detection unit 102 detects the distance to the observer from the output signal from the sensor unit 101.
  • the angle detector 103 detects the angle of the hand-held position with respect to the observer from the output signal from the sensor 101.
  • the approach state detection unit 104 detects a state of how the observer is approaching the image display unit 109.
  • the display switching control unit 105 appropriately processes the image based on the result of the approach state detection unit 104 and displays the image on the image display unit 109.
  • the marker generation unit 108 generates a marker image for displaying the approach position on the image to the user.
  • the subject database 113 stores the entire image data of the product in advance.
  • the enlarged image database 106 stores image data in advance in order to generate a continuous enlarged image (an image of a part of the product) for a specific part of the product image.
  • the tilt-change close-up image database 107 stores image data in advance in order to generate an image to be observed by giving a tilt to a close-up detailed image.
  • the transmission / reception unit 111 transmits / receives necessary image data to / from the enlarged image database 106 or the tilt change close-up image database 107.
  • the network 112 connects the image display device 110, the enlarged image database 106, and the tilt-change close-up image database 107.
  • the signal output from the sensor unit 101 is processed by the distance detection unit 102 and the angle detection unit 103, and the distance from the image display device 110 to the observer and the observer are used as reference values.
  • the angle of the hand-held position of the image display device 110 thus determined is detected.
  • the means for detecting the distance and angle using an optical imaging system such as a camera is described in the above-mentioned document “Field of View Control from User's Viewpoint”. —Since it is detailed about the presentation system J that can be used, the explanation is omitted here.
  • the display switching control unit 105 stores, in advance, a discrete image as a product image to be switched and its processing content so that an entire image to a detailed portion of the product can be displayed as an image as described later. Therefore, an image is generated by continuously interpolating it in real time.
  • a virtual subject 201 is a virtual subject located at a long distance, and the image display device 110 displays the subject. Further, the object distance between the virtual object 201 and the observer is D 1, D 2, the distance between the observer and the image display device 110 is the observation distance Z 1, zt, and the virtual object 2
  • the actual size in the vertical direction of 01 is H
  • the display size at the observation distance Z1 is H1
  • the display size at the observation distance Zt is H2.
  • FIG. 3 (a) shows a case where the object distance D1 is farther than the observation distance Z1, and FIG.
  • FIG. 3 (b) shows a case where the object distance D2 matches the observation distance Zt.
  • a state in which the subject distance D1 is relatively larger than the observation distance Z1 is called the approaching state, and corresponds to the act of overviewing the entire product image to the detailed part as an image. Let it. This corresponds to a state in which the image display device 110 is used as a window to view a subject at a long distance, and the entire product can be observed even on a narrow screen of the image display device 110.
  • FIG. 3B shows a state in which the virtual subject 201 is drawn to the image display device 110 as the observation distance Z 1 gradually approaches.
  • the change amount of the subject distance D can be displayed on the image display device 110 from the entire subject to a part of the subject by multiplying the change amount of the observation distance Z by an arbitrarily determined constant. It becomes possible.
  • the constant to be multiplied by the change in the observation distance Z is calculated using the actual size H of the virtual subject in the vertical direction. Can be calculated.
  • the image of the virtual subject 201 is gradually enlarged, and the display magnification is increased.
  • the virtual subject 201 is also located at the closest position and is referred to as a maximum approach state.
  • the subject distance at this time is defined as D 2.
  • the surface of the product is at the same position as the display surface, and the actual size of the product is displayed at a magnification of 1: 1.
  • only part of the subject can no longer be displayed on the screen of the mobile display, but a state close to the state of presenting a glossy feeling, a material feeling, a granular feeling, etc., such as grasping the product by hand and observing it in detail. Can produce.
  • the display magnification m is the ratio of the observation distance to the object distance, and is given by (Equation 1).
  • Table 1 shows the relationship between the display magnification, observation distance, and on-screen display size in the approaching state and the maximum approaching state.
  • Table 1
  • the image display device By bringing 110 closer to the observation distance of 40 (cm) to 20 (cm), it is drawn from the subject distance D1 to the subject distance D2, that is, from 10 (m) to 20 (cm). In this case, the display magnification is enlarged from 4 (%) to 100 (%), and the display magnification on the screen display device 110 is increased.
  • the size varies from 4 (cm), which is close to the vertical size, to an actual size of 1 (m), which greatly protrudes from the screen display device 110.
  • only 4 (cm) of the vertical 1 (m) of the subject that is, 4 (%), can be displayed on the screen display device 110.
  • the specific numerical value of Z t is set to 20 (cm) in the above, but it is inconvenient to observe the image display device 110 from too close due to the accommodation function of the human eye. Not only that, but also the display pixel structure of the image display device 110 is observed, so that it is preferable to set the degree of the clear viewing distance for viewing the normal display to a temporary value.
  • the judgment of the approaching process state and the maximum approaching state is not necessarily limited to (Table 1), and any of the display magnification, the size on the screen, and the observation distance may be used, and the threshold value is also arbitrary.
  • the use of the distance detection and the angle detection results, which are the outputs from the sensors depends on the two states of the approach process state (first display mode) and the maximum approach state (second display mode) described above. The way of controlling the displayed image is different.
  • FIG. 4 shows a state in which an observer displays a center, which is a product image, on a display screen and observes it. Coordinates used in this figure The axis XYZ is fixed with the observer's head 301 as the origin.
  • the observer observes the entire image of the product, but if he wants to observe the details of the center surface, he holds the image display device 110 with his hand targeting a part of the product image. To get closer.
  • the angle detection unit 103 detects this movement as a distance ⁇ on the Z axis, a rotation angle pitch around the X axis ⁇ 0, and a rotation angle around the ⁇ axis ⁇ .
  • the angle is small, the following relational expression holds, so that ⁇ X, ⁇ can be calculated from the angle.
  • the displacement ⁇ in the ⁇ -axis direction and the displacement ⁇ in the ⁇ -axis direction may be directly detected.
  • ⁇ ⁇ and ⁇ are used for notation of the movement of the image display device 110 in the approaching state.
  • the display switching control unit 105 moves the approach marker 304 indicating the approach position desired by the observer on the image up, down, left, and right. And displayed on the product image.
  • the relationship between the moving direction of the approach marker 304 and the directions of ⁇ and ⁇ ⁇ ⁇ ⁇ is not specified, in the present embodiment, it is assumed that the movement is performed in the direction opposite to ⁇ and ⁇ ⁇ and displayed. You. For example, when the image display device 110 is moved to the left by hand, the approaching force 304 moves in the sense that the approach position is shifted slightly to the right from the center of the product image. Shift to the right from the position on the previous image.
  • the observer adjusts the approach position on the product image while viewing the approach marker 304 while holding the image display device 110 as described above, and at the same time, moves along the ⁇ -axis to obtain the distance detection unit.
  • the displacement ⁇ of the movement is detected by 102.
  • the image is enlarged and displayed centering on the above-mentioned approaching area of the product image.
  • This and The display magnification can be set as the ratio of Z 1 and D 1 as shown in (Table 1).
  • the line of sight of the observer is not detected, and the above angle is not detected.
  • the observer cannot freely move his or her line of sight within the screen because the screen is narrow, and the line of sight always moves between the observer's eyes and the portable image display device 110.
  • the observer is set as the origin instead of gaze detection. The position of the portable image display device 110 thus detected is detected.
  • the observer moves the image display device 110 in the XY plane by hand without changing the Z value, the displayed image itself is It does not change, only the position of the approach marker 304 changes.
  • FIG. 5 (a) is an image display device 110 showing the target marker 401
  • FIG. 5 (b) shows that an arbitrary target marker 401 is obtained by approach force 304.
  • the selected image display device 110 is shown in FIG. 5 (c).
  • FIG. 5 (d) is an image display device 110 showing an enlarged image of the accessible area selected by the approach marker 3 04
  • FIG. (e) is an image display in which the selected accessible area is further enlarged The device 110 is shown.
  • a target marker 401 indicating an accessible position on the overall image of the product image is set. indicate.
  • the observer holds the image display device 110 by hand and moves it in the XY axis direction, thereby moving and displaying the approach force 304 as shown in FIG. 5 (b). Then, an arbitrary target marker 4 01 to which the product image approaches is specified.
  • the local area which is the approaching target
  • there are various ways to set the local area especially when the display screen is relatively large, since the product image is presented in a relatively large area. Should be set to
  • the target force 4001 is not displayed in the product image from the beginning, and when the approach marker 3 04 is generated by the action of holding and moving with the observer's hand, the approach force 3 0 4 The closest target marker 4 0 1 may be displayed for the first time.
  • the target marker is automatically set. It may be determined that the vehicle is approaching the power 401. It is also conceivable that once the location to approach is determined, the display of the approach force 304 or the target marker 401 is already erased so as not to disturb the image observation.
  • the user selects the area to approach the still image and moves the observation distance closer to the relevant part.
  • the enlarged image stored in the enlarged image database 106 is shown in Fig. 5 (d )
  • the observer moves the image display device 110 in the Z-axis direction, so that the image is continuously displayed around the specific part of the product image as shown in Fig. 5 (e). Is gradually approaching Enlarged images enlarged in the Z-axis direction are displayed one after another so as to obtain such a feeling.
  • the enlarged image database 106 stores a continuous enlarged image in advance for each of the accessible areas (A), (B), and (C), or processes a high-definition image to generate a continuous image. It is realized by a method such as realizing a large expansion. In any case, the area that requires a high-definition image is limited to an accessible area only, so that there is an advantage that the image storage amount is smaller than the storage of the high-definition image of the entire subject. Further, the image acquisition in this process can be realized by using an apparatus described later.
  • the display switching control unit 105 displays an image by an operation different from the approaching process state.
  • the specific area of the product image is displayed on the entire screen display section 109, and in this example, the stitches of the set yarn are displayed.
  • the angle detection unit 103 determines the tilt of the image display device 110 as the distance ⁇ ⁇ ⁇ on the Z axis, the X axis circumference. ⁇ 0, and the rotation angle around the ⁇ axis.
  • the ⁇ axial distance A ⁇ is not used except for the purpose of returning to the approaching state again when the subject distance becomes larger than the observation distance zt, and it is exclusively 0, ⁇ Detects the two angles of the object and displays an image of the subject's surface with a changed inclination to an observer with a fixed illumination and a fixed viewing angle, and presents a realistic sense of material and grain on the surface with high reality. Cut.
  • the distance detection unit 102 measures the observation distance Z.
  • the angle detection unit 103 measures ( ⁇ , ⁇ ).
  • the approach state detection unit obtains the display magnification and determines the observation state. It is clear from Table 1 that this detection is not necessarily limited to the numerical value of the display magnification, but may be based on the observation distance.
  • the flow shifts to S606, and when it is detected that the maximum approaching state is reached, the flow shifts to S604.
  • the force generation unit 108 displays the approach force 304 and the target marker 410 on the image.
  • the display switching control unit 105 selects an approach area ( ⁇ X, ⁇ Y) from ( ⁇ , ⁇ ).
  • the display switching control unit 105 searches the enlarged image database 106, and sets the corresponding enlarged image as an image to the target approaching area. Output to the image display unit 109 continuously.
  • the image display unit 109 displays an enlarged image superimposed on the product image.
  • the display switching control unit 105 calculates a tilt change from the angles ( ⁇ , ⁇ ) and calculates a tilt change close-up image database 1107. To reproduce the change in the inclination of the close-up image.
  • the image display unit 109 displays the searched close-up image on the image display unit 10'9.
  • the change in the observation distance Z has no effect on the close-up image, and when the observation distance Z increases, it returns to the approaching state again.
  • a phenomenon in which the state fluctuates drastically due to the noise of the sensor system may occur, and the resuming characteristic in which a kind of hysteresis characteristic is given to the system. Is effective.
  • FIG. 8 shows an image capturing apparatus that captures only an arbitrary specific area of the nit center, which is the subject 701, with a fixed illumination and a fixed camera angle while tilting the subject 701 at various angles. .
  • the tilting table 7 02 is a table on which a center, which is the object 7 01, is placed, and the tilt is variable.
  • the automatic gantry device 03 has a mechanism for inclining the surface normal direction of the tilt base 70 2 with two degrees of freedom of ⁇ and a mechanism for moving the tilt base 02 in parallel in the X and Y axis directions.
  • the illumination lamp 704 illuminates the subject 701 at an incident angle of about 22 degrees through a lens lens 05 that produces parallel light.
  • the camera 706 is set at a position from a long distance to a short distance in the Z-axis direction perpendicular to the XY axis plane, and photographs the subject 701.
  • an enlarged image of the subject 701 is created by moving the camera 706 in the Z-axis direction.However, the zooming mechanism of the lens of the camera 706 can be used as a simple substitute. It is possible.
  • a specific area 711 on the subject 701 corresponding to the accessible areas (A), (B), and (C) is determined, and the automatic gantry device 703 is moved in parallel to the camera 706. Is set so as to match right above the accessible area.
  • moving the camera 708 in the Z-axis direction continuously captures an image of the approaching situation, and stores the captured image in the enlarged image database 106.
  • an enlarged image of the accessible area in the approach process state can be created.
  • the image display device 110 needs an image corresponding to the rotation angle around the X axis and around the Y axis. For this reason, the tilt table 7 02 is tilted with two variable degrees of ⁇ and ⁇ 0, and shooting is performed again and again, as shown in FIG. 9, as a two-dimensional image database, a tilt change close-up image Store in database 107.
  • the above-mentioned inclination angle range is ⁇ 30 degrees, but other numerical values may be used.
  • the display switching control unit 105 It is the function of the display switching control unit 105 to generate an actual display image from the above two types of image databases. According to the observation distance D, in the approaching process state, the enlarged image database 10 6 and, if necessary, display the interpolated image while interpolating the enlarged image. In the maximum approaching state, search the tilt change close-up image database 107 from ⁇ and If it is necessary to interpolate the image, it is implemented and displayed.
  • the relationship between the observation distance and the display magnification in the approaching process state may be such that the display magnification is uniformly increased according to the observation distance (from Z max to Z t), for example, as indicated by a straight line 801 in FIG.
  • the display magnification may be increased in accordance with the observation distance by giving a bias as shown by the curves 802 and 803.
  • the maximum approach state is observed from the observation distance Zt to Zmin.
  • the observation distance Z max, the observation distance Z min, and the observation distance Z t at which the object approaches the maximum can be set not only by using a preset value but also by an observer as an initial setting. .
  • the observation distance Zmax is set with the device 110 held in the hand and the hand extended to the maximum, and the observation distance Z is set with the image display device 110 closest to the viewer within the range where the observer can check the image. It is sufficient to set min and the observation distance Z t at which the observer reaches the maximum approach state at the desired position.
  • an image display device 110 that uses an image under constant illumination used for photographing as the maximum close-up image in response to a change in the two degrees of freedom of the inclination of the surface normal to the subject surface.
  • the maximum close-up image when the observer uses the present image display device outdoors or indoors, in observing the maximum close-up image, the maximum close-up image that would be observed under the current illumination is used. The configuration for combining and displaying will be described.
  • bidirectional reflection distribution function (BRDF) and BRDF are two-dimensional images.
  • BTF bidirectional texture function
  • the BRDF expresses the angle of incidence of illumination on only one point on the surface in spherical coordinates (, ⁇ ), and the viewing angle for observation is also expressed in spherical coordinates ( ⁇ e, ⁇ e). It is a function and is defined as the radiance L normalized by the incident illuminance E as in (Equation 3).
  • FIG. 11 is a block diagram showing the configuration of the image display device according to the second embodiment.
  • the parts different from FIG. 2 are an illumination direction detecting section 901, an illuminance detecting section 902, and a BTF data base 9. 03.
  • the operations of the components having the same numbers as those in FIG. 2 are the same as those in the first embodiment, and a description thereof will not be repeated.
  • the image display device 905 is, for example, a device such as a portable display terminal which can be freely moved while being held by the observer's hand. As shown in FIG. 11, an illumination direction detector 901, an illuminance detector 902, rendering unit 904, sensor unit 101, distance detection unit 102, angle detection unit 103, approach state detection unit 104, display switching control unit 105, marker generation unit 1 08, an image display unit 109, and a transmission / reception unit 111. In addition, the image display device 905 is connected to the subject data base 113, the BTF database 903, the enlarged image database 106, and the tilt change close-up image database 1 via the network 112. Connected to 0F.
  • Figure 12 (a) shows the rendered image displayed with the detection of the illumination direction.
  • the illumination direction detector 901 detects the direction ( ⁇ ,) and illuminance ⁇ of environmental illumination when the observer uses the image display device 905 outdoors or indoors, as shown in FIG. It is.
  • the illuminance detection unit 902 detects the illuminance of the display surface by environmental illumination when the image display device 905 is used outdoors or indoors. For detecting these illumination lights, it is possible to process and use the signal from the sensor unit 101 in the first embodiment, but additional illumination is possible. It is also possible to use a degree sensor or the like.
  • BTF database 903 BTFs obtained by measuring a specific area of the subject in advance are stored.
  • the rendering unit generates the luminance of the maximum close-up image of the subject that will be observed under observation illumination as the luminance expressed by the product of the BTF and the illumination intensity as shown in (Equation 5).
  • the displayed maximum approaching image 1001 is a virtual surface 1 which is an arbitrary virtual plane and a curved surface. It is generated by applying BTF 1003 to it as a three-dimensional texture, and displaying it on the image display device 905.
  • FIG. 12 (b) shows a case where the virtual curved surface 1002 has a convex shape
  • FIG. 12 (c) shows a case where the virtual curved surface 1002 has a concave shape.
  • a configuration may be adopted in which whether the virtual curved surface 102 is convex or concave is displayed on the image display unit 109.
  • FIG. 13 shows a photographing device 1103 for measuring the BTF of the subject, and the same parts as those of the photographing device 7 12 in FIG. The point is that an illumination angle moving mechanism 1101 relating to the illumination angle and a subject rotation mechanism 111 relating to the angle are added to the automatic gantry 703.
  • the approaching process state is the same as the operation in FIG. Next, the maximum approach state will be described.
  • the OETF (photoelectric conversion function) of the camera 706 is set in advance to be linear with respect to the luminance. Calibrate in advance.
  • the tilt table 7 02 is tilted with two variables of ⁇ and ⁇ , and the sequential shooting is performed again. Further, the illumination position is moved to a position of 45 ° with respect to the camera viewing angle, and the image is taken again while giving an inclination with two variables of ⁇ and ⁇ 0, and this is taken as 17.5. Perform up to °.
  • the angle is rotated at a constant angle, and the illumination angle is again rotated from 22.5 ° to 157.5 °, and the same measurement is repeated.
  • the measurement including the two degrees of freedom of the illumination angle ( ⁇ ,; 8) is completed, and the result is stored as the BTF database 903.
  • the lighting angle ⁇ was changed while the camera 706 was fixed, but the camera angle can be moved by fixing the lighting lamp 704. is there.
  • the numerical value such as the angle step width 22.5 ° for measuring the BTF is only one example, and an arbitrary value may be used. In the actual calculation, it is necessary to use values interpolated from these measured values as appropriate Many.
  • FIG. 14 shows a flowchart of the image display method according to the second embodiment.
  • the parts different from the flowchart of FIG. 8 are from S 1 201 to S 1 204.
  • the description of S601 to S603 and S606 to S609 is omitted.
  • the illumination direction detection unit 901 measures the angle of the observation illumination
  • the illuminance detection unit 902 measures the illuminance of the observation illumination.
  • the display switching control unit 105 outputs a BTF request signal for searching for a BTF corresponding to the illumination angle and the illuminance to the transmission / reception unit 1 1 1.
  • a BTF request signal is transmitted to the BTF database 903 via the network, and a BTF corresponding to the BTF request signal is transmitted to the image display device 905 in the BTF database 903.
  • the rendering unit 904 generates a surface on which the received BTF is mapped, and the BTF is mapped in consideration of the illumination direction and the surface normal, and the rendering is further performed.
  • the image subjected to is generated as the maximum approach image.
  • the image display unit 109 displays the generated maximum approach image.
  • BTF was used because a texture-dominant surface such as a center surface was used as an example here, but the same effect can be obtained with BRDF if the surface is smooth.
  • a bidirectional surface scattering distribution function (bidirect IonaI scatteringsurraceref Iectancedistribution function: BSSRDF) may be used.
  • the image display device 905 Up to the second embodiment, in the maximum approaching state, the image display device 905 only displays the change of the appearance of the image in response to the change of ⁇ and ⁇ 0. In, by using a database that takes into account the concept of distance by extending the BTF, it is possible to reflect the subtle changes in the close-up image due to changes in observation distance and to present an enlarged image that is a detailed image of the subject An image display device is provided.
  • FIG. 15 is a block diagram showing the configuration of the image display device 132 of the present embodiment.
  • the BTF database 903 is The configuration is replaced with the variable distance BTF database 1301.
  • the variable distance BTF is referred to as DTBF in the present invention.
  • the operations of the components having the same numbers as those in FIG. 11 are the same as those in Embodiments 1 and 2, and the description thereof will not be repeated.
  • FIG. 16 is a diagram illustrating an image display method according to the present embodiment.
  • the maximum approach state in addition to the angle of ( ⁇ ⁇ , ⁇ ), the variation ⁇ of the observation distance Z Since the displayed image is closer to Z due to the observation distance Z, the surface structure 1401 shows a maximum approach state in which the image changes to an image that can be observed in detail.
  • the observation distance is Z ⁇ Zt, and the level can be observed in detail up to the structure of the wool of the center, which is the subject.
  • the DBTF is a 7-variable texture function that extends the conventional BTF (hi, ⁇ , ⁇ s, 0e, X, Y) in the distance direction ⁇ , and the viewing angle at the observation distance ⁇ as shown in (Equation 6).
  • the luminance image from the direction can be defined by the amount normalized by the illumination intensity.
  • DBTF ( ⁇ , j8, ⁇ e, ⁇ e s X, Y, Z) L (0 e, ⁇ ⁇ , ⁇ , ⁇ , ⁇ ) ZE (, / 3)
  • the DBTF database 1301 previously stores DBTFs obtained by measuring a specific area of a subject with a special device.
  • Rendering unit 904 generates the luminance of the detailed image of the subject that will be observed under observation illumination as luminance expressed by the product of the BTF and the illuminance of the illumination as in (Equation 7).
  • L ( ⁇ , ⁇ , ⁇ , ⁇ , ⁇ ) DBTF (a, 3,0 e , ⁇ e, X'Y, Z) X ⁇ ( ⁇ , ⁇ ) ⁇ (Equation 7)
  • the acquisition of the subject shape is not essential because the DBTF is applied.
  • the virtual surface 1002 is assumed as a flat surface or a curved surface, and by applying DBTF to the virtual surface 1002, a rendered detailed image can be easily generated. 2 can be displayed.
  • FIG. 17 shows a photographing device 1502 for measuring the DBTF of a subject, and the same portions as those of the photographing device of FIG. 13 are given the same numbers and operate in the same manner. Therefore, the description here is omitted.
  • the configuration is such that the camera 1501 can move in the ⁇ -axis direction with respect to the imaging apparatus shown in FIG. 13 of the second embodiment.
  • the subject distance is made variable by moving in the 1-axis direction of the camera 1501, but the camera 1501's lens zooming mechanism makes it simple. Substitutions are possible.
  • the OETF photoelectric conversion function
  • the lighting angle is moved to a position that is 45 ° with respect to the camera viewing angle, and shooting is performed again while giving an inclination with two variables of ⁇ and ⁇ 0. , Up to 157.5 °.
  • the angle is rotated at a constant angle, and the illumination angle is again rotated from 22.5 ° to 157.5 °, and the same measurement is repeated.
  • the measurement including the two degrees of freedom of the illumination angle (, 8) is completed.
  • the camera 1501 is brought closer to the subject than the position of the maximum approach state according to the second embodiment, and the measurement is repeated again.
  • the movement of the camera 1501 in the Z-axis direction is realized by making the distance variable, but it can be easily replaced by a zooming mechanism of a lens.
  • the above results shall be stored as the DBTF database 1301.
  • the camera 1501 In the photographing device 1502 of FIG. 17, the camera 1501 is fixed and the illumination angle is moved. However, it is also possible to fix the illumination and move the camera angle.
  • the numerical value such as the angle step width 22.5 ° for measuring DBTF is only an example, and can be set arbitrarily. In the actual calculation, it is also possible to use a value obtained by appropriately interpolating the measured value.
  • FIG. 18 shows a flowchart of the image display method according to the third embodiment.
  • the differences from the flowchart of FIG. 14 in the second embodiment are from S 161 to S 162. Note that the description of S601 to S603, S606 to S609, SI201, S120, SI204 Is omitted.
  • the display switching control unit 105 outputs a DBTF request signal for searching for a DBTF corresponding to the illumination angle and the illuminance to the transmission / reception unit 1 1 1, and the transmission / reception unit 1 1 1 Transmits the DBTF request signal to the DBTF database 1301 via the network, and transmits the DBTF corresponding to the DBTF request signal to the image display device 1302 in the DBTF database 1301. I do.
  • the display switching control unit 105 maps the DBTF in S 12 03, and further generates a detailed image that is a rendered image.
  • the function used for rendering is BTF because a texture-dominant surface such as a sweater surface is used as an example in this embodiment.
  • BRDF a similar effect can be obtained with BRDF if the surface is smooth.
  • B S S R D F (b i d i r e c t i o n a I s c a t t e r i n g s u r f a c e r e f l e c t s n c d i st t r i b u t i o n f u n c t i o n) may be used.
  • the image display device and the image display method according to the present invention provide a portable display having a small display area when an input image of a subject product is displayed on a small display such as a portable display in an application such as online shopping.
  • a small display such as a portable display in an application such as online shopping.
  • the user can grasp the entire subject while observing the display as a window, and by pulling in the image display device, the user can observe richly with a sense of hand and can enjoy online shopping. It is useful because it can greatly improve the practicality.
  • the image display device and the image display method can be used for medical applications where it is effective to use both real photography and computer graphics, and for museum applications such as digital archives.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)
  • Digital Computer Display Output (AREA)

Description

明 細 書 - 画像表示装置および画像表示方法 技術分野
本発明は、 画像表示、 画像再現技術に関し、 被写体の画像を観察者に 質感豊かにディスプレイに表示する画像表示装置および画像表示方法に 関するものである。 背景技術
近年、 非対称ディジタル加入者線 （A s y mm e t r i c D i g i t a I S u b s c r i b e r L i n e : A D S L ) や光フ ァ イ スく一 などのブロー ドバン ド高速回線の普及によって、 コンピュータを使うィ ンタ一ネッ トによるオンラインショ ッピング ( E I e c t r i c C o mm e r c e ： E C ) が非常に身近になってきている。 また、 地上波デ イジタル放送の普及が進むと、 デジタルテレビにおいても、 通常放送、 例えば、 ドラマ映像等と、 通販とが融合した形の E Cなども実現するで あろうと想像され、 近未来のキラーアプリケーションと して大きな地位 を確立することが期待される。 このようなオンラインショ ッビングの利 便性は、 自宅にいながらにして、 商品の注文から受け取りまでが可能で あることである。
しかしながら、 オンラインショ ッピングでは、 顧客が実物の商品を実 際に目で確認することができない。 このため、 多くの販売サイ トでは、 「写真は、 実物と異なる場合がある」 旨の注意書きを載せているが、 顧 客からの苦情や返品は少なくない。 つまり、 出来るだけ質感高い商品画 像を、 ユーザのディスプレイ上に表示することが望まれている。 さて、 上記のようなオンラインショ ッピングにおいて、 顧客が利用す るディスプレイは、 コンピュータやデジタルテレビを用いる場合では 1
7 イ ンチ程度又はそれ以上であるが、 P D A ( Per sona l D i g i ta l As s i stance) や携帯電話などのモパイル情報処理機器の場合には、 2〜 4インチ程度の携帯型ディスプレイとなる。 そして今後は、 携帯型ディ スプレイの利用率は、 非常に多く なるものと想像される。
従って、 このような小型の携帯型ディスプレイ上で、 オンラインショ ッビングにおける商品提示を、 如何に、 高品質に行うかが大きな課題と なり、 このための様々な工夫がおこなわれている。
例えば、 従来の画像表示装置には、 観察者が携帯型のディスプレイを 手で持って、 3次元的に移動すると、 ディスプレイ機器側は、 その移動 を、 加速度センサなどを用いて検知して、 表示する画像を能動的に変化 させ、 大きなサイズの画像全体を把握することができるものがある。 図 1 は、 従来の画像表示装置の使用状況を示す図であり、 画像表示装 置 1 7 0 1 は、 携帯型ディスプレイと、 位置検出センサを含む構成であ る。 使用者が、 画像表示装置 1 7 0 1 を持って、 空間を移動させた場合 に、位置検出センサにより、 2軸方向又は 3軸方向の加速度を検出する。 図 1 では、 建築物の一部を、 画像表示装置 1 7 0 1 に表示した場合を示 しておリ、 使用者が画像表示装置 1 7 0 1 を移動させることで、 建築物 の他の部分を、 画像表示装置 1 7 0 1 に表示することが可能となる。
こ こで、 従来の画像表示装置では、 2軸方向の位置検出センサを用い て、 画像表示装置 1 7 0 1 の加速度の縦方向と横方向との成分を検出し て時間積分を行い、 速度成分と変位成分とを計算する。 そして、 移動方 向を 2次元的に行うことで、 例えば、 新聞や地図のような大きな画像の —部を切り取って観察することができ、 移動方向を 3次元、 すなわち深 さ方向に行うことで、 例えば、 建物用途では、 建物の各階の構造を把握 することができ、 医療用では、 脳の断面観察などを直感的に行うことが 可能となる （例えば、 特開 2 0 0 2— 7 0 2 7号公報 （第 4頁、 第 2図） 参照。）。
また、 大容量の画像を、 安価、 かつ、 使い勝手良く観察するため、 デ イスプレイの奥行き方向の移動に対して、 表示画像の切り替えを行い、 また、 奥及び手前への移動に応じて、 表示画像を拡大または縮小し、 こ れによリ、 あたかも 3次元空間を移動しながら画像表示部の画面を窓と して観察できる効果が得られるものがある （例えば、 特開 2 0 0 0 _ 6 6 8 0 2号公報 （第 3頁、 第 1 図） 参照。）。
また、 照明により静止被写体の反射状態が異なる複数の画像を得て、 この複数のフレーム画像を順番にディスプレイ上に切り替えて画像表示 する画像表示方法がある。 この例では、 観察者モニタ リング用カメラを ディスプレイに設け、 ディスプレイを見るモニタ観察者の視点の動きに 応じて、 選択されたフ レーム画像に切り替えられながらディスプレイに 画像表示してもよい。 また読取画像の替わりに、 照明により静止被写体 の鏡面反射状態が異なる複数の原画像を、 C Gを用いて作成して得ても よいと記載されている（例えば、特開 2 0 0 3 — 1 3 2 3 5 0号公報（第 1 6頁、 第 6図） 参照。）。
また、 携帯ディスプレイに小型カメラを搭載し、 ユーザの視点を検出 して奥行き距離を計算し大面積の提示、 ウィン ドウの操作、 メニュー選 択、 などを行う例もある （例えば、 成田智也、 渋谷雄、 辻野嘉宏 「ユー ザの視点による視野コン トロールが可能な提示システム J、ヒューマンィ ンタ フエース学会研究会報告集 V o に 3 N O . 3 p p . 1 1 — 1 4参照。）。
しかしながら従来の画像表示装置では、 ユーザが携帯ディスプレイを 用いてオンラインショッピングを行う場合、 ディスプレイに対して様々 な動作で働きかけても、 そのフィードバック動作と しては、 画面よリ大 きな画像を提示する、 あるいは、 拡大縮小をするなど簡単な画像処理を 行うものでしかなく、 オンラインショ ッビングなどで求められる事項で ある実物を手に取って眺めるような、 リアリティを実現できるものでは ない。
例えば、顧客が商品画像と して、ニッ 卜のセータを観察する場合には、 毛糸の手触りなどの触感までを提示するようなディスプレイが求められ ている。
また、 照明によって変化する表面反射特性や、 繊維の織りの質感を擬 似的に表示する方法も考慮されてはいるが、 被写体の寸法やユーザの観 察距離という概念は欠落している。このため被写体の実際の大きさ感ゃ、 被写体を引き寄せて観察した場合の材質感を与えるという重要な観点が 考慮されず、 例えば、 遠距離の観察では対象全体像を把握し、 接近した 観察では被写体表面をディスプレイの表示画面と同一視し、 表面材質を あたかも手で持って観察するといつた相反する性格の表示を実現するこ とはできない。
このように、 手で把持して観察するという行為を行うためには、 従来 の据え置き型の表示装置では難しく、 携帯型の画像表示装置が望ましい のは明らかである。 しかし従来、 携帯型ディスプレイを備えた画像表示 装置では、 狭い画面領域へ多くの情報を表示することは難しい。 発明の開示
本発明は、 上記の従来の課題を解決するためのもので、 画面の狭い携 帯ディスプレイを用いたオンラインショ ッピング等のアプリケーション であっても、 観察者に被写体の商品を手でもって観察しているような最 大のリアリティをもって効果的に商品を表示することができる画像表示 装置および画像表示方法を提供することを目的とする。
上記目的を達成するために、 本発明に係る画像表示装置は、 被写体の 画像を表示する画像表示装置であって、 観察者と当該画像表示装置との 間の距離を観察距離として検出する距離検出手段と、 前記観察者に対す る当該画像表示装置の角度、 または前記観察者に対する当該画像表示装 置の移動方向を、 観察方向と して検出する角度検出手段と、 前記観察距 離に応じて表示倍率を変えて、 前記被写体の画像を表示する第 1 表示モ ードと、 前記観察方向に応じて前記被写体表面の法線方向が相違する画 像を表示する第 2表示モードとを、 前記観察距離に応じて切り替え、 前 記第 1 表示モ一ドまたは前記第 2表示モードで前記被写体の画像を表示 する表示切替制御手段とを備えることを特徴とする。
これによつて、 ユーザはディスプレイを窓と して観察しつつ被写体全 体を把握でき、 更に、 それを引き寄せることで、 手にとった感覚でリア リティ豊かに観察でき、 オンラインショ ッビングの実用性を大幅に向上 することができる。
ここで、 前記画像表示装置は、 さらに、 前記観察距離に基づいて前記 画像の表示倍率を算出する接近状態検出手段を備えることが好ましい。 また、 前記接近状態検出手段は、 前記観察距離が所定の距離以下であ る場合に、 前記被写体が前記所定の距離に存在するものと して前記表示 倍率を 1 倍と算出し、 前記観察距離が所定の距離より大きい場合に、 前 記被写体が前記所定の距離よリ遠くに存在するものと して前記表示倍率 を 1 倍未満と算出し、 前記表示切替制御手段は、 前記接近状態検出手段 によリ算出された表示倍率が 1 倍未満である場合に、 前記第 1 表示モー ドで前記被写体の画像を表示し、 前記表示倍率が 1 倍である場合に、 前 記第 2表示モードで前記被写体の画像を表示してもよい。
これによつて、 画面の狭い携帯ディスプレイを用いたオンラインショ ッビング等のアプリケーショ ンにおいて、 ユーザに被写体の実際の大き さ感や、 被写体を引き寄せて観察した場合の材質感を与え、 例えば、 遠 距離の観察では、 対象全体像を把握し、 接近した観察では、 被写体表面 をディスプレイの表示画面と同一視し、 表面材質をあたかも手で持って 観察するといつた相反する性格の表示を実現することができる。
また、 前記表示切替制御手段は、 前記第 1 表示モードにおいて、 前記 表示倍率および前記観察方向に基づいて、 前記被写体の一部分の画像を 選択して表示してもよい。
これによつて、 例えば携帯用ディスプレイ等で画像表示領域のサイズ が小さい場合であっても、被写体の一部を容易に選択することができる。 また、 前記被写体の一部分は予め定められた領域であり、 前記表示切 替制御手段は、 前記第 1 表示モードにおいて、 前記観察方向および前記 表示倍率に基づいて、 複数の前記領域の中から 1 つの前記領域の画像を 選択して表示してもよい。
これによつて、 被写体の一部分の画像を蓄積するデータベースの容量 を削減することができる。
また、 前記画像表示装置は、 さらに、 前記第 1 表示モー ドにおいて、 前記予め定められた領域を示す第 1 のマーカを表示するとともに、 前記 観察方向および前記表示倍率に基づいて第 2のマーカを表示するマーカ 生成手段を備え、 前記表示切替制御手段は、 前記第 1 のマーカおよび前 記第 2のマーカの位置関係に応じて複数の前記領域の中から 1 つの前記 領域を選択してもよい。
これによつて、 観察者は、 拡大可能な領域を容易に確認することがで き、 第 2のマ一力を移動することができる。
また、 前記表示切替制御手段は、 前記第 2表示モー ドにおいて、 前記 被写体表面の光の反射、 散乱、 透過のいずれかを記述する光学的モデル を、 任意平面または曲面の表面に対して一定の照明下でレンダリングし たコンピュータグラフィ ックス画像を表示してもよい。
これによつて、 観察者が被写体を観察する場合に、 手にとった感覚で リアリティ豊かに観察できる。
また、 本発明に係る画像表示システムは、 サーバ装置に蓄積された被 写体の画像を画像表示装置で表示する画像表示システムであって、 前記 画像表示装置は、 観察者と当該画像表示装置との間の距離を観察距離と して検出する距離検出手段と、 前記観察者に対する当該画像表示装置の 角度、 または前記観察者に対する当該画像表示装置の移動方向を、 観察 方向と して検出する角度検出手段と、 前記観察距離に応じて表示倍率を 変えて、 前記被写体の画像を表示する第 1 表示モードと、 前記観察方向 に応じて前記被写体表面の法線方向が相違する画像を表示する第 2表示 モ一ドとを、 前記観察距離に応じて切り替え、 前記第 1 表示モ一ドまた は前記第 2表示モードに対応する前記被写体の画像を要求し、 前記要求 に応じて受け取った前記被写体の画像を表示する表示切替制御手段と、 ネッ 卜ワークを介して前記要求に基づく画像要求信号をサーバ装置へ送. 信し、 前記画像要求信号に応じた画像を受信する送受信手段とを備え、 前記サーバ装置は、 前記ネッ トワークに接続されるとともに、 前記被写 体の全体画像を蓄積し、 前記画像要求信号に応じて画像を送信する被写 体データベースと、 表示倍率に応じた被写体の一部分の画像を蓄積し、 前記画像要求信号に応じて画像を送信する拡大画像データベースと、 前 記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾き変 化接写画像を蓄積し、 前記画像要求信号に応じて画像を送信する傾き変 化接写画像データベースとを備えることを特徴とする。
さらに、 本発明は、 このような画像表示装置と して実現することがで きるだけでなく、 このような画像表示装置が含む特徴的な手段をステツ プと して含む画像表示方法と して実現したり、 それらのステップをコン ピュ一タに実行させるプログラムと して実現したりすることもできる。 そして、 そのようなプログラムは、 C D— R O M等の記録媒体やインタ —ネッ 卜等の伝送媒体を介して配信することができるのは言うまでもな い。
本発明に係る画像表示装置によれば、 被写体商品の入力画像を携帯型 ディスプレイなど小型ディスプレイに表示する場合、 ディスプレイと観 察者の距離、 すなわち観察距離をセンサで取得し、 観察距離に応じて、 被写体の実写画像から表面微細構造までを連続的に観察できるようにす るものである。
ここで提示される画像は、観察距離が遠い場合から近い場合に応じて、 その生成方法が異なる。 観察距離が遠い範囲では、 実写画像の縮小の状 態であるが、 観察距離が近い範囲では、 予め実サンプルで測定しておい た被写体の詳細なテクスチャ画像、 あるいは、 それを任意面にレンダリ ングしたコンピュータグラフィ ックス画像に切り替わる。 この効果は、 観察距離が遠い場合には、 被写体をディスプレイの枠を窓と して遠景を 見ている状態であり、 距離が近い場合には、 被写体表面がディスプレイ 表面自体とみなすことになる。
すなわち、 狭い携帯型ディスプレイであっても、 ユーザはディスプレ ィを窓として観察しつつ被写体全体を把握でき、次にそれを引き寄せて、 今度は手にとった感覚でリアリティ豊かに観察でき、 オンラインショ ッ ビングの実用性を大幅に向上することができる。 図面の簡単な説明
図 1 は、 従来の画像表示装置を示す図である。
図 2は、 第 1 の実施の形態による画像表示装置の構成を示すブロック 図である。
図 3は、 （ a ) 第 1 の実施の形態による接近過程状態の観察距離と仮想 被写体位置との関係を示す図、（ b ) 第 1 の実施の形態による最大接近状 態の観察距離と仮想被写体位置との関係を示す図である。
図 4は、 第 1 の実施の形態による接近過程状態での接近マーカの表示 を示す図である。
図 5は、（ a )第 1 の実施の形態による目標マ一力の表示を示す図、（ b ) 第 1 の実施の形態による目標マーカ及び接近マーカの表示を示す図、 ( c ) 第 1 の実施の形態による目標マ一力及び接近マーカ反応領域の表 示を示す図、（ d )第 1 の実施の形態による拡大画像の表示を示す図、（ e ) 第 1 の実施の形態による拡大画像の表示を示す図である。
図 6は、 第 1 の実施の形態による最大接近状態における表示を示す図 である。
図 7は、 第 1 の実施の形態による画像表示方法の手順を示すフローチ ヤー 卜である。
図 8は、 第 1 の実施の形態による撮影装置の構成を示す図である。 図 9は、 第 1 の実施の形態による傾き画像データベースを示す図であ る。
図 1 0は、 観察距離と表示倍率の関係を示す図である。
図 1 1 は、 第 2の実施の形態による画像表示装置の構成を示すブロッ ク図である。
図 1 2は、 （ a ) 第 2の実施の形態による最大接近状態での照明検出を 示す図、 （ b )、 ( c ) 第 2の実施の形態による最大接近画像の生成過程を 示す図である。
図 1 3は、 第 2の実施の形態による撮影装置の構成を示す図である。 図 1 4は、 第 2の実施の形態による画像表示方法の手順を示すフロー チャートである。
図 1 5は、 第 3の実施の形態による画像表示装置の構成を示すブロッ ク図である。
図 1 6は、 第 3の実施の形態による最大接近状態における距離検出の 状態を示す図である。
図 1 7は、 第 3の実施の形態による撮影装置の構成を示す図である。 図 1 8は、 第 3の実施の形態による画像表示方法の手順を示すフロー チヤ一トである。 発明を実施するための最良の形態
以下本発明の実施の形態について、 図面を参照して詳細に説明する。 (実施の形態 1 )
図 2は本発明の実施の形態 1 の画像表示装置の構成を示すプロック図 であり、 携帯表示端末を用いてオンラインショ ッピングをする場合に、 観察者が商品画像をリアリティ高く観察できることを目的と している。 ここで本発明におけるリアリティの高い観察とは、 全体の商品だけでな く、 実際の商品を手で触りながら吟味する状態、 部分的な局所領域の精 密な観察までを連続的に無意識的に行うことを意味している。
画像表示装置 1 1 0は、 観察者の手により把持されて自由に移動でき る例えば携帯表示端末等の装置であり、 図 2に示すようにセンサ部 1 0 1 、 距離検出部 1 0 2、 角度検出部 1 0 3、 接近状態検出部 1 0 4、 表 示切替制御部 1 0 5、 マ一力生成部 1 0 8、 画像表示部 1 0 9、 および 送受信部 1 1 1 を備えている。 また、 画像表示装置 1 1 0は、 ネッ トヮ ーク 1 1 2を介して被写体データベース 1 1 3、 拡大画像データベース 1 0 6、 および傾き変化接写画像データベース 1 0 フ と接続される。
ここで、 画像表示部 1 0 9は、 画像を表示する例えば液晶表示パネル 等の装置である。 センサ部 1 0 1 は、 ユーザによる画像表示装置 1 1 0 の使用状況を検出するためのカメラなどの光学撮像系、 超音波センサ、 加速度センサ又はそれら組み合わせから構成された複合センサ系である。 距離検出部 1 0 2は、 センサ部 1 0 1 からの出力信号から、 観察者まで の距離を検出する。 角度検出部 1 0 3は、 センサ部 1 0 1 からの出力信 号から、 観察者を基準と した手持ち位置の角度を検出する。
また、 接近状態検出部 1 0 4は、 観察者が、 画像表示部 1 0 9に、 ど のように接近しつつあるか状態を検出する。 表示切替制御部 1 0 5は、 接近状態検出部 1 0 4の結果に基づき画像を適宜処理し、 画像表示部 1 0 9に表示する。 マーカ生成部 1 0 8は、 画像上で接近位置をユーザに 表示するためのマーカ画像を生成する。
また、 被写体データベース 1 1 3は、 予め商品の全体画像データを蓄 積している。 拡大画像データベース 1 0 6は、 商品画像の特定部位への 連続的な拡大画像 （商品の一部分の画像） を生成するために、 予め画像 データを蓄積している。 傾き変化接写画像データベース 1 0 7は、 接近 した詳細画像に傾きを与えて観察する画像を生成するために、 予め画像 データを蓄積している。 送受信部 1 1 1 は、 拡大画像データベース 1 0 6、 又は、 傾き変化接写画像データベース 1 0 7 と、 必要な画像データ の送受信を行う。 ネッ トワーク 1 1 2は、 画像表示装置 1 1 0と、 拡大 画像データベース 1 0 6 と、 傾き変化接写画像データベース 1 0 7 とを 接続する。
ここで、 センサ部 1 0 1 からの信号出力は、 距離検出部 1 0 2、 角度 検出部 1 0 3において処理されて、 画像表示装置 1 1 0から観察者まで の距離と、 観察者を基準と した画像表示装置 1 1 0の手持ち位置の角度 を検出する。 なお、 カメラなどの光学撮像系を用いて距離及び角度を検 出する手段については、 上記の文献 「ユーザの視点による視野コン ト口 —ルが可能な提示システム J に詳しいので、 ここでの説明は省略する。 表示切替制御部 1 0 5は、 切り替える商品画像とその処理内容として は、 後述するように商品の全体画像から詳細部分までを画像と して表示 できるように離散的な画像があらかじめ蓄積されているため、 それを実 時間で連続的に補間して画像を生成する。
マーカ画像は、 携帯型ディスプレイを構成する画像表示部 1 0 9に適 宜合成されて表示される。 接近状態検出部 1 0 4の動作について説明す る。 図 3において、 仮想被写体 2 0 1 は、 仮想的な遠距離におかれた被 写体であり、 画像表示装置 1 1 0は、 被写体を表示するものである。 また、 仮想被写体 2 0 1 と観察者との被写体距離を D 1 、 D 2と し、 観察者と画像表示装置 1 1 0の間の距離を観察距離 Z 1 、 z t と し、 仮 想被写体 2 0 1 の縦方向の実サイズを Hと し、 観察距離 Z 1 における表 示サイズを H 1 と し、 観察距離 Z t における表示サイズを H 2とする。 図 3 ( a ) は、 被写体距離 D 1 が観察距離 Z 1 よリ遠い場合を示し、 図 3 ( b ) は、 被写体距離 D 2が観察距離 Z t と一致する場合を示す。 図 3 ( a ) に示すように、 被写体距離 D 1 が観察距離 Z 1 より、 比較的 大きい状態を接近過程状態と称して商品の全体画像から詳細部分までを 画像と して概観する行為に対応させる。 これは画像表示装置 1 1 0を窓 と して遠距離の被写体を見ている状態に相当し、 画像表示装置 1 1 0の 狭い画面でも商品全景が観察できる。
ここで、 図 3 ( b ) は、 観察距離 Z 1 が次第に近づく につれ、 仮想被 写体 2 0 1 が、 画像表示装置 1 1 0にまで、 引き寄せられるような状態 を示す。 なお、 被写体距離 Dの変化量は、 観察距離 Zの変化量に任意に 定められた定数を乗算することで、 画像表示装置 1 1 0に、 被写体全体 から被写体の一部までを表示することが可能となる。 なお、 観察距離 Z の変化量に乗算される定数は、 仮想被写体の縦方向の実サイズ Hを用い て算出することができる。
この過程では仮想被写体 2 0 1 の画像は次第に拡大され表示倍率が增 加する。 そして観察距離が Z t となった時、 仮想被写体 2 0 1 も最も近 づいた位置となり最大接近状態と称する。 このときの被写体距離を D 2 とする。 そして Z t と D 2が等しいとすると、 商品の表面がディスプレ ィ表面と同じ位置になり、 商品の実サイズが倍率 1 ： 1 で表示される。 このとき携帯ディスプレイの画面上には、 もはや被写体の一部しか表示 できないが、商品を手で把持して詳細に観察するような光沢感、材質感、 粒状感などを提示する状態に近い状態を作り出すことができる。 表示倍 率 mは、 観察距離と被写体距離の比であリ、 （式 1 ) となる。 （表 1 ) は、 接近過程状態と最大接近状態における表示倍率、 観察距離、 画面上表示 サイズの関係を示すものである。 m= Z 1 /D 1 =H 1 /H (式 1) 表 1
Figure imgf000015_0001
仮に H = 1 (m) の被写体、 D 1 = 1 0 (m)、 Z 1 = 4 0 ( c m)、 Z t = 2 0 ( c m) とすると、 仮想的な被写体に対して、 画像表示装置 1 1 0を観察距離 4 0 ( c m) から 2 0 ( c m) まで近づけることによ つて、 被写体距離 D 1 から被写体距離 D 2に、 すなわち 1 0 (m) から 2 0 ( c m) まで引き寄せられることとなり、 この場合に表示倍率は 4 (%) から 1 0 0 ( % ) まで拡大され、 画面表示装置 1 1 0上の表示サ ィズは、 縦サイズに近い 4 ( c m ) から画面表示装置 1 1 0から大きく はみ出す 1 ( m ) の実寸まで変化する。 結局、 被写体距離 D 2では、 画 面表示装置 1 1 0に被写体の縦 1 ( m ) のうちの 4 ( c m )、 すなわち 4 ( % ) という一部分しか表示できない。
接近状態検出部 1 0 4の動作は、 表示倍率 mについて、 mく 1 の場合 には接近過程状態、 m = 1 の場合には最大接近状態と判定するものであ る。 これは観察距離 Z、 仮想的な被写体距離 D、 画像上サイズを用いて も （表 1 ). の関係から判定可能である。 ここで、 Z t の具体的数値につ いては、 上記では 2 0 ( c m ) と したが、 これは画像表示装置 1 1 0を あまり近くから観察することは人間の眼の調節機能上不便であるだけで なく、 画像表示装置 1 1 0のディスプレイ画素構造までが観察されてし まうため、 通常ディスプレイを見る明視距離の程度とすることが好まし いため仮に決めたものである。
また、 本実施形態では、 D 2 = Z t と して、 最大接近状態では、 被写 体は観察距離と同位置にあるとしているが、 この両者の関係はヒュ一マ ンィンタフエースの観点からは主観評価実験などで経験的に決めればよ く基本的には任意である。 従って、 接近過程状態と最大接近状態の判定 には、 必ずしも （表 1 ) にとらわれることなく、 表示倍率、 画面上サイ ズ、 観察距離のいずれを用いてもよく、 その閾値もまた任意である。 本実施の形態においては、 以上述べた接近過程状態 （第 1 表示モード） と最大接近状態 （第 2表示モード） との 2つの状態によってセンサから の出力である距離検出と角度検出結果の利用の仕方、 表示画像への制御 の方法が異なる。
まず、 接近過程状態の場合の画像表示装置 1 1 0の動作について図 4 を用いて説明する。 図 4は、 観察者が、 商品画像であるセ一タを表示画 面に表示させて、 これを観察している状態である。 この図で用いる座標 軸 X Y Zは観察者の頭部 3 0 1 を原点と して固定されている。
はじめに、 観察者は商品の全体画像を観察するが、 セ一タ表面の詳細 を観察したくなった場合には、 商品画像の一部を目標にして画像表示装 置 1 1 0を手で持って接近させる。 このとき、 角度検出部 1 0 3はこの 動きを、 Z軸上の距離 Δ Ζ、 X軸周りの回転角ピッチ Λ 0、 Υ軸周りの 回転角ョ一 Δ と して検出する。 このとき、 角度が微小であれば以下の 関係式が成立するため角度から Δ X、△ Υが算出できる。これ以外にも、 Υ軸方向の変位 Δ Υ、Χ軸方向の変位 Δ Χを直接検出してもよい。以下、 接近過程状態での画像表示装置 1 1 0の移動量表記は、 Δ Χ、 Δ Υを用 いる。
ΔΧ=Ζ · 厶 Ψ
AY=Z■ Α θ - ♦ · ' (式 2)
(式 2 ) のように Δ Χ、 Δ Υ検出の結果、 表示切替制御部 1 0 5にお いて、 画像上で観察者の希望する接近位置を示す接近マーカ 3 0 4が、 上下左右に移動して商品画像上に合成して表示される。 接近マーカ 3 0 4の移動方向と、 Δ Χ及び Δ Υの方向との関係は規定しないが、 本実施 例では Δ Χ及び Α Υに対して逆向きに移動して表示されることと してい る。 例えば、 画像表示装置 1 1 0を手で向かって左に移動させる場合で は、 接近位置を商品画像の中心よリやや右側に偏移させている意味で接 近マ一力 3 04が、 移動前の画像上の位置よりも右に偏移する。
観察者は、 上記のように画像表示装置 1 1 0をもちながら、 商品画像 上の接近位置を、 接近マーカ 3 0 4を見ながら調整しつつ、 同時に Ζ軸 に沿って移動し、 距離検出部 1 0 2によつて移動の変位△ Ζが検出され る。
そして表示切替制御部 1 0 5、 Ζ軸方向の Δ Ζの距離移動に従って、 商品画像の上記の接近領域を中心に画像の拡大表示が行われる。 このと きの表示倍率は、（表 1 )にあるように Z 1 と D 1 の比と して設定できる。 以上のように本実施の形態では、 観察者の視線を検出し、 上記の角度 を検出している訳ではない。実際には携帯型の画像表示装置 1 1 0では、 画面が狭いため観察者は画面内で視線を自由に移動できず、 視線は常に 観察者の目と携帯型の画像表示装置 1 1 0を結ぶ直線に固定されている < しかし、 図 4に示すように、 商品画像中心に対して上下左右にずれた場 所に向かって接近していく場合に、 視線検出の代替として観察者を原点 と した携帯型の画像表示装置 1 1 0の位置検出を行う。
従って、 本実施の形態における接近過程状態では、 観察者が Z値を変 化させずに画像表示装置 1 1 0を手で持って X Y平面内で移動した場合 は、 表示されている画像自体が変化することは無く、 接近マーカ 3 0 4 の位置が変化するだけである。
次に、 図 5を用いて、 図 4で説明した接近過程状態で表示される画像 を説明する。 画面が狭い携帯型の画像表示装置 1 1 0においては、 正確 な接近部位の指定が非常に困難であると想像される。 そこで本実施形態 では、 予め接近可能な領域を設定し、 更に、 画像表示装置 1 1 0を X Y 軸方向に移動した場合に、 接近可能領域を目標マーカ 4 0 1 として表示 し、 接近マーカ 3 0 4を合致させるように、 画像表示装置 1 1 0を移動 させることで、 目標マ一力 4 0 1 の選択を行うものである。 ここで、 図 5 ( a ) は、 目標マーカ 4 0 1 を示した画像表示装置 1 1 0であり、 図 5 ( b ) は、 接近マ一力 3 0 4により任意の目標マーカ 4 0 1 が選択さ れた画像表示装置 1 1 0であり、 図 5 ( c ) は、 目標マ一力 4 0 1 の一 定範囲内に接近マ一力 3 0 4を移動させることで、 目標マ一力 4 0 1 を 選択する画像表示装置 1 1 0であり、 図 5 ( d ) は、 接近マーカ 3 0 4 により選択された接近可能領域の拡大画像を示す画像表示装置 1 1 0で あり、 図 5 ( e ) は、 選択された接近可能領域を更に拡大した画像表示 装置 1 1 0を示している。
まず図 5 ( a ) において、 接近可能領域と して、 （A ) ( B ) ( C ) の 3 種類を用意し、 商品画像の全体像上で接近可能な位置を示す目標マーカ 4 0 1 を表示する。
次に、 観察者は、 画像表示装置 1 1 0を手で持って、 X Y軸方向に移 動させることにより、 図 5 ( b ) に示すように、 接近マ一力 3 0 4を移 動表示させて、 商品画像の接近対象である任意の目標マーカ 4 0 1 を特 定する。 接近する目標である局所領域の設定の方法と しては様々な実現 様式が存在し、 特に表示画面が比較的大画面の場合には比較的大きな面 積にて商品画像が提示されるため自由に設定したほうがよい。
この部分のユーザインタフェースは様々な形態が考えられる。例えば、 目標マ一力 4 0 1 は商品画像にはじめから表示されておらず、 観察者の 手で持って移動という行為で接近マーカ 3 0 4が発生した時に、 接近マ —力 3 0 4に一番近い目標マーカ 4 0 1 がはじめて表示されるようにし てもよい。
また、 図 5 ( c ) に示すように、 目標マーカ 4 0 1 から一定距離内の 接近マ一力反応領域 4 0 2に接近マーカ 3 0 4が入った場合には自動的 に、該当する目標マ一力 4 0 1への接近と判定されるようにしてもよい。 また、 一旦接近する場所が確定した後は画像観察を邪魔しないために既 に接近マ一力 3 0 4あるいは目標マーカ 4 0 1 の表示を消すことも考え られる。
次に、 接近過程状態では、 静止画に対して、 接近する領域を選択しつ つ、 該当部位へ観察距離を接近させると、 拡大画像データベース 1 0 6 に蓄積された拡大画像が図 5 ( d ) に示すごと く表示され、 更に、 観察 者が、 画像表示装置 1 1 0を Z軸方向に移動することで、 図 5 ( e ) に 示すように、 商品画像の特定部位を中心に連続的に次第に接近している ような感覚を得るように Z軸方向に拡大された拡大画像が逐次表示され る。
この拡大画像データベース 1 0 6は、 接近可能領域 （A )、 （ B )、 ( C ) 毎に、 連続的な拡大画像を予め蓄積しておく、 あるいは高精細画像を画 像処理して連続的な拡大を実現するなどの方法で実現する。 いずれにせ よ高精細画像が必要な面積は接近可能な領域のみに限定されるため、 画 像蓄積量は被写体全体の高精細画像の蓄積に比較して少ないという利点 がある。 また、 この過程での画像の取得には後述する装置を用いること で実現できる。
次に、 最大接近状態について、 図 6を用いて説明する。
商品画像と してセータを例にとると、 実際の商品を見る場合にセ一タ の表面模様や織り、 繊維の質、 手触りなどを検討するために特定部位に 充分接近して確認することに相当する。 この場合には、 表示切替制御部 1 0 5は、 接近過程状態とは異なる動作で画像を表示する。
まず、 最大接近状態では、 画面表示部 1 0 9全体に商品画像の特定領 域が表示され、 この例ではセ一タの毛糸の編目が表示されている。 ここ で以前と同様に画像表示装置 1 1 0を手で把持して傾けると、 角度検出 部 1 0 3は、 画像表示装置 1 1 0の傾きを、 Z軸上の距離 Δ Ζ、 X軸周 りの回転角ピッチ△ 0、 Υ軸周りの回転角ョ一△ として検出する。 ただし、 最大接近状態では、 Ζ軸方向の距離 A Ζは、 被写体距離りが 観察距離 z t より大きくなつた場合に、 再び接近過程状態に戻る用途以 外には利用されず、 専ら△ 0、 △ の 2つの角度を検出し、 一定照明、 一定の視角の観察者に対して被写体の表面の傾きが変化した状態の画像 を表示し、 表面のリアルな材質感、 粒状感などをリアリティ高く提示で ぎる。
さて、 以上のような最大接近状態での画像表示の方法について、 図 7 のフローチャー トを用いて説明する。 まず、 S 6 0 1 にて、 距離検出部 1 0 2が、 観察距離 Zを測定する。 次に、 S 6 0 2にて、 角度検出部 1 0 3が、 （△ 、 Δ Θ ) を測定する。
次に、 S 6 0 3にて、 接近状態検出部が、 表示倍率を求め、 観察状態 判定を行う。 なお、 この検出には、 必ずしも表示倍率の数値に限らず、 観察距離によってもよいことは （表 1 ) から明らかである。 ここで、 接 近過程状態と検出された場合は、 S 6 0 6に移行し、 最大接近状態と検 出された場合は、 S 6 0 4に移行する。 > まず、 接近過程状態の場合には、 S 6 0 6にて、 マ一力生成部 1 0 8 が、 画像上に接近マ一力 3 0 4、 目標マーカ 4 0 1 を表示する。 次に、 S 6 0 7にて、 表示切替制御部 1 0 5が、 （ Δ 、 Δ Θ ) から （ Δ X、 Δ Y ) という接近領域の選択を実施する。
次に、 S 6 0 8にて、 表示切替制御部 1 0 5が、 拡大画像データべ一 ス 1 0 6の検索を行い、 該当する拡大画像を、 目標とする接近領域への 画像と して連続的に画像表示部 1 0 9へ出力する。次に、 S 6 0 9にて、 画像表示部 1 0 9が,、 商品画像に拡大画像を重ね合わせて表示する。 次に、 最大接近状態の場合には、 S 6 0 4にて、 表示切替制御部 1 0 5が、 角度 （Δ 、 Δ Θ ) から傾き変化を算定して傾き変化接写画像デ ータベース 1 0 7の検索を行って、 接写画像の傾き変化を再現する。 次に、 S 6 0 5にて、 画像表示部 1 0 9が、 検索された接写画像を画 像表示部 1 0' 9に表示する。 ここでは、 観察距離 Zの変化は接写画像に 対して何らの変化も及ぼさず、 観察距離 Zが大きくなると再度接近過程 状態に戻っていく。 このように観察距離 Zに依存して状態が変化する系 では、 センサ系のノイズによって状態が激しく変動する現象も発生する 可能性もあり、 系に一種のヒステリシス特性を与えたリスム一ジング特 性を与えたりする手段が有効である。 以上で実施の形態 1 における画像表示方法、 画像表示装置 1 1 0の説 明を終了する。
次に、 利用した画像データベースの取得方法について説明する。 図 8 は、 被写体 7 0 1 であるニッ トセ一タの任意の特定領域のみを、 一定照 明及び一定カメラアングルで、 被写体 7 0 1 を様々な角度に傾けながら 撮影する撮影装置を示している。
傾き台 7 0 2は、 被写体 7 0 1 であるセ一タを載せる台であリ、 傾き が可変である。 自動架台装置フ 0 3は、 傾き台 7 0 2の面法線方向を、 △ と の 2自由度で傾かせる機構と、 X Y軸方向に傾き台フ 0 2を 平行移動させる機構とを備える。 照明ランプ 7 0 4は、 平行光を作りだ すレンズフ 0 5を通して被写体 7 0 1 を入射角約 2 2度で照明する。 カメラ 7 0 6は、 X Y軸平面に垂直方向な Z軸方向で遠距離から近距 離までの位置に設定され、 被写体 7 0 1 を撮影する。
図 8では、 カメラ 7 0 6を Z軸方向の移動によリ、 被写体 7 0 1 の拡 大画像を作成しているが、 カメラ 7 0 6のレンズのズーミング機構で簡 便に代用することも可能である。
まず、 被写体 7 0 1 の拡大画像を画像データベース化する手順を説明 する。
こ こで、 接近過程状態においては、 静止画に対して、 接近する領域を 選択しつつ、 該当部位へ連続的に次第に接近している感覚が得られるよ うな拡大画像の生成が必要とされる。
まず、 接近可能領域 （ A )、 （ B )、 ( C ) に相当する被写体 7 0 1 上の 特定領域 7 1 1 を決定し、 自動架台装置 7 0 3を平行移動して、 カメラ 7 0 6が接近可能領域の真上に一致するように設定する。
次に、 カメラ 7 0 8を、 Z軸方向に移動させながら接近する状況の画 像を連続的に撮影し、 撮影画像を拡大画像データベース 1 0 6に蓄積す る。
以上によリ、 接近過程状態における接近可能領域の拡大画像を作成す ることができる。
次に、 被写体 7 0 1 の傾き変化接写画像を画像データベース化する手 順を説明する。
最大接近状態では、 図 6に示すように、 画像表示装置 1 1 0を、 X軸 周りと Y軸周りとの回転角に応じた画像が必要となる。 このため、 傾き 台 7 0 2を、△ と△ 0の 2変数度で傾きを与え、再度逐次撮影を行い、 図 9に示すように、 2次元の画像データベースと して、 傾き変化接写画 像データベース 1 0 7に蓄積する。 なお、 図 9では上記の傾き角度範囲 を ± 3 0度と しているが数値は他でも構わない。
また、 上記の 2種の画像データベースから実際の表示画像を生成する のは、 表示切替制御部 1 0 5の機能であリ、 観察距離 Dに応じて、 接近 過程状態では、 拡大画像データベース 1 0 6を検索し、 必要であれば、 適宜、 拡大画像を補間しながら表示し、 最大接近状態では、 傾き変化接 写画像データベース 1 0 7を、 Δ θ、 厶 から検索し、 適宜、 傾き変化 接写画像を補間する必要があれば実施して表示する。
なお、 接近過程状態における観察距離と表示倍率の関係は、 例えば図 1 0に示す直線 8 0 1 のように観察距離 （ Z m a xから Z t ) に応じて 表示倍率を均一に増加させてもよいし、 曲線 8 0 2および曲線 8 0 3の ように偏りを持たせて観察距離に応じて表示倍率を増加させてもよい。 この図 1 0において観察距離 Z tから Z m i nまでは最大接近状態であ る。
また、 観察距離 Z m a x、 観察距離 Z m i n、 最大接近状態となる観 察距離 Z t は、 あらかじめ設定された値を用いるだけでなく、 観察者が 初期設定と して設定することも可能である。 例えば、 観察者が画像表示 装置 1 1 0を手に持って最大に手を伸ばした状態で観察距離 Z m a xを 設定し、 観察者が画像を確認できる範囲で画像表示装置 1 1 0を最も近 づけた状態で観察距離 Z m i nを設定し、 観察者が希望する位置で最大 接近状態となる観察距離 Z t を設定すればよい。
(実施の形態 2 )
実施の形態 1 では、 被写体表面の面法線の傾きの 2自由度の変化に対 応し、 撮影に使用する一定の照明下の画像を最大接近画像と して用いた 画像表示装置 1 1 0について説明したが、 実施の形態 2では、 観察者が 屋外や屋内で本画像表示装置を使う場合、 最大接近画像の観察において は、 現在の照明下にて観察されるであろう最大接近画像を合成して表示 する構成について説明する。
一般的な照明下で任意の観察下での表面の特性を記述する方法と して. 近年のコンピュータグラフィ ックス分野では、双方向性反射分布関数（ b i d i r e c t i o n a l r e f l e c t a n c e d i s t r i b u t i o n f u n c t i o n : B R D F )、 B R D Fを 2次元画像に拡 張した双方向性テクスチャ関数 （ b i d i r e c t i o n a I t e x t u r e f u n c t i o n ： B T F ) という概念をよく用いる。 B R D Fは、表面上の 1 点のみに対して照明の入射角を球座標で表現した（ , β ) と観察する視角を、 同じく球座標で表現した ( Θ e 、 φ e ) の 4変 数の関数であり、（式 3 ) のように放射輝度 Lを入射する照度 Eにて正規 化したものと して定義されている。
BRDF( a , /3 , θ e^e) = L ( θ β,φβ) Ε(α、 β ) · · · ' (式 3 ) また Β Τ Fは、 B R D Fを一定の面積をもつ画像領域に拡張したもの で、 （ 、 β 、 Θ e , φ e ) と （ X、 Y ) の合計 6変数の関数で、 従来の テクスチャに対して 3次元テクスチャと称されることもある。 この一定 面積内での照度が一定とすれば B T Fは、（式 4 ) のように視角方向から の輝度画像をある角度からの照明による照度にて正規化して得られる。
BTF ( 、 ^,6ie^e,X,Y) = L ( Θ e, β,Χ,Υ) /Ε(α、 i3 ) · · · ' (式 4) そこで実施の形態 2では、 この B T Fを用いることにより、 さらにリ ァリティ豊かな表示を行うことを目的とする。 図 1 1 は実施の形態 2の 画像表示装置の構成を示すブロック図であり、 図 2と異なる部分は、 照 明方向検出部 9 0 1 、 照度検出部 9 0 2、 B T Fデータべ一ス 9 03、 レンダリング部 9 0 4の存在である。 なお、 図 2と同じ番号の構成要素 の動作は、 実施の形態 1 と同様なため、 ここでの説明は、 省略する。 画像表示装置 9 0 5は、 観察者の手により把持されて自由に移動でき る例えば携帯表示端末等の装置であり、 図 1 1 に示すように照明方向検 出部 9 0 1 、 照度検出部 9 0 2、 レンダリング部 9 04、 センサ部 1 0 1 、 距離検出部 1 0 2、 角度検出部 1 0 3、 接近状態検出部 1 0 4、 表 示切替制御部 1 0 5、 マーカ生成部 1 0 8、 画像表示部 1 0 9、 及び送 受信部 1 1 1 を備えている。 また、 画像表示装置 9 0 5は、 ネッ トヮ一 ク 1 1 2を介して、 被写体データべ一ス 1 1 3、 B T Fデータベース 9 0 3、 拡大画像データベース 1 0 6及び傾き変化接写画像データベース 1 0 フ と接続される。
図 1 2 ( a ) は、 照明方向検出と表示されるレンダリ ング後の画像を 示している。 照明方向検出部 9 0 1 は、 図 1 2のように観察者が画像表 示装置 9 0 5を屋外や屋内で利用する際の環境照明の方向 （ α、 ）、 照 度 Εを検出するものである。 照度検出部 9 0 2は、 画像表示装置 9 0 5 を、 屋外や屋内で利用する場合の環境照明による表示面照度を検出する ものである。 これら照明光の検出には、 実施の形態 1 におけるセンサ部 1 0 1 からの信号を処理して利用することも可能であるが、 付加的な照 度センサなどを用いて行う ことも可能である。 B T Fデータべ一ス 9 0 3には、 予め被写体の特定領域を測定して得られた B T Fが蓄積されて いる。 レンダリング部は観察照明下で観察されるであろう被写体の最大 接近画像の輝度を （式 5 ) のように B T Fと照明の照度の積で表現され る輝度と して生成する。
L ( θ β,φ β,Χ,Υ) =BTF(a、 β , θ , e,X,Y)XE( , β ) - · · · (式 5 ) 実測された Β Τ Fを用いたイメージベースのコンピュータグラフィ ッ クスのレンダリングでは被写体の 3次元モデル、 あるいは表面法線が必 要であリ、 別途レーザスキャンなど特殊な装置を用いて計測する必要が ある。 しかし本実施の形態においては、 被写体がセ一タのような形状可 変の物体であリ、 比較的局所的な最大接近画像に B T Fを適用している ため、 被写体の表面形状の取得は必要ない。
ここで、 本実施の形態では、 図 1 2 ( b )、 ( c ) に示すように、 表示 される最大接近画像 1 0 0 1 は、 任意の仮想的な平面及び曲面である仮 想曲面 1 0 0 2を仮定し、 それに B T F 1 0 0 3を 3次元テクスチャと して適用することで生成し、 画像表示装置 9 0 5に表示する。 なお、 図 1 2 ( b ) は仮想曲面 1 0 0 2が凸形状の場合を示し、 図 1 2 ( c ) は 仮想曲面 1 0 0 2が凹形状の場合を示している。 また、 仮想曲面 1 0 0 2が凸形状であるか凹形状であるかを画像表示部 1 0 9に表示する構成 とすることも可能である。 このように任意の平面、 特に曲面に対して B T Fを適用すると照明の変化に対する表面のテクスチャが明瞭に判別で き、まさに手にとって吟味するような感覚が得られるという効果がある。 この目的のためには、 レンダリングに使用する仮想曲面 1 0 0 2は、 ュ —ザが手にとった様子に合わせて自由に指定、 変更できるようにしても よい。 図 1 3は、 被写体の B T Fを測定するための撮影装置 1 1 0 3を示し ており、 図 8の撮影装置 7 1 2と同じ部分には同じ番号を付けているの で、 図 8 と差異は、 照明角度 に関する照明角度移動機構 1 1 0 1 、 自 動架台装置 7 0 3に角度 に関する被写体回転機構 1 1 0 2が付加され ている点である。
撮影装置 1 1 0 3の使用方法にっき説明する。 接近過程状態は、 図 8 の動作と同じであるから省略する。 次に、 最大接近状態について説明す る。 B T F測定の場合には、 カメラフ 0 6で観測された画素値をそのま ま輝度値と して使用するので、 予めカメラ 7 0 6の O E T F (光電変換 関数）を輝度に対してリニアになるようにキャリブレーションしておく。 カメラ 7 0 6の位置で最大接近状態である場合に、まず、照明角度 を、 カメラ視角に対して 2 2. 5 ° の初期位置に固定し、 被写体回転機構 1 1 0 2を X Y座標系に対して、 β = 0 ° になる初期位置に固定する。 以 上の設定状態にて、 傾き台 7 0 2を、 △ と の 2変数で傾きを与え て再度逐次撮影を行なう。 更に、 照明位置をカメラ視角に対して 4 5 ° の位置に移動し、再度、 Δ と△ 0の 2変数で傾きを与えながら撮影し、 これを 2 2. 5 ° 毎の 1 5 7 . 5 ° まで実施する。
次に、 被写体回転機構 1 1 0 2において、 角度 を一定角度毎に回転 させ、 再度、 照明角度 を 2 2. 5 ° から 1 5 7 . 5 ° まで回転させ、 同様の測定を繰り返す。 以上で照明の角度 2自由度 （ α、 ；8 ) を含む測 定が終了し、 この結果を B T Fデータベース 9 0 3と して保存する。 なお図 1 3の撮影装置 1 1 0 3では、 カメラ 7 0 6を固定して照明角 度 αを変化させたが、 照明ランプ 7 0 4を固定してカメラ角度を移動さ せることも可能である。 なお、 ここで、 B T Fを測定するための角度刻 み幅 2 2. 5 ° などの数値は 1 つの例にすぎず、 任意の値を用いても構 わない。 実際の計算には、 これら測定値を適宜補間した値を使うことが 多い。
次に、 実施の形態 2における画像表示方法のフローチヤ一トを図 1 4 に示す。 図フのフローチャートと異なる部分は、 S 1 2 0 1 から S 1 2 0 4になる。 ここでは、 S 6 0 1 から S 6 0 3、 S 6 0 6から S 6 0 9 の説明は省略する。
まず、 S 1 2 0 1 にて、 照明方向検出部 9 0 1 が観察照明の角度の測 定を行い、 照度検出部 9 0 2が観察照明の照度の測定を行う。
次に、 S 1 2 0 2にて、 表示切替制御部 1 0 5が、 照明角度及び照度 に該当する B T Fを検索する B T F要求信号を送受信部 1 1 1 に出力し. 送受信部 1 1 1 は、 ネッ トワークを介して、 B T F要求信号を B T Fデ ータベース 9 0 3に送信し、 B T Fデータベース 9 0 3において、 B T F要求信号に該当する B T Fを画像表示装置 9 0 5に送信する。
次に、 S 1 2 0 3にて、 レンダリ ング部 9 0 4が、 受信した B T Fを マッピングする表面を生成し、 照明方向と表面の法線を考慮して B T F がマッピングされ、 更に、 レンダリ ングを施した画像を最大接近画像と して生成する。
次に、 S 1 2 0 4では、 画像表示部 1 0 9が、 生成された最大接近画 像を表示する。
また、 レンダリ ングに使用する関数は、 ここではセ一タ表面のような テクスチャが支配的な表面を例にしたため B T Fを使用したが、 平滑表 面であれば B R D Fでも同様の効果が得られ、 内部散乱が支配的な紙面 のような表面では双方向サーフェススキヤタ リ ング分布関数 （ b i d i r e c t I o n a I s c a t t e r i n g s u r r a c e r e f I e c t a n c e d i s t r i b u t i o n f u n c t i o n : B S S R D F ) を用いてもよい。
(実施の形態 3 ) 実施の形態 2までは、 最大接近状態において、 △ と Δ 0の変化に対 する画像の見え方の変化を表示するだけの画像表示装置 9 0 5であった のに対して、 実施の形態 3においては、 B T Fを拡張して距離の概念を 考慮したデータベースを用いることで、 観察距離の変化に対する微妙な 接写画像の距離による変化を反映させ、 被写体の詳細な画像である拡大 画像の提示を可能とする画像表示装置を提供する。
図 1 5は、 本実施の形態の画像表示装置 1 3 0 2の構成を示すブロッ ク図であり、 図 1 1 の画像表示装置 1 3 0 2において、 B T Fデータべ —ス 9 0 3を、 距離可変 B T Fデータベース 1 3 0 1 に置き換えた構成 となる。こ こで、距離可変 B T Fを本発明においては D T B Fと称する。 なお、他の構成要素において、図 1 1 と同一の番号の構成要素の動作は、 実施の形態 1 及び 2 と同様なため、 こ こでの説明は省略する。
次に、 図 1 6は、 本実施の形態での画像表示方法を示す図であり、 最 大接近状態において、 （Δ ^、 Δ Θ ) の角度の他に、 更に、 観察距離 Zの 変動 Δ Zによって表示画像が、 より観察距離が接近したため、 表面構造 1 4 0 1 が詳細に観察できる画像に変化する最大接近状態を示す。 この 状態では、 観察距離が Z < Z t であり、 被写体であるセ一タの毛糸の織 リの構造までが詳細に観察できるレベルとなる。
D B T Fは、 従来の B T F (ひ、 β 、 Θ s 、 0 e、 X， Y ) を距離方 向 Ζに拡張した 7変数テクスチャ関数と して （式 6 ) のように観察距離 Ζの位置における視角方向からの輝度画像を照明の照度にて正規化した 量で定義できる。
DBTF( α , j8 , Θ e, φ esX,Y,Z) = L ( 0 e, φ β,Χ,Υ,Ζ) ZE ( 、 /3 ) · ' · ' (式 6 )
D B T Fデータベース 1 3 0 1 には、 予め被写体の特定領域を特殊な 装置にて測定して得られた D B T Fが蓄積されている。 レンダリング部 9 0 4は、観察照明下で観察されるであろう被写体の詳細画像の輝度を、 (式 7 ) のように B T Fと照明の照度の積で表現される輝度と して生成 する。
L ( Οβ,Φβ,Χ,Υ,Ζ) =DBTF(a , 3 , 0 e, φ e,X'Y，Z) X Ε( α、 β) · · ' · (式 7 ) 本実施の形態においては、 被写体がセ一タのような形状可変の物体で あり、 比較的局所的な詳細画像である場合に、 D B T Fを適用している ことにより、 被写体形状の取得は必須ではなく、 仮想的な平面又は曲面 を仮定して仮想曲面 1 0 0 2と し、 仮想曲面 1 0 0 2に D B T Fを適用 することで容易にレンダリ ングされた詳細画像が生成でき、 これを画像 表示装置 1 3 0 2に表示することができる。
図 1 7は、 被写体の D B T Fを測定するための撮影装置 1 5 0 2を示 しておリ、 図 1 3の撮影装置と同じ部分には同じ番号を付けてあり、 同 様の動作をするため、 ここでの説明は省略する。 実施の形態 2の図 1 3 に示した撮影装置に対して、 カメラ 1 5 0 1 が Ζ軸方向に移動すること ができる構成と したものである。 なお、 撮影装置 1 5 0 2では、 カメラ 1 5 0 1 の Ζ軸方向へ移動することにより、 被写体距離を可変と してい るが、 カメラ 1 5 0 1 のレンズのズ一ミング機構で簡便に代用すること も可能である。
撮影装置 1 5 0 2の使用方法にっき説明する。接近過程状態の場合は、 図 1 3の動作と同じであるから、 ここでの説明は省略する。
次に、 実施の形態 3の最大接近状態の場合について、 D B T F測定を 説明する。 まず、 カメラ 1 5 0 1 で観測された画素値をそのまま輝度値 と して使用するので、 予めカメラ 1 5 0 1 の O E T F (光電変換関数） を輝度リニアになるようにキャリブレーショ ンしておく。
次に、 カメラ 1 5 0 1 を最大接近状態の位置に移動し、 照明角度 を カメラ視角に対して 2 2. 5 ° の初期位置に固定し、 被写体回転機構 1 1 0 2を X Y座標系に対して ^ = 0 ° になる初期位置に固定する。 以上 の設定状態にて、 傾き台 7 0 3を△ と△ 0の 2変数で傾きを与えて再 度逐次撮影を行う。
次に、 照明角度 をカメラ視角に対して 4 5 ° になる位置に移動し、 再度、 Δ と△ 0の 2変数で傾きを与えながら撮影し、 順次、 照明角度 を 2 2. 5 ° 毎に、 1 5 7 . 5 ° まで実施する。 次に、 被写体回転機 構 1 1 0 2において、 角度 を一定角度毎に回転させ、 再度、 照明角度 を 2 2. 5 ° から 1 5 7. 5 ° まで回転させ、同様の測定を繰り返す。 以上で照明の角度 2自由度 （ 、 8 ) を含む測定が終了する。
次に、カメラ 1 5 0 1 を実施の形態 2による最大接近状態の位置より、 更に、 被写体に接近させ、 再度測定を繰り返す。 なお、 撮影装置 1 5 0 2では、 カメラ 1 5 0 1 の Z軸方向への移動は距離を可変にすることで 実現しているがレンズのズーミング機構で簡便に代用することも可能で ある。
以上の結果を D B T Fデータベース 1 3 0 1 と して保存するものとす る。 なお、 図 1 7の撮影装置 1 5 0 2ではカメラ 1 5 0 1 を固定して照 明角度を移動したが、 照明を固定してカメラ角度を移動させることも可 能である。なお、 ここで D B T Fを測定するための角度刻み幅 2 2. 5 ° などの数値は 1 つの例にすぎず、 任意に設定することが可能である。 ま た、 実際の計算には、 測定値を適宜補間した値を使用することも可能で foる。
図 1 8に、 実施の形態 3における画像表示方法のフローチャー トを示 す。 実施の形態 2における図 1 4のフローチャートと異なる部分は、 S 1 6 0 1 から S 1 6 0 2になる。 なお、 S 6 0 1 から S 6 0 3、 S 6 0 6から S 6 0 9、 S I 2 0 1 、 S 1 2 0 3. S I 2 0 4の説明について は省略する。
まず、 S 1 6 0 1 にて、 接近状態検出部 1 0 4が、 表示倍率を再度検 証し、 表示倍率が、 m > 1 である場合は、 S 1 6 0 2に移行し、 表示倍 率が、 m = 1 である場合は、 S 1 2 0 2に移行する。 なお、 最大接近状 態の条件を m = 1 と したが、 実際の使用においては、 m = 1 よりも、 最 大接近状態の条件を 0. 9 < m < 1 . 1 とするなど、 使用者の利便性を 考慮した設定とすることもできる。
次に、 S 1 6 0 2にて、 表示切替制御部 1 0 5が、 照明角度及び照度 に該当する D B T Fを検索する D B T F要求信号を送受信部 1 1 1 に出 力し、 送受信部 1 1 1 は、 ネッ トワークを介して、 D B T F要求信号を D B T Fデータべ一ス 1 3 0 1 に送信し、 D B T Fデータベース 1 3 0 1 において、 D B T F要求信号に該当する D B T Fを画像表示装置 1 3 0 2に送信する。
以降は図 1 4と同様に、 S 1 2 0 3にて、 表示切替制御部 1 0 5が、 D B T Fをマッピングし、 更に、 レンダリングを行った画像である詳細 画像を生成する。
また、 レンダリングに使用する関数は、 本実施の形態ではセータ表面 のようなテクスチャが支配的な表面を例にしたため B T Fを使用したが. 平滑表面であれば B R D Fでも同様の効果が得られる。 また、 内部散乱 が支配的な紙面のような表面では、 B S S R D F ( b i d i r e c t i o n a I s c a t t e r i n g s u r f a c e r e f l e c t s n c e d i s t r i b u t i o n f u n c t i o n ) を用しゝてもよ い。
なお、 上記各実施の形態では、 各データベースからすべての画像を取 得して表示する場合について説明したが、これに限られるものではない。 例えば、 最初は観察者が店舗において商品の画像を撮影し、 後でこの商 品の画像を表示させる際に、 全体画像は実際に撮影した商品の画像を表 示し、 それ以外の接近画像では各データベースから該当する商品の画像 を取得して表示することも可能である。 産業上の利用可能性
本発明に係る画像表示装置および画像表示方法は、 オンラインショ ッ ビングなどのアプリケ一ショ ンで被写体商品の入力画像を携帯型デイス プレイなど小型ディスプレイに表示する場合、 表示面積の狭い携帯型デ イスプレイであっても、 ユーザはディスプレイを窓と して観察しつつ被 写体全体を把握でき、 更に、 画像表示装置を引き寄せることで、 手にと つた感覚でリアリティ豊かに観察でき、 オンラインショ ッビングの実用 性を大幅に向上することができ有用である。 また本画像表示装置および 画像表示方法は、 実写とコンピュータグラフイ ツクスの併用が有効な医 療用途やデジタルアーカイブなどの博物館用途にも利用できる。

Claims

請 求 の 範 囲
1 . 被写体の画像を表示する画像表示装置であって、
観察者と当該画像表示装置との間の距離を観察距離と して検出する距 離検出手段と、
前記観察者に対する当該画像表示装置の角度、 または前記観察者に対 する当該画像表示装置の移動方向を、 観察方向として検出する角度検出 手段と、
前記観察距離に応じて表示倍率を変えて、 前記被写体の画像を表示す る第 1 表示モードと、 前記観察方向に応じて前記被写体表面の法線方向 が相違する画像を表示する第 2表示モードとを、 前記観察距離に応じて 切り替え、 前記第 1 表示モー ドまたは前記第 2表示モードで前記被写体 の画像を表示する表示切替制御手段と
を備えることを特徴とする画像表示装置。
2 . 前記画像表示装置は、 さらに、
前記観察距離に基づいて前記画像の表示倍率を算出する接近状態検出 手段を備える
ことを特徴とする請求の範囲 1 記載の画像表示装置。
3 . 前記接近状態検出手段は、 前記観察距離が所定の距離以下である場 合に、 前記被写体が前記所定の距離に存在するものとして前記表示倍率 を 1 倍と算出し、 前記観察距離が所定の距離より大きい場合に、 前記被 写体が前記所定の距離よリ遠くに存在するものと して前記表示倍率を 1 倍未満と算出し、
前記表示切替制御手段は、 前記接近状態検出手段により算出された表 示倍率が 1倍未満である場合に、 前記第 1 表示モードで前記被写体の画 像を表示し、 前記表示倍率が 1 倍である場合に、 前記第 2表示モードで 前記被写体の画像を表示する
ことを特徴とする請求の範囲 2記載の画像表示装置。
4 . 前記表示切替制御手段は、 前記第 1 表示モードにおいて、 前記表示 倍率および前記観察方向に基づいて、 前記被写体の一部分の画像を選択 して表示する
ことを特徴とする請求の範囲 1 記載の画像表示装置。
5 . 前記被写体の一部分は予め定められた領域であり、
前記表示切替制御手段は、 前記第 1 表示モードにおいて、 前記観察方 向および前記表示倍率に基づいて、 複数の前記領域の中から 1 つの前記 領域の画像を選択して表示する
ことを特徴とする請求の範囲 4記載の画像表示装置。
6 . 前記画像表示装置は、 さらに、
前記第 1 表示モードにおいて、 前記予め定められた領域を示す第 1 の マーカを表示するとともに、 前記観察方向および前記表示倍率に基づい て第 2のマーカを表示するマーカ生成手段を備え、
前記表示切替制御手段は、 前記第 1 のマーカおよび前記第 2のマーカ の位置関係に応じて複数の前記領域の中から 1 つの前記領域を選択する ことを特徴とする請求の範囲 1 記載の画像表示装置。
7 . 前記マーカ生成手段は、 前記第 1 のマーカを予め前記被写体の全体 画像に重ね合わせて表示する
ことを特徴とする請求の範囲 6記載の画像表示装置。
8 . 前記マーカ生成手段は、 前記第 1 のマーカが示す領域に前記第 2の マーカが接近した場合に、 前記第 1 のマーカを前記被写体の全体画像に 重ね合わせて表示する
ことを特徴とする請求の範囲 6記載の画像表示装置。
9 . 前記表示切替制御手段は、 前記第 2表示モ一 ドにおいて、 前記観察 方向および照明条件に応じて前記被写体表面の法線方向が相違する画像 ¾：表不す
ことを特徴とする請求の範囲 1 記載の画像表示装置。
1 0 . 前記表示切替制御手段は、 前記第 2表示モードにおいて、 一定の 照明下で前記被写体表面の法線方向を 2つの自由度によリ傾けた画像を 表示 る
ことを特徴とする請求の範囲 1 記載の画像表示装置。
1 1 . 前記表示切替制御手段は、 前記第 2表示モー ドにおいて、 前記被 写体表面の光の反射、散乱、透過のいずれかを記述する光学的モデルを、 任意平面または曲面の表面に対して一定の照明下でレンダリ ングしたコ ンピュータグラフィ ックス画像を表示する
ことを特徴とする請求の範囲 1記載の画像表示装置。
1 2 . 前記光学的モデルは、 被写体表面の双方向性反射分布関数、 被写 体表面の双方向サーフェススキャタ リング分布関数、 または被写体表面 の双方向性テクスチャ関数のいずれか 1 つを用いて算出されるモデルで あリ、 前記表示切替制御手段は、 前記第 2表示モー ドにおいて、 前記光学的 モデルを、 任意平面または曲面の表面に対して一定の照明下でレンダリ ングしたコンピュータグラフィ ックス画像を表示する
ことを特徴とする請求の範囲 1 1 記載の画像表示装置。
1 3 . 前記光学的モデルは、 観察距離をパラメータと した被写体表面の 双方向性反射分布関数、 観察距離をパラメータ と した被写体表面の双方 向サ一フェススキヤタ リング分布関数、 または観察距離をパラメータと した被写体表面の双方向性テクスチャ関数のいずれか 1 つを用いて算出 されるモデルであり、
前記表示切替制御手段は、 前記第 2表示モードにおいて、 前記光学的 モデルを、 任意平面または曲面の表面に対して一定の照明下でレンダリ ングしたコンピュータグラフィックス画像を表示する
ことを特徴とする請求の範囲 1 1記載の画像表示装置。
1 4 . 前記表示切替制御手段は、 前記第 2表示モードにおいて、 前記観 察距離に応じて前記被写体の拡大画像を表示する
ことを特徴とする請求の範囲 1 記載の画像表示装置。
1 5 . サーバ装置に蓄積された被写体の画像を画像表示装置で表示する 画像表示システムであって、
前記画像表示装置は、
観察者と当該画像表示装置との間の距離を観察距離と して検出する距 離検出手段と、
前記観察者に対する当該画像表示装置の角度、 または前記観察者に対 する当該画像表示装置の移動方向を、 観察方向と して検出する角度検出 手段と、
前記観察距離に応じて表示倍率を変えて、 前記被写体の画像を表示す る第 1 表示モードと、 前記観察方向に応じて前記被写体表面の法線方向 が相違する画像を表示する第 2表示モー ドとを、 前記観察距離に応じて 切り替え、 前記第 1 表示モードまたは前記第 2表示モー ドに対応する前 記被写体の画像を要求し、 前記要求に応じて受け取った前記被写体の画 像を表示する表示切替制御手段と、
ネッ トワークを介して前記要求に基づく画像要求信号をサーバ装置へ 送信し、前記画像要求信号に応じた画像を受信する送受信手段とを備え、 前記サーバ装置は、 前記ネッ トワークに接続されるとともに、 前記被写体の全体画像を蓄積し、 前記画像要求信号に応じて画像を送 信する被写体データベースと、
表示倍率に応じた被写体の一部分の画像を蓄積し、 前記画像要求信号 に応じて画像を送信する拡大画像データべ一スと、
前記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾 き変化接写画像を蓄積し、 前記画像要求信号に応じて画像を送信する傾 き変化接写画像データベースとを備える
ことを特徴とする画像表示システム。
1 6 . 前記サーバ装置は、 さらに、
前記被写体の一部分の画像の双方向性テクスチャ関数を蓄積した B T Fデータベースを備える
ことを特徴とする請求の範囲 1 5記載の画像表示システム。
1 7 . 前記サーバ装置は、 さらに、
前記観察距離の変化をパラメータ と した前記被写体の一部分の画像の 双方向性テクスチャ関数を蓄積した距離可変 B T Fデータベースを備え る
ことを特徴とする請求の範囲 1 5記載の画像表示システム。
1 8 . 前記サ一バ装置は、 さらに、
前記観察距離の変化をパラメータと した前記被写体の一部分の画像の 双方向性テクスチャ関数は、 前記被写体の一部分の画像の被写体上での 位置、前記観察距離、照明角度 および前記観察方向をパラメータと した 関数である
ことを特徴とする請求の範囲 "！ 7記載の画像表示システム。
1 9 . 請求の範囲 1 記載の画像表示装置のための撮影装置であって、 前記被写体に対して 2自由度の角度にて傾斜し、 1 自由度の角度で回 転する台機構と、
1 自由度の角度で変化する照明手段と、
1 自由度の距離で変化するカメラ手段とを備え、
前記観察距離の変化をパラメータとした前記被写体の一部分の画像の 双方向性テクスチャ.関数を測定する
ことを特徴とする撮影装置。
2 0 . 被写体の画像を表示する画像表示方法であって、
観察者と当該画像表示装置との間の距離を観察距離と して検出する距 離検出ステップと、
前記観察者に対する当該画像表示装置の角度、 または前記観察者に対 する当該画像表示装置の移動方向を、 観察方向と して検出する角度検出 ステップと、 前記観察距離に応じて表示倍率を変えて、 前記被写体の画像を表示す る第 1 表示モードと、 前記観察方向に応じて前記被写体表面の法線方向 が相違する画像を表示する第 2表示モードとを、 前記観察距離に応じて 切り替え、 前記第 1 表示モー ドまたは前記第 2表示モー ドで前記被写体 の画像を表示する表示切替制御ステップと
を含むことを特徴とする画像表示方法。
2 1 . 被写体の画像を表示するためのプログラムであって、
観察者と当該画像表示装置との間の距離を観察距離と して検出する距 離検出ステツプと、
前記観察者に対する当該画像表示装置の角度、 または前記観察者に対 する当該画像表示装置の移動方向を、 観察方向と して検出する角度検出 ステップと、
前記観察距離に応じて表示倍率を変えて、 前記被写体の画像を表示す る第 1 表示モードと、 前記観察方向に応じて前記被写体表面の法線方向 が相違する画像を表示する第 2表示モードとを、 前記観察距離に応じて 切り替え、 前記第 1 表示モードまたは前記第 2表示モードで前記被写体 の画像を表示する表示切替制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2004/013487 2003-10-28 2004-09-09 画像表示装置および画像表示方法 WO2005041167A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005509261A JP3791848B2 (ja) 2003-10-28 2004-09-09 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム
EP04773146.8A EP1679689B1 (en) 2003-10-28 2004-09-09 Image display device and image display method
US11/402,793 US20060238502A1 (en) 2003-10-28 2006-04-13 Image display device and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-367073 2003-10-28
JP2003367073 2003-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/402,793 Continuation US20060238502A1 (en) 2003-10-28 2006-04-13 Image display device and image display method

Publications (1)

Publication Number Publication Date
WO2005041167A1 true WO2005041167A1 (ja) 2005-05-06

Family

ID=34510277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/013487 WO2005041167A1 (ja) 2003-10-28 2004-09-09 画像表示装置および画像表示方法

Country Status (5)

Country Link
US (1) US20060238502A1 (ja)
EP (1) EP1679689B1 (ja)
JP (1) JP3791848B2 (ja)
CN (1) CN100458910C (ja)
WO (1) WO2005041167A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121489A (ja) * 2005-10-26 2007-05-17 Nec Corp 携帯表示装置
JP2009003166A (ja) * 2007-06-21 2009-01-08 Hitachi Ltd 質感映像表示装置
KR101066380B1 (ko) * 2008-10-15 2011-09-20 삼성에스디에스 주식회사 입체이미지 생성기를 이용한 웹 운영 시스템 및 방법
CN112262028A (zh) * 2018-06-11 2021-01-22 松下知识产权经营株式会社 测距系统及测距方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556856B1 (ko) * 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
JP2008541447A (ja) * 2005-05-13 2008-11-20 サッチェム，インコーポレイテッド 酸化物の選択的な湿式エッチング
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
US9767599B2 (en) * 2006-12-29 2017-09-19 X-Rite Inc. Surface appearance simulation
KR101418249B1 (ko) 2007-11-20 2014-07-11 삼성전자주식회사 Ｒｆ ｉｄ 기능을 갖는 단말기 및 그 정보 처리 방법
US8686834B2 (en) * 2007-11-20 2014-04-01 Samsung Electronics Co., Ltd. Terminal having radio frequency function and method of processing information of the terminal
JP5347279B2 (ja) 2008-02-13 2013-11-20 ソニー株式会社 画像表示装置
CN101777327B (zh) * 2009-01-13 2011-12-07 福州星网视易信息系统有限公司 可视屏幕最佳使用距离判断方法
US9210313B1 (en) 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
JP2011090400A (ja) 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
CN102053775A (zh) * 2009-10-29 2011-05-11 鸿富锦精密工业（深圳）有限公司 图像显示系统及方法
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
JP5762015B2 (ja) * 2011-01-27 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8866583B2 (en) * 2012-06-12 2014-10-21 Jeffrey Ordaz Garage door system and method
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
CN109799900B (zh) 2012-11-01 2023-02-28 艾卡姆有限公司 手腕可安装计算通信和控制设备及其执行的方法
US9489925B2 (en) 2013-01-04 2016-11-08 Texas Instruments Incorporated Using natural movements of a hand-held device to manipulate digital content
KR102388130B1 (ko) * 2015-01-12 2022-04-19 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
CN105488839A (zh) * 2015-12-07 2016-04-13 上海市政工程设计研究总院（集团）有限公司 三维场景交互式操作系统及其操作方法
US11314399B2 (en) 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
CN107682638A (zh) * 2017-10-31 2018-02-09 北京疯景科技有限公司 生成、显示全景图像的方法及装置
KR102648198B1 (ko) 2019-01-14 2024-03-19 삼성디스플레이 주식회사 잔상 보상부 및 이를 포함하는 표시 장치
CN113762185A (zh) * 2021-09-14 2021-12-07 珠海理想科技有限公司 一种基于计算机视觉实现电力设备状态获取的智能系统
CN114063962A (zh) * 2021-11-25 2022-02-18 深圳Tcl数字技术有限公司 图像显示方法、装置、终端和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01277286A (ja) * 1988-04-28 1989-11-07 Nec Corp 画面表示情報制御方法および装置
JPH0470899A (ja) * 1990-07-12 1992-03-05 Sanyo Electric Co Ltd 表示装置
JPH04198985A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd データ表示装置
JPH05225313A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd イメージ表示支援方法及びその装置
JPH0668237A (ja) * 1992-04-01 1994-03-11 Grumman Aerospace Corp ３次元画像表示システム
JPH0744143A (ja) * 1993-07-27 1995-02-14 Canon Inc 情報処理装置
JPH07181939A (ja) * 1993-12-24 1995-07-21 Rohm Co Ltd 表示装置
JPH08212323A (ja) * 1995-02-03 1996-08-20 Fujitsu Ltd 撮影画像の表示方法及び装置
JPH0984000A (ja) * 1995-09-07 1997-03-28 Toshiba Corp 画像表示システム
US20020060691A1 (en) * 1999-11-16 2002-05-23 Pixel Kinetix, Inc. Method for increasing multimedia data accessibility
JP2004191642A (ja) * 2002-12-11 2004-07-08 Fuji Photo Film Co Ltd 画像表示装置
JP2004302500A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5686940A (en) * 1993-12-24 1997-11-11 Rohm Co., Ltd. Display apparatus
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
JPH08186844A (ja) * 1994-12-28 1996-07-16 Sanyo Electric Co Ltd 立体映像発生装置および立体映像発生方法
JPH0973535A (ja) * 1995-09-07 1997-03-18 Toshiba Corp 画像処理装置及び方法
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6184847B1 (en) * 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
SE9700066L (sv) * 1997-01-13 1998-07-06 Qualisys Ab Metod och anordning för att bestämma positionen av ett objekt
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
JP3724157B2 (ja) * 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
US6076928A (en) * 1998-06-15 2000-06-20 Fateh; Sina Ideal visual ergonomic system for computer users
US6573883B1 (en) * 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6201554B1 (en) * 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
JP4217344B2 (ja) * 1999-06-09 2009-01-28 キヤノン株式会社 ズームレンズ、ズームレンズシステムおよびカメラシステム
US7233312B2 (en) * 2000-07-31 2007-06-19 Panaseca, Inc. System and method for optimal viewing of computer monitors to minimize eyestrain
FI20001506A (fi) * 1999-10-12 2001-04-13 J P Metsaevainio Design Oy Kädessäpidettävän laitteen toimintamenetelmä
JP2001128062A (ja) * 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US20020008758A1 (en) * 2000-03-10 2002-01-24 Broemmelsiek Raymond M. Method and apparatus for video surveillance with defined zones
WO2001073689A2 (en) * 2000-03-27 2001-10-04 Massachusetts General Hospital Method and system for viewing kinematic and kinetic information
JP2002007027A (ja) * 2000-06-27 2002-01-11 Masanori Idesawa 画像情報表示装置
US7289102B2 (en) * 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6690358B2 (en) * 2000-11-30 2004-02-10 Alan Edward Kaplan Display control for hand-held devices
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
JP4173647B2 (ja) * 2001-03-29 2008-10-29 富士フイルム株式会社 画像データ生成方法および装置、画像処理方法および装置並びに記録媒体
JP2002329198A (ja) * 2001-04-27 2002-11-15 Olympus Optical Co Ltd 画像質感強調装置、画像質感強調方法および画像質感強調プログラム
US20020158921A1 (en) * 2001-04-30 2002-10-31 Silverstein D. Amnon Method and apparatus for virtual oversized display using a small panel display as a movable user interface
US7365734B2 (en) * 2002-08-06 2008-04-29 Rembrandt Ip Management, Llc Control of display content by movement on a fixed spherical space
US6847351B2 (en) * 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
JP3964646B2 (ja) * 2001-10-25 2007-08-22 富士フイルム株式会社 画像処理方法、画像処理装置、および画像信号作成方法
US7007242B2 (en) * 2002-02-20 2006-02-28 Nokia Corporation Graphical user interface for a mobile device
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
JP2005334402A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
JP2008508621A (ja) * 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US20060227047A1 (en) * 2005-12-13 2006-10-12 Outland Research Meeting locator system and method of using the same

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01277286A (ja) * 1988-04-28 1989-11-07 Nec Corp 画面表示情報制御方法および装置
JPH0470899A (ja) * 1990-07-12 1992-03-05 Sanyo Electric Co Ltd 表示装置
JPH04198985A (ja) * 1990-11-28 1992-07-20 Matsushita Electric Ind Co Ltd データ表示装置
JPH05225313A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd イメージ表示支援方法及びその装置
JPH0668237A (ja) * 1992-04-01 1994-03-11 Grumman Aerospace Corp ３次元画像表示システム
JPH0744143A (ja) * 1993-07-27 1995-02-14 Canon Inc 情報処理装置
JPH07181939A (ja) * 1993-12-24 1995-07-21 Rohm Co Ltd 表示装置
JPH08212323A (ja) * 1995-02-03 1996-08-20 Fujitsu Ltd 撮影画像の表示方法及び装置
JPH0984000A (ja) * 1995-09-07 1997-03-28 Toshiba Corp 画像表示システム
US20020060691A1 (en) * 1999-11-16 2002-05-23 Pixel Kinetix, Inc. Method for increasing multimedia data accessibility
JP2004191642A (ja) * 2002-12-11 2004-07-08 Fuji Photo Film Co Ltd 画像表示装置
JP2004302500A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1679689A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121489A (ja) * 2005-10-26 2007-05-17 Nec Corp 携帯表示装置
JP2009003166A (ja) * 2007-06-21 2009-01-08 Hitachi Ltd 質感映像表示装置
KR101066380B1 (ko) * 2008-10-15 2011-09-20 삼성에스디에스 주식회사 입체이미지 생성기를 이용한 웹 운영 시스템 및 방법
CN112262028A (zh) * 2018-06-11 2021-01-22 松下知识产权经营株式会社 测距系统及测距方法
CN112262028B (zh) * 2018-06-11 2024-03-15 松下知识产权经营株式会社 测距系统及测距方法

Also Published As

Publication number Publication date
US20060238502A1 (en) 2006-10-26
CN100458910C (zh) 2009-02-04
EP1679689A1 (en) 2006-07-12
EP1679689B1 (en) 2014-01-01
EP1679689A4 (en) 2012-01-04
JP3791848B2 (ja) 2006-06-28
JPWO2005041167A1 (ja) 2007-04-26
CN1875398A (zh) 2006-12-06

Similar Documents

Publication Publication Date Title
WO2005041167A1 (ja) 画像表示装置および画像表示方法
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP4945642B2 (ja) ３ｄ画像の色補正の方法及びそのシステム
US7394977B2 (en) Apparatus and method for creating 3-dimensional image
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
EP3677021A1 (en) Image capturing apparatus, image display system, and operation method
JP4115117B2 (ja) 情報処理装置および方法
KR20190087530A (ko) 파노라마 이미지 디스플레이 제어 방법 및 장치 그리고 저장 매체
TW200928860A (en) Method and device for adjusting output frame
US10803630B2 (en) Image processing system, method, and program
TW201132316A (en) Adjusting system and method for vanity mirron, vanity mirron including the same
US11527048B2 (en) Method for simulating setting of projector by augmented reality and terminal device therefor
JP2001224046A (ja) 立体画像のためのスクリーンを有する装置
TW201213854A (en) Display device
JP2023024471A (ja) 情報処理装置および情報処理方法
KR101588935B1 (ko) 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
CN102188256A (zh) 医疗图像生成设备、医疗图像显示设备、医疗图像生成方法和程序
JP2006023820A (ja) 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器
JP3486575B2 (ja) 複合現実感提示装置およびその方法並びに記憶媒体
JP6717302B2 (ja) 画像処理システム、方法、及びプログラム
CN110310375B (zh) 全景图像中对象的编辑方法、系统及计算机可读存储介质
KR101729135B1 (ko) 웹툰 데이터의 증강이미지 표시 시스템
JP2008042581A (ja) スキャナ装置、画像質感向上装置、画像質感呈示装置、および画像質感呈示システム
JP5200141B2 (ja) 映像提示システム、映像提示方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480032046.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2005509261

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11402793

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004773146

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004773146

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11402793

Country of ref document: US