WO2013069413A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2013069413A1
WO2013069413A1 PCT/JP2012/076638 JP2012076638W WO2013069413A1 WO 2013069413 A1 WO2013069413 A1 WO 2013069413A1 JP 2012076638 W JP2012076638 W JP 2012076638W WO 2013069413 A1 WO2013069413 A1 WO 2013069413A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information processing
processing apparatus
display control
display object
Prior art date
Application number
PCT/JP2012/076638
Other languages
English (en)
French (fr)
Inventor
岡本 好喜
原 雅明
悟 世古
岡 正昭
Original Assignee
ソニー株式会社
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, 株式会社ソニー・コンピュータエンタテインメント filed Critical ソニー株式会社
Priority to US14/355,800 priority Critical patent/US20140293022A1/en
Publication of WO2013069413A1 publication Critical patent/WO2013069413A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a recording medium.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a recording medium that can improve the quality of stereoscopic display.
  • the display format of the display target located outside the fusion region of the observer is the fusion.
  • An information processing apparatus includes a display control unit that controls the display of the display object so as to be different from the display format of the display object located inside the region.
  • the display format of the display target located outside the fusion region of the observer is There is provided an information processing method including controlling display of the display object so as to be different from a display format of the display object located inside the fusion region.
  • the display object when the display object is stereoscopically displayed on the computer according to the three-dimensional image data that can be stereoscopically displayed, the display format of the display object located outside the fusion region of the observer is displayed.
  • a recording medium on which a program for realizing a display control function for controlling the display of the display object is recorded so as to be different from the display format of the display object located inside the fusion region.
  • the display format of the display object positioned outside the fusion area of the observer is the display format of the display object positioned inside the fusion area.
  • the display of the display object is controlled differently.
  • FIG. 3 is a block diagram illustrating an example of a configuration of an information processing device according to a first embodiment of the present disclosure.
  • FIG. It is explanatory drawing for demonstrating the display control process of the information processing apparatus which concerns on the embodiment. It is explanatory drawing for demonstrating the display control process of the information processing apparatus which concerns on the embodiment. It is explanatory drawing for demonstrating the display control process of the information processing apparatus which concerns on the embodiment. It is explanatory drawing for demonstrating the display control process of the information processing apparatus which concerns on the embodiment. It is explanatory drawing for demonstrating the display control process of the information processing apparatus which concerns on the embodiment. It is the flowchart which showed an example of the flow of the information processing method which concerns on the embodiment.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • Human three-dimensional recognition (recognition of distance to an object) is realized by both an eye focus function (adjustment function) and a convergence function. That is, when a human observes an object stereoscopically with both left and right eyes, eye movement called convergence movement is performed so that the corresponding point of the right eye image of the object to be watched matches the corresponding point of the left eye image. As a result, the object to be watched is perceived as a single stereoscopic image.
  • the point at which the corresponding point of the right eye image and the corresponding point of the left eye image coincide with each other is called a gazing point, and the optical center (ie, node) of the gazing point and both eyes.
  • the points on the circumference that pass through these three points are points where a single view can be made with both eyes, and are referred to as a Viet-Mueller single view circle showing an optical single view.
  • a single field of view (horopter) actually measured in psychophysics almost coincides with a single visual circle, although the curvature is somewhat looser than the single visual circle, as shown in FIG. .
  • a point located closer to the gazing point shifts to the outside than the corresponding point on the retina, and a point located far away shifts inward, and as the distance (deviation amount) increases, the parallax increases. If this binocular parallax is large, the object will be recognized as a double image, but if there is a slight deviation on the retina, stereoscopic perception will be realized. That is, even when binocular parallax exists, it is not perceived as a double image, and there are narrow regions before and after a single field of view where a sensory fusion is made. This region is called a Panam fusion region, and within this region, it is possible to generate stereoscopic perception using small binocular parallax. Since binocular parallax is large before and after the fusion region of this Panam, and a perception as a double image occurs, humans perform convergence and divergent movements to counteract this perception and Bring it into the fusion area to establish binocular stereopsis.
  • an object that protrudes from the image display reference plane to the viewer side or an object that is located behind the image display reference plane has a large discrepancy between the focus (adjustment) of the eyes and the convergence, It is said that eyes are tired and that some people induce headaches.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus 10 according to the present embodiment.
  • FIGS. 3 to 6 are diagrams for explaining display control processing of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 10 includes a user operation information acquisition unit 101, a display data acquisition unit 103, a gaze point specification unit 105, a fusion region specification unit 107, a display A control unit 109 and a storage unit 111 are mainly provided.
  • the user operation information acquisition unit 101 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input device, and the like.
  • the user operation information acquisition unit 101 specifies an operation (user operation) performed by a user on an input device such as a mouse, a keyboard, a touch panel, a gesture input device, or a line-of-sight input device provided in the information processing device 10.
  • the user operation information related to the user operation is generated. Thereafter, the user operation information acquisition unit 101 outputs the generated user operation information to a display data acquisition unit 103, a gaze point specification unit 105, a display control unit 109, and the like which will be described later. Accordingly, these processing units can grasp what operation the user has performed on the information processing apparatus 10, and can provide the user with a function corresponding to the user operation. .
  • the display data acquisition unit 103 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the display data acquisition unit 103 describes display data specified by the user according to the user operation information regarding the user operation performed on the information processing apparatus 10 by the user, which is output from the user operation information acquisition unit 101, as will be described later.
  • the information is acquired from the storage unit 111, various recording media inserted into the information processing apparatus 10, various computers connected to various networks such as the Internet, and the like that can communicate with the information processing apparatus 10.
  • the display data acquired by the display data acquisition unit 103 is three-dimensional image data having information (hereinafter, also referred to as three-dimensional information) representing the three-dimensional shape of the display object.
  • the image data is stereoscopically displayed, it is data that allows the shape of the display object to be stereoscopically observed from an arbitrary viewpoint.
  • three-dimensional image data include image data generated by a 3D CAD system, microscope image data generated by a microscope that can output a three-dimensional shape of an observation object as image data, and 3D game data Examples thereof include image data and measurement data generated when a certain object is measured in a three-dimensional space.
  • the display data acquired by the display data acquisition unit 103 according to the present embodiment is not limited to the above example.
  • the display data acquisition unit 103 outputs display data (substance data) related to the acquired three-dimensional image data to the display control unit 109 described later.
  • the display data acquisition unit 103 may associate time information related to the date and time when the data is acquired with the acquired display data, and store it in the storage unit 111 described later as history information.
  • the gaze point specifying unit 105 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the gazing point specifying unit 105 performs a stereoscopic display according to user operation information output from the user operation information acquisition unit 101, a user captured image obtained by an imaging camera (not illustrated) provided in the information processing apparatus 10, and the like.
  • the point that the user is paying attention to is specified, and such a point is focused on Treat as.
  • An observer of the three-dimensional image data (user of the information processing device 10) operates the user interface on the controller, keyboard, mouse, gesture input device, line-of-sight input device, etc., and positions the position specifying objects such as the cursor and the pointer.
  • the operation result is acquired by the user operation information acquisition unit 101 and output to the gazing point identification unit 105.
  • the gaze point identifying unit 105 for example, the user pays attention to the position of the display target determined by the user using the position designation object (the spatial position in the coordinate system defining the three-dimensional structure of the display target). It can be specified as a point of interest.
  • the gazing point identification unit 105 detects a corresponding point from a plurality of images using a user captured image captured by an imaging device (not illustrated) provided in the information processing apparatus 10 and performs triangulation. After specifying the user position by a known method for specifying the position in principle, the position of the gazing point may be estimated from, for example, the distance between the eyes or the size of the convergence angle.
  • the method of specifying the point of interest used by the point of interest specifying unit 105 is not limited to the above example, and the known point of interest is specified or estimated using a known technique. It is possible.
  • the gazing point identifying unit 105 When the gazing point identifying unit 105 identifies the gazing point in the displayed display object, the gazing point identifying unit 105 outputs information indicating the gazing point identification result to the display control unit 109 described later.
  • the fusion area specifying unit 107 uses the information regarding the gazing point when the fusion area specifying unit 107 (to be described later) specifies the fusion area of the observer, the gazing point specifying unit 105 fuses the information indicating the gazing point identification result. You may output to the area
  • the fusion area specifying unit 107 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the fusion area specifying unit 107 specifies the fusion area of the observer of the display object (in other words, the user of the information processing apparatus 10), and outputs the fusion area to the display control unit 109 described later.
  • the fusion area specifying unit 107 refers to the information about the fusion area of the user that is set in advance and stored in the storage unit 111 or the like, and the distribution state of the corresponding fusion area of the user or the fusion area It is possible to specify the size and the like. Also, the fusion area specifying unit 107 refers to information on a general user fusion area that is set in advance and stored in the storage unit 111 or the like, and the state of the fusion area of the user or the fusion state. You may specify the magnitude
  • information on the fusion area of a general user can be obtained by, for example, measuring the fusion area in advance for a large number of users and analyzing the measurement result of the fusion area by a known statistical process. Is possible. Further, the fusion area specifying unit 107 can specify the fusion area of the user by using any known method other than the above method.
  • the fusion area specifying unit 107 specifies the fusion area of the user, the obtained identification result is output to the display control unit 109 described later.
  • the information processing apparatus 10 when the information processing apparatus 10 according to the present embodiment performs an image display process to be described later using only information related to a general user fusion area registered in advance, the above-described functions are provided. It is not necessary to have the fusion region specifying part 107 having.
  • the display control unit 109 is realized by, for example, a CPU, GPU, ROM, RAM, output device, communication device, and the like.
  • the display control unit 109 acquires data corresponding to the contents to be displayed stored in the storage unit 111 and displays the data on the display screen.
  • a signal indicating movement of a position selection object such as a cursor or a pointer is transmitted from an input device such as a mouse, a keyboard, a touch panel, a gesture input device, or a line-of-sight input device provided in the information processing device 10.
  • the display control unit 109 displays the movement of the position selection object on the display screen in accordance with the transmitted signal.
  • the display control unit 109 uses the display data to display the display target corresponding to the display data in a three-dimensional manner. I do. At this time, the display control unit 109 displays the user operation information output from the user operation information acquisition unit 101, the information regarding the gazing point output from the gazing point specifying unit 105, and the fusion output output from the fusion region specifying unit 107. Display control of display data is performed using information on the image area.
  • the display control unit 109 stereoscopically displays the display object using the three-dimensional image data
  • the display format of the display object positioned outside the fusion area of the observer is the fusion image.
  • the display of the display object is controlled so as to be different from the display format of the display object located inside the area.
  • the display format control process performed by the display control unit 109 will be described in detail with reference to FIG.
  • the display control unit 109 When the display control unit 109 according to the present embodiment stereoscopically displays the display target, the direction corresponding to the depth direction as viewed from the user (observer) is shown in the following three areas as shown in FIG. Broadly divided, display control is implemented.
  • region A that includes an image display reference surface (for example, the position of the display screen) that serves as a reference for stereoscopic display of a display object and that is separated from the image display reference surface by a predetermined threshold or less.
  • Region B separated from the image display reference plane by more than a predetermined distance in a direction away from the observer
  • area A is an area included in the fusion range of the observer
  • area B and area C are areas that fall outside the fusion range of the observer.
  • the display control unit 109 displays the three-dimensional image data output from the display data acquisition unit 103, the display target included in the region A is given a parallax by a known method and is included in the region A. Display control is performed so that the portion is stereoscopically viewed.
  • the display control unit 109 displays the display object to be displayed in the area B outside the fusion area for the observer.
  • the parallax is fixed to the parallax at the boundary between the region A and the region B, and display control is performed so that the parallax does not change in the region B.
  • the observer doubles the display object displayed in the area B. It will not be recognized as an image.
  • the display control unit 109 also displays the display target object to be displayed in the area C to the outside of the fusion area for the observer. Therefore, the display control unit 109 displays the display target object included in the corresponding area. Display control is performed so as not to display. Thereby, there is no display object that is originally displayed in the region C and perceived by the observer as a double image.
  • the display control unit 109 places an area that is difficult for the observer to stereoscopically view within the area that can be stereoscopically viewed (area B) or does not display it. (Region C) can remove the factor that can be perceived by the observer as a double image and improve the quality of the stereoscopic display.
  • the display control unit 109 when the display control unit 109 performs display control of a display device that realizes multi-view autostereoscopic display, the display device 109 uses right and left eyes in order to realize more realistic and natural stereoscopic display. It is difficult to reduce the crosstalk to zero, and the fusion area recognized by the observer (effective fusion area) is considered to be narrow. In such a case, the display control as described above is extremely useful for improving the quality of stereoscopic display.
  • the display control unit 109 may perform display control on the display object located in at least one of the region B and the region C so that the display object disappears as the distance from the region A increases. Further, the display control unit 109 may perform only one of the display control for the region B or the display control for the region C and may not perform the other.
  • the display control unit 109 may perform the following display control. In other words, the display control unit 109 may adjust the display position of the display object so that the gazing point selected by the observer is located within the image display reference plane.
  • the display control unit 109 positions the gazing point designated by the observer at the center of the image display reference plane based on the information regarding the gazing point output from the gazing point specifying unit 105.
  • the display object may be moved within the image display reference plane.
  • the display control unit 109 displays a plane including the designated gazing point when the gazing point designated by the observer does not exist within the image display reference plane.
  • the display object may be moved along the depth direction (in other words, the normal direction of the image display reference plane) so as to coincide with the image display reference plane. Accordingly, for example, in the example illustrated in FIG. 5, the observer perceives the display object so that the stereoscopically displayed display object approaches the observer.
  • the display control unit 109 uses the selected gazing point as the origin of the enlargement / reduction process when performing the enlargement process or the reduction process of the display object according to the user operation. Can be treated as Similarly, the display control unit 109 may treat the selected gazing point as the origin of the rotation process even when the display object is rotated according to the user operation.
  • the display control unit 109 performs display control as described above based on the gazing point, it is possible to stereoscopically display a portion that the observer wants to gaze in a natural state without the observer getting tired. Convenience can be improved.
  • the display control unit 109 performs display control as described above based on the gazing point, thereby maximizing a region that can be observed in a natural state without causing the observer to get tired about the gazing point.
  • the display control unit 109 according to the present embodiment is connected not only to a display device such as a display provided in the information processing apparatus 10 but also directly connected to the information processing apparatus 10 or via various networks. It is also possible to perform display control of various display devices. Accordingly, the display control unit 109 according to the present embodiment can realize the display control as described above for a display device provided outside the information processing apparatus 10.
  • the storage unit 111 is realized by, for example, a RAM or a storage device.
  • the storage unit 111 stores object data displayed on the display screen.
  • the object data referred to here includes, for example, arbitrary parts constituting a graphical user interface (GUI) such as icons, buttons, and thumbnails.
  • GUI graphical user interface
  • the storage unit 111 stores various programs executed by the information processing apparatus 10 according to the present embodiment, various parameters that need to be saved when performing some processing, progress of processing, etc. A database or the like may be recorded as appropriate. Further, the storage unit 111 may store various three-dimensional image data used by the information processing apparatus 10.
  • This storage unit 111 is freely accessed by each processing unit such as the user operation information acquisition unit 101, the display data acquisition unit 103, the gazing point identification unit 105, the fusion region identification unit 107, the display control unit 109, and the data. You can write and read.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the information processing apparatus according to the present embodiment as described above can be produced and installed in a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • step S101 information regarding the fusion region of the observer is identified by the fusion region identification unit 107 (step S101), and the identification result of the fusion region is output to the display control unit 109. Is done.
  • the user operation information acquisition unit 101 acquires the corresponding user operation information and outputs it to the display data acquisition unit 103.
  • the display data acquisition unit 103 acquires display data based on the user operation information output from the user operation information acquisition unit 101 (step S103), and sends the acquired display data (three-dimensional image data) to the display control unit 109. Output.
  • the display control unit 109 uses the three-dimensional image data output from the display data acquisition unit 103 and the information related to the fusion region output from the fusion region specifying unit 107, while considering the fusion region.
  • a display object corresponding to the display data (three-dimensional image data) is displayed (step S105).
  • display control is performed so that the display format is different.
  • the obtaining unit 101 When the user operates a position designation object such as a pointer or a cursor, and performs an operation for specifying a point of gaze (for example, pressing a decision button, clicking a mouse button, etc.), the corresponding user operation is displayed as user operation information. Obtained by the obtaining unit 101 and output to the gazing point identifying unit 105.
  • the gaze point identification unit 105 identifies the position designated by the user as the gaze point (step S107), and outputs the gaze point identification result to the display control unit 109.
  • the display control unit 109 moves the display object so that the plane including the designated gazing point becomes the image display reference plane, The display object is moved in the plane so that is positioned at the center in the image display reference plane (step S109).
  • the information processing apparatus 10 waits for whether or not a user operation has been performed (step S111).
  • the display control unit 109 changes the display format by recalculating each viewpoint image in the stereoscopic display according to the user operation, and displays the display target based on the position of the gazing point. An object is moved, or enlargement / reduction processing is performed with the point of gaze as the origin (step S113).
  • the information processing apparatus 10 determines whether or not a stereoscopic display end operation has been performed (step S115). If the end operation has not been performed, the information processing apparatus 10 returns to step S111 and waits for a user operation. On the other hand, when the end operation is performed, the information processing apparatus 10 ends the stereoscopic display process of the three-dimensional image data.
  • the display object is perceived by the observer as a double image by performing a stereoscopic display display control process based on the observer's fusion region in such a flow. Therefore, the quality of stereoscopic display can be improved.
  • FIG. 8 is a block diagram for explaining a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the information processing apparatus 10 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. Further, the input device 915 may be, for example, remote control means (so-called remote controller) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 10. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. The user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and display devices such as lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 10. Specifically, the display device displays results obtained by various processes performed by the information processing device 10 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for the recording medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can write a record on a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, or an SD memory card (Secure Digital memory card). Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CompactFlash CompactFlash: CF
  • flash memory a flash memory
  • SD memory card Secure Digital memory card
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • An information processing apparatus comprising a display control unit that controls display of the display object so as to be different from a display format of the display object.
  • the region located outside the fusion region is a region separated from the image display reference plane, which is a reference when stereoscopically displaying the display object, by more than a predetermined distance on the viewer side, and from the viewer
  • the information processing apparatus according to (1) wherein the information processing apparatus is an area that is separated from the image display reference plane by a predetermined distance in a separating direction.
  • the display control unit is configured to display the parallax of the display object with respect to the display object located in a region separated by a predetermined distance from the image display reference plane in a direction away from the observer.
  • the information processing apparatus wherein display control is performed so that the parallax is fixed at a boundary between a region separated from a reference plane by a predetermined distance and a fusion region.
  • the display control unit according to (2) or (3), wherein the display control unit performs display control so that the display object located in a region separated from the image display reference plane by a predetermined distance on the viewer side is not displayed.
  • Information processing device (5)
  • the display control unit adjusts the display position of the display object so that the gazing point selected by the observer is located within the image display reference plane. Any one of (2) to (4) Information processing apparatus described in one.
  • the display format of the display object located outside the fusion area of the observer is located inside the fusion area.
  • An information processing method including controlling display of the display object so as to be different from a display format of the display object.
  • the display format of the display object located outside the fusion area of the observer is located inside the fusion area.
  • a recording medium on which a program for realizing a display control function for controlling display of the display object is recorded so as to be different from a display format of the display object.

Abstract

【課題】立体視表示の品質を向上させることが可能な、情報処理装置、情報処理方法及び記録媒体を提案すること。 【解決手段】本開示に係る情報処理装置は、立体表示可能な三次元画像データに応じて、表示対象物を立体表示する場合に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、観察者の融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御部を備える。

Description

情報処理装置、情報処理方法及び記録媒体
 本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
 近年、科学技術の発達に伴い、人間の眼の輻輳機能のみを利用して擬似的に立体を認識させる、フラットパネルディスプレイを用いた立体映像表示装置が提供されるようになってきた(例えば、以下の特許文献1を参照。)。
 科学技術・医療・工業・建築・デザイン等の分野において、上記のような技術を利用し、立体データに基づいて物体の位置・角度・大きさをインタラクティブに変化させながら立体表示することは、非常に有用である。
特開2005-128897号公報
 しかしながら、上記特許文献1に示したような立体映像表示装置では、人間の眼の輻輳機能のみを利用して疑似的に立体認識をさせるため、眼のピント機能(調節機能)と輻輳機能との乖離に許容範囲(融像領域)があり、観察者が立体視できる範囲が限定される。従って、例えば物体の位置や大きさや角度をインタラクティブに変化させる場合、許容範囲を超えた物体や部分が生じ、立体視表示の品質が低下してしまう可能性があった。
 そこで、本開示では、上記事情に鑑みて、立体視表示の品質を向上させることが可能な情報処理装置、情報処理方法及び記録媒体を提案する。
 本開示によれば、立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御部を備える情報処理装置が提供される。
 また、本開示によれば、立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御することを含む情報処理方法が提供される。
 また、本開示によれば、コンピュータに、立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御機能を実現させるためのプログラムが記録された記録媒体が提供される。
 本開示によれば、表示対象物が立体表示される際に、観察者の融像領域の外部に位置する表示対象物の表示形式が、融像領域の内部に位置する表示対象物の表示形式と異なるように、表示対象物の表示が制御される。
 以上説明したように本開示によれば、立体視表示の品質を向上させることが可能である。
人間の立体認識機能について説明するための説明図である。 本開示の第1の実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係る情報処理装置の表示制御処理について説明するための説明図である。 同実施形態に係る情報処理装置の表示制御処理について説明するための説明図である。 同実施形態に係る情報処理装置の表示制御処理について説明するための説明図である。 同実施形態に係る情報処理装置の表示制御処理について説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は、以下の順序で行うものとする。
(1)人間の立体認識機能について
(2)第1の実施形態
 (2-1)情報処理装置の構成について
 (2-2)情報処理方法の流れについて
(3)本開示の実施形態に係る情報処理装置のハードウェア構成について
(人間の立体認識機能について)
 人間の立体認識(物体までの距離認識)は、眼のピント機能(調節機能)及び輻輳機能の両方によって実現されている。すなわち、人間が左右両眼で物体を立体的に観察する場合、注視しようとする物体の右眼像の対応点と左眼像の対応点とが一致するように、輻輳運動と呼ばれる眼球運動が行われ、これにより、注視しようとする物体は、単一の立体像として知覚されることとなる。
 ここで、図1に示したように、右眼像の対応点及び左眼像の対応点が一致した点は、注視点と呼ばれ、注視点及び両眼の光学的中心(すなわち、節点)の3点を通る円周上の点は、両眼で単一視ができる点であり、光学的な単一視界を示したVieth-Muellerの単一視円と呼ばれる。また、実際に心理物理学的に測定した単一視界(ホロプタ:horopter)は、図1に示したように、この単一視円より幾分曲率が緩いものの、単一視円にほぼ一致する。
 注視点より近くに位置する点は、網膜上で対応点より外側にずれるとともに、遠くに位置する点は内側にずれ、その距離(ズレ量)が大きくなるほど視差が大きくなる。この両眼視差が大きいと、物体は二重像として認識されることとなるが、網膜上でのずれ(binocular disparity)がわずかである場合には、立体知覚が実現する。すなわち、両眼の視差が存在する場合であっても二重像として知覚されず、感覚融像がなされる狭い領域が単一視界の前後に存在する。この領域は、パナムの融像領域と呼ばれており、この領域内では、小さな両眼視差を利用して立体知覚を生じさせることが可能となる。このパナムの融像領域の前後では両眼視差が大きく、二重像としての知覚が生じてしまうため、人間は、この知覚を打ち消すために輻輳運動及び開散運動を実施して、注視点を融像領域に持ち込んで、両眼立体視を成立させる。
 このような調節機能及び輻輳機能の寄与は、輻輳機能の方が調節機能よりも大きいことが知られている。そのため、現状のフラットパネルディスプレイを使用した立体映像表示装置では、このような特性に着目し、人間の眼の輻輳機能のみを利用して、ピント(調節)は表示面に合わせているにもかかわらず輻輳(視差)をずらすことで、観察者に対して立体知覚を与えている。
 ここで、画像表示基準面から観察者側に飛び出して位置する物体や、画像表示基準面から奥側に位置する物体は、眼のピント(調節)と輻輳の乖離が大きく、長時間見続けると目が疲れたり、人によっては頭痛を誘発したりすると言われている。
 従って、例えば物体の位置や大きさや角度をインタラクティブに変化させる場合、許容範囲を超えた物体や部分が生じ、立体視表示の品質が低下してしまう可能性があった。また、物体の位置や大きさや角度をインタラクティブに変化させる場合に、任意の位置を表示の際の原点として利用してしまうと、観察者が注視したい場所が立体視しづらいものになってしまう可能性があった。
 本発明者らは、上記のような問題点を改善し、立体視表示の品質を向上させることが可能な方法について鋭意検討を行った結果、以下で説明するような情報処理装置及び情報処理方法に想到した。
(第1の実施形態)
<情報処理装置の構成について>
 続いて、図2~図6を参照しながら、本開示の第1の実施形態に係る情報処理装置の構成について、詳細に説明する。図2は、本実施形態に係る情報処理装置10の構成の一例を示したブロック図であり、図3~図6は、本実施形態に係る情報処理装置の表示制御処理について説明するための説明図である。
 本実施形態に係る情報処理装置10は、図2に示したように、ユーザ操作情報取得部101と、表示データ取得部103と、注視点特定部105と、融像領域特定部107と、表示制御部109と、記憶部111と、を主に備える。
 ユーザ操作情報取得部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入力装置等により実現される。ユーザ操作情報取得部101は、ユーザが情報処理装置10に設けられているマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置に対して実施した操作(ユーザ操作)を特定して、当該ユーザ操作に関するユーザ操作情報を生成する。その後、ユーザ操作情報取得部101は、生成したユーザ操作情報を、後述する表示データ取得部103、注視点特定部105、表示制御部109等に出力する。これにより、これらの処理部は、ユーザが情報処理装置10に対してどのような操作を行ったのかを把握することが可能となり、ユーザ操作に対応する機能をユーザに提供することが可能となる。
 表示データ取得部103は、例えば、CPU、ROM、RAM、通信装置等により実現される。表示データ取得部103は、ユーザ操作情報取得部101から出力された、ユーザにより情報処理装置10に対して行われたユーザ操作に関するユーザ操作情報に応じて、ユーザが指定した表示データを、後述する記憶部111や、情報処理装置10に挿入された各種の記録媒体や、インターネット等の各種のネットワークに接続されており情報処理装置10が通信可能な各種コンピュータ等から取得する。
 ここで、表示データ取得部103が取得する表示データは、表示対象物の3次元形状を表した情報(以下、立体情報とも称する。)を有している3次元画像データであり、当該3次元画像データを立体表示した際に、任意の視点から表示対象物の形状を立体的に観察することが可能なデータである。このような3次元画像データの例として、3DCADシステムで生成された画像データや、観察対象物の立体形状を画像データとして出力することが可能な顕微鏡により生成された顕微鏡画像データや、3Dゲームの画像データや、ある物体を立体空間で計測した際に生成された計測データ等を挙げることができる。また、本実施形態に係る表示データ取得部103が取得する表示データは、上記例に限定されるわけではない。
 表示データ取得部103は、取得した3次元画像データに関する表示データ(実体データ)を、後述する表示制御部109に出力する。また、表示データ取得部103は、取得した表示データに当該データを取得した日時に関する時刻情報を関連付けた上で、履歴情報として後述する記憶部111に格納してもよい。
 注視点特定部105は、例えば、CPU、ROM、RAM等により実現される。注視点特定部105は、ユーザ操作情報取得部101から出力されたユーザ操作情報や、情報処理装置10に設けられた未図示の撮像カメラ等によって得られたユーザ撮像画像等に応じて、立体表示されている画像データに記載された表示対象物に関して、ユーザが注目している点(換言すれば、表示対象物のうちユーザが観察対象としたい位置)を特定し、このような点を注視点として取り扱う。
 3次元画像データの観察者(情報処理装置10のユーザ)が、コントローラ、キーボード、マウス、ジェスチャー入力装置、視線入力装置等にユーザインタフェースを操作して、カーソルやポインタ等の位置指定オブジェクトの位置を確定すると、その操作結果がユーザ操作情報取得部101により取得されて、注視点特定部105へと出力される。注視点特定部105は、例えば、位置指定オブジェクトを用いてユーザにより決定された表示対象物の位置(表示対象物の3次元構造を規定する座標系における空間位置)を、ユーザが注目している注視点として特定することができる。
 また、注視点特定部105は、情報処理装置10に設けられている未図示の撮像装置等により撮像されたユーザ撮像画像等を利用して、複数の画像から対応点を検出して三角測量の原理で位置を特定する公知の方法によりユーザ位置を特定した上で、例えば、両眼の間隔や、輻輳角の大きさ等から、注視点の位置を推定してもよい。
 なお、本実施形態に係る注視点特定部105が利用する注視点の特定方法は、上記の例に限定されるわけではなく、公知の技術を用いて、注視点を特定したり推定したりすることが可能である。
 注視点特定部105は、表示されている表示対象物における注視点を特定すると、注視点の特定結果を示した情報を、後述する表示制御部109に出力する。また、注視点特定部105は、後述する融像領域特定部107が観察者の融像領域を特定する際に注視点に関する情報を利用する場合、注視点の特定結果を示した情報を融像領域特定部107に出力してもよい。
 融像領域特定部107は、例えば、CPU、ROM、RAM等により実現される。融像領域特定部107は、表示対象物の観察者(換言すれば、情報処理装置10のユーザ)の融像領域を特定し、後述する表示制御部109に出力する。
 融像領域特定部107は、例えば、予め設定され記憶部111等に格納されているユーザの融像領域に関する情報を参照して、対応するユーザの融像領域の分布の様子や融像領域の大きさ等を特定することが可能である。また、融像領域特定部107は、予め設定され記憶部111等に格納されている、一般的なユーザの融像領域に関する情報を参照して、ユーザの融像領域の分布の様子や融像領域の大きさ等を特定してもよい。更に、融像領域特定部107は、予め設定されている融像領域の初期設定値を、ユーザによりカスタマイズさせることで、ユーザ本人の融像領域を特定してもよい。
ここで、一般的なユーザの融像領域に関する情報は、例えば、多数のユーザについて融像領域を予め測定しておき、融像領域の測定結果を公知の統計処理により解析することで得ることが可能である。また、融像領域特定部107は、上記の方法以外にも公知のあらゆる方法を利用して、ユーザの融像領域を特定することが可能である。
 融像領域特定部107は、ユーザの融像領域を特定すると、得られた特定結果を、後述する表示制御部109に出力する。
 なお、本実施形態に係る情報処理装置10が、予め登録されている一般的なユーザの融像領域に関する情報のみを利用して後述する画像表示処理を行う場合には、以上のような機能を有する融像領域特定部107を有していなくともよい。
 表示制御部109は、例えば、CPU、GPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部109は、記憶部111等に格納されている表示すべき内容に対応するデータを取得して、表示画面に表示する。また、情報処理装置10に備えられたマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置から、カーソルやポインタ等の位置選択オブジェクトの移動を表す信号が伝送された場合には、表示制御部109は、伝送された信号にあわせて位置選択オブジェクトの移動を表示画面に表示させる。
 また、表示制御部109は、表示データ取得部103から表示データが出力された場合には、かかる表示データを利用して、表示データに対応する表示対象物を立体的に表示するための表示制御を行う。この際、表示制御部109は、ユーザ操作情報取得部101から出力されたユーザ操作情報や、注視点特定部105から出力された注視点に関する情報や、融像領域特定部107から出力された融像領域に関する情報等を利用して、表示データの表示制御を実施する。
 より詳細には、表示制御部109は、3次元画像データを利用して表示対象物を立体表示する際に、観察者の融像領域の外部に位置する表示対象物の表示形式が、融像領域の内部に位置する表示対象物の表示形式と異なるように、表示対象物の表示を制御する。以下、表示制御部109により実施される表示形式の制御処理について、図3を参照しながら具体的に説明する。
 本実施形態に係る表示制御部109は、表示対象物を立体表示する際、ユーザ(観察者)から見て奥行き方向に対応する方向を、図3に示したように、以下の3つの領域に大別して、表示制御を実施する。
 (1)表示対象物を立体表示する際の基準となる画像表示基準面(例えば、表示画面の位置)を含み、画像表示基準面からの離隔距離が所定の閾値以下である領域(領域A)
 (2)観察者から離隔する方向に画像表示基準面から所定距離を超えて離隔した領域(領域B)
 (3)画像表示基準面から観察者側に所定距離を超えて離隔した領域(領域C)
 これら領域A~領域Cのうち、領域Aが観察者の融像範囲内に含まれる領域であり、領域B及び領域Cが観察者の融像範囲外に該当する領域である。
 表示制御部109は、表示データ取得部103から出力された3次元画像データを表示する際、領域Aに含まれる表示対象物については、公知の方法により視差を付与して、領域Aに含まれる部分が立体視されるように表示制御を行う。
 また、表示制御部109は、領域Bに表示されることとなる表示対象物については、観察者にとって融像領域の外部に表示されることとなるため、領域Bに表示される表示対象物の視差を領域Aと領域Bとの境界での視差に固定し、領域B内では視差が変化しないように表示制御を行う。その結果、領域Bに表示される表示対象物は、領域Aと領域Bとの界面に射影されて表示されることとなるため、観察者は、領域Bに表示される表示対象物を二重像として認識しなくなる。
 また、表示制御部109は、領域Cに表示されることとなる表示対象物についても、観察者にとって融像領域の外部に表示されることとなるため、該当する領域に含まれる表示対象物を表示しないように表示制御を行う。これにより、本来領域Cに表示され、二重像として観察者に知覚される表示対象物が存在しなくなる。
 以上のように、表示制御部109は、3次元画像データを立体視表示する際に、観察者にとって立体視しづらい領域を立体視可能な領域内に収めたり(領域B)、表示しないようにしたりする(領域C)ことで、二重像として観察者に知覚されうる要因を取り除き、立体視表示の品質を向上させることができる。
 特に、表示制御部109が多視点裸眼立体視表示を実現する表示装置の表示制御を行う場合、かかる表示装置では、より現実的で自然な立体視表示を実現するために、右眼及び左眼のクロストークをゼロにすることは困難であり、観察者が認識する融像領域(実効的な融像領域)は狭くなると考えられる。かかる場合において、上記のような表示制御は、立体視表示の品質を向上させる上で極めて有用なものとなる。
 なお、表示制御部109は、領域B又は領域Cの少なくとも何れか一方に位置する表示対象物について、領域Aから離隔するにつれて表示対象物が消失していくように、表示制御を行ってもよい。また、表示制御部109は、領域Bに対する表示制御、又は、領域Cに対する表示制御のいずれか一方のみを行って、他方は行わないようにしてもよい。
 また、表示制御部109は、以上説明したような融像領域に基づく表示制御に加えて、以下のような表示制御を行ってもよい。
 すなわち、表示制御部109は、観察者により選択された注視点が画像表示基準面内に位置するように、表示対象物の表示位置を調整してもよい。
 例えば図4に示したように、表示制御部109は、注視点特定部105から出力された注視点に関する情報に基づいて、観察者により指定された注視点が、画像表示基準面の中心に位置するように、画像表示基準面内で表示対象物を移動させてもよい。また、表示制御部109は、例えば図5に示したように、観察者により指定された注視点が、画像表示基準面内に存在していない場合には、指定された注視点を含む平面が画像表示基準面と一致するように、表示対象物を奥行き方向(換言すれば、画像表示基準面の法線方向)に沿って移動させてもよい。これにより、例えば図5に示した例では、観察者は、立体表示された表示対象物が観察者に向かって近づいてくるように、表示対象物を知覚することとなる。
 また、表示制御部109は、例えば図6に示したように、ユーザ操作に応じて表示対象物の拡大処理や縮小処理を実施する場合に、選択された注視点を、拡大/縮小処理の原点として扱うことができる。同様に、表示制御部109は、ユーザ操作に応じて表示対象物の回転処理を実施する場合にも、選択された注視点を回転処理の原点として扱ってもよい。
 表示制御部109が注視点に基づく上記のような表示制御を行うことで、観察者が注視したい部分を、観察者が疲れることなく自然な状態で立体表示させることが可能となるため、ユーザの利便性を向上させることが可能となる。また、表示制御部109が注視点に基づく上記のような表示制御を行うことで、注視点を中心として観察者が疲れることなく自然な状態で観察可能な領域を最大化することができる。
 なお、本実施形態に係る表示制御部109は、情報処理装置10に設けられたディスプレイ等の表示装置だけでなく、情報処理装置10に直接接続された、又は、各種のネットワークを介して接続された各種の表示装置の表示制御を行うことも可能である。これにより、本実施形態に係る表示制御部109は、上述のような表示制御を、情報処理装置10の外部に設けられた表示装置に対して実現することが可能となる。
 以上、図3~図6を参照しながら、本実施形態に係る表示制御部109が実施する表示制御処理について、詳細に説明した。
 再び図2に戻って、本実施形態に係る情報処理装置10が備える記憶部111について説明する。
 記憶部111は、例えば、RAMやストレージ装置等により実現される。記憶部111には、表示画面に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース(GUI)を構成する任意のパーツ類が含まれる。また、記憶部111には、本実施形態に係る情報処理装置10の実行する各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部111には、情報処理装置10によって利用される各種の三次元画像データが格納されていてもよい。
 この記憶部111は、ユーザ操作情報取得部101、表示データ取得部103、注視点特定部105、融像領域特定部107、表示制御部109等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
 以上、図2を参照しながら、本実施形態に係る情報処理装置10の構成について、詳細に説明した。
 なお、図2に示したユーザ操作情報取得部101、表示データ取得部103、注視点特定部105、融像領域特定部107、表示制御部109及び記憶部111の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
 以上、本実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
 なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<情報処理方法の流れについて>
 続いて、図7を参照しながら、本実施形態に係る情報処理装置10で実施される情報処理方法の流れについて、簡単に説明する。
 本実施形態に係る情報処理方法では、まず、融像領域特定部107により、観察者の融像領域に関する情報が特定され(ステップS101)、融像領域の特定結果が、表示制御部109に出力される。
 その後、観察者が表示を希望する3次元画像データをユーザ操作により特定すると、ユーザ操作情報取得部101は、対応するユーザ操作情報を取得し、表示データ取得部103へと出力する。表示データ取得部103は、ユーザ操作情報取得部101から出力されたユーザ操作情報に基づいて、表示データを取得し(ステップS103)、取得した表示データ(3次元画像データ)を表示制御部109に出力する。
 表示制御部109は、表示データ取得部103から出力された3次元画像データ、及び、融像領域特定部107から出力された融像領域に関する情報を利用して、融像領域を考慮しつつ、表示データ(3次元画像データ)に対応する表示対象物を表示する(ステップS105)。これにより、表示対象物が融像領域の内部に存在するか否かに応じて、融像領域の内部に位置している表示対象物と、融像領域の外部に位置している表示対象物とで、表示形式が異なるように表示制御が行われることとなる。
 その後、ユーザによってポインタやカーソル等の位置指定オブジェクトが操作され、注視点を特定する操作(例えば、決定ボタンを押す、マウスボタンをクリックする等)が行われると、該当するユーザ操作がユーザ操作情報取得部101によって取得され、注視点特定部105へと出力される。注視点特定部105は、ユーザによって指定された位置を注視点として特定し(ステップS107)、注視点の特定結果を表示制御部109に出力する。
 表示制御部109は、注視点特定部105から出力された注視点に関する情報に基づいて、指定された注視点を含む平面が画像表示基準面となるように表示対象物を移動させたり、注視点が画像表示基準面内の中心に位置するように表示対象物を平面内で移動させたりする(ステップS109)。
 その後、情報処理装置10は、ユーザ操作が行われたか否かの待ち受けを行う(ステップS111)。ユーザ操作が行われた場合には、表示制御部109は、ユーザ操作に応じて立体視表示における各視点画像の再計算を行うことで表示形式を変更し、注視点の位置に基づいて表示対象物を移動させたり、注視点を原点として、拡大/縮小処理を実施したりする(ステップS113)。
 その後、情報処理装置10は、立体視表示の終了操作が行われたか否かを判断する(ステップS115)。終了操作が行われていない場合には、情報処理装置10は、ステップS111に戻って、ユーザ操作の待ち受けを行う。一方、終了操作が行われた場合には、情報処理装置10は、3次元画像データの立体表示処理を終了する。
 本実施形態に係る情報処理装置10では、このような流れで観察者の融像領域に基づく立体視表示の表示制御処理が行われることにより、表示対象物が二重像として観察者に知覚されることを防止することができ、立体視表示の品質を向上させることが可能となる。
(ハードウェア構成について)
 次に、図8を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図8は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
 情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
 CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
 ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
 入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
 ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア、Blu-rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
 接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光オーディオ端子、HDMI(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に直接各種のデータを提供したりする。
 通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
 以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御部
を備える、情報処理装置。
(2)
 前記融像領域の外部に位置する領域は、前記表示対象物を立体表示する際の基準となる画像表示基準面から前記観察者側に所定距離を超えて離隔した領域、及び、前記観察者から離隔する方向に前記画像表示基準面から所定距離を超えて離隔した領域である、(1)に記載の情報処理装置。
(3)
 前記表示制御部は、前記観察者から離隔する方向に前記画像表示基準面から所定距離を超えて離隔した領域に位置する前記表示対象物に対して、当該表示対象物の視差を、前記画像表示基準面から所定距離を超えて離隔した領域と前記融像領域との境界での視差に固定するように表示制御する、(2)に記載の情報処理装置。
(4)
 前記表示制御部は、前記画像表示基準面から観察者側に所定距離を超えて離隔した領域に位置する前記表示対象物が表示されないように表示制御する、(2)又は(3)に記載の情報処理装置。
(5)
 前記表示制御部は、前記観察者により選択された注視点が前記画像表示基準面内に位置するように、前記表示対象物の表示位置を調整する、(2)~(4)の何れか1つに記載の情報処理装置。
(6)
 前記表示制御部は、前記注視点の位置が前記画像表示基準面内の中心に位置するように、前記表示対象物の表示位置を調整する、(5)に記載の情報処理装置。
(7)
 前記表示制御部は、前記注視点が前記画像表示基準面内に位置するように、前記画像表示基準面の法線方向に沿って前記表示対象物の表示位置を調整する、(5)又は(6)に記載の情報処理装置。
(8)
 前記表示制御部は、前記表示対象物の拡大・縮小処理又は回転処理の少なくとも何れかを、前記注視点を基準として実施する、(5)~(7)の何れか1つに記載の情報処理装置。
(9)
 立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御すること
を含む、情報処理方法。
(10)
 コンピュータに、
 立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御機能
を実現させるためのプログラムが記録された記録媒体。
 10  情報処理装置
 101  ユーザ操作情報取得部
 103  表示データ取得部
 105  注視点特定部
 107  融像領域特定部
 109  表示制御部
 111  記憶部
 

Claims (10)

  1.  立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御部
    を備える、情報処理装置。
  2.  前記融像領域の外部に位置する領域は、前記表示対象物を立体表示する際の基準となる画像表示基準面から前記観察者の側に所定距離を超えて離隔した領域、及び、前記観察者から離隔する方向に前記画像表示基準面から所定距離を超えて離隔した領域である、請求項1に記載の情報処理装置。
  3.  前記表示制御部は、前記観察者から離隔する方向に前記画像表示基準面から所定距離を超えて離隔した領域に位置する前記表示対象物に対して、当該表示対象物の視差を、前記画像表示基準面から所定距離を超えて離隔した領域と前記融像領域との境界での視差に固定するように表示制御する、請求項2に記載の情報処理装置。
  4.  前記表示制御部は、前記画像表示基準面から観察者側に所定距離を超えて離隔した領域に位置する前記表示対象物が表示されないように表示制御する、請求項3に記載の情報処理装置。
  5.  前記表示制御部は、前記観察者により選択された注視点が前記画像表示基準面内に位置するように、前記表示対象物の表示位置を調整する、請求項2に記載の情報処理装置。
  6.  前記表示制御部は、前記注視点の位置が前記画像表示基準面内の中心に位置するように、前記表示対象物の表示位置を調整する、請求項5に記載の情報処理装置。
  7.  前記表示制御部は、前記注視点が前記画像表示基準面内に位置するように、前記画像表示基準面の法線方向に沿って前記表示対象物の表示位置を調整する、請求項5に記載の情報処理装置。
  8.  前記表示制御部は、前記表示対象物の拡大・縮小処理又は回転処理の少なくとも何れかを、前記注視点を基準として実施する、請求項5に記載の情報処理装置。
  9.  立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御すること
    を含む、情報処理方法。
  10.  コンピュータに、
     立体表示可能な三次元画像データに応じて表示対象物を立体表示する際に、観察者の融像領域の外部に位置する前記表示対象物の表示形式が、前記融像領域の内部に位置する前記表示対象物の表示形式と異なるように、前記表示対象物の表示を制御する表示制御機能
    を実現させるためのプログラムが記録された記録媒体。
     
PCT/JP2012/076638 2011-11-10 2012-10-15 情報処理装置、情報処理方法及び記録媒体 WO2013069413A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/355,800 US20140293022A1 (en) 2011-11-10 2012-10-15 Information processing apparatus, information processing method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-246220 2011-11-10
JP2011246220A JP5920911B2 (ja) 2011-11-10 2011-11-10 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013069413A1 true WO2013069413A1 (ja) 2013-05-16

Family

ID=48289797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076638 WO2013069413A1 (ja) 2011-11-10 2012-10-15 情報処理装置、情報処理方法及び記録媒体

Country Status (3)

Country Link
US (1) US20140293022A1 (ja)
JP (1) JP5920911B2 (ja)
WO (1) WO2013069413A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324620A2 (en) 2016-11-17 2018-05-23 Fujitsu Limited Stereoscopic image display program, stereoscopic image display method, and information processing apparatus
WO2022230247A1 (ja) * 2021-04-27 2022-11-03 ソニーグループ株式会社 情報処理装置、プログラム及び情報処理方法
WO2022239297A1 (ja) * 2021-05-11 2022-11-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10326976B2 (en) * 2016-06-17 2019-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US11151804B2 (en) 2016-09-14 2021-10-19 Sony Corporation Information processing device, information processing method, and program
JP7169130B2 (ja) * 2018-09-03 2022-11-10 川崎重工業株式会社 ロボットシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974573A (ja) * 1995-06-29 1997-03-18 Matsushita Electric Ind Co Ltd 立体cg画像生成装置
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JP2010226500A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 立体画像表示装置および立体画像表示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478606B2 (ja) * 1994-10-12 2003-12-15 キヤノン株式会社 立体画像表示方法および装置
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6198484B1 (en) * 1996-06-27 2001-03-06 Kabushiki Kaisha Toshiba Stereoscopic display system
EP1612509A1 (en) * 2004-07-01 2006-01-04 Sick IVP AB Optical profilometer
JP4488996B2 (ja) * 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
GB2480193B (en) * 2009-01-19 2015-01-21 Minoru Inaba Stereoscopic video imaging display system
US8988507B2 (en) * 2009-11-19 2015-03-24 Sony Corporation User interface for autofocus
WO2011121397A1 (en) * 2010-04-01 2011-10-06 Nokia Corporation Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974573A (ja) * 1995-06-29 1997-03-18 Matsushita Electric Ind Co Ltd 立体cg画像生成装置
JPH1083460A (ja) * 1996-06-27 1998-03-31 Toshiba Corp 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JP2010226500A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 立体画像表示装置および立体画像表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324620A2 (en) 2016-11-17 2018-05-23 Fujitsu Limited Stereoscopic image display program, stereoscopic image display method, and information processing apparatus
EP3324620A3 (en) * 2016-11-17 2018-08-01 Fujitsu Limited Stereoscopic image display program, stereoscopic image display method, and information processing apparatus
WO2022230247A1 (ja) * 2021-04-27 2022-11-03 ソニーグループ株式会社 情報処理装置、プログラム及び情報処理方法
WO2022239297A1 (ja) * 2021-05-11 2022-11-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
JP5920911B2 (ja) 2016-05-18
JP2013105183A (ja) 2013-05-30
US20140293022A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5920911B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3000052B1 (en) Role negotiation in multi-reality environments
CN111052046A (zh) 使用现实界面访问外部设备的功能
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
EP2972559B1 (en) Methods and apparatus for displaying images on a head mounted display
GB2505926A (en) Display of Depth Information Within a Scene
US20090156970A1 (en) System and method for exercising eyes
EP3286601B1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
CN110573225A (zh) 视觉数据上的直观增强现实协作
JP2012256214A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
KR20120012858A (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 장치 및 방법
CN106293561B (zh) 显示控制方法和装置、显示设备
US20150235409A1 (en) Techniques for cut-away stereo content in a stereoscopic display
CN114207557A (zh) 虚拟和物理相机的位置同步
WO2022196387A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20120300034A1 (en) Interactive user interface for stereoscopic effect adjustment
KR20190083464A (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
US10306215B2 (en) Object display utilizing monoscopic view with controlled convergence
JP2018109940A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2017203818A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005033696A (ja) 3次元表示装置
WO2024024020A1 (ja) 現実空間に存在する情報処理装置を仮想空間において使用するための制御
US9025012B2 (en) Display control device, display control method, and program
US20240012472A1 (en) Vergence based gaze matching for mixed-mode immersive telepresence application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12846911

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14355800

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12846911

Country of ref document: EP

Kind code of ref document: A1