WO2012157342A1 - 画像表示装置、画像表示方法及びプログラム - Google Patents

画像表示装置、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2012157342A1
WO2012157342A1 PCT/JP2012/058382 JP2012058382W WO2012157342A1 WO 2012157342 A1 WO2012157342 A1 WO 2012157342A1 JP 2012058382 W JP2012058382 W JP 2012058382W WO 2012157342 A1 WO2012157342 A1 WO 2012157342A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
unit
user operation
dimensional
Prior art date
Application number
PCT/JP2012/058382
Other languages
English (en)
French (fr)
Inventor
純二 田治米
中野　学
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2012157342A1 publication Critical patent/WO2012157342A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to an image display device, an image display method, and a program.
  • a three-dimensional image is captured and displayed using a stereo image (for example, Patent Document 1).
  • a stereo image for example, Patent Document 1
  • a user often performs operations such as enlargement / reduction and movement of an image when displaying the image.
  • Patent Document 1 discloses a method of switching a three-dimensional display to a two-dimensional display based on a key input operation from a user. In this method, for example, a three-dimensional image such as a standby image is displayed as a menu image. However, it does not switch between 3D display and 2D display for the same object. Furthermore, in the method of Patent Document 1, after switching to the two-dimensional display, a user operation is required to return to the three-dimensional display again.
  • the present invention has been made in view of such circumstances, and an object thereof is to improve user operability with respect to a three-dimensional image.
  • An image display device includes: an image storage unit that stores a three-dimensional image; an operation reception unit that receives a user operation; a display unit that can display an image; A display control unit that displays the three-dimensional image on the display unit in a two-dimensional manner while accepting a user operation, and displays the three-dimensional image on the display unit when the user operation is completed; .
  • the computer displays a 3D image stored in the image storage unit on the display unit, accepts a user operation on the 3D image, and accepts a user operation.
  • the three-dimensional image is displayed on the display unit in a two-dimensional manner while the user operation is completed.
  • a program provides a computer with a function of displaying a 3D image stored in the image storage unit on a display unit, a function of receiving a user operation on the 3D image, and a user operation. While accepting, it is intended to realize a function of displaying a three-dimensional image on the display unit two-dimensionally, and a function of displaying a three-dimensional image on the display unit three-dimensionally when a user operation is completed. .
  • the “unit” does not simply mean a physical means, but includes a case where the function of the “unit” is realized by software. Also, even if the functions of one “unit” or device are realized by two or more physical means or devices, the functions of two or more “units” or devices are realized by one physical means or device. May be.
  • FIG. 1 is a diagram showing a configuration of a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal 10 is an information processing apparatus that can display a three-dimensional image, and is, for example, a mobile phone such as a smartphone, a digital camera, or a portable game device.
  • the three-dimensional image is image data that can be three-dimensionally displayed to the user, and includes, for example, images from a plurality of viewpoints.
  • a specific example of the three-dimensional image is a stereo image composed of an image for the left eye and an image for the right eye, and is provided in, for example, an MPO (Multi Picture Format) format.
  • MPO Multi Picture Format
  • the mobile terminal 10 includes a communication unit 20, an imaging unit 22, an image storage unit 24, an operation reception unit 26, a display unit 28, and a control unit 30.
  • Each of these units can be realized, for example, in the mobile terminal 10 by using a storage area such as a memory or a storage device, or by executing a program stored in the storage area.
  • the communication unit 20 can transmit and receive data to and from external devices via a cellular phone packet communication network, a wireless LAN, various communication cables, and the like.
  • the mobile terminal 10 can receive a three-dimensional image from an external device via the communication unit 20.
  • the imaging unit 22 captures an image and generates image data, and includes a camera and an image processing unit.
  • the imaging unit 22 may be able to generate image data of a stereo image using two cameras.
  • the imaging unit 22 may be capable of generating stereo image data by capturing a left-eye image and a right-eye image at different timings using a single camera.
  • the image storage unit 24 stores two-dimensional images and three-dimensional image data that can be displayed on the mobile terminal 10. As described above, the image storage unit 24 can store image data acquired via the communication unit 20 and image data generated by imaging by the imaging unit 22. Note that the image storage unit 24 may be configured to be removable from the mobile terminal 10 like a memory card. Further, when the mobile terminal 10 displays an image by referring to the image data via a network, the image data stored in the image storage unit 24 may be temporary.
  • the image storage unit 24 stores a stereo image as a three-dimensional image.
  • FIG. 2 is a diagram illustrating an example of a stereo image.
  • the stereo image 40 includes a left-eye image 40L and a right-eye image 40R.
  • these images 40L and 40R are displayed on the display unit 28 so as to be visually recognized by the left eye and the right eye, respectively, so that the images are three-dimensionally displayed.
  • the left-eye image 40L and the right-eye image 40R are shown to be visible to both eyes, but actually, the left-eye image 40L and the right-eye image 40R are shown.
  • the operation accepting unit 26 accepts various operations from the user, and includes, for example, operation keys, a touch panel, a voice recognition device, and the like.
  • operations accepted from the user include operations for selecting an image to be displayed on the mobile terminal 10 and operations such as enlargement, reduction, movement, and rotation of the displayed image.
  • the operation reception unit 26 is configured to include a touch panel, as shown in FIG. 4A, by performing an operation of narrowing the interval between the fingers while two fingers are in contact with the touch panel, The image displayed on the display unit 28 can be reduced and displayed.
  • FIG. 4B it is possible to display an enlarged image by performing an operation of increasing the interval between two fingers. Note that the user operations shown in FIGS.
  • the image in a state where an image is displayed on the display unit 28, when the user double taps a point on the touch panel, the image may be enlarged and displayed at a predetermined magnification around this point.
  • the image is not enlarged in conjunction with the movement of the finger, but the display target area is designated by the operation of the finger, and the designated area of the image is a predetermined magnification or area. It is good also as expanding and displaying by the magnification according to the magnitude
  • the operation key not only the operation on the touch panel but also the operation on the image can be performed by the operation key.
  • the display unit 28 displays various information to the user, and includes a display device such as a liquid crystal display.
  • the display unit 28 is configured to be compatible with both two-dimensional display and three-dimensional display.
  • the display unit 28 can be configured such that a left-eye image and a right-eye image that form a three-dimensional image are visually recognized by the left eye and the right eye, respectively, using a lenticular lens.
  • the display mode of the three-dimensional image is not limited to this, and any method can be used.
  • the control unit 30 performs various controls according to user operations and the like in the mobile terminal 10 and includes a display control unit 32 that performs display control of an image displayed on the display unit 28. For example, while the user operation is performed on the three-dimensional image displayed on the display unit 28, the display control unit 32 displays a two-dimensional image reflecting the user operation on the image. When the user operation is completed, the display control unit 32 displays the 3D image after correcting the parallax of the 3D image according to the user operation. As a specific example, while a user operation for enlarging and displaying a stereo image displayed on the display unit 28 is being performed, the display control unit 32 displays, for example, an image for the left eye included in the stereo image as a user operation.
  • the image is displayed on the display unit 32 after being enlarged.
  • the display control unit 32 corrects the right-eye image so that the parallax of the attention region in the display target region becomes a value suitable for three-dimensional display, and then displays the stereo image on the display unit. 32.
  • FIG. 5 is a diagram illustrating a configuration example of the display control unit 32.
  • the display control unit 32 includes an image processing unit 50, a luminance signal extraction unit 52, a motion search unit 54, and an image correction unit 56.
  • the image processing unit 50 performs processing according to the operation signal on the image based on the operation signal output from the operation receiving unit 26 and outputs the image to the display unit 28 so that the image can be displayed. For example, the image processing unit 50 outputs only the left-eye image of the stereo image while the operation receiving unit 26 receives a user operation. Then, when the user operation is completed, the image processing unit 50 outputs a stereo image in which the right-eye image is corrected.
  • the luminance signal extraction unit 52, the motion search unit 54, and the image correction unit 56 are for correcting parallax in accordance with processing on the image such as enlargement, reduction, and rotation of the image.
  • the luminance signal extraction unit 52 extracts and outputs a luminance signal for each stereo image.
  • the motion search unit 54 is a region of interest in the display target region defined by a user operation such as enlargement or reduction.
  • the amount of motion between stereo images is searched for by block matching, for example.
  • the amount of motion searched here is the parallax in the attention area within the display target area.
  • the image correction unit 56 corrects the stereo image so that an appropriate three-dimensional effect appears when the display target area of the stereo image is displayed after being enlarged, reduced, or rotated. For example, the image correction unit 56 translates the right-eye image of the stereo image so that the amount of motion output from the motion search unit 54, that is, the parallax in the attention area in the display target area becomes zero. .
  • the attention area in the display target area is an area that is noticed by the user in the display target area, and can be specified using any method. For example, it is possible to specify the center area of the display target area as the attention area, or specify the area where the strength exceeds a certain value as the attention area based on the sailiness map indicating the strength that attracts human visual attention. is there.
  • the parallax may be adjusted to a predetermined value suitable for three-dimensional display instead of zero. In this case, the image can be corrected according to the enlargement / reduction ratio of the image so that the parallax becomes a value suitable for three-dimensional display in the image after enlargement or reduction. Further, image correction is not limited to parallel movement, and may be corrected using affine transformation or projective transformation.
  • the motion search unit 54 and the image correction unit 56 instead of the motion search unit 54 and the image correction unit 56, using Harris, Scale-Invariant Feature Transform (SIFT), or the like, from the luminance signal in the display target region, the attention region in the display target region and By extracting the image feature points of the left-eye image and the right-eye image and converting them so that the corresponding image feature points between the stereo images match, it is possible to display within the display target area for various images.
  • the parallax of the attention area can be made zero. Further, the parallax may be obtained using not only the luminance signal but also the color difference signal.
  • FIG. 6 is a flowchart illustrating an example of image display processing in the mobile terminal 10.
  • the operation reception unit 26 receives an operation for selecting a stereo image to be displayed (S601).
  • the display control unit 32 displays the selected stereo image three-dimensionally on the display unit 28 as shown in FIG. 3, for example (S602).
  • the display control unit 32 continues to display the stereo image three-dimensionally while no user operation is performed on the stereo image (S603: N).
  • the display control unit 32 displays the stereo image two-dimensionally on the display unit 28 (S604). .
  • the display control unit 32 executes processing corresponding to the user operation on the stereo image (S605).
  • user operations on stereo images are not limited to image enlargement or reduction, but also include operations that do not involve image processing on stereo images, such as operations for displaying information for confirming the creation date and size of image data. It is.
  • the display control unit 32 performs a process according to the user operation while only the left-eye image is displayed. For example, if the user operation is for enlarging the image, during the user's operation, the display unit 28 displays the image for the left eye enlarged according to the user operation. For example, as shown in FIG. 8, when an operation for enlarging and displaying a partial region 50L of the image 40L for the left eye is performed, the display control unit 32 performs the operation for the left eye as shown in FIG. The area 50L of the image 40L is enlarged and displayed.
  • the display control unit 32 determines whether an enlargement or reduction operation has been performed on the stereo image (S607).
  • the display control unit 32 displays the original stereo image as it is on the display unit 28 (S608).
  • the display control unit 32 corrects the stereo image so that the parallax in the attention area within the display target area that is the display target by the enlargement or reduction operation becomes a predetermined value (S609). Specifically, for example, the display control unit 32 corrects the right-eye image in the stereo image so that the parallax in the attention area in the display target area becomes zero.
  • the display control unit 32 uses the corrected stereo image to enlarge or reduce the stereo image so that the display target area designated by the user operation is displayed (S610), for example, as shown in FIG. In this manner, the display unit 28 displays the image three-dimensionally (S611).
  • the process for the stereo image is not limited thereto.
  • a moving operation or a rotating operation similarly, it is possible to perform image display suitable for three-dimensional display by correcting a stereo image according to a user operation.
  • the image selected as the display target is first displayed in three dimensions, but may be displayed in two dimensions after being selected. For example, when there is no user operation on the image for a predetermined time, it is possible to switch to the three-dimensional display.
  • the embodiment has been described above. According to the present embodiment, since the three-dimensional image is displayed two-dimensionally while the user operation is performed on the three-dimensional image, the user operation is not hindered. When the user operation is completed, the parallax of the image is corrected so that the three-dimensional effect of the display target region defined by the user operation is appropriately obtained, and the three-dimensional image of the region is displayed. As described above, the 3D display or the 2D display is performed depending on whether or not the user is performing an operation without explicitly performing an operation for the user to switch between the 3D display and the 2D display. In the present embodiment, the image is not always corrected during the user's operation, but the image is corrected only after the display target area is determined by the user's operation. Therefore, it is possible to reduce the amount of calculation of image processing compared to the case where image correction is always performed during user operation.
  • this embodiment is for making an understanding of this invention easy, and is not for limiting and interpreting this invention.
  • the present invention can be changed / improved without departing from the spirit thereof, and the present invention includes equivalents thereof.
  • a description has been given using a stereo image including a left-eye image and a right-eye image as a three-dimensional image, but the number of viewpoints in the three-dimensional image may be three or more. Even in this case, it is only necessary to display an image of a certain viewpoint during the user operation, and display the corrected three-dimensional image after the user operation is completed.
  • image processing such as enlargement or reduction is performed after image correction, but the processing order may be reversed. That is, the parallax in the stereo image may be corrected after the enlargement or reduction is performed.
  • the portable terminal is used as the image display device.
  • the display control of the three-dimensional image can be performed in an information processing device other than the portable terminal such as a personal computer as in the present embodiment. It is.
  • (Supplementary note 4) The image display device according to any one of supplementary notes 1 to 3, wherein the three-dimensional image stored in the image storage unit includes a two-dimensional image of a plurality of viewpoints, and the display control A unit displays a two-dimensional image of any one viewpoint included in the three-dimensional image on the display unit while the operation reception unit receives a user operation on the three-dimensional image, and the user operation Is completed, the image display device displays the two-dimensional images of the plurality of viewpoints included in the three-dimensional image on the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　三次元画像に対するユーザの操作性を向上させる。画像表示装置は、三次元画像を記憶する画像記憶部と、ユーザ操作を受け付ける操作受付部と、画像を表示可能な表示部と、操作受付部が、三次元画像に対するユーザ操作を受け付けている間は、該三次元画像を表示部上に二次元表示し、該ユーザ操作が完了すると、該三次元画像を表示部上に三次元表示する表示制御部と、を備える。

Description

画像表示装置、画像表示方法及びプログラム
　本発明は、画像表示装置、画像表示方法及びプログラムに関する。
　近年、デジタルカメラや携帯電話、携帯型ゲーム機などにおいて、ステレオ画像による三次元画像の撮影や表示が行われるようになってきている（例えば、特許文献１）。このような携帯型の端末では、ユーザは画像を表示する際に、画像の拡大・縮小や移動などの操作を行うことが多い。
特開２００４－１６３４４７号公報
　しかしながら、ユーザが端末の画面上に表示されたステレオ画像を操作している間に、端末がユーザ操作に応じた処理を施した画像を画面にそのまま表示すると、その画像は立体視が困難なものとなり、ユーザ操作の妨げとなる場合がある。例えば、ステレオ画像がユーザ操作に応じて単純に拡大・縮小された場合、ステレオ画像における視差も拡大・縮小され、見づらい画像となってしまう。なお、特許文献１には、ユーザからのキー入力操作に基づいて三次元表示を二次元表示に切り替える方式が開示されているが、この方式は、例えば、待ち受け画像などの三次元画像をメニュー画像などの二次元画像に切り替えるものであり、同じ対象に対して三次元表示と二次元表示を切り替えるものではない。さらに、特許文献１の方式では、二次元表示に切り替わった後、再度三次元表示に戻すためにはユーザ操作が必要である。
　本発明はこのような事情に鑑みてなされたものであり、三次元画像に対するユーザの操作性を向上させることを目的とする。
　本発明の一側面に係る画像表示装置は、三次元画像を記憶する画像記憶部と、ユーザ操作を受け付ける操作受付部と、画像を表示可能な表示部と、操作受付部が、三次元画像に対するユーザ操作を受け付けている間は、該三次元画像を表示部上に二次元表示し、該ユーザ操作が完了すると、該三次元画像を表示部上に三次元表示する表示制御部と、を備える。
　また、本発明の一側面に係る画像表示方法では、コンピュータが、画像記憶部に記憶されている三次元画像を表示部上に表示し、三次元画像に対するユーザ操作を受け付け、ユーザ操作を受け付けている間は、三次元画像を表示部上に二次元表示し、ユーザ操作が完了すると、三次元画像を表示部上に三次元表示する。
　また、本発明の一側面に係るプログラムは、コンピュータに、画像記憶部に記憶されている三次元画像を表示部上に表示する機能と、三次元画像に対するユーザ操作を受け付ける機能と、ユーザ操作を受け付けている間は、三次元画像を表示部上に二次元表示する機能と、ユーザ操作が完了すると、三次元画像を表示部上に三次元表示する機能と、を実現させるためのものである。
　なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。
　本発明によれば、三次元画像に対するユーザの操作性を向上させることができる。
本発明の一実施形態である携帯端末の構成を示す図である。 ステレオ画像の一例を示す図である。 ステレオ画像を三次元表示した状態の一例を示す図である。 ユーザ操作の一例を示す図である。 ユーザ操作の一例を示す図である。 表示制御部の構成例を示す図である。 携帯端末における画像表示処理の一例を示すフローチャートである。 ステレオ画像を二次元表示した状態の一例を示す図である。 ユーザ操作によって選択された表示対象領域の一例を示す図である。 表示対象領域を二次元表示した状態の一例を示す図である。 画像補正を行わずに表示対象領域を三次元表示した状態の一例を示す図である。 画像補正を行ったうえで表示対象領域を三次元表示した状態の一例を示す図である。
　以下、図面を参照して本発明の一実施形態について説明する。
　＝＝構成＝＝
　図１は、本発明の一実施形態である携帯端末の構成を示す図である。携帯端末１０は、三次元画像を表示可能な情報処理装置であり、例えば、スマートフォン等の携帯電話、デジタルカメラ、携帯型ゲーム機器などである。ここで、三次元画像とは、ユーザに対して三次元表示が可能な画像データであり、例えば、複数の視点の画像により構成される。三次元画像の具体例としては、左目用の画像と右目用の画像により構成されるステレオ画像であり、例えば、ＭＰＯ（Ｍｕｌｔｉ　Ｐｉｃｔｕｒｅ　Ｆｏｒｍａｔ）形式により提供される。
　図１に示すように、携帯端末１０は、通信部２０、撮像部２２、画像記憶部２４、操作受付部２６、表示部２８、及び制御部３０を含んで構成される。これらの各部は、例えば、携帯端末１０において、メモリや記憶装置等の記憶領域を用いたり、該記憶領域に格納されているプログラムをプロセッサが実行することにより実現することができる。
　通信部２０は、携帯電話のパケット通信網や無線ＬＡＮ、各種通信用ケーブルなどを介して外部の機器とデータの送受信を行うことができる。本実施形態においては、携帯端末１０は、通信部２０を介して三次元画像を外部の機器から受信することが可能である。
　撮像部２２は、画像を撮影して画像データを生成するものであり、カメラや画像処理ユニットを含んで構成される。例えば、撮像部２２は、２つのカメラを用いてステレオ画像の画像データを生成可能としてもよい。また、撮像部２２は、１つのカメラを用いて、左目用の画像と右目用の画像とを異なるタイミングで撮像することによりステレオ画像の画像データを生成可能としてもよい。
　画像記憶部２４には、携帯端末１０において表示可能な二次元画像や三次元画像の画像データが格納される。前述したように、画像記憶部２４には、通信部２０を介して取得された画像データや、撮像部２２での撮像により生成された画像データを格納することが可能である。なお、画像記憶部２４は、メモリカードのように、携帯端末１０から取り外し可能に構成されていてもよい。また、携帯端末１０において、画像データをネットワーク経由で参照して画像を表示する場合等においては、画像記憶部２４に記憶される画像データは一時的なものであってもよい。
　本実施形態では、画像記憶部２４には、三次元画像としてステレオ画像が記憶されていることとする。図２は、ステレオ画像の一例を示す図である。図２に示すように、ステレオ画像４０は、左目用の画像４０Ｌ及び右目用の画像４０Ｒを含んでいる。これらの画像４０Ｌ，４０Ｒが、図３に示すように、それぞれ左目及び右目に視認されるように表示部２８に表示されることにより、画像が三次元表示されることとなる。なお、図３においては、左目用の画像４０Ｌ及び右目用の画像４０Ｒが、ともに両目に視認可能なように示されているが、実際には、左目用の画像４０Ｌ及び右目用の画像４０Ｒが、それぞれ、左目及び右目に視認可能に表示部２８に表示される。
　図１に戻り、操作受付部２６は、ユーザからの各種操作を受け付けるものであり、例えば、操作キーやタッチパネル、音声認識装置などを含んで構成される。ユーザから受け付けられる操作としては、例えば、携帯端末１０において表示する画像を選択するための操作や、表示された画像の拡大や縮小、移動、回転などの操作があげられる。例えば、操作受付部２６がタッチパネルを含んで構成されている場合であれば、図４Ａに示すように、２本の指をタッチパネルに接触させた状態で指の間隔を狭める操作を行うことにより、表示部２８に表示されている画像を縮小表示させることができる。同様に、図４Ｂに示すように、２本の指の間隔を広げる操作を行うことにより、画像を拡大表示させることが可能である。なお、図４Ａ、図４Ｂに示したユーザ操作は一例にすぎない。例えば、表示部２８に画像が表示されている状態において、ユーザがタッチパネル上の一点をダブルタップすると、この点を中心として該画像を所定の倍率で拡大表示されることとしてもよい。また、図４Ｂに示したように指の動作に連動して画像の拡大が行われるのではなく、指の操作によって表示対象領域が指定され、該画像の指定された領域が所定の倍率あるいは領域の大きさに応じた倍率で拡大表示されることとしてもよい。また、当然のことながら、タッチパネルでの操作に限らず、操作キーによって画像に対する操作を行うことも可能である。
　図１に戻り、表示部２８は、ユーザに対して各種情報を表示するものであり、例えば、液晶ディスプレイなどの表示デバイスを含んで構成される。また、表示部２８は、二次元表示及び三次元表示の両方に対応可能に構成されている。例えば、表示部２８は、レンチキュラーレンズによって、三次元画像を構成する左目用の画像と右目用の画像とが、それぞれ左目と右目とに視認されるように構成することが可能である。なお、三次元画像の表示態様はこれに限られず、任意の手法を用いることが可能である。
　制御部３０は、携帯端末１０におけるユーザ操作等に応じた各種制御を行うものであり、表示部２８に表示される画像の表示制御を行う表示制御部３２を含んで構成される。例えば、表示制御部３２は、表示部２８に表示される三次元画像に対してユーザ操作が行われている間は、該画像に対してユーザ操作を反映した二次元画像を表示する。そして、ユーザ操作が完了すると、表示制御部３２は、ユーザ操作に応じて三次元画像の視差を補正したうえで、三次元画像を表示する。具体例としては、表示部２８に表示されるステレオ画像を拡大表示するためのユーザ操作が行われている間は、表示制御部３２は、例えばステレオ画像に含まれる左目用の画像を、ユーザ操作に応じた拡大処理を施して表示部３２に表示する。そして、ユーザ操作が完了すると、表示制御部３２は、表示対象領域内の注目領域の視差が三次元表示に適した値となるように右目用の画像を補正したうえで、ステレオ画像を表示部３２に表示する。
　図５は、表示制御部３２の構成例を示す図である。図５に示すように、表示制御部３２は、画像処理部５０、輝度信号抽出部５２、動き探索部５４、及び画像補正部５６を含んで構成される。
　画像処理部５０は、操作受付部２６から出力される操作信号に基づいて、操作信号に応じた処理を画像に施したうえで表示部２８に表示可能に出力する。例えば、画像処理部５０は、操作受付部２６がユーザ操作を受け付けている間は、ステレオ画像のうちの左目用の画像のみを出力する。そして、画像処理部５０は、ユーザ操作が完了すると、右目用の画像が補正されたステレオ画像を出力する。
　輝度信号抽出部５２、動き探索部５４、及び画像補正部５６は、画像の拡大や縮小、回転等の画像に対する処理に応じて視差を補正するためのものである。輝度信号抽出部５２は、ステレオ画像のそれぞれについて、輝度信号を抽出して出力する。動き探索部５４は、輝度信号抽出部５２から出力される輝度信号および操作受付部２６からの操作信号に基づいて、拡大や縮小等のユーザ操作によって規定される左目の表示対象領域内の注目領域におけるステレオ画像間での動き量を、例えばブロックマッチングにより探索する。ここで探索される動き量が、表示対象領域内の注目領域における視差である。画像補正部５６は、ステレオ画像の表示対象領域が拡大や縮小、回転等が施されたうえで表示された際に適切な三次元効果が表れるように、ステレオ画像を補正する。例えば、画像補正部５６は、動き探索部５４から出力された動き量、すなわち、表示対象領域内の注目領域における視差がゼロとなるように、ステレオ画像のうちの右目用の画像を平行移動させる。
　なお、表示対象領域内の注目領域とは、表示対象領域内でユーザに注目される領域であり、任意の手法を用いて特定することが可能である。例えば、表示対象領域の中心領域を注目領域として特定したり、人間の視覚注意を引く強さを示すｓａｉｌｅｎｃｙマップに基づいて、強さがある値を超える領域を注目領域として特定することが可能である。また、視差は、ゼロではなく三次元表示に適した所定の値に調整されることとしてもよい。この場合、拡大や縮小後の画像において視差が三次元表示に適した値となるように、画像の拡大・縮小率に応じて画像の補正を行うことができる。また、画像の補正は平行移動に限られず、アフィン変換や射影変換などを用いて補正されることとしてもよい。この場合、例えば、動き探索部５４及び画像補正部５６の代わりに、ＨａｒｒｉｓやＳｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）などを用いて、表示対象領域中の輝度信号から、表示対象領域内の注目領域となる左目用の画像の画像特徴点および右目用の画像の画像特徴点を抽出し、ステレオ画像間の対応する画像特徴点が一致するような変換を施すことで、様々な画像に対する表示対象領域内の注目領域の視差をゼロにすることができる。また、輝度信号だけでなく、色差信号も用いて視差を求めてもよい。
　＝＝動作＝＝
　図６は、携帯端末１０における画像表示処理の一例を示すフローチャートである。まず、操作受付部２６が、表示対象となるステレオ画像を選択するための操作を受け付ける（Ｓ６０１）。この操作に応じて、表示制御部３２は、選択されたステレオ画像を例えば図３に示すように表示部２８に三次元表示する（Ｓ６０２）。そして、表示制御部３２は、このステレオ画像に対するユーザ操作が行われない間は（Ｓ６０３：Ｎ）、該ステレオ画像を三次元表示し続ける。
　表示部２８にステレオ画像が三次元表示されている状態において、該画像に対するユーザ操作があると（Ｓ６０３：Ｙ）、表示制御部３２は、ステレオ画像を表示部２８に二次元表示する（Ｓ６０４）。ここでは、例えば図７に示すように、ステレオ画像４０のうちの左目用の画像４０Ｌのみが表示部３２に表示されることとする。そして、表示制御部３２は、ステレオ画像に対するユーザ操作に応じた処理を実行する（Ｓ６０５）。なお、ステレオ画像に対するユーザ操作とは、画像の拡大や縮小等に限らず、画像データの作成日やサイズを確認するための情報を表示する操作など、ステレオ画像に対する画像処理を伴わないものも含まれる。そして、表示制御部３２は、ユーザ操作が行われている間（Ｓ６０６：Ｙ）、左目用の画像のみを表示した状態で、ユーザ操作に応じた処理を実行する。例えば、ユーザ操作が画像を拡大するためのものであれば、ユーザの操作中には、表示部２８には左目用の画像がユーザ操作に応じて拡大されたものが表示されることとなる。例えば、図８に示すように、左目用の画像４０Ｌのうちの一部の領域５０Ｌを拡大表示するための操作が行われると、表示制御部３２は、図９に示すように、左目用の画像４０Ｌの該領域５０Ｌを拡大表示する。
　ステレオ画像に対するユーザ操作が終了すると（Ｓ６０６：Ｎ）、表示制御部３２は、ステレオ画像に対して拡大または縮小の操作が行われたかどうか判定する（Ｓ６０７）。
　ステレオ画像に対する拡大または縮小の操作が行われていない場合（Ｓ６０７：Ｎ）、表示制御部３２は、元のステレオ画像をそのまま表示部２８に三次元表示する（Ｓ６０８）。
　一方、ステレオ画像に対する拡大または縮小の操作が行われている場合（Ｓ６０７：Ｙ）、画像の補正を行わずにそのままステレオ画像を拡大または縮小して表示すると、ステレオ画像における視差も拡大または縮小されてしまうこととなり、例えば図１０に示すように、適切な三次元効果が得られない画像が表示される可能性がある。そのため、表示制御部３２は、拡大または縮小の操作によって表示対象となった表示対象領域内の注目領域における視差が所定の値となるようにステレオ画像を補正する（Ｓ６０９）。具体的には、例えば、表示制御部３２は、表示対象領域内の注目領域における視差がゼロとなるように、ステレオ画像のうちの右目用の画像を補正する。そして、表示制御部３２は、補正後のステレオ画像を用いて、ユーザ操作によって指定された表示対象領域が表示されるように、ステレオ画像の拡大や縮小を行い（Ｓ６１０）、例えば図１１に示すように表示部２８に三次元表示する（Ｓ６１１）。
　なお、図６に示した処理では、ステレオ画像に対して拡大または縮小が行われる場合を説明したが、ステレオ画像に対する処理はこれに限られない。例えば移動操作や回転操作が行われる場合においても同様に、ユーザ操作に応じてステレオ画像に対して補正を行うことにより三次元表示に適した画像表示を行うことが可能である。
　また、図６に示した処理では、表示対象として選択された画像がはじめに三次元表示されることとしたが、選択された後は二次元表示されることとしてもよい。そして、例えば、該画像に対するユーザ操作が所定時間無い場合に三次元表示に切り替わるようにすることも可能である。
　以上、本実施形態について説明した。本実施形態によれば、三次元画像に対してユーザ操作が行われている間は三次元画像が二次元表示されるため、ユーザ操作に支障が生じない。そして、ユーザ操作が完了すると、ユーザ操作によって規定された表示対象領域の三次元効果が適切に得られるように画像の視差の補正が行われ、当該領域の三次元画像が表示される。このように、ユーザが三次元表示と二次元表示とを切り替えるための操作を明示的に行うことなく、ユーザ操作中かどうかによって、三次元表示または二次元表示が行われる。また、本実施形態では、ユーザの操作中に常に画像の補正が行われるのではなく、ユーザ操作によって表示対象領域が確定した後にのみ画像の補正が行われる。したがって、ユーザ操作中に常に画像補正を行う場合と比較して画像処理の演算量を削減することが可能である。
　なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
　例えば、本実施形態では、三次元画像として左目用の画像及び右目用の画像を含むステレオ画像を用いて説明したが、三次元画像における視点の数は３つ以上であってもよい。この場合においても、ユーザ操作中には、ある１つの視点の画像のみを表示し、ユーザ操作完了後に、補正された三次元画像が表示されることとすればよい。
　また、本実施形態では、画像の補正後に拡大や縮小等の画像処理が行われることとしたが、処理の順序は逆であってもよい。すなわち、拡大や縮小等が行われた後にステレオ画像における視差が補正されることとしてもよい。
　また、本実施形態では、画像表示装置として携帯端末を用いて説明したが、パーソナルコンピュータなど、携帯端末以外の情報処理装置においても本実施形態と同様に三次元画像の表示制御を行うことが可能である。
　この出願は、２０１１年５月１８日に出願された日本出願特願２０１１－１１１２５１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られ
ない。
（付記１）三次元画像を記憶する画像記憶部と、ユーザ操作を受け付ける操作受付部と、画像を表示可能な表示部と、前記操作受付部が、前記三次元画像に対するユーザ操作を受け付けている間は、該三次元画像を前記表示部上に二次元表示し、該ユーザ操作が完了すると、該三次元画像を前記表示部上に三次元表示する表示制御部と、を備える画像表示装置。
（付記２）付記１に記載の画像表示装置であって、前記操作受付部は、前記三次元画像が前記表示部上に三次元表示されている状態において、該三次元画像に対するユーザ操作を受け付け可能である、画像表示装置。
（付記３）付記２に記載の画像表示装置であって、前記操作受付部は、前記表示部上において前記三次元画像に対するユーザ操作を受け付け可能である、画像表示装置。
（付記４）付記１～３の何れか一項に記載の画像表示装置であって、前記画像記憶部に記憶されている三次元画像は、複数の視点の二次元画像を含み、前記表示制御部は、前記操作受付部が該三次元画像に対するユーザ操作を受け付けている間は、該三次元画像に含まれる何れか１つの視点の二次元画像を前記表示部上に表示し、該ユーザ操作が完了すると、該三次元画像に含まれる前記複数の視点の二次元画像を前記表示部上に表示する、画像表示装置。
（付記５）付記４に記載の画像表示装置であって、前記表示制御部は、前記操作受付部が前記三次元画像に対するユーザ操作を受け付けている間は、前記１つの視点の二次元画像に対して該ユーザ操作に応じた処理を施して前記表示部上に表示し、該ユーザ操作が完了すると、前記三次元画像のうちの前記ユーザ操作によって規定される表示対象領域内の注目領域の視差が所定の値となるように前記三次元画像を補正して前記表示部上に表示する、画像表示装置。
（付記６）付記１～５の何れか一項に記載の画像表示装置であって、前記操作受付部は、前記三次元画像を拡大または縮小するためのユーザ操作を受け付け可能である、画像表示装置。
（付記７）コンピュータが、画像記憶部に記憶されている三次元画像を表示部上に表示し、前記三次元画像に対するユーザ操作を受け付け、前記ユーザ操作を受け付けている間は、前記三次元画像を前記表示部上に二次元表示し、前記ユーザ操作が完了すると、前記三次元画像を前記表示部上に三次元表示する、画像表示方法。
（付記８）コンピュータに、画像記憶部に記憶されている三次元画像を表示部上に表示する機能と、前記三次元画像に対するユーザ操作を受け付ける機能と、前記ユーザ操作を受け付けている間は、前記三次元画像を前記表示部上に二次元表示する機能と、前記ユーザ操作が完了すると、前記三次元画像を前記表示部上に三次元表示する機能と、を実現させるためのプログラム。
　１０　携帯端末
　２０　通信部
　２２　撮像部
　２４　画像記憶部
　２６　操作受付部
　２８　表示部
　３０　制御部
　３２　表示制御部
　５０　画像処理部
　５２　輝度信号抽出部
　５４　動き探索部
　５６　画像補正部

Claims (8)

  1. 　三次元画像を記憶する画像記憶部と、
    　ユーザ操作を受け付ける操作受付部と、
    　画像を表示可能な表示部と、
    　前記操作受付部が、前記三次元画像に対するユーザ操作を受け付けている間は、該三次元画像を前記表示部上に二次元表示し、該ユーザ操作が完了すると、該三次元画像を前記表示部上に三次元表示する表示制御部と、
    　を備える画像表示装置。
  2. 　請求項１に記載の画像表示装置であって、
    　前記操作受付部は、前記三次元画像が前記表示部上に三次元表示されている状態において、該三次元画像に対するユーザ操作を受け付け可能である、
    　画像表示装置。
  3. 　請求項２に記載の画像表示装置であって、
    　前記操作受付部は、前記表示部上において前記三次元画像に対するユーザ操作を受け付け可能である、
    　画像表示装置。
  4. 　請求項１～３の何れか一項に記載の画像表示装置であって、
    　前記画像記憶部に記憶されている三次元画像は、複数の視点の二次元画像を含み、
    　前記表示制御部は、前記操作受付部が該三次元画像に対するユーザ操作を受け付けている間は、該三次元画像に含まれる何れか１つの視点の二次元画像を前記表示部上に表示し、該ユーザ操作が完了すると、該三次元画像に含まれる前記複数の視点の二次元画像を前記表示部上に表示する、
    　画像表示装置。
  5. 　請求項４に記載の画像表示装置であって、
    　前記表示制御部は、
    　前記操作受付部が前記三次元画像に対するユーザ操作を受け付けている間は、前記１つの視点の二次元画像に対して該ユーザ操作に応じた処理を施して前記表示部上に表示し、
    　該ユーザ操作が完了すると、前記ユーザ操作によって規定される表示対象領域内の注目領域の視差が所定の値となるように前記三次元画像を補正して前記表示部上に表示する、
    　画像表示装置。
  6. 　請求項１～５の何れか一項に記載の画像表示装置であって、
    　前記操作受付部は、前記三次元画像を拡大または縮小するためのユーザ操作を受け付け可能である、
    　画像表示装置。
  7. 　コンピュータが、
    　画像記憶部に記憶されている三次元画像を表示部上に表示し、
    　前記三次元画像に対するユーザ操作を受け付け、
    　前記ユーザ操作を受け付けている間は、前記三次元画像を前記表示部上に二次元表示し、
    　前記ユーザ操作が完了すると、前記三次元画像を前記表示部上に三次元表示する、
    　画像表示方法。
  8. 　コンピュータに、
    　画像記憶部に記憶されている三次元画像を表示部上に表示する機能と、
    　前記三次元画像に対するユーザ操作を受け付ける機能と、
    　前記ユーザ操作を受け付けている間は、前記三次元画像を前記表示部上に二次元表示する機能と、
    　前記ユーザ操作が完了すると、前記三次元画像を前記表示部上に三次元表示する機能と、
    　を実現させるためのプログラム。
PCT/JP2012/058382 2011-05-18 2012-03-29 画像表示装置、画像表示方法及びプログラム WO2012157342A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-111251 2011-05-18
JP2011111251 2011-05-18

Publications (1)

Publication Number Publication Date
WO2012157342A1 true WO2012157342A1 (ja) 2012-11-22

Family

ID=47176683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058382 WO2012157342A1 (ja) 2011-05-18 2012-03-29 画像表示装置、画像表示方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2012157342A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014077273A1 (ja) * 2012-11-16 2014-05-22 株式会社ダイゾー 吐出容器及び吐出容器の製造方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105735A (ja) * 1996-09-30 1998-04-24 Terumo Corp 入力装置及び画像表示システム
JPH10232665A (ja) * 1997-02-20 1998-09-02 Canon Inc 表示制御装置及び方法
JP2004280496A (ja) * 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
JP2010263342A (ja) * 2009-05-01 2010-11-18 Fujifilm Corp ３次元表示装置及びデジタルズーム補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105735A (ja) * 1996-09-30 1998-04-24 Terumo Corp 入力装置及び画像表示システム
JPH10232665A (ja) * 1997-02-20 1998-09-02 Canon Inc 表示制御装置及び方法
JP2004280496A (ja) * 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
JP2010263342A (ja) * 2009-05-01 2010-11-18 Fujifilm Corp ３次元表示装置及びデジタルズーム補正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014077273A1 (ja) * 2012-11-16 2014-05-22 株式会社ダイゾー 吐出容器及び吐出容器の製造方法

Similar Documents

Publication Publication Date Title
CN107852487B (zh) 用于生成360度三维图像的电子设备及用于该电子设备的方法
US20130265311A1 (en) Apparatus and method for improving quality of enlarged image
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2010175643A (ja) 電子機器、および、プログラム
WO2013146996A1 (ja) 画像処理装置、撮像装置および画像処理方法
JP5687803B2 (ja) 画像処理装置及び方法並びに撮像装置
WO2013146066A1 (ja) 画像処理装置及び方法並びに撮像装置
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2013146041A1 (ja) 画像処理装置及び方法並びに撮像装置
JP5521608B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2013125122A1 (ja) 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
WO2014106916A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JPWO2013145820A1 (ja) 撮影装置、方法、記憶媒体及びプログラム
JP5224352B2 (ja) 画像表示装置及びプログラム
JP5272269B2 (ja) 電子機器、および、プログラム
WO2012157342A1 (ja) 画像表示装置、画像表示方法及びプログラム
EP3599763A2 (en) Method and apparatus for controlling image display
US9542720B2 (en) Terminal device, image display method, and storage medium
JP2011071996A (ja) 電子機器、および、プログラム
CN105338261A (zh) 一种传输图片相关信息的方法及装置
JP2013055695A (ja) 電子機器、および、プログラム
CN104049855B (zh) 图像查看系统及方法
JP5641109B2 (ja) 電子機器、および、プログラム
US20130286007A1 (en) Apparatus and method for displaying stereo-scopic image in electronic device
KR20130011384A (ko) 3차원 영상 처리 장치 및 3차원 영상 처리 장치의 설정값을 조절하기 위한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12785726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12785726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP