WO2011145322A1 - パノラマ展開画像表示装置およびパノラマ展開画像表示方法 - Google Patents

パノラマ展開画像表示装置およびパノラマ展開画像表示方法 Download PDF

Info

Publication number
WO2011145322A1
WO2011145322A1 PCT/JP2011/002712 JP2011002712W WO2011145322A1 WO 2011145322 A1 WO2011145322 A1 WO 2011145322A1 JP 2011002712 W JP2011002712 W JP 2011002712W WO 2011145322 A1 WO2011145322 A1 WO 2011145322A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
panoramic
subject
cutout
unit
Prior art date
Application number
PCT/JP2011/002712
Other languages
English (en)
French (fr)
Inventor
偉志 渡邊
横光　澄男
藤井　博文
藤松　健
裕一 松本
三輪　道雄
杉浦　雅貴
森岡　幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180024503.7A priority Critical patent/CN102893594B/zh
Priority to EP11783259.2A priority patent/EP2574036A4/en
Priority to US13/697,635 priority patent/US9374528B2/en
Publication of WO2011145322A1 publication Critical patent/WO2011145322A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/08—Trick photography
    • G03B15/10—Trick photography using back-projection, i.e. blending artificial background with real foreground

Definitions

  • the present invention relates to a panorama developed image display apparatus and a panorama developed image display method.
  • an image obtained by panoramic development of the entire surrounding image has a characteristic that the other length is much longer than the other length. Therefore, as a means for displaying the entire panoramic image at once, there is a method of dividing the image into a plurality of images and displaying them in a plurality of stages in a vertical arrangement. (For example, refer to Patent Document 1).
  • the height of an image to be panorama developed is determined by setting an inner circle and an outer circle in a 360-degree annular image captured by a fisheye lens.
  • an omnidirectional imaging device is placed at the center of a table. When a meeting scene or the like is imaged, the subject can be processed without being cut off.
  • the panoramic development image capturing apparatus disclosed in Patent Document 1 does not target a scene in which the subject of interest moves frequently, and when the panoramic development image is cut out in multiple stages, the subject moves to the boundary of the cut-out image. In this case, there is a problem that the subject is cut.
  • the present invention has been made in order to solve the conventional problems, and a panoramic developed image display device capable of capturing an image of the subject without interruption by changing the display form according to the movement of the subject on the panoramic developed image. And it aims at obtaining the panorama expansion image display method.
  • a panoramic developed image display device is a panoramic developed image display device that displays a panoramic developed image by dividing it into at least two panoramic images, and sets a cutout reference position for the panoramic developed image.
  • a reference position setting unit ; a subject detection unit that detects a subject that is a display target from the panorama development image; a cutout position determination unit that determines a cutout position of a panoramic image from the relationship between the detected subject position and the cutout reference position;
  • a display image generation unit that displays a panoramic image cut out from the panoramic development image at the cut-out position.
  • the screen configuration to be displayed can be changed based on the position information of the subject, and the display that makes it easy for the user to understand the connection between the panoramic images. It becomes possible.
  • the panorama developed image is a moving image developed
  • the cutout position determination unit is configured to detect the subject when the position of the subject approaches the cutout reference position. The cutout position is determined so that the whole body is included in the panoramic image.
  • the panoramic expanded image display device of the present invention has a display unit that displays the panoramic image in a display area, and the display image generation unit displays the panoramic image in the display area after the cutout position is updated. The size is changed to match the display.
  • the panorama image display range can be displayed in an expanded / contracted manner, and the image can be resized to fit the display area. It is easy to communicate visually, and display is possible without wasting the display area.
  • the panoramic developed image display device of the present invention has a background feature extracting unit that extracts a background image feature of a background from the panoramic developed image, and the cutout reference position determining unit is configured to extract the cutout reference based on a background image feature. It has the structure which determines a position.
  • This configuration makes it possible to display a panoramic image based on the background characteristics, and display that is easy for the user to understand.
  • the panoramic developed image display device of the present invention has a configuration using color information in the background feature extraction unit.
  • the panoramic developed image display device of the present invention has a configuration in which character information is used in the background feature extraction unit.
  • the panoramic developed image display device of the present invention has a configuration in which texture information is used in the background feature extraction unit.
  • This configuration makes it possible to set a portion where the texture is constant not to be selected as the cut-out image edge, and it is possible to assist the user in grasping the space by automatically selecting a background portion having a characteristic at the image edge.
  • the panoramic developed image display device of the present invention has a configuration in which the background feature extraction unit uses detection frequency information of a target subject.
  • a region that should be noted by the user such as a busy passage, is not selected at the break of the panoramic image.
  • the panoramic developed image display device of the present invention has a configuration in which the cutout reference position determining unit is determined so that ends of the panoramic images overlap each other.
  • the panoramic developed image display device of the present invention is a panoramic developed image display device that displays a panoramic developed image by dividing it into at least two panoramic images, and sets a cutout reference position for the panoramic developed image.
  • a panoramic image is cut out from the panorama development image at the cut-out position, and a 3D position determination unit that determines a 3D pop-out state according to the position of the subject in the panoramic image, and a 3D pop-up state determined by the 3D position determination unit 3D image that creates a 3D image with the subject popping out And it has a generating unit.
  • the screen configuration to be displayed can be changed based on the subject position information, and the subject position can be displayed in 3D.
  • the panorama developed image display device is a panorama developed image display device that displays a panorama developed image by dividing it into at least two panorama images, and sets a cutout reference position for the panorama developed image.
  • a cutout reference position setting unit a subject detection unit that detects a subject that is a display target from the panorama development image, a 3D position determination unit that determines a 3D pop-out degree according to the position of the subject in the panoramic image, and the 3D position It has a 3D image generation unit that creates a 3D image in which the subject is popping out in accordance with the 3D popping out state determined by the determining unit.
  • the 3D position determining unit has a configuration in which the degree of popping out at the image end of different panoramic images connected before division is the same.
  • the subject when panorama development images are cut out and displayed in multiple stages, the subject is interrupted even in a scene in which the user can grasp the space and the connection between the panoramic images is easy to understand and the subject moves frequently. It is possible to provide a panoramic developed image display device and a panoramic developed image display method that have an effect of displaying without being performed.
  • the block diagram of the panoramic expansion image display apparatus in the 1st Embodiment of this invention Flow diagram for explaining the operation of the panorama developed image display device using the stretchable area (A)-(c) Explanatory drawing which shows the division
  • the block diagram of the panoramic expansion image display apparatus in the 2nd Embodiment of this invention Flow diagram for explaining the operation of a panoramic developed image display device using 3D display (A), (b) The figure which shows the example of data which a 3D position information holding part hold
  • FIG. 1 shows a configuration of a panoramic developed image display apparatus according to the first embodiment of the present invention.
  • a panoramic expanded image display device 100 includes an omnidirectional image generating unit 101 that generates an omnidirectional image from an omnidirectional camera such as a fisheye camera, a panoramic expanded unit 102 that expands a panoramic image, and a panoramic expanded image.
  • a background feature extraction unit 103 that extracts a background image feature amount from the image
  • a cutout reference position update unit 104 that updates a cutout reference position suitable for cutting out a panoramic developed image based on the background features, and a subject to be displayed.
  • FIG. 2 shows an operation flow of the panoramic developed image display device 100 configured as described above.
  • an omnidirectional camera image is acquired from the omnidirectional image generation unit 101 (step 201).
  • the panoramic developing unit 102 develops the acquired omnidirectional camera image, and obtains a panoramic developed image obtained by cutting and developing the 360-degree omnidirectional image at an arbitrary position (step 202).
  • a general technique described in the cited document 1 can be used for this panorama development technique.
  • the left end and the right end of the developed image are actually adjacent regions, and depending on the clipping reference position described later, a certain distance from the left (right) end of the panorama developed image Even if it is cut out and connected to the right (left) end as it is, the connectivity of the image is maintained.
  • step 203 it is determined whether or not the cutout reference position is updated. In this step, it is determined that the panorama unfolded image display device 100 is updated at the initial start-up, or when the imaging target region changes greatly due to another factor, or at an arbitrary timing determined by the operator. If it is determined to update, the cutout reference position is updated (steps 204 and 205). To update the cutout reference position, the background feature extraction unit 103 first extracts background feature amounts such as texture information, color information, and character information on the image (step 204). At this time, the feature quantity to be extracted may be obtained through another route by a sensor or the like in addition to image processing.
  • background feature amounts such as texture information, color information, and character information on the image
  • the cutout reference position update unit 104 updates the cutout reference position by using the background feature amount obtained in step 204 and updates the background information (step 205).
  • the cutout reference position update unit 104 obtains a reference position for cutting out a panoramic developed image into a panoramic image.
  • the background information score is increased so that a region having a characteristic (a texture is not uniform, a color is special compared to others, character information such as a signboard is embedded, etc.) is higher.
  • the background information score is calculated so that the value decreases as the subject detection frequency increases.
  • the region with the highest background score at the left end of the first divided image is divided into the Nth divided image. It will also be included at the right edge of the image.
  • the region with the second highest background score is used instead of the region with the highest background score. Is used as a reference to reset the cutout position of the panorama development image. Thereafter, this is repeated to set an optimal cutout reference position.
  • a constraint condition may be added so that the image widths of the respective stages are equal.
  • FIG. 3A shows a situation in which a background score first region 302, a background score second region 303, and a background score low region 304 are photographed in the omnidirectional image 301.
  • the entire surrounding image 301 is divided into three at the first cut 305 based on the region 302 having the first background score as shown in FIG. It falls on the edges of the eyes and the second-stage divided image.
  • the subject detection unit 105 subsequently detects the subject with respect to the panorama development image and indicates the likelihood of a subject (for example, a person) at each position in the image.
  • the subject detection result obtained for the score is output.
  • the subject position calculation unit 106 determines a position where the score representing the subjectness is equal to or greater than the threshold based on the subject detection result as the subject position, and outputs subject position information (step 206).
  • the display image generation unit 107 determines a cutout position of the panorama development image generated by the panorama development unit 102 from the cutout reference position and the subject position information, and cuts out (step 207) to generate a panorama image (steps 208 to 210). ).
  • step 208 it is determined whether or not the distance between the subject detection result and the cutout reference position is equal to or greater than a certain value (step 208).
  • Generation step 209), if it is below a certain value, the cutout reference position is adjusted and a cutout panoramic image is generated (step 210). Details of the cut-out reference position adjustment process in step 210 will be described later.
  • FIG. 4 shows a display example of the first embodiment.
  • 4A and 4B show an example in which two cut-out panoramic images are generated from the panorama development image and displayed in two stages on the monitor 11. Cutout panoramic images are displayed in the upper part 12 and the lower part 13 of the divided screen, respectively.
  • FIG. 4A shows an example of displaying a cut-out panoramic image generated by using the cut-out reference position set by the background information update unit as it is. At this time, the same thing is overlapped and displayed on the right end of the upper part 12 of the divided screen and the left end of the lower part 13 of the divided screen.
  • Reference numerals 20 and 21 in FIG. 4B show examples in which the extracted panorama image generated after the person detection has been performed and the cutout reference position is adjusted is displayed using the extension area 14.
  • the stretchable area 14 is an area where display / non-display can be selected prepared on the left and right sides of the image in order to change the display width of the image when the subject 22 reaches the screen edge.
  • FIG. 4B shows an example in which an image is displayed using the stretchable area 20 when the subject 22 reaches the right end of the upper stage 12 of the divided screen.
  • an example is shown in which an image is displayed by using the left margin 13 of the lower part 13 of the divided screen. It should be noted that arbitrary information may be displayed in the margin 14 while the display is performed at the cutout reference position.
  • FIG. 5 shows an example of operation in this embodiment.
  • FIG. 5 shows an example in which the subject 17 (here, a person) moves from left to right in the panoramic development image.
  • An image surrounded by a thick frame at the top of the figure is a panoramic development image.
  • the panoramic developed image is an image in which the ends are connected to each other, it can be handled as a continuous image even when the panoramic image is out of the thick frame at the time of clipping.
  • the dotted line areas on the left and right sides of the thick frame correspond to an image obtained by cutting a certain distance from the left (right) end of the panorama development image and connecting it to the right (left) end as it is.
  • FIG. 5 shows an example in which this panoramic development image is displayed in two stages as in FIGS. 4 (a) and 4 (b).
  • the cut-out panoramic image displayed on the upper row is referred to as a screen 1
  • the cut-out panoramic image displayed on the lower row is referred to as a screen 2.
  • the cutout reference position is obtained in advance by the cutout reference position update unit.
  • the left and right cutout reference positions are obtained for the screen 1 and the screen 2, respectively.
  • a subject position (person position) 17 is detected by the subject position calculation unit 106.
  • the person's position 17 is separated from all the left and right cutout reference positions of the screen 1 and the screen 2 by a predetermined distance d1 or more.
  • the cut out panoramic image is displayed, and the person is displayed in the upper part 12 of the divided screen.
  • the constant distance dR is added to the right cutout reference position of the screen 1.
  • a cut-out panoramic image of the screen 1 is generated so that the position is the screen edge, and is displayed on the upper part 12 of the divided screen.
  • the screen 2 generates a cutout panoramic image of the screen 2 so that the left cutout reference position of the screen 2 is at the screen edge, and displays it on the lower part 13 of the divided screen.
  • a panoramic image is generated so that the cutout reference position is set to the end of the screen on both the screens 1 and 2. It is displayed in the upper screen 12 and the lower screen 13 of the divided screen. Similarly, when the subject moves from the right side to the left side of the upper part 12 of the divided screen, the image ends having a connection relationship on the original panorama developed image such as the right end of the lower part 13 of the divided screen and the left end of the upper end 12 of the divided screen are also displayed. By expanding and contracting each, the subject can be displayed without being interrupted.
  • the background feature extraction unit 103 and the cutout reference position update unit 104 can detect a place having an image feature after the panorama development image is cut out.
  • the cutout reference position is set so that it is preferentially selected for each image edge, and the subject position calculation unit 106 further changes the cutout position of the panorama development image according to the subject position to expand and contract the display range.
  • the subject can be displayed without being interrupted, and the movement of the person can be easily understood by the user because of the expansion and contraction.
  • the display method when the subject approaches the fixed distances d1 and d2 from the cutout reference position is fixed to a predetermined width without expanding or contracting the cutout panoramic image display range, and the width of the cutout panoramic image is (Hereinafter, a panoramic image cut out with this width is referred to as a resize target area).
  • a panoramic image cut out with this width is referred to as a resize target area.
  • FIG. 6 shows a flow when resizing is used
  • FIG. 7 shows a screen display example
  • FIG. 8 shows an operation example.
  • the same processes as those in the flow shown in FIG. 2 have the same numbers.
  • step 510 the display area is resized instead of being expanded and contracted. As shown in FIG.
  • each cut-out panoramic image does not expand or contract, so that the stretchable area is unnecessary.
  • the resize target area in the above-described example is indicated by a thick dotted frame in each image from time t to time t + 3.
  • the resize target area of the screen 2 at time t + 1 is wider than the resize target area of the screen 2 at time t.
  • the resize target area of the screen 2 at time t + 1 is resized so as to reduce the width, and is displayed in accordance with the width at time t.
  • an image captured by an omnidirectional camera using a fisheye lens or the like is used as an input image.
  • the same effect can be obtained even when a panoramic image is created using one or more ordinary cameras. It is done.
  • it is not essential to obtain the cutout reference position using the background feature and a position determined in advance or a position designated by a person may be used as the cutout reference position.
  • the cutout reference position By determining the cutout reference position so that it overlaps, the same object is included in different panorama cutout images, so if it is a characteristic object, there is an advantage that the positional relationship is easy for the user to understand, and cutout so that it does not overlap
  • the reference position By determining the reference position, there is a merit that the display area can be saved. Therefore, the selection may be made according to the application and use conditions.
  • FIG. 9 shows a panoramic developed image display apparatus 800 according to the second embodiment of the present invention.
  • the same constituent elements as those in the panoramic expanded image display apparatus 100 described in the first embodiment are denoted by the same numbers.
  • the second embodiment of the present invention includes an omnidirectional image generation unit 101, a panorama development unit 102, a background feature extraction unit 103 that extracts a background image feature amount from a panorama development image, and a background feature.
  • a cutout reference position update unit 104 that updates a position suitable for cropping a panoramic image, a subject detection unit 105 that detects a subject that is a display target, and a subject position calculation unit 106 that calculates a subject position.
  • a 3D image generation unit 801 that generates 3D image of the subject by calculating 3D position information (information about how the image pops out when the 3D image is generated) based on the subject information, and a 3D position corresponding to each subject position
  • a 3D position information holding unit 802 that holds information, and a cutout clipped from the panorama development image according to the generated 3D image and the cutout reference position
  • An image combining unit 803 for combining the panorama image is composed of a display unit 108 for displaying the synthesized image.
  • the 3D position information holding unit 802 holds 3D position information corresponding to the subject position in the cut-out panoramic image, and can be determined in advance according to the case where the panorama development image is divided into two or three. Good.
  • the 3D position information at the corresponding image edge of adjacent cut-out panoramic images is set to the same value.
  • FIG. 11 shows an example of data held by the 3D position information holding unit.
  • FIG. 11A schematically shows a 3D pop-out state according to the subject position when the panoramic development image is divided into two.
  • (B) is an example in the case of dividing into three.
  • the dotted line portion corresponds to one cut-out panoramic image
  • the thick line portion corresponds to the pop-out amount. That is, if the cutout reference position (the position at the end of the dotted line) and the subject position are known, the pop-out amount can be obtained. Note that the edge of the cut-out panoramic image is connected to which end of the other cut-out panoramic image even when the subject is not moving by making the 3D image based on the 3D position information with respect to the background as well as the subject. Becomes easier to understand.
  • Steps 201 to 207 are the same as those in the first embodiment.
  • the cut-out reference position and the subject position are obtained.
  • the 3D image generation unit 801 obtains the pop-out amount based on the output position information of the subject and the 3D position information stored in the 3D position information holding unit 802 (step 901).
  • a 3D image of the subject that appears to be popping out with the calculated pop-out amount is created (step 902).
  • the image composition unit 803 composites and displays the cut-out panoramic image in which the subject exists and the 3D image of the subject. Create
  • FIG. 12 shows an example of 3D image generation.
  • FIG. 12 is a virtual overhead view of the drawing plane.
  • the screen 1 displays that the left side is projected to the back and the right side is projected to the front.
  • the 3D position information holding unit 802 stores the stereoscopic condition for each position of the subject, and the 3D image generation unit 801 generates a 3D image so that the subject image can be stereoscopically viewed based on the position information of each subject.
  • the display unit 108 After being synthesized with the original panoramic developed image by the image synthesizing unit 803, the display unit 108 performs display.
  • each divided panoramic image the adjacent portions are displayed so as to be stereoscopically viewed at the same height.
  • the right end of the screen 1 and the left end of the screen 2 display the same place, and the 3D depth information line 32 indicating the depth information for each position of the subject 33 holds the 3D position information so that both are the same height. It is adjusted by the section 802. The same applies to the left end of screen 1 and the right end of screen 2.
  • 3D position information is set in the 3D position information holding unit so that the right edge and the left edge of the screen 1 are different from each other, if two subjects are moving simultaneously on the right edge and the left edge of the screen 1 However, since the projection of the two subjects is different, the display is such that the connection between the image edges can be easily understood.
  • the subject is detected by the subject detection unit 105, the 3D position information holding unit 802 refers to the 3D information of the corresponding position, and the 3D
  • the 3D position information holding unit 802 refers to the 3D information of the corresponding position
  • the 3D By displaying the 3D image by the image generation unit 801 and displaying the panorama development image in a plurality of stages, it is possible to display the connection between the separated image edges in an easy-to-understand manner.
  • the panorama development image is divided into two screens, but when the image is divided into three or more, similarly, adjacent regions are displayed in 3D at the same height.
  • the said effect is acquired by making the height of an adjacent area
  • the background cut-out position detected by the cut-out reference position update unit 104 and the subject calculated by the subject position calculating unit 106 are performed as in the first embodiment. It is also possible to determine the cutout position of the background image based on the position of the panorama image, cut out the panorama image, and combine the 3D information using the panorama image as a background.
  • the panorama developed image display apparatus has an effect that the panorama developed image cutout position and display method can be changed according to the movement of the subject, and uses an omnidirectional camera or a plurality of cameras. It is useful as a method for displaying a panoramic image created in this way, and can be widely used for, for example, a monitoring solution using an omnidirectional camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　本発明の課題は、ディスプレイに全周囲画像をパノラマ展開して表示する際、２段以上に分割する必要があるが、注目する物体が分割するところで切れてしまうということである。　パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とからなるパノラマ展開画像表示装置を提供する。

Description

パノラマ展開画像表示装置およびパノラマ展開画像表示方法
　本発明はパノラマ展開画像表示装置およびパノラマ展開画像表示方法に関するものである。
　通常、全周囲画像をパノラマ展開した画像は、画像の一方の長さに比べ、他方の長さの方が遥かに長いという特性を持っている。そのため、パノラマ展開した画像全体を一度に表示する手段として、画像を複数に切り分けて、それぞれを縦に並べて複数段構成で表示するという手法がある。（例えば、特許文献１参照）。
　特許文献１では魚眼レンズにより撮像された３６０度の環状映像において、内円と外円を設定することでパノラマ展開すべき画像の高さを決定し、例えばテーブルの中央に全方位撮像装置を置いて、会議風景などを撮像した際、被写体の頭が切れてしまうことなく処理することを可能としている。
日本国特開２００８－２８６０６号公報
　しかしながら、特許文献１のパノラマ展開画像撮像装置では、注目している被写体が頻繁に移動するシーンを対象としておらず、複数段にパノラマ展開画像を切り出した際、切り出し画像の境界に被写体が移動した場合、被写体が切れてしまうという課題がある。
　本発明は、従来の問題を解決するためになされたもので、パノラマ展開画像上の被写体の移動に合わせて表示形態を変動させることで、被写体が途切れてしまうことなく撮像できるパノラマ展開画像表示装置およびパノラマ展開画像表示方法を得ることを目的とする。
　本発明に係るパノラマ展開画像表示装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と、を有する。
　この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、ユーザにとってパノラマ画像同士の繋がりが分かりやすい表示が可能となる。
　さらに、本発明のパノラマ展開画像表示装置は、前記パノラマ展開画像は動画像を展開したものであり、前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定する構成を有している。
　この構成により、パノラマ画面端に被写体が移動した際に画面端が伸縮した表示が可能となり、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくかつ被写体が途切れて映るような事を防ぐことができる。
　さらに、本発明のパノラマ展開画像表示装置は、前記パノラマ画像を表示領域に表示する表示部を有し、前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させる構成を有している。
　この構成により、パノラマ画像端に被写体が移動した際にパノラマ画像の表示範囲を伸縮した表示を行いかつ表示領域に合わせて画像をリサイズすることができ、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくなるとともに、表示領域を無駄にすることなく表示が可能となる。
　さらに、本発明のパノラマ展開画像表示装置は、前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定する構成を有している。
　この構成により、背景特徴に基づいてパノラマ画像を表示することができるようになり、ユーザにとって分かりやすい表示が可能となる。
　さらに、本発明のパノラマ展開画像表示装置は、前記背景特徴抽出部にて、色情報を用いる構成を有している。
　この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
　さらに、本発明のパノラマ展開画像表示装置は、前記背景特徴抽出部にて、文字情報を用いる構成を有している。
　この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
　さらに、本発明のパノラマ展開画像表示装置は、前記背景特徴抽出部にて、テクスチャ情報を用いる構成を有している。
　この構成により、テクスチャが一定の部分は切り出し画像端として選択しない設定が可能になり、画像端に特徴がある背景部を自動選択することで、ユーザの空間把握を補助することができる。
　さらに、本発明のパノラマ展開画像表示装置は、前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いる構成を有している。
　この構成により、例えば人通りの多い通路など、ユーザが注目すべき領域が画像のパノラマ画像の切れ目に選択されることが無くなる。
　さらに、本発明のパノラマ展開画像表示装置は、前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される構成を有している。
　この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
　さらに、本発明のパノラマ展開画像表示装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、前記３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
　この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、被写体の位置を３Ｄ的に表示することができ、被写体の立体的な位置によってユーザがパノラマ画像同士の繋がりや、被写体の位置関係を把握しやすい表示が可能となる。
　さらに、本発明に係るパノラマ展開画像表示装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、前記３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
　この構成により、ユーザにとってパノラマ画像同士のつながりが分かりやすい表示を実現することができる。
　さらに、本発明に係るパノラマ展開画像表示装置は、前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにする構成を有している。
　この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
　本発明は、パノラマ展開画像を複数段に切り出して表示した際に、ユーザの空間把握を補助しパノラマ画像同士の繋がりが分かりやすく、かつ被写体が頻繁に移動するようなシーンにおいても、被写体を途切れさせることなく表示させるという効果を有するパノラマ展開画像表示装置およびパノラマ展開画像表示方法を提供することができるものである。
本発明の第１の実施の形態におけるパノラマ展開画像表示装置のブロック図 伸びしろ領域を利用したパノラマ展開画像表示装置の動作説明のためのフロー図 （ａ）～（ｃ）全周囲画像の分割方法を示す説明図 （ａ），（ｂ）伸びしろ領域を利用したパノラマ展開画像表示装置の２画面構成を示す図 伸びしろ領域を利用したパノラマ展開画像表示装置の動作を示す説明図 リサイズ処理を用いたパノラマ展開画像表示装置の動作説明のためのフロー図 リサイズ処理を用いたパノラマ展開画像表示装置の２画面構成を示す図 リサイズ処理を用いたパノラマ展開画像表示装置の動作を示す説明図 本発明の第２の実施の形態におけるパノラマ展開画像表示装置のブロック図 ３Ｄ表示を用いたパノラマ展開画像表示装置の動作説明のためのフロー図 （ａ），（ｂ）３Ｄ位置情報保持部の保持するデータ例を示す図 ３Ｄ表示を用いたパノラマ展開画像表示装置の動作例を示す図
（実施の形態１）
　以下、本発明の実施の形態のパノラマ展開画像表示装置について、図面を用いて説明する。ここでは、パノラマ展開画像を得るのに３６０度撮像可能な全方位カメラを用いている。
　本発明の第１の実施の形態のパノラマ展開画像表示装置の構成を図１に示す。図１において、パノラマ展開画像表示装置１００は魚眼カメラなどの全方位カメラから全方位画像を生成する全方位画像生成部１０１と、全方位画像をパノラマ展開するパノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ展開画像の切り出しに適した切り出し基準位置を更新する切り出し基準位置更新部と１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、検出された被写体の位置を算出する被写体位置算出部１０６と、先に抽出した切り出し基準位置および被写体位置情報に基づいてパノラマ展開画像の切り出しの際の画像端の位置を決定し、複数個の切り出しパノラマ画像を生成する表示画像生成部１０７と、表示画像生成部１０７で生成した複数個の切り出しパノラマ画像を表示する表示部１０８を有している。
　以上のように構成されたパノラマ展開画像表示装置１００の動作フローを図２に示す。はじめに、全方位画像生成部１０１から全方位カメラ画像を取得する（ステップ２０１）。次に、取得した全方位カメラ画像に対してパノラマ展開部１０２にて展開を行い、３６０度の全方位画像を任意の位置で切断して展開したパノラマ展開画像を得る（ステップ２０２）。このパノラマ展開手法は引用文献１に記載してある一般的な手法を用いることができる。また、３６０度の全方位画像を展開しているため、展開画像の左端と右端は実際には隣接した領域であり、後述の切り出し基準位置によってはパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させても、画像の接続性は保たれることになる。
　次に、切り出し基準位置を更新するかどうかの判断を行う（ステップ２０３）。当ステップでは、パノラマ展開画像表示装置１００の初期起動時、あるいは別要因によって撮像対象領域が大きく変化した場合、または操作者が決めた任意のタイミングで更新すると判断する。更新すると判断された場合には切り出し基準位置の更新を行う（ステップ２０４、２０５）。
　切り出し基準位置の更新は、まず背景特徴抽出部１０３が画像上のテクスチャ情報や色情報、文字情報等の背景特徴量を抽出する（ステップ２０４）。このとき、抽出する特徴量は画像処理の他、センサーなどにより別経路で入手しても良い。
　続いてステップ２０４で求めた背景特徴量を用いて切り出し基準位置更新部１０４は切り出し基準位置を更新して背景情報の更新を行う（ステップ２０５）。切り出し基準位置更新部１０４では、パノラマ展開画像をパノラマ画像に切り出すときの基準位置を求めるのであるが、複数段に分かれたパノラマ画像の端同士の対応関係をわかりやすくするためには、画像的な特徴がある領域（テクスチャが一様でない、色が他に比べ特殊である、看板等文字情報が埋め込まれている、等）ほど値が高くなるように、背景情報スコアを高くする。一方、被写体が動いている場合には、パノラマ画像の端に被写体がないほうが良いので、被写体の検出頻度が高いほど値が低くなるように背景情報スコアを算出する。
　このようにして、パノラマ展開した画像上のどの位置に特徴的な領域（物体）があるかを表す背景情報を求め、背景スコアが高い領域がパノラマ画像の切り出し後の各画像端に優先的に選ばれるよう、パノラマ展開画像の切り出し基準位置を設定、更新する。例えば、パノラマ展開画像をN段に分割して表示する際には、背景スコア最上位の領域を第１段目の分割画像左端に含むように設定し、その位置を基準にパノラマ展開画像全体をＮ分割して表示を行う。
　本方式では各分割画像の両端は隣り合う分割画像と一部重なりを持って表示を行うため、第１段目の分割画像の左端にある背景スコア最上位の領域は、第Ｎ段目の分割画像の右端にも含まれることになる。この設定により、仮に第ｍ番目の分割画像（ｍ＝１…Ｎ）の画像端にて背景スコアが低い領域が選択された場合、背景スコア最上位の領域の代わりに背景スコア第2位の領域を基準として、パノラマ展開画像の切り出し位置を再設定する。以下、これを繰り返し、最適な切り出し基準位置を設定する。これにより、分離した各パノラマ展開画像の繋がりが操作者にわかりやすくなるという効果がある。この際に、各段の画像幅が等しくなるように制約条件を加えても良い。
　この様子を図３（ａ）～（ｃ）を用いて説明する。図３（ａ）は、全周囲画像３０１の中に、背景スコア第１位の領域３０２、背景スコア第２位の領域３０３、背景スコアの低い領域３０４が撮影されている様子を示している。
　最初に、１回目の切れ目３０５で、図３（ｂ）のように背景スコア第１位の領域３０２を基準にして全周囲画像３０１を３分割すると、背景スコアが低い領域３０４の物体が１段目と２段目の分割画像の端にかかってしまう。
　そこで、２回目の切れ目３０６で、図３（ｃ）のように背景スコア第２位の領域３０３を基準にして画像を分割すると、背景スコアが低い領域３０４が分割画像によって分割されることなく表示される。
　切り出し基準位置の更新が終了したもしくは、更新が不要だった場合に、続いて被写体検出部１０５がパノラマ展開画像に対して被写体検出を行い画像内の各位置での被写体（例えば人物）らしさを表すスコアを求めた被写体検出結果を出力する。
　さらに被写体位置算出部１０６は、被写体検出結果を基に被写体らしさを表すスコアが閾値以上の位置を被写体の位置と判断し、被写体位置情報を出力する（ステップ２０６）。
　続いて表示画像生成部１０７は、切り出し基準位置と被写体位置情報とからパノラマ展開部１０２で生成されたパノラマ展開画像の切り出し位置を決定し切り出し（ステップ２０７）パノラマ画像を生成する（ステップ２０８～２１０）。
　具体的には、被写体検出結果と切り出し基準位置との距離が一定値以上かどうかを判断し（ステップ２０８）、一定値以上の場合には切り出し基準位置が画像端となるように切り出しパノラマ画像を生成（ステップ２０９）、一定値以下の場合には切り出し基準位置を調整した上で切り出しパノラマ画像を生成する（ステップ２１０）。ステップ２１０での切り出し基準位置の調整処理の詳細については後述する。
　図４に第１の実施形態の表示例を示す。図４（ａ）、（ｂ）はモニター１１に、パノラマ展開画像から２つの切り出しパノラマ画像を生成し２段に表示した例になっている。分割画面上段１２と分割画面下段１３にそれぞれ切り出しパノラマ画像を表示している。図４（ａ）は背景情報更新部で設定された切り出し基準位置をそのまま利用して生成した切り出しパノラマ画像を表示した例を示している。このとき、分割画面上段１２の右端と、分割画面下段１３の左端は同じものが重複して表示されている。
　図４（ｂ）の２０、２１には、人物検出が行われたため切り出し基準位置を調整したうえで生成した切り出しパノラマ画像を伸びしろ領域１４を利用して表示した例を示している。伸びしろ領域１４とは、被写体２２が画面端に来た際、画像の表示幅を変動させて表示するために画像の左右に用意した、表示/非表示が選択できる領域である。
　図４（ｂ）では、被写体２２が分割画面上段１２の右端に来たとき、伸びしろ領域２０を利用して画像を表示する例を示している。また、分割画面下段１３の左端の伸びしろ領域２１も利用して画像を表示する例を示している。
　なお、この伸びしろ領域１４には、切り出し基準位置で表示が行われている間は、任意の情報が表示されていても良い。
　図５に本実施の形態における動作例を示す。図５はパノラマ展開画像中で被写体１７（ここでは人物とする）が左から右へ移動する例である。図の上にある太枠で囲まれた画像がパノラマ展開画像である。前述したように、パノラマ展開画像は端同士が接続した画像であるため、切り出しの際には太枠から外れた場合でも連続した画像として扱うことができる。太枠の左右にある点線の領域はパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させた場合の画像にあたる。
　図５は、このパノラマ展開画像を図４（ａ），（ｂ）と同じく２段に分けて表示する場合の例である。ここでは上段に表示する切り出しパノラマ画像を画面１、下段に表示する切り出しパノラマ画像を画面２と呼ぶ。事前に切り出し基準位置更新部により、切り出し基準位置が求められている。図に示すように画面１、画面２に対してそれぞれ左右の切り出し基準位置が求められている。また、被写体位置算出部１０６により被写体位置（人物の位置）１７が検出されている。
　時刻ｔにおいて、人物の位置１７は画面１、画面２の左右の切り出し基準位置の全てから一定距離ｄ１以上離れているため、分割画面上段１２、分割画面下段１３ともに切り出し基準位置を画面端として切り出した切り出しパノラマ画像を表示しており、人物は分割画面上段１２に表示されている。
　時刻ｔ＋１になると、人物１６が画面１の右切り出し基準位置（時刻ｔ１での分割画面上段１２の右端に相当）から一定距離ｄ１に近づいたため、画面２の左切り出し基準位置に一定距離ｄＬを加えた位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。このように表示することで分割画面上段１２、分割画面下段１３ともに人物が表示されるようになる。また、画面端に近づいたことをユーザに気づかせることが可能となる。
　時刻ｔ＋２になると、人物１５が画面１の右切り出し基準位置（時刻ｔ＋１での分割画面上段１２の右端に相当）から一定距離ｄ２に近づいたため、画面１の右切り出し基準位置に一定距離ｄＲを加えた位置が画面端になるように画面１の切り出しパノラマ画像を生成し、分割画面上段１２に表示する。また、画面２は画面２の左切り出し基準位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。　　　
　更に時間が進み、時刻ｔ＋３となると、人物１８は画面２の左切り出し基準位置から距離ｄ１以上離れたため、画面１、画面２ともに切り出し基準位置を画面端とするようにパノラマ画像が生成され、分割画面上段１２、分割画面下段１３に表示される。また、被写体が分割画面上段１２を右から左へ移動する際も同様に、分割画面下段１３の右端と、分割画面上端１２の左端というような元のパノラマ展開画像上で接続関係にある画像端がそれぞれ伸縮することで被写体を途切れさせること無く表示することが可能となる。なお、３段以上で表示する構成になった場合でも、各画像端から距離ｄ１、ｄ２に被写体が移動した際にはそれぞれ対応した領域が距離ｄＲ，ｄＬ分だけ伸縮することで同様の効果を得る。その際に、被写体の横幅を考慮してｄ１、ｄ２、ｄＲ、ｄＬの大きさを決めるとより効果的である。
　このような本発明の第１の実施の形態のパノラマ展開画像表示装置によれば、背景特徴抽出部１０３および切り出し基準位置更新部１０４により画像的な特徴がある場所がパノラマ展開画像の切り出し後の各画像端に優先的に選ばれるよう、切り出し基準位置を設定し、更に被写体位置算出部１０６により被写体の位置に合わせてパノラマ展開画像の切り出し位置を変動させて表示範囲を伸縮させることで、切り出しパノラマ画像の画像端において、被写体を途切れさせることなく表示することができ、さらに伸縮があるため人物の移動がユーザに分かりやすくなる。
　なお、被写体が切り出し基準位置から一定距離ｄ１、ｄ２に近づいた場合の表示方法は、切り出しパノラマ画像の表示範囲を伸縮させずにあらかじめ決められた幅に固定しておき、切り出しパノラマ画像の幅が（以下、この幅で切り出されたパノラマ画像をリサイズ対象領域と呼ぶ）変わったとき、その幅をリサイズさせても良い。これにより表示領域を無駄にすることなく、かつ被写体が途切れないように表示することができる。リサイズを用いる場合のフローを図６に、画面の表示例を図７、動作例を図８に示す。図６では、図２に示すフローと同じ処理は同じ番号になっている。ステップ５１０では表示領域を伸縮させるかわりにリサイズして表示している。図７に示すように実際の画面表示では各切り出しパノラマ画像が伸縮することがないので、伸びしろ領域が不要になっている。図８では前述した例でのリサイズ対象領域を時刻ｔ～時刻ｔ＋３の各画像で点線の太枠で表している。例えば、時刻ｔにおける画面２のリサイズ対象領域よりも時刻ｔ＋１における画面２のリサイズ対象領域の方が幅が広くなっている。この場合には、時刻ｔ＋１での画面２のリサイズ対象領域を幅を縮小するようにリサイズし時刻ｔでの幅に合わせて表示する。
　また、第１の実施形態では、魚眼レンズ等を用いた全方位カメラにより撮像された画像を入力画像としているが、通常のカメラを１個以上用いてパノラマ画像を作成した場合でも同等の効果が得られる。
　また、切り出し基準位置は背景特徴を用いて求めることは必須ではなく、事前に決められた位置や人が指定した位置を切り出し基準位置としてもよい。また、各切り出しパノラマ画像の両端が重なり合うように切り出し基準位置を決めることは必須ではなく、重ならない（隣り合う切り出しパノラマ画像の画像端が同じ位置になるもしくは離れる）ように切り出し基準位置を決めてもよい。重なり合うように切り出し基準位置を決めることで、異なるパノラマ切り出し画像に同じ物体が含まれるためそれが特徴的な物体であればユーザにとって位置関係が分かりやすくなるというメリットがあり、重なり合わないように切り出し基準位置を決めることで、表示領域を節約することができるというメリットがあるため、アプリケーションや使用条件に応じて選択するとよい。
（実施の形態２）
　次に本発明の第２の実施の形態のパノラマ展開画像表示装置８００を図９に示す。実施の形態１で説明したパノラマ展開画像表示装置１００と同じ構成要素は同じ番号で示す。　　　
　図９において、本発明の第２の実施の形態は、全方位画像生成部１０１と、パノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ画像の切り出しに適した位置を更新する切り出し基準位置更新部１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、被写体位置を算出する被写体位置算出部１０６と、検出された被写体情報を基に３Ｄ位置情報（３Ｄ画像にした際の画面からの飛び出し具合の情報）を算出して被写体の３Ｄ画像を生成する３Ｄ画像生成部８０１と、各被写体位置に対応した３Ｄ位置情報を保持している３Ｄ位置情報保持部８０２と、生成した３Ｄ画像と切り出し基準位置に従ってパノラマ展開画像から切り出した切り出しパノラマ画像とを合成する画像合成部８０３と、合成した画像を表示する表示部１０８とによって構成されている。
　３Ｄ位置情報保持部８０２は、切り出しパノラマ画像内の被写体位置に応じた３Ｄ位置情報を保持しており、パノラマ展開画像を２分割する場合や３分割する場合などに応じて事前に定めておけばよい。隣り合う切り出しパノラマ画像の対応する画像端での３Ｄ位置情報は同じ値に設定されている。これにより、被写体が切り出しパノラマ画像をまたいで移動する場合に、被写体の飛び出し具合が同じになるため、同一の被写体であることの対応付けがとりやすくなる。図１１に３Ｄ位置情報保持部が保持するデータ例を示す。図１１（ａ）は、パノラマ展開画像を２分割する場合の被写体位置に応じた３Ｄの飛び出し具合を模式的に示したものである。（ｂ）は３分割する場合の例である。この例では、点線部分が１つの切りだしパノラマ画像に相当し、太線部分が飛び出し量に相当する。つまり、切り出し基準位置（点線の端の位置）と被写体位置が分かれば飛び出し量を求めることができる。
　なお、被写体に限らず背景に対しても３Ｄ位置情報に基づいて３Ｄ画像にすることで被写体が移動していない場合でも切り出しパノラマ画像の端が他の切り出しパノラマ画像のどの端と接続しているかが分かりやすくなる。
　以上のように構成されたパノラマ展開画像表示装置について、図１０を用いてその動作を説明する。
　ステップ２０１～２０７は実施の形態１と同様である。ステップ２０７が終了した時点で切り出し基準位置と被写体位置が求まっている。続いて、３Ｄ画像生成部８０１は出力された被写体の位置情報と３Ｄ位置情報保持部８０２に蓄えられている３Ｄ位置情報を基に飛び出し量を求める（ステップ９０１）。求めた飛び出し量で飛び出しているように見える被写体の３Ｄ画像を作成し（ステップ９０２）、最後に画像合成部８０３は被写体の存在する切り出しパノラマ画像と被写体の３Ｄ画像を合成し表示するための画像を作成する。
　３Ｄ画像生成例を図１２に示す。図１２は描画平面を仮想的に俯瞰した図であり、仮定平面３１を奥行き±０とした際、例えば画面１では左側が奥に、右側が手前に飛び出て表示されることを表現している。３Ｄ位置情報保持部８０２により、被写体の位置毎の立体視具合が保存されており、３Ｄ画像生成部８０１では各被写体の位置情報を基に被写体画像を立体視できるように３Ｄ画像を生成し、画像合成部８０３でオリジナルのパノラマ展開画像と合成した後、表示部１０８で表示を行う。このとき、分割した各パノラマ画像において、隣接する部分は同じ高さで立体視するよう表示される。例えば図１２において、画面１の右端と画面２の左端は同じ場所を表示しており、被写体３３の位置毎の奥行き情報を示す３Ｄ奥行き情報線３２はどちらも同じ高さとなるよう３Ｄ位置情報保持部８０２で調整されている。また、画面１の左端と画面２の右端も同様である。ここで、３Ｄ位置情報保持部で画面１の右端と左端では飛び出し具合が異なるように３Ｄ位置情報を設定しておけば、２つの被写体が画面１の右端と左端で同時に移動を行っていた場合でも、２つの被写体の飛び出し具合が異なるため画像端同士のつながりを容易に理解することができる表示になっている。
　このような本発明の第２の実施の形態のパノラマ展開画像表示装置によれば、被写体検出部１０５により被写体を検出し、３Ｄ位置情報保持部８０２より該当する位置の３Ｄ情報を参照し、３Ｄ画像生成部８０１により３Ｄ画像化して表示することで、パノラマ展開画像を複数段に分けて表示した場合においても、分離後の各画像端同士の繋がりをわかりやすく表示させることが可能となる。
　なお、本実施例ではパノラマ展開画像を２画面に分割した例を示したが、３つ以上に分割した際も同様に、隣接領域が同じ高さで３Ｄ表示される。また、隣接領域の高さを同等とすることで上記の効果を得ているが、その立体具合については任意である。即ち、画面端が必ずしも最大の高さを持つ、あるいは最大の奥行きを持つ必要は無い。
　さらに、画像合成部８０３で３Ｄ情報と背景を合成する際、実施の形態１で行ったように、切り出し基準位置更新部１０４で検出した背景の切り出し位置と、被写体位置算出部１０６で算出した被写体の位置を基にして背景画像の切り出し位置を決定してパノラマ画像を切り出し、そのパノラマ画像を背景として３Ｄ情報を合成することもできる。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年５月１７日出願の日本特許出願（特願２０１０－１１２８５５）に基づくものであり、その内容はここに参照として取り込まれる。
　以上のように、本発明にかかるパノラマ展開画像表示装置は、被写体の移動に合わせてパノラマ展開画像の切り出し位置及び表示方法を変動できるという効果を有し、全方位カメラや複数台のカメラを利用して作成したパノラマ画像の表示方法として有用であり、例えば全方位カメラを用いた監視ソリューション等に幅広く利用することができる。
　１０１　全方位画像生成部
　１０２　パノラマ展開部
　１０３　背景特徴抽出部
　１０４　切り出し基準位置更新部
　１０５　被写体検出部
　１０６　被写体位置算出部
　１０７　表示画像生成部
　１０８　表示部

Claims (13)

  1. 　パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
    　前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
    　前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
    　検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と、
    　前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と、
    を備えたパノラマ展開画像表示装置。
  2. 　前記パノラマ展開画像は動画像を展開したものであり、
    　前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定することを特徴とする請求項１に記載のパノラマ展開画像表示装置。
  3. 　前記パノラマ画像を表示領域に表示する表示部を有し、
    　前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させることを特徴とする請求項１に記載のパノラマ展開画像表示装置。
  4. 　前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、
    　前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定することを特徴とする請求項１に記載のパノラマ展開画像表示装置。
  5. 　前記背景特徴抽出部にて、色情報を用いることを特徴とする請求項４に記載のパノラマ展開画像表示装置。
  6. 　前記背景特徴抽出部にて、文字情報を用いることを特徴とする請求項４に記載のパノラマ展開画像表示装置。
  7. 　前記背景特徴抽出部にて、テクスチャ情報を用いることを特徴とする請求項４に記載のパノラマ展開画像表示装置。
  8. 　前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いることを特徴する請求項４に記載のパノラマ展開画表示装置。
  9. 　前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定されることを特徴とする請求項１に記載のパノラマ展開画像表示装置。
  10. 　パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
    　前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
    　前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
    　検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と、
    　前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
    　前記３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と、
    を備えたパノラマ展開画像表示装置。
  11. 　パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
    　前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
    　前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
    　被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
    　前記３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と、
    を備えたパノラマ展開画像表示装置。
  12. 　前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにすることを特徴とする請求項１１に記載のパノラマ展開画像表示装置。
  13. 　パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示方法であって、
    　前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定ステップと、
    　前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出ステップと、
    　検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定ステップと、
    　前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成ステップと、
    を備えたパノラマ展開画像表示方法。
PCT/JP2011/002712 2010-05-17 2011-05-16 パノラマ展開画像表示装置およびパノラマ展開画像表示方法 WO2011145322A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180024503.7A CN102893594B (zh) 2010-05-17 2011-05-16 全景展开图像显示装置和显示全景展开图像的方法
EP11783259.2A EP2574036A4 (en) 2010-05-17 2011-05-16 DISPLAY DEVICE FOR PANORAMIC EXPANSION IMAGE AND PANORAMIC EXPANSION IMAGE DISPLAY METHOD
US13/697,635 US9374528B2 (en) 2010-05-17 2011-05-16 Panoramic expansion image display device and method of displaying panoramic expansion image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-112855 2010-05-17
JP2010112855A JP5573349B2 (ja) 2010-05-17 2010-05-17 パノラマ展開画像撮影システムおよび方法

Publications (1)

Publication Number Publication Date
WO2011145322A1 true WO2011145322A1 (ja) 2011-11-24

Family

ID=44991440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002712 WO2011145322A1 (ja) 2010-05-17 2011-05-16 パノラマ展開画像表示装置およびパノラマ展開画像表示方法

Country Status (4)

Country Link
US (1) US9374528B2 (ja)
EP (1) EP2574036A4 (ja)
JP (1) JP5573349B2 (ja)
WO (1) WO2011145322A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303520B (zh) * 2015-11-24 2018-06-15 中船黄埔文冲船舶有限公司 一种展开字样的方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5896781B2 (ja) * 2012-02-29 2016-03-30 キヤノン株式会社 画像処理装置および画像処理方法
GB2515684B (en) 2012-04-02 2019-05-01 Panasonic Corp Image generation device, camera device, image display device, and image generation method
JP2013218432A (ja) * 2012-04-05 2013-10-24 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
WO2014091736A1 (ja) * 2012-12-10 2014-06-19 パナソニック株式会社 パノラマ展開画像表示装置
JP6271917B2 (ja) * 2013-09-06 2018-01-31 キヤノン株式会社 画像記録装置及び撮像装置
US9742995B2 (en) * 2014-03-21 2017-08-22 Microsoft Technology Licensing, Llc Receiver-controlled panoramic view video share
US9686467B2 (en) * 2014-08-15 2017-06-20 Sony Corporation Panoramic video
JP6517609B2 (ja) * 2015-07-13 2019-05-22 日本電信電話株式会社 符号化方法及び符号化プログラム
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
EP3148186A1 (en) 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne vehicles
EP3349095B1 (en) * 2015-09-30 2020-08-12 Huawei Technologies Co., Ltd. Method, device, and terminal for displaying panoramic visual content
JP2018174503A (ja) * 2017-03-31 2018-11-08 富士通株式会社 文書作成プログラム、文書作成方法および文書作成装置
JP7210188B2 (ja) * 2017-08-31 2023-01-23 キヤノン株式会社 情報処理システム、制御装置及び情報処理方法
EP3487161B1 (en) * 2017-11-15 2019-10-30 Axis AB Splitting of a wide angle view
JP6983651B2 (ja) * 2017-12-28 2021-12-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020202503A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP7254000B2 (ja) * 2019-08-02 2023-04-07 株式会社デンソーテン 画像配信装置及び方法並びに画像配信システム
JP7368699B2 (ja) 2019-08-26 2023-10-25 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2002152722A (ja) * 2000-11-13 2002-05-24 Rosel Electronics Corp 画像投影装置及びその方法
JP2006191535A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP2008028606A (ja) 2006-07-20 2008-02-07 Opt Kk パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
JP2010074706A (ja) * 2008-09-22 2010-04-02 Olympus Imaging Corp カメラシステムおよびカメラ制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US7149367B2 (en) 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP4190263B2 (ja) 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
JP2004282535A (ja) * 2003-03-18 2004-10-07 Mitsubishi Electric Corp 画角調整装置
JP2005128815A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 人物検出装置及び人物検出方法
JP2005176301A (ja) 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP2006211105A (ja) * 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP4808477B2 (ja) * 2005-11-25 2011-11-02 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
JP2007196577A (ja) * 2006-01-27 2007-08-09 Seiko Epson Corp 印刷装置及び印刷方法
US8098934B2 (en) * 2006-06-29 2012-01-17 Google Inc. Using extracted image text
JP2010068071A (ja) 2008-09-09 2010-03-25 Fujifilm Corp 撮影装置及び方法、画像処理装置及び方法、並びに、画像処理プログラム
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP5340091B2 (ja) * 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
CN101577795A (zh) 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
US8897603B2 (en) * 2009-08-20 2014-11-25 Nikon Corporation Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames
EP2521096A4 (en) * 2009-12-28 2013-10-09 Cyber Ai Entertainment Inc IMAGE DISPLAY SYSTEM
JP5526921B2 (ja) * 2010-03-29 2014-06-18 ソニー株式会社 撮像装置、電子機器および表示制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2002152722A (ja) * 2000-11-13 2002-05-24 Rosel Electronics Corp 画像投影装置及びその方法
JP2006191535A (ja) * 2004-12-30 2006-07-20 Microsoft Corp パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP2008028606A (ja) 2006-07-20 2008-02-07 Opt Kk パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
JP2010074706A (ja) * 2008-09-22 2010-04-02 Olympus Imaging Corp カメラシステムおよびカメラ制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2574036A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303520B (zh) * 2015-11-24 2018-06-15 中船黄埔文冲船舶有限公司 一种展开字样的方法

Also Published As

Publication number Publication date
US9374528B2 (en) 2016-06-21
US20130057546A1 (en) 2013-03-07
EP2574036A4 (en) 2015-11-11
CN102893594A (zh) 2013-01-23
JP5573349B2 (ja) 2014-08-20
EP2574036A1 (en) 2013-03-27
JP2011244116A (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5573349B2 (ja) パノラマ展開画像撮影システムおよび方法
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
TWI574224B (zh) An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus
JP5491786B2 (ja) 画像再生装置及び方法
US20120019614A1 (en) Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20120019613A1 (en) Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP2009100095A (ja) 画像処理装置及び画像処理方法
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2013118508A (ja) 画像処理装置及び画像処理方法
JP6278668B2 (ja) 複眼撮像装置
JP2008281385A (ja) 画像処理装置
JP2003209769A (ja) 画像生成装置および方法
CN111527517B (zh) 图像处理装置及其控制方法
JP2010288253A (ja) 画像処理装置および方法並びにプログラム
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP6104066B2 (ja) 画像処理装置および画像処理方法
JP2011070415A (ja) 画像処理装置及び画像処理方法
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2009055332A (ja) 映像合成表示装置
KR101565926B1 (ko) 저시력자를 위한 영상보정방법 및 이를 위한 장치
JP7203205B2 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP2006332743A (ja) 電子カメラおよび画像処理プログラム
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
JP7134601B2 (ja) 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180024503.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783259

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13697635

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011783259

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE