JP6610741B2 - Image display system, image display apparatus, image display method, and program - Google Patents

Image display system, image display apparatus, image display method, and program Download PDF

Info

Publication number
JP6610741B2
JP6610741B2 JP2018166919A JP2018166919A JP6610741B2 JP 6610741 B2 JP6610741 B2 JP 6610741B2 JP 2018166919 A JP2018166919 A JP 2018166919A JP 2018166919 A JP2018166919 A JP 2018166919A JP 6610741 B2 JP6610741 B2 JP 6610741B2
Authority
JP
Japan
Prior art keywords
image
display
point
panoramic image
zenith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018166919A
Other languages
Japanese (ja)
Other versions
JP2019024206A (en
Inventor
哲也 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018166919A priority Critical patent/JP6610741B2/en
Publication of JP2019024206A publication Critical patent/JP2019024206A/en
Application granted granted Critical
Publication of JP6610741B2 publication Critical patent/JP6610741B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像表示システム、画像表示装置、画像表示方法、およびプログラムに関する。   The present invention relates to an image display system, an image display device, an image display method, and a program.

現在、超広角レンズや複数カメラや複数回撮影などを用いてパノラマ写真またはパノラマ動画(以下、静止画と動画とを区別せず、パノラマ画像と呼ぶ)を撮影する方法が普及している。また、パノラマ画像の画角を上下左右に360度の全天球まで広げた全天球画像を撮影する方法も知られている。   Currently, a method of photographing a panoramic picture or a panoramic video (hereinafter, referred to as a panoramic image without distinguishing between a still picture and a moving picture) using an ultra-wide-angle lens, a plurality of cameras, a plurality of times of photographing, and the like is widespread. There is also known a method of shooting a omnidirectional image in which the angle of view of a panoramic image is expanded to 360 celestial spheres in the vertical and horizontal directions.

これらの機器で撮影されたパノラマ画像は、例えばパーソナルコンピュータやスマートフォン、タブレット型コンピュータなどで表示され、閲覧者が視点を自由に変えながら閲覧し得る表示技術が知られている。   A panoramic image taken with these devices is displayed on, for example, a personal computer, a smartphone, a tablet computer, or the like, and a display technology that allows a viewer to browse while freely changing the viewpoint is known.

しかしながら、従来のパノラマ画像の表示技術では、最初の表示時における注目点の位置や、表示中における注目点の変化は、撮影時の機器の都合で決まってしまい、撮影者の意図を反映させることは困難であるという問題があった。   However, with the conventional panoramic image display technology, the position of the point of interest at the time of initial display and the change of the point of interest during display are determined by the convenience of the device at the time of shooting, and reflect the photographer's intention Had the problem of being difficult.

また、撮影者(編集者を含む。以下同じ)が意図する注目点を撮影後に編集するには、膨大な時間および手間がかかってしまい、特別な機材や技能を持たない撮影者には、撮影後に注目点を編集することは事実上不可能であった。   In addition, it takes a lot of time and effort to edit the point of interest intended by the photographer (including the editor; the same shall apply hereinafter) after shooting, and for photographers who do not have special equipment or skills, It was virtually impossible to edit the point of interest later.

例えば特許文献1には、パノラマ画像の表示領域を指定する目的で、表示画像の領域制御情報に従ってパノラマ画像の表示画像領域を表示する表示画像制御装置が開示されている。この表示画像制御装置は、表示画像領域制御情報を予め準備し、表示するパノラマ画像とともに提供して、表示画像制御装置にて画表示画像領域を表示させている。   For example, Patent Document 1 discloses a display image control apparatus that displays a display image area of a panoramic image according to area control information of the display image for the purpose of designating a display area of the panoramic image. This display image control apparatus prepares display image area control information in advance and provides it together with a panoramic image to be displayed, and the display image control apparatus displays the image display image area.

確かに特許文献1に記載の方法でも撮影者など画像提供者側で意図した表示画像領域を表示することができる。しかし、特許文献1の方法では表示画像領域を制御するための情報を作成する必要があり、撮影者が意図する注目点をパノラマ画像の表示に反映させることが困難であるという問題は依然として解消できていない。   Certainly, even the method described in Patent Document 1 can display a display image region intended on the image provider side such as a photographer. However, in the method of Patent Document 1, it is necessary to create information for controlling the display image area, and the problem that it is difficult to reflect the attention point intended by the photographer on the display of the panoramic image can still be solved. Not.

本発明は、上記に鑑みてなされたものであって、その目的は、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができる画像表示システム、画像表示装置、画像表示方法、およびプログラムを提供することにある。   The present invention has been made in view of the above, and an object of the present invention is to provide an image display system, an image display device, and an image display method capable of easily reflecting a point of interest intended by a photographer in the display of a panoramic image. , And to provide a program.

上述した課題を解決し、目的を達成するために、本発明は、全天球画像を取得する画像撮影装置と、前記画像撮影装置の傾きを取得する傾きセンサと、前記画像撮影装置の方位を取得する方位センサと、前記画像撮影装置の位置を取得する第1の位置取得手段と、注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、前記画像撮影装置により取得された全天球画像を、前記画像撮影装置の傾きに基づき天頂補正し、天頂補正した前記全天球画像を、前記画像撮影装置の方位、前記画像撮影装置の位置及び前記注目点指示装置により指示された前記注目点位置に基づき、前記注目点位置が表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、を備えることを特徴とする。 To solve the above problems and achieve the object, the present invention includes an image capturing apparatus for acquiring omnidirectional image, a tilt sensor for acquiring a tilt of the image capturing apparatus, the orientation of the image capturing apparatus Acquired by the azimuth sensor to be acquired, first position acquisition means for acquiring the position of the image capturing device, an attention point indicating device that indicates the position of the imaging object to be noted as the attention point position, and the image capturing device. the omnidirectional image, and zenith corrected based on the inclination of the imaging apparatus, the omnidirectional image zenith correction, orientation of the imaging apparatus, the position and the point of interest indicator device prior SL imaging apparatus An image display device that converts the target point position into a display image on which the target point position is displayed based on the instructed target point position and displays the display image.

本発明によれば、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができるという効果を奏する。   According to the present invention, it is possible to easily reflect the attention point intended by the photographer on the display of the panoramic image.

図1は、第1実施形態に係る画像表示システムの概略構成を示す概念図である。FIG. 1 is a conceptual diagram showing a schematic configuration of an image display system according to the first embodiment. 図2は、パノラマ画像撮影装置の側面図である。FIG. 2 is a side view of the panoramic image photographing apparatus. 図3は、パノラマ画像撮影装置の正面図である。FIG. 3 is a front view of the panoramic image photographing apparatus. 図4は、パノラマ画像撮影装置のハードウェア構成図である。FIG. 4 is a hardware configuration diagram of the panoramic image photographing apparatus. 図5は、パノラマ画像撮影装置の使用イメージ図である。FIG. 5 is a usage image diagram of the panoramic image photographing apparatus. 図6は、パノラマ画像撮影装置で撮影された前側半球画像を示す図である。FIG. 6 is a diagram illustrating a front hemisphere image captured by the panoramic image capturing apparatus. 図7は、パノラマ画像撮影装置で撮影された後側半球画像を示す図である。FIG. 7 is a diagram illustrating a rear hemisphere image captured by the panoramic image capturing apparatus. 図8は、図6および図7の半球画像を変換および合成したパノラマ画像を示す図である。FIG. 8 is a diagram showing a panoramic image obtained by converting and synthesizing the hemispherical images of FIGS. 6 and 7. 図9は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図である。FIG. 9 is a diagram illustrating a projecting relationship between the lens and the image sensor of the panoramic image photographing apparatus. 図10は、撮影像が撮像素子上に射影される位置を示す図である。FIG. 10 is a diagram illustrating a position where a captured image is projected onto the image sensor. 図11は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。FIG. 11 is a diagram illustrating a conversion method for converting pixels on the image sensor into pixels on a panoramic image. 図12は、パノラマ画像の座標系について説明する図である。FIG. 12 is a diagram for explaining a coordinate system of a panoramic image. 図13は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図である。FIG. 13 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is not tilted. 図14は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。FIG. 14 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is tilted. 図15は、カメラ座標系とグローバル座標系の関係を示す図である。FIG. 15 is a diagram illustrating the relationship between the camera coordinate system and the global coordinate system. 図16は、パノラマ画像撮影装置が検出する重力方向を示す図である。FIG. 16 is a diagram illustrating the gravity direction detected by the panoramic image photographing apparatus. 図17は、2つの回転の回転角α,βを示した図である。FIG. 17 is a diagram showing two rotation angles α and β. 図18は、地表の座標系の定義を説明する図である。FIG. 18 is a diagram for explaining the definition of the coordinate system of the ground surface. 図19は、y軸方向とy軸方向との関係を示す図である。Figure 19 is a diagram showing the relationship between y 1 axial and y 0 axially. 図20は、y軸方向とy軸方向とy’軸方向との関係を示す図である。FIG. 20 is a diagram illustrating a relationship among the y 1 axis direction, the y 2 axis direction, and the y 0 ′ axis direction. 図21は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。FIG. 21 is a diagram illustrating a relative positional relationship between the panoramic image photographing device and the target point indicating device. 図22は、第2実施形態に係る画像表示システムの概略構成を示す概念図である。FIG. 22 is a conceptual diagram showing a schematic configuration of an image display system according to the second embodiment.

以下、添付図面を参照して、本発明の実施形態に係る画像表示システム、画像表示装置、画像表示方法、およびプログラムを詳細に説明する。なお、以下では、静止画を用いた実施形態について説明を行うが、動画であっても各フレームを静止画とみなして本発明を適用した実施形態を構成することができる。したがって、以下で説明では、単に「画像」と云った場合、静止画と動画を含むものと理解されるべきである。   Hereinafter, an image display system, an image display device, an image display method, and a program according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following, an embodiment using a still image will be described, but an embodiment to which the present invention is applied can be configured by regarding each frame as a still image even for a moving image. Therefore, in the following description, it should be understood that the term “image” includes still images and moving images.

(第1実施形態)
図1は、第1実施形態に係る画像表示システムの概略構成を示す概念図である。図1に示されるように、第1実施形態の画像表示システム1000は、パノラマ画像撮影装置100と、画像表示装置200と、注目点指示装置300とを備える。
(First embodiment)
FIG. 1 is a conceptual diagram showing a schematic configuration of an image display system according to the first embodiment. As shown in FIG. 1, the image display system 1000 according to the first embodiment includes a panoramic image photographing device 100, an image display device 200, and an attention point instruction device 300.

パノラマ画像撮影装置100は、パノラマ画像を撮影するための機器である。さらに、パノラマ画像撮影装置100は、装置自身の傾き、装置が向いている方位、および装置の位置に関する情報を取得する手段を備えている。パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置は、画像表示装置200へ送信される。   The panoramic image photographing apparatus 100 is a device for photographing a panoramic image. Further, the panoramic image photographing apparatus 100 includes means for acquiring information related to the tilt of the apparatus itself, the direction in which the apparatus is directed, and the position of the apparatus. The image, tilt, azimuth, and position acquired by the panoramic image photographing apparatus 100 are transmitted to the image display apparatus 200.

なお、パノラマ画像撮影装置100から画像表示装置200への情報送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置100内に保存した後に画像表示装置200へ送信してもよい。   Note that information transmission from the panorama image photographing apparatus 100 to the image display apparatus 200 may be performed by a wireless method or a wired method. You may transmit to the image display apparatus 200 after preserve | saving.

注目点指示装置300は、撮影者が意図する注目すべき撮影対象Oの位置を注目点位置として指示するための機器である。なお、ここで云う注目点位置とは、撮影対象Oが存在する3次元空間上の位置である。図1に示されるように、撮影者が意図する注目すべき撮影対象Oが例えば自動車である場合、注目点の位置は撮影中に移動しまう。そこで、注目点指示装置300は、注目点の位置を画像表示装置200で表示する画像に反映させるために、パノラマ画像撮影装置100との相対的な位置を取得する。 The point-of-interest instruction device 300 is a device for instructing the position of the subject of photographing O 1 to be noticed intended by the photographer as the point of interest position. Note that the point-of-interest position mentioned here is a position in the three-dimensional space where the imaging target O 1 exists. As shown in FIG. 1, when the imaging target O 1 that the photographer intends to focus on is a car, for example, the position of the target point moves during imaging. Therefore, the attention point instruction device 300 acquires a relative position with respect to the panoramic image photographing device 100 in order to reflect the position of the attention point on the image displayed on the image display device 200.

本実施形態では、注目点指示装置300は、GPS(Global Positioning System)受信器を備える位置取得手段を、撮影者が意図する注目すべき撮影対象Oに備え付けることで構成されている。なお、移動し得る注目点は自動車に限らず、人や動物などあらゆる移動体とすることができ、GPS受信器を備える位置取得手段の例としては、スマートフォンやパーソナルコンピュータやカーナビゲーションなど一般的なGPSを備える装置を流用することができる。また、パノラマ画像撮影装置100を2つ用意し、一方を注目点指示装置300として撮影対象Oに備え付ける構成とすることも可能である。 In the present embodiment, the point-of-interest instruction device 300 is configured by providing position acquisition means including a GPS (Global Positioning System) receiver to the imaging target O 1 that should be noted by the photographer. Note that the attention point that can be moved is not limited to automobiles, but can be any moving object such as a person or an animal. Examples of position acquisition means that include a GPS receiver include smartphones, personal computers, and car navigation systems. Devices equipped with GPS can be used. Alternatively, two panoramic image photographing devices 100 may be prepared, and one of them may be provided on the photographing target O 1 as the attention point instruction device 300.

なお、注目点指示装置300から画像表示装置200への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦注目点指示装置300内に保存した後に画像表示装置200へ送信してもよい。   Note that transmission from the point-of-interest instruction device 300 to the image display device 200 may be wireless or wired, and may be temporarily stored in the point-of-interest instruction device 300 even if transmitted in real time. Then, it may be transmitted to the image display apparatus 200.

図1に示されるように、画像表示装置200は、画像処理部201と画像表示部202とを備えている。画像処理部201は、パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置と、注目点指示装置300が取得した位置とに基づいて、画像表示部202へ表示すべき画像を構成する。画像表示部202は、画像処理部201が構成した画像を表示するためのディスプレイである。   As shown in FIG. 1, the image display device 200 includes an image processing unit 201 and an image display unit 202. The image processing unit 201 configures an image to be displayed on the image display unit 202 based on the image, tilt, orientation, and position acquired by the panoramic image photographing apparatus 100 and the position acquired by the attention point instruction device 300. . The image display unit 202 is a display for displaying the image configured by the image processing unit 201.

例えば、画像表示装置200は、一般的なパーソナルコンピュータを用いて構成することも、スマートフォンなどのデバイスを用いて構成することも、専用デバイスとして構成することもできる。画像処理部201は、別個の独立した1つの装置として構成される必要はなく、画像処理部201の機能をネットワーク上のサーバに実装することも可能である。また、画像処理部201をパノラマ画像撮影装置100に付属させる構成とすることも可能である。   For example, the image display apparatus 200 can be configured using a general personal computer, configured using a device such as a smartphone, or configured as a dedicated device. The image processing unit 201 does not need to be configured as a separate and independent device, and the function of the image processing unit 201 can be implemented in a server on the network. Further, the image processing unit 201 can be attached to the panoramic image photographing apparatus 100.

次に、図2〜図4を参照しながら、パノラマ画像撮影装置100の構成について説明する。図2は、パノラマ画像撮影装置の側面図であり、図3は、パノラマ画像撮影装置の正面図であり、図4は、パノラマ画像撮影装置のハードウェア構成図である。   Next, the configuration of the panoramic image photographing apparatus 100 will be described with reference to FIGS. 2 is a side view of the panoramic image photographing apparatus, FIG. 3 is a front view of the panoramic image photographing apparatus, and FIG. 4 is a hardware configuration diagram of the panoramic image photographing apparatus.

図2および図3に示されるように、パノラマ画像撮影装置100の上部には、レンズ102a,102bが設けられている。パノラマ画像撮影装置100の正面に設けられたレンズ102aは、パノラマ画像撮影装置100の前側半分を撮像するための広角レンズであり、パノラマ画像撮影装置100の背面に設けられたレンズ102bは、パノラマ画像撮影装置100の後ろ側半分を撮像するための広角レンズである。すなわち、パノラマ画像撮影装置100は、2つのレンズ102a,102bを用いて全天球を撮影することができるように構成されている。また、パノラマ画像撮影装置100の正面には、撮像の開始などを行うための操作ボタン114aが設けられている。   As shown in FIGS. 2 and 3, lenses 102 a and 102 b are provided on the top of the panoramic image photographing apparatus 100. The lens 102a provided in front of the panoramic image photographing apparatus 100 is a wide-angle lens for imaging the front half of the panoramic image photographing apparatus 100, and the lens 102b provided on the back of the panoramic image photographing apparatus 100 is a panoramic image. This is a wide-angle lens for imaging the rear half of the imaging apparatus 100. That is, the panoramic image photographing apparatus 100 is configured to photograph the omnidirectional sphere using the two lenses 102a and 102b. In addition, an operation button 114a for starting imaging or the like is provided in front of the panoramic image photographing apparatus 100.

なお、図に示されたパノラマ画像撮影装置100は、2つのレンズ102a,102bを用いて全天球を撮影する構成例であるが、本実施形態の適用は設けられたレンズの個数に限定されない。例えば、4つのレンズを用いて全天球を4分割して撮影する撮影装置や、さらに多くのレンズを用いた撮影装置であってもよい。また、全天球を撮影しなくとも、撮影した画像に対して注目点を変更することにメリットが現れる程度に高画角の撮影装置であれば、本実施形態の効果を享受し得る。   The panoramic image capturing apparatus 100 shown in the figure is a configuration example that captures the entire celestial sphere using the two lenses 102a and 102b, but the application of this embodiment is not limited to the number of lenses provided. . For example, it may be an imaging device that divides the celestial sphere into four parts using four lenses and an imaging device that uses more lenses. Even if the omnidirectional sphere is not photographed, the effect of the present embodiment can be enjoyed as long as the photographing apparatus has a high angle of view to the extent that a merit appears in changing the point of interest for the photographed image.

図4に示されているように、パノラマ画像撮影装置100は、撮像ユニット101、画像処理ユニット104、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、操作部114、ネットワークI/F115、通信部116、アンテナ116a、加速度センサ117、電子コンパス118、およびGPS受信器119を備えている。   As shown in FIG. 4, the panoramic image photographing apparatus 100 includes an imaging unit 101, an image processing unit 104, a CPU (Central Processing Unit) 111, a ROM (Read Only Memory) 112, a RAM (Random Access Memory) 113, An operation unit 114, a network I / F 115, a communication unit 116, an antenna 116a, an acceleration sensor 117, an electronic compass 118, and a GPS receiver 119 are provided.

撮像ユニット101は、各々半球画像を結像するための180°以上の画角(好適には185°から190°)を有するレンズ102a,102bと、各レンズ102a,102bに対応させて設けられている2つの撮像素子103a,103bとを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサである。   The imaging unit 101 is provided so as to correspond to the lenses 102a and 102b each having an angle of view of 180 ° or more (preferably 185 ° to 190 °) for forming a hemispherical image, and the lenses 102a and 102b. Two image pickup devices 103a and 103b. The imaging elements 103a and 103b are image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) sensor and a CCD (Charge Coupled Device) sensor that convert an optical image obtained by the lenses 102a and 102b into image data of an electrical signal and output the image data.

撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104に接続されている。画像処理ユニット104は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、RAM113、操作部114、ネットワークI/F115、通信部116、加速度センサ117、電子コンパス118、およびGPS受信器119なども接続されている。   The imaging elements 103 a and 103 b of the imaging unit 101 are each connected to the image processing unit 104. The image processing unit 104 is connected to the CPU 111 via the bus 110. Further, ROM 112, RAM 113, operation unit 114, network I / F 115, communication unit 116, acceleration sensor 117, electronic compass 118, GPS receiver 119 and the like are also connected to the bus 110.

画像処理ユニット104は、撮像素子103a,103bから出力される画像データを通して取り込み、それぞれの画像データをメルカトル図法で展開したパノラマ画像に変換することに用いられる。   The image processing unit 104 is used to capture through the image data output from the image sensors 103a and 103b and convert each image data into a panoramic image developed by the Mercator projection.

CPU111は、パノラマ画像撮影装置100の全体の動作を制御すると共に画像処理を実行することに用いられる。ROM112は、CPU111のための種々のプログラムを記憶するために用いられる。RAM113はワークメモリであり、CPU111で実行するプログラムや画像処理途中のデータ等を記憶するために用いられる。パノラマ画像撮影装置100が撮影した画像データは、RAM113のなかで、加速度センサ117、電子コンパス118、およびGPS受信器119が取得する関連情報と対応付けられて記憶されている。   The CPU 111 is used to control the overall operation of the panoramic image photographing apparatus 100 and execute image processing. The ROM 112 is used for storing various programs for the CPU 111. A RAM 113 is a work memory, and is used to store programs executed by the CPU 111, data during image processing, and the like. Image data captured by the panoramic image capturing apparatus 100 is stored in the RAM 113 in association with related information acquired by the acceleration sensor 117, the electronic compass 118, and the GPS receiver 119.

操作部114は、例えば図3に示された操作ボタン114aなどから入力された操作を制御信号に変換することに用いられる。   The operation unit 114 is used, for example, to convert an operation input from the operation button 114a shown in FIG. 3 into a control signal.

ネットワークI/F115は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路である。RAM113に記憶された画像のデータは、このネットワークI/F115を介して外付けのメディアに記録されたり、外部装置に送信されたりする。   The network I / F 115 is an interface circuit with an external medium such as an SD card or a personal computer. The image data stored in the RAM 113 is recorded on an external medium or transmitted to an external device via the network I / F 115.

通信部116は、アンテナ116aを介して、例えば画像表示装置200や注目点指示装置300など外部装置と通信を行うことに用いられる。この通信部116によっても、画像のデータを外部装置に送信することができる。   The communication unit 116 is used to communicate with an external device such as the image display device 200 and the attention point indicating device 300 via the antenna 116a. The communication unit 116 can also transmit image data to an external device.

加速度センサ117は、パノラマ画像撮影装置100の上下方向、左右方向、および前後方向の、互いに直交する3方向に関する加速度を検出する3軸加速度センサである。したがって、加速度センサ117は、重力加速度の方向を検出することによって、パノラマ画像撮影装置100の傾きを検出することが可能である。   The acceleration sensor 117 is a three-axis acceleration sensor that detects accelerations in three directions orthogonal to each other in the vertical direction, the horizontal direction, and the front-rear direction of the panoramic image photographing apparatus 100. Therefore, the acceleration sensor 117 can detect the tilt of the panoramic image capturing apparatus 100 by detecting the direction of gravity acceleration.

電子コンパス118は、地球の磁気からパノラマ画像撮影装置100の正面が向いている方位および傾きを算出し、方位および傾き情報を出力する。すなわち、電子コンパス118は、パノラマ画像撮影装置100の上下方向、左右方向、および前後方向の、互いに直交する3方向に関する地磁気方向を検出し、パノラマ画像撮影装置100の正面が向いている方位および傾きを算出する。   The electronic compass 118 calculates the azimuth and inclination of the panoramic image photographing apparatus 100 facing from the earth's magnetism, and outputs the azimuth and inclination information. That is, the electronic compass 118 detects the geomagnetic directions related to the three directions orthogonal to each other in the up-down direction, the left-right direction, and the front-rear direction of the panoramic image photographing apparatus 100, and the orientation and inclination in which the front of the panoramic image photographing apparatus 100 faces. Is calculated.

GPS受信器119は、人工衛星からの電波を受信し、パノラマ画像撮影装置100の位置および高さを測定することに用いられる。なお、パノラマ画像撮影装置100の位置および高さの測定における原点は任意に定めることができるが、注目点指示装置300の位置および高さの測定における原点と一致させておく必要がある。なぜならば、本実施形態で必要となるのは、パノラマ画像撮影装置100と注目点指示装置300との間の相対的位置関係であるからである。   The GPS receiver 119 is used to receive radio waves from an artificial satellite and measure the position and height of the panoramic image capturing apparatus 100. The origin of the panoramic image photographing apparatus 100 in the position and height measurement can be arbitrarily determined, but it is necessary to match the origin of the attention point indicating apparatus 300 in the position and height measurement. This is because the relative positional relationship between the panoramic image photographing apparatus 100 and the attention point indicating apparatus 300 is necessary in the present embodiment.

次に、図5〜図8を参照しながら、パノラマ画像撮影装置100によるパノラマ画像の撮影の例を説明する。図5は、パノラマ画像撮影装置の使用イメージ図であり、図6は、パノラマ画像撮影装置で撮影された前側半球画像であり、図7は、パノラマ画像撮影装置で撮影された後側半球画像であり、図8は、図6および図7の半球画像を変換および合成したパノラマ画像である。   Next, an example of panorama image shooting by the panorama image shooting apparatus 100 will be described with reference to FIGS. FIG. 5 is a usage image diagram of the panoramic image photographing apparatus, FIG. 6 is a front hemispheric image photographed by the panoramic image photographing apparatus, and FIG. 7 is a rear hemispheric image photographed by the panoramic image photographing apparatus. 8 is a panoramic image obtained by converting and synthesizing the hemispherical images of FIGS. 6 and 7.

図5に示されるように、パノラマ画像撮影装置100は、撮影者Mが手に持って撮影者の周りの撮影対象物を撮影することが可能である。先述のように、パノラマ画像撮影装置100は、2つのレンズ102a,102bによって全球を2つの半球に分割する。   As shown in FIG. 5, the panoramic image photographing apparatus 100 can photograph a subject to be photographed around the photographer M with the hand of the photographer M. As described above, the panoramic image photographing apparatus 100 divides the entire sphere into two hemispheres by the two lenses 102a and 102b.

図6および図7は、それぞれ2つのレンズ102a,102bによって分割撮影された前側半球画像および後側半球画像である。この2つの前側半球画像および後側半球画像をメルカトル図法を用いて変換した後に、2つの画像を合成したものが図8に示されたパノラマ画像である。   6 and 7 are a front hemisphere image and a rear hemisphere image that are separately captured by two lenses 102a and 102b, respectively. The panoramic image shown in FIG. 8 is obtained by combining the two front hemisphere images and the rear hemisphere image using the Mercator projection and then combining the two images.

しかしながら、図8に示されたパノラマ画像は、撮影者Mの意図する注目点を中心とした適切な変換がなされてなく、パノラマ画像撮影装置100の装置自体の傾きによる影響を補正していない。つまり、撮影者Mの意図する注目点を中心として最適化された変換がされていないので、撮影者Mの意図する注目点の付近で画像歪み等が残ってしまうことがある。   However, the panoramic image shown in FIG. 8 has not been appropriately converted around the point of interest intended by the photographer M, and the influence of the tilt of the panoramic image photographing apparatus 100 itself is not corrected. In other words, since the conversion optimized around the attention point intended by the photographer M is not performed, image distortion or the like may remain in the vicinity of the attention point intended by the photographer M.

そこで、本実施形態に係る画像表示システム1000、画像表示装置200、および画像表示方法では、以下に示すように、パノラマ画像撮影装置100が取得したパノラマ画像を、パノラマ画像撮影装置100自身の傾き、方位、及び位置と、撮影者Mが意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした画像にパノラマ画像を変換する。以下で説明する画像変換方法は、画像処理部201にて実行されるものである。   Therefore, in the image display system 1000, the image display apparatus 200, and the image display method according to the present embodiment, as shown below, the panorama image acquired by the panorama image capturing apparatus 100 is converted into the tilt of the panorama image capturing apparatus 100 itself, A panoramic image is converted into an image centered on the position of the point of interest on the basis of the azimuth and position and the position of the point of interest of the imaging target that the photographer M intends to pay attention to. The image conversion method described below is executed by the image processing unit 201.

以下、図9〜図21を参照しながら、注目点位置を中心とした画像にパノラマ画像を変換する方法について説明する。以下の説明は3部にて構成されており、図9〜図12を参照したパノラマ画像の生成方法、図13〜図14を参照した天頂補正、および図15〜図21を参照した注目点方向の変換の説明で構成されている。   Hereinafter, a method for converting a panoramic image into an image centered on the position of the attention point will be described with reference to FIGS. The following description is composed of three parts, a panoramic image generation method with reference to FIGS. 9 to 12, a zenith correction with reference to FIGS. 13 to 14, and an attention point direction with reference to FIGS. It consists of a description of the conversion.

[パノラマ画像の生成方法]
図9は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図であり、図10は、撮影像が撮像素子上に射影される位置を示す図である。
[Panorama image generation method]
FIG. 9 is a diagram illustrating a projection relationship between the lens and the image sensor of the panoramic image photographing apparatus, and FIG. 10 is a diagram illustrating a position where the photographed image is projected onto the image sensor.

パノラマ画像撮影装置100のレンズ102aおよび撮像素子103aで構成される光学系は、180度の画角を有している。図9に示されるように、レンズ102aの光軸からの角度である入射角度γの光線は、撮像素子103a上にて中心から距離である像高hの位置に投影される。この関係は、0度から180度の範囲の入射角度γに対して像高hが定まる関係であり、これを射影関数fと定める。図10に示されるように、入射角度γの光線は、撮像素子103a上にて中心から距離である像高h(=f(γ))の位置に投影されるので、同一の入射角γの光線は、撮像素子103a上にて同心円状に投影される。   The optical system including the lens 102a and the image sensor 103a of the panoramic image photographing apparatus 100 has a field angle of 180 degrees. As shown in FIG. 9, a light beam having an incident angle γ that is an angle from the optical axis of the lens 102a is projected onto the image sensor 103a at a position of an image height h that is a distance from the center. This relationship is a relationship in which the image height h is determined with respect to an incident angle γ in the range of 0 ° to 180 °, and this is defined as a projection function f. As shown in FIG. 10, since the light beam having the incident angle γ is projected on the image sensor 103a at the position of the image height h (= f (γ)) that is the distance from the center, The light rays are projected concentrically on the image sensor 103a.

この射影関数fは、レンズ102aの設計によって自由に設計し得るものであるが、例えば中心射影方式、立体射影方式、等距離射影方式、等立体角射影方式、正射影方式などの例を挙げることができる。一般に、中心射影方式は、通常の画角を有するレンズを備えるデジタルカメラで撮影する際に用いられる方式であり、その他4つの方式は、魚眼レンズなどの超広角な画角を持つ広角レンズを用いたデジタルカメラで利用される方式である。   This projection function f can be designed freely according to the design of the lens 102a. Examples thereof include a center projection method, a stereoscopic projection method, an equidistant projection method, an equisolid angle projection method, and an orthogonal projection method. Can do. In general, the central projection method is a method used when photographing with a digital camera having a lens having a normal angle of view, and the other four methods use a wide-angle lens having an ultra-wide angle of view such as a fish-eye lens. This method is used in digital cameras.

次に、図11および図12を参照しながら、撮像素子上の画素とパノラマ画像上の画素との対応関係について説明する。   Next, a correspondence relationship between pixels on the image sensor and pixels on the panoramic image will be described with reference to FIGS. 11 and 12.

図11は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。図11(a)は、変換前後の画像座標値のマトリクスを示した変換テーブルの例を示す図であり、図11(b)および(c)は、それぞれ変換後であるパノラマ画像上の画素の座標値および変換前である撮像素子上の画素の座標値を示す図である。   FIG. 11 is a diagram illustrating a conversion method for converting pixels on the image sensor into pixels on a panoramic image. FIG. 11A is a diagram showing an example of a conversion table showing a matrix of image coordinate values before and after conversion, and FIGS. 11B and 11C show the pixels on the panoramic image after conversion, respectively. It is a figure which shows the coordinate value and the coordinate value of the pixel on the image pick-up element before conversion.

図11(a)に示されるように、撮像素子上の画素をパノラマ画像上の画素へ変換する変換テーブルは、パノラマ画像上の座標値(θ、φ)と、それに対応する撮像素子上の座標値(x、y)とのデータセットを、パノラマ画像上のすべての画像の座標値(3600×1800)に対して有する。   As shown in FIG. 11A, the conversion table for converting pixels on the image sensor into pixels on the panoramic image includes coordinate values (θ, φ) on the panorama image and corresponding coordinates on the image sensor. A data set with values (x, y) is provided for the coordinate values (3600 × 1800) of all images on the panoramic image.

図11(a)に示した変換テーブルにしたがって、撮像された画像(変換前画像)から変換後画像を生成する。具体的には、図11(b)、(c)に示すように、変換前と変換後の変換テーブル(図11(a))の対応関係から、変換後画像の各画素を、座標値(θ、φ)に対応する変換前画像の座標値(x、y)の画素値を参照することによって生成する。   A post-conversion image is generated from the captured image (pre-conversion image) according to the conversion table shown in FIG. Specifically, as shown in FIGS. 11B and 11C, each pixel of the post-conversion image is represented by a coordinate value (from the correspondence relationship between the pre-conversion and post-conversion conversion table (FIG. 11A). It is generated by referring to the pixel value of the coordinate value (x, y) of the pre-conversion image corresponding to (θ, φ).

なお、上記説明した変換は、パノラマ画像撮影装置100が備える2つの撮像素子103a,103bのそれぞれについて行なわれ、最終的に一つのパノラマ画像が生成される。   The above-described conversion is performed for each of the two image pickup devices 103a and 103b included in the panoramic image photographing apparatus 100, and finally one panoramic image is generated.

図12は、上記説明した方法で生成されたパノラマ画像の座標系について説明する図である。図12(a)に示されるように、変換後のパノラマ画像は、(θ、φ)の2次元平面座標を有する。これら座標(θ、φ)は、それぞれ経度および緯度に相当し、図12(b)に示されるように、半球画像では、地球儀上における緯度経度座標のような座標系に対応している。   FIG. 12 is a diagram illustrating a coordinate system of a panoramic image generated by the method described above. As shown in FIG. 12A, the panoramic image after conversion has a two-dimensional plane coordinate of (θ, φ). These coordinates (θ, φ) correspond to longitude and latitude, respectively. As shown in FIG. 12B, the hemisphere image corresponds to a coordinate system such as latitude and longitude coordinates on the globe.

[天頂補正]
ここで、図13および図14を参照しながら、以下で説明する天頂補正の概要を説明する。図13は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図であり、図14は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。図13(a)(b)は、それぞれパノラマ画像撮影装置が傾いていない場合における前側半球画像および後側半球画像を示し、図13(c)は、パノラマ画像撮影装置が傾いていない場合における変換後のパノラマ画像上の水平線位置を示す図である。同様に、図14(a)(b)は、それぞれパノラマ画像撮影装置が傾いている場合における前側半球画像および後側半球画像を示し、図13(c)は、パノラマ画像撮影装置が傾いている場合における変換後のパノラマ画像上の水平線位置を示す図である。
[Zenith correction]
Here, an outline of zenith correction described below will be described with reference to FIGS. 13 and 14. FIG. 13 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is not tilted. FIG. 14 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is tilted. FIG. FIGS. 13A and 13B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing apparatus is not tilted, and FIG. 13C is a conversion when the panoramic image photographing apparatus is not tilted. It is a figure which shows the horizontal line position on a subsequent panoramic image. Similarly, FIGS. 14A and 14B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing device is tilted, and FIG. 13C is a tilted panoramic image photographing device. It is a figure which shows the horizontal line position on the panoramic image after conversion in the case.

図13(a)(b)に示されるように、パノラマ画像撮影装置100が傾いていない場合における半球画像は、天頂Vが半球画像の上端に位置し、水平線Hが半球画像の中央に直線状に位置している。この2つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図13(c)に示されるように、水平線Hはパノラマ画像上の中央に直線状に変換される。   As shown in FIGS. 13 (a) and 13 (b), when the panoramic image photographing apparatus 100 is not tilted, the hemispherical image is such that the zenith V is located at the upper end of the hemispherical image, and the horizontal line H is linear at the center of the hemispherical image. Is located. When these two hemispherical images are converted into a panoramic image by the conversion method described above, the horizontal line H is converted into a straight line at the center of the panoramic image as shown in FIG.

一方、図14(a)(b)に示されるように、パノラマ画像撮影装置100が傾いている場合における半球画像は、天頂Vが半球画像の上端からずれた場所に位置し、水平線Hが半球画像の中央に円弧状に曲がって位置している。この2つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図14(c)に示されるように、水平線Hはパノラマ画像上の中央に円弧状に曲がって変換されてしまう。   On the other hand, as shown in FIGS. 14A and 14B, when the panoramic image photographing apparatus 100 is tilted, the hemispherical image is located where the zenith V is shifted from the upper end of the hemispherical image, and the horizontal line H is hemispherical. It is located in a circular arc at the center of the image. When these two hemispherical images are converted into a panoramic image by the conversion method described above, the horizontal line H is bent and converted into an arc shape at the center of the panoramic image as shown in FIG.

そこで、パノラマ画像撮影装置が傾いていることに起因して図14(c)に示される画像のように歪みが発生してしまったパノラマ画像を、図13(c)に示される画像のように補正する。この補正を天頂補正と呼び、以下ではこの天頂補正についての詳細を説明する。   Therefore, a panoramic image in which distortion has occurred as in the image shown in FIG. 14C due to the tilt of the panoramic image photographing device is converted into an image shown in FIG. 13C. to correct. This correction is called zenith correction, and the details of this zenith correction will be described below.

まず、図15を参照しながら、座標系の定義を行う。図15は、カメラ座標系とグローバル座標系の関係を示す図である。カメラ座標系とは、パノラマ画像撮影装置100に固定された座標系であり、グローバル座標系とは、天頂補正後にカメラ座標系が変換される座標系である。   First, the coordinate system is defined with reference to FIG. FIG. 15 is a diagram illustrating the relationship between the camera coordinate system and the global coordinate system. The camera coordinate system is a coordinate system fixed to the panoramic image photographing apparatus 100, and the global coordinate system is a coordinate system in which the camera coordinate system is converted after zenith correction.

図15に示されるように、カメラ座標系(x,y,z)は、パノラマ画像撮影装置100に固定された3次元直交座標系である。座標zは、パノラマ画像撮影装置100にとっての上方向に一致し、座標平面x−yは、パノラマ画像撮影装置100にとっての水平方向に一致している。なお、注目点方向の初期値を座標yの正方向に定める。つまり、初期設定においては、座標yの正方向に存在する撮影対象がパノラマ画像の中央に配置されるものとする。 As shown in FIG. 15, the camera coordinate system (x 0 , y 0 , z 0 ) is a three-dimensional orthogonal coordinate system fixed to the panoramic image photographing apparatus 100. The coordinate z 0 coincides with the upward direction for the panoramic image photographing apparatus 100, and the coordinate plane x 0 -y 0 coincides with the horizontal direction for the panoramic image photographing apparatus 100. Incidentally, determining the initial value of the target point direction in the positive direction of the coordinate y 0. That is, in the initial setting, it is assumed that the imaging target that is present in the positive direction of the coordinate y 0 is placed in the center of the panoramic image.

一方、グローバル座標系(x,y,z)は、天頂補正後にカメラ座標系が変換される座標系であり、以下の条件を満たす座標系である。
・座標平面x−yが水平である。
・座標軸zが天頂方向である。
・パノラマ画像撮影装置100の座標平面x−yの中に、グローバル座標系の座標軸xが存在する。
On the other hand, the global coordinate system (x 1 , y 1 , z 1 ) is a coordinate system to which the camera coordinate system is converted after zenith correction, and is a coordinate system that satisfies the following conditions.
The coordinate plane x 1 -y 1 is horizontal.
The coordinate axis z 1 is the zenith direction.
The coordinate axis x 1 of the global coordinate system exists in the coordinate plane x 0 -y 0 of the panoramic image photographing apparatus 100.

上記要件を満たす座標系は、天頂補正後にカメラ座標系が変換される座標系として1つに定まる。天頂補正では、カメラ座標系からグローバル座標系への変換を2つの回転で実現する。このために、カメラ座標系とグローバル座標系との間の関係をパノラマ画像撮影装置100が検出する重力方向を用いて演算する。   A coordinate system that satisfies the above requirements is determined as one coordinate system to which the camera coordinate system is converted after zenith correction. In zenith correction, the transformation from the camera coordinate system to the global coordinate system is realized by two rotations. For this purpose, the relationship between the camera coordinate system and the global coordinate system is calculated using the gravity direction detected by the panoramic image photographing apparatus 100.

図16は、パノラマ画像撮影装置が検出する重力方向を示す図である。先述した図4に記載のように、パノラマ画像撮影装置100は加速度センサ117を備えている。加速度センサ117は、カメラ座標系(x,y,z)の各座標方向に関する加速度を検出する3軸加速度センサであるので、図16に示されるように、重力加速度Gは、カメラ座標(x,y,z)の各成分(A,A、A)に分解され検出される。 FIG. 16 is a diagram illustrating the gravity direction detected by the panoramic image photographing apparatus. As described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes the acceleration sensor 117. Since the acceleration sensor 117 is a three-axis acceleration sensor that detects acceleration in each coordinate direction of the camera coordinate system (x 0 , y 0 , z 0 ), as shown in FIG. Each component (A x , A y , A z ) of (x 0 , y 0 , z 0 ) is decomposed and detected.

加速度センサ117が検出した重力加速度Gの各成分(A,A,A)を用いると、カメラ座標系からグローバル座標系への変換を導く2つの回転の回転角α,βは以下のように求められる。 When each component (A x , A y , A z ) of the gravitational acceleration G detected by the acceleration sensor 117 is used, the rotation angles α and β of the two rotations leading to the conversion from the camera coordinate system to the global coordinate system are as follows: Asking.

図17は、上記算出した2つの回転の回転角α,βを示した図である。図17に示されるように、回転角αはx−原点−xの角度であり、回転角βはz−原点−zの角度である。 FIG. 17 is a diagram showing the rotation angles α and β of the two rotations calculated above. As shown in FIG. 17, the rotation angle α is an angle of x 0 -origin-x 1 , and the rotation angle β is an angle of z 0 -origin-z 1 .

以上に算出した2つの回転の回転角α,βを用いると、天頂補正後のパノラマ画像の座標(θ,φ)から天頂補正前のパノラマ画像の座標(θ,φ)への変換は、以下の変換式(2)で記述される。なお、パノラマ画像の座標とは、図12によって説明した座標である。 Using the two rotation angles α and β calculated above, the coordinates (θ 1 , φ 1 ) of the panoramic image after zenith correction to the coordinates (θ 0 , φ 0 ) of the panoramic image before zenith correction are used. The conversion is described by the following conversion formula (2). Note that the coordinates of the panoramic image are the coordinates described with reference to FIG.

天頂補正前のパノラマ画像から天頂補正後のパノラマ画像への変換は、天頂補正後の画素の座標(θ,φ)に対応する天頂補正前の画素の座標(θ,φ)を上記変換式(2)を用いて算出し、座標(θ,φ)における画素情報(RGBデータ等)を座標(θ,φ)へ写像すればよい。 The conversion from the panoramic image before zenith correction to the panoramic image after zenith correction is performed by using the coordinates (θ 0 , φ 0 ) of the pixel before zenith correction corresponding to the coordinates (θ 1 , φ 1 ) of the pixel after zenith correction. The pixel information (RGB data or the like) at the coordinates (θ 0 , φ 0 ) may be mapped to the coordinates (θ 1 , φ 1 ) by using the conversion formula (2).

[注目点方向の変換]
以上により、パノラマ画像撮影装置100が傾いていることに起因するパノラマ画像の不具合を補正することができた。この後、撮影者が意図する注目すべき撮影対象の位置をパノラマ画像の中央に移動する変換を行う。この変換のために、地表の座標系を定義する。
[Convert attention point direction]
As described above, the malfunction of the panorama image due to the panorama image photographing apparatus 100 being tilted can be corrected. Thereafter, conversion is performed in which the position of the imaging target to be noticed intended by the photographer is moved to the center of the panoramic image. For this transformation, we will define the ground coordinate system.

図18は、地表の座標系の定義を説明する図である。先述した図4に記載のように、パノラマ画像撮影装置100は電子コンパス118とGPS受信器119とを備えている。地表の座標系は、電子コンパス118で得られた情報とGPS受信器119で得られた情報とを対応付けるための座標系である。   FIG. 18 is a diagram for explaining the definition of the coordinate system of the ground surface. As described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes an electronic compass 118 and a GPS receiver 119. The coordinate system of the ground surface is a coordinate system for associating information obtained by the electronic compass 118 with information obtained by the GPS receiver 119.

図18に示されるように、地表の座標系(x,y,z)は、地表に固定された3次元直交座標系である。図18に示されるように、地表の座標系(x,y,z)は、座標軸xの正方向を東Eとし、座標軸xの負方向を西Wとし、座標軸yの正方向を北Nとし、座標軸yの負方向を南Sとし、座標軸zの正方向を天頂Vとする。なお、電子コンパス118が検出する地軸と実際の地軸とは誤差があるが、日本付近では6°程度と微小であるため無視してもよく、必要に応じて補正してもよい。 As shown in FIG. 18, the coordinate system (x 2 , y 2 , z 2 ) of the ground surface is a three-dimensional orthogonal coordinate system fixed to the ground surface. As shown in FIG. 18, in the coordinate system (x 2 , y 2 , z 2 ) of the ground surface, the positive direction of the coordinate axis x 2 is east E, the negative direction of the coordinate axis x 2 is west W, and the coordinate axis y 2 The positive direction is north N, the negative direction of the coordinate axis y 2 is south S, and the positive direction of the coordinate axis z 2 is zenith V. Although there is an error between the earth axis detected by the electronic compass 118 and the actual earth axis, it is negligible at around 6 ° in the vicinity of Japan, and may be ignored, and may be corrected as necessary.

ここで、天頂補正後の注目点方向について検討する。すなわち、天頂補正前の注目点方向はカメラ座標系におけるy軸方向であり、パノラマ画像ではこの方向の撮影対象物が中心となっていた。しかしながら、天頂補正をしたことにより、この注目点方向がy軸方向になっている。そこで、y軸方向とy軸方向との関係を検討する。 Here, the direction of the point of interest after zenith correction is examined. That is, target point direction before zenith correction is y 0 axially in the camera coordinate system, the object to be shot in the direction in the panoramic image has been a center. However, it has the zenith correction, the target point direction is the y 1 axially. Therefore, considering the relationship between y 0 axial and y 1 axially.

ところで、天頂補正時の処理では、x軸をx軸に合わせるためにz軸を中心にα度回転させ、その後、x軸を中心としてβ度回転させている。このことから、グローバル座標系の水平平面に限った場合、天頂補正後の注目点方向(y軸方向)と初期値の注目点方向(y軸方向)は、α度だけずれていることが解る。 Incidentally, in the processing at the zenith correction, the x 0 axis is rotated α degrees about the z 0 axis to match the x 1 axis, then, it is rotated β degrees around the x 1 axis. Therefore, when limited to the horizontal plane of the global coordinate system, the attention point direction (y 1 axis direction) after the zenith correction and the initial attention point direction (y 0 axis direction) are shifted by α degrees. I understand.

図19は、y軸方向とy軸方向との関係を示す図である。天頂補正は、α度の回転とβ度の回転の合成によって実現されるが、図19に示されるように、座標平面x−yに限定して考えると、α度の回転となっている。なお、図19に示されるy’軸は、y軸を座標平面x−yに射影したものである。 Figure 19 is a diagram showing the relationship between y 1 axial and y 0 axially. The zenith correction is realized by the combination of the rotation of α degrees and the rotation of β degrees. However, as shown in FIG. 19, when limited to the coordinate plane x 1 -y 1 , the rotation is α degrees. Yes. Note that the y 0 ′ axis shown in FIG. 19 is obtained by projecting the y 0 axis onto the coordinate plane x 1 -y 1 .

さらに、天頂補正の注目点方向であるy軸の正方向は、地表の座標系で考えた場合にどの方向であるかを検討する。図20は、y軸方向とy軸方向とy’軸方向との関係を示す図である。図20は、記載を見やすくするため、座標平面x−y上に、地表の座標系で北方向を示すy軸と、カメラ座標系で注目点方向を示すy軸方向の射影であるy’軸とを記載している。 Further, the positive direction of the y 1 axis, which is the direction of the target point for zenith correction, is examined as to which direction is considered in the surface coordinate system. FIG. 20 is a diagram illustrating a relationship among the y 1 axis direction, the y 2 axis direction, and the y 0 ′ axis direction. In FIG. 20, in order to make the description easy to see, projections in the y 2 axis indicating the north direction in the coordinate system of the ground surface and the y 0 axis direction indicating the direction of the point of interest in the camera coordinate system on the coordinate plane x 1 -y 1. A certain y 0 'axis is described.

ところで、先述した図4に記載のように、パノラマ画像撮影装置100は電子コンパス118を備えている。電子コンパス118は、カメラ座標系(x,y,z)における北方向Hの各成分(H,H)を検出するものである。よって、図20に示されるように、電子コンパス118の検出値HとHとをもちいて、下式のように、y’軸とy軸との成す角αを算出できる。 Incidentally, as described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes the electronic compass 118. The electronic compass 118 detects each component (H x , H y ) in the north direction H 0 in the camera coordinate system (x 0 , y 0 , z 0 ). Therefore, as shown in FIG. 20, using the detected values H x and H y of the electronic compass 118, the angle α h formed by the y 0 ′ axis and the y 2 axis can be calculated as in the following equation.

一方、y軸とy’軸との成す角はα度であったので、y軸とy軸との成す角は(α―α)度であることが解る。なお、y軸およびy軸は、共に座標平面x−y上に存在しているので、グローバル座標系(x,y,z)と地表の座標系(x,y,z)との間の変換では、仰角の変換をする必要がない。 On the other hand, since the angle formed between the y 1 axis and the y 0 ′ axis is α degrees, it is understood that the angle formed between the y 1 axis and the y 2 axis is (α−α h ) degrees. Since both the y 1 axis and the y 2 axis exist on the coordinate plane x 1 -y 1 , the global coordinate system (x 1 , y 1 , z 1 ) and the ground surface coordinate system (x 2 , y 1 ) 2 , z 2 ) does not require elevation angle conversion.

次に、注目点指示装置300の検出結果を反映させる。すなわち、パノラマ画像撮影装置100が備えるGPS受信器との測定値と注目点指示装置300が備えるGPS受信器とから、パノラマ画像撮影装置100と注目点指示装置300との相対的位置関係を求め、注目点指示装置300が示す位置がパノラマ画像の中心となるように画像を変換する。   Next, the detection result of the attention point indicating device 300 is reflected. That is, the relative positional relationship between the panoramic image photographing device 100 and the attention point indicating device 300 is obtained from the measurement value of the GPS receiver included in the panoramic image photographing device 100 and the GPS receiver included in the attention point indicating device 300. The image is converted so that the position indicated by the point of interest indicating device 300 is the center of the panoramic image.

図21は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。図21では、パノラマ画像撮影装置100および注目点指示装置300の位置が、地表の座標系(x,y,z)を用いて、それぞれ座標(Gx0,Gy0,Gz0)および座標(Gx1,Gy1,Gz1)に記載されている。 FIG. 21 is a diagram illustrating a relative positional relationship between the panoramic image photographing device and the target point indicating device. In FIG. 21, the positions of the panoramic image photographing apparatus 100 and the point-of-interest indicating apparatus 300 are set to the coordinates (G x0 , G y0 , G z0 ) and the coordinate system (x 2 , y 2 , z 2 ) of the ground surface, respectively. Coordinates (G x1 , G y1 , G z1 ) are described.

図21に示されるように、北方向(y軸)と注目点方向(注目点指示装置300の方向)との水平方向の成す角θおよび仰角θは、下記式で計算できる。
As shown in FIG. 21, angle theta h and elevation theta v formed by the horizontal and north (y 2 axis) and target point direction (direction of the target point indicating device 300) can be calculated by the following equation.

以上の検討から、天頂補正後のパノラマ画像に対して、水平方向に対して(α−α−θ)度の回転をし、その後、垂直方向に対して(θ)度の回転をすることで、注目点方向を中心としたパノラマ画像を得ることができることが解る。なお、実際の回転に係る変換は、先述の変換式(2)のパラメータを適切に変更したものを用いればよい。 From the above examination, the panoramic image after zenith correction is rotated by (α−α h −θ h ) degrees with respect to the horizontal direction, and then rotated by (θ v ) degrees with respect to the vertical direction. Thus, it can be seen that a panoramic image centered on the direction of the point of interest can be obtained. In addition, what is necessary is just to use what changed the parameter of the above-mentioned conversion formula (2) suitably for the conversion which concerns on actual rotation.

以上、撮影者が意図する注目方向をパノラマ画像の中心に移動させる変換を説明したが、当該変換は、動画の各フレームに適用すれば、静止画のみならず、動画に対しても適用可能である。   As described above, the conversion in which the direction of interest intended by the photographer is moved to the center of the panoramic image has been described. is there.

(第2実施形態)
次に、第2実施形態に係る画像表示システムについての説明を行う。第1実施形態に係る画像表示システムは移動可能な撮影対象を注目点とするのに好適なものであったが、第2実施形態に係る画像表示システムは移動しない撮影対象を注目点とするのに好適である。第2実施形態は、例えば大きな目標物(山、木、建造物など)を周遊しながらの撮影や橋やビルなどをラジコンヘリで空撮して欠陥検査する場合などに好適である。
(Second Embodiment)
Next, an image display system according to the second embodiment will be described. The image display system according to the first embodiment is suitable for making a movable shooting target as a point of interest, but the image display system according to the second embodiment sets a moving shooting target as a point of interest. It is suitable for. The second embodiment is suitable, for example, when photographing a large target (such as a mountain, a tree, or a building) while taking an aerial photograph of a bridge or a building with a radio controlled helicopter to inspect the defect.

図22は、第2実施形態に係る画像表示システムの概略構成を示す概念図である。図22に示されるように、第2実施形態の画像表示システム2000は、パノラマ画像撮影装置100と、画像表示装置210とを備える。   FIG. 22 is a conceptual diagram showing a schematic configuration of an image display system according to the second embodiment. As shown in FIG. 22, the image display system 2000 according to the second embodiment includes a panoramic image photographing device 100 and an image display device 210.

パノラマ画像撮影装置100は、パノラマ画像を撮影するためのものであり、第1実施形態と同一の構成とすることができる。すなわち、パノラマ画像撮影装置100は、装置自身の傾き、装置が向いている方位、および位置の情報を取得する手段を備えている。パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置は、画像表示装置210へ送信される。   The panoramic image photographing apparatus 100 is for photographing a panoramic image and can have the same configuration as that of the first embodiment. That is, the panoramic image photographing apparatus 100 includes means for acquiring information on the tilt of the apparatus itself, the orientation in which the apparatus is facing, and the position. The image, tilt, azimuth, and position acquired by the panorama image photographing apparatus 100 are transmitted to the image display apparatus 210.

なお、パノラマ画像撮影装置100から画像表示装置210への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置100内に保存した後に画像表示装置210へ送信してもよい。   Note that transmission from the panoramic image photographing apparatus 100 to the image display apparatus 210 may be wireless or wired, and may be temporarily stored in the panoramic image photographing apparatus 100 even if transmitted in real time. Then, it may be transmitted to the image display device 210.

画像表示装置210は、画像処理部211と画像表示部212と入力手段213とを備えている。画像処理部211は、パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置と、入力手段213により入力された注目点位置とに基づいて、画像表示部212へ表示すべき画像を構成する。画像表示部212は、画像処理部211が生成した画像を表示するためのディスプレイである。   The image display device 210 includes an image processing unit 211, an image display unit 212, and an input unit 213. The image processing unit 211 configures an image to be displayed on the image display unit 212 based on the image, the tilt, the azimuth, and the position acquired by the panoramic image capturing apparatus 100 and the point of interest position input by the input unit 213. To do. The image display unit 212 is a display for displaying the image generated by the image processing unit 211.

入力手段213は、撮影者が意図する注目すべき撮影対象Oの位置を注目点位置として指示するための手段である。入力手段213は、例えばタッチパネルやキーボードなどの一般的な入力機器を用いて構成されている。撮影者は意図する注目すべき撮影対象Oの位置を入力手段213を用いて入力する。 The input unit 213 is a unit for instructing the position of the imaging target O 2 to be noticed intended by the photographer as the point of interest position. The input unit 213 is configured using a general input device such as a touch panel or a keyboard. The photographer uses the input unit 213 to input the intended position of the imaging target O 2 to be noted.

上記の構成から解るように、第2実施形態に係る画像表示システム2000は、第1実施形態における注目点指示装置300の代わりに入力手段213を用いて撮影者が意図する注目すべき撮影対象Oの位置を注目点位置として指示する構成である。言い換えると、第2実施形態に係る画像表示システム2000では、入力手段213は、撮影者が意図する注目すべき撮影対象Oの位置を注目点位置として指示する注目点指示装置として機能している。 As understood from the above configuration, the image display system 2000 according to the second embodiment uses the input unit 213 instead of the point-of-interest instruction device 300 in the first embodiment, and the imaging target O that the photographer intends to focus on In this configuration, the position 2 is designated as the position of interest. In other words, in the image display system 2000 according to the second embodiment, the input unit 213 functions as an attention point indicating device that indicates the position of the imaging target O 2 that should be noted by the photographer as the attention point position. .

本実施形態の画像処理部211も、パノラマ画像撮影装置100が取得したパノラマ画像を、パノラマ画像撮影装置100自身の傾き、方位、及び位置と、撮影者が意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした表示画像にパノラマ画像を変換するが、その変換方法は第1実施形態と同一である。したがって、本実施形態の説明では、変換方法の説明は省略するものとする。   The image processing unit 211 according to the present embodiment also converts the panoramic image acquired by the panoramic image photographing apparatus 100 into the panoramic image photographing apparatus 100 itself, the inclination, the azimuth, and the position of the panoramic image photographing apparatus 100 and the attention point of the photographing target intended by the photographer. Based on the position, the panorama image is converted into a display image centered on the position of the attention point, and the conversion method is the same as in the first embodiment. Therefore, in the description of the present embodiment, the description of the conversion method is omitted.

1000、2000 画像表示システム
100 パノラマ画像撮影装置
101 撮像ユニット
102a,102b レンズ
103a,103b 撮像素子
104 画像処理ユニット
110 バス
111 CPU
112 ROM
113 RAM
114 操作部
114a 操作ボタン
115 ネットワークI/F
116 通信部
116a アンテナ
117 加速度センサ
118 電子コンパス
119 GPS受信器
200,210 画像表示装置
201,211 画像処理部
202,212 画像表示部
213 入力手段
300 注目点指示装置
1000, 2000 Image display system 100 Panorama image photographing apparatus 101 Imaging unit 102a, 102b Lens 103a, 103b Imaging element 104 Image processing unit 110 Bus 111 CPU
112 ROM
113 RAM
114 Operation unit 114a Operation button 115 Network I / F
DESCRIPTION OF SYMBOLS 116 Communication part 116a Antenna 117 Acceleration sensor 118 Electronic compass 119 GPS receiver 200,210 Image display apparatus 201,211 Image processing part 202,212 Image display part 213 Input means 300 Attention point instruction | indication apparatus

特開2004−192207号公報JP 2004-192207 A

Claims (8)

全天球画像を取得する画像撮影装置と、
前記画像撮影装置の傾きを取得する傾きセンサと、
前記画像撮影装置の方位を取得する方位センサと、
前記画像撮影装置の位置を取得する第1の位置取得手段と、
注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、
前記画像撮影装置により取得された全天球画像を、前記画像撮影装置の傾きに基づき天頂補正し、天頂補正した前記全天球画像を、前記画像撮影装置の方位、前記画像撮影装置の位置及び前記注目点指示装置により指示された前記注目点位置に基づき、前記注目点位置が表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、
を備えることを特徴とする画像表示システム。
An image capturing device for acquiring a spherical image,
An inclination sensor for acquiring an inclination of the image capturing device;
An orientation sensor for obtaining the orientation of the image capturing device;
First position acquisition means for acquiring the position of the image photographing device;
A point-of-interest indicating device for instructing a position of an imaging object to be noted as a point of interest;
The omnidirectional image acquired by the image capturing apparatus, and zenith corrected based on the inclination of the imaging apparatus, the omnidirectional image zenith correction, orientation of the imaging apparatus, the position of the pre-Symbol imaging apparatus And an image display device that converts the attention point position into a display image on which the attention point position is displayed based on the attention point position instructed by the attention point instruction device, and displays the display image.
An image display system comprising:
前記注目点指示装置は、前記撮影対象に備え付けられた、前記撮影対象の位置を取得する第2の位置取得手段であることを特徴とする請求項1に記載の画像表示システム。   The image display system according to claim 1, wherein the attention point instruction device is a second position acquisition unit that is provided in the imaging target and acquires the position of the imaging target. 前記第1の位置取得手段または前記第2の位置取得手段は、GPS受信器を備える機器であることを特徴とする請求項2に記載の画像表示システム。   The image display system according to claim 2, wherein the first position acquisition unit or the second position acquisition unit is a device including a GPS receiver. 前記注目点指示装置は、前記撮影対象の位置を入力する位置入力手段であることを特徴とする請求項1に記載の画像表示システム。   The image display system according to claim 1, wherein the attention point indicating device is a position input unit that inputs a position of the photographing target. 前記画像表示装置は、
前記画像撮影装置の傾きに基づいて前記全天球画像の天頂補正をする天頂補正手段と、
前記画像撮影装置の方位と、前記画像撮影装置の位置および前記注目点位置とに基づいて、前記全天球画像を前記注目点位置が表示される表示画像へ変換する回転補正手段とを備える、
ことを特徴とする請求項1〜4のいずれか1つに記載の画像表示システム。
The image display device includes:
A zenith correction means for the zenith correction of the celestial sphere image based on the tilt of the image capturing device,
Comprising the orientation of the image capturing apparatus, based on the position and the target point position of the image capturing apparatus, and a rotation correction means for converting the omnidirectional image to a display image where the point of interest position is displayed,
The image display system according to any one of claims 1 to 4, wherein
画像撮影装置が取得した全天球画像、傾きセンサにより取得された前記画像撮影装置の傾きに基づき天頂補正し、天頂補正した前記全天球画像を、方位センサにより取得された前記画像撮影装置の方位、第1の位置取得手段により取得された前記画像撮影装置の位置及び注目すべき撮影対象の注目点位置に基づいて、前記注目点位置が表示される表示画像に変換し、当該表示画像を表示する、
ことを特徴とする画像表示装置。
The omnidirectional image imaging apparatus has acquired, and zenith corrected based on the inclination of the imaging apparatus obtained by the inclination sensor, the omnidirectional image zenith corrected, the image capturing device obtained by the azimuth sensor orientation, based on the target point position location position imaging target and notable of the image capturing apparatus that has been acquired by the first position acquisition means, converts the display image where the point of interest position is displayed, the Display the displayed image,
An image display device characterized by that.
画像撮影装置が取得した全天球画像、傾きセンサにより取得された前記画像撮影装置の傾きに基づき天頂補正し、天頂補正した前記全天球画像を、方位センサにより取得された前記画像撮影装置の方位、第1の位置取得手段により取得された前記画像撮影装置の位置及び注目すべき撮影対象の注目点位置に基づいて、前記注目点位置が表示される表示画像に変換し、当該表示画像を表示する、
ことを特徴とする画像表示方法。
The omnidirectional image imaging apparatus has acquired, and zenith corrected based on the inclination of the imaging apparatus obtained by the inclination sensor, the omnidirectional image zenith corrected, the image capturing device obtained by the azimuth sensor orientation, based on the target point position location position imaging target and notable of the image capturing apparatus that has been acquired by the first position acquisition means, converts the display image where the point of interest position is displayed, the Display the displayed image,
An image display method characterized by the above.
画像撮影装置が取得した全天球画像、傾きセンサにより取得された前記画像撮影装置の傾きに基づき天頂補正し、天頂補正した前記全天球画像を、方位センサにより取得された前記画像撮影装置の方位、第1の位置取得手段により取得された前記画像撮影装置の位置及び注目すべき撮影対象の注目点位置に基づいて、前記注目点位置が表示される表示画像に変換する機能と、
当該変換された表示画像を画像表示装置に表示する機能と、
をコンピュータに実現させるためのプログラム。
The omnidirectional image imaging apparatus has acquired, and zenith corrected based on the inclination of the imaging apparatus obtained by the inclination sensor, the omnidirectional image zenith corrected, the image capturing device obtained by the azimuth sensor and orientation, function on the basis of the target point position location position imaging target and notable of the image capturing apparatus that has been acquired by the first position acquisition unit, to convert the display image where the point of interest position is displayed ,
A function of displaying the converted display image on an image display device;
A program to make a computer realize.
JP2018166919A 2018-09-06 2018-09-06 Image display system, image display apparatus, image display method, and program Active JP6610741B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018166919A JP6610741B2 (en) 2018-09-06 2018-09-06 Image display system, image display apparatus, image display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018166919A JP6610741B2 (en) 2018-09-06 2018-09-06 Image display system, image display apparatus, image display method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014173261A Division JP6398472B2 (en) 2014-08-27 2014-08-27 Image display system, image display apparatus, image display method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019198810A Division JP6879350B2 (en) 2019-10-31 2019-10-31 Image display systems, image display devices, image display methods, and programs

Publications (2)

Publication Number Publication Date
JP2019024206A JP2019024206A (en) 2019-02-14
JP6610741B2 true JP6610741B2 (en) 2019-11-27

Family

ID=65369023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018166919A Active JP6610741B2 (en) 2018-09-06 2018-09-06 Image display system, image display apparatus, image display method, and program

Country Status (1)

Country Link
JP (1) JP6610741B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192592B2 (en) * 2019-03-15 2022-12-20 株式会社リコー Imaging device, image communication system, image processing method, program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314851A (en) * 2001-04-10 2002-10-25 Nikon Corp Photographing apparatus
JP5865388B2 (en) * 2011-11-07 2016-02-17 株式会社ソニー・コンピュータエンタテインメント Image generating apparatus and image generating method
JP2013214947A (en) * 2012-03-09 2013-10-17 Ricoh Co Ltd Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program

Also Published As

Publication number Publication date
JP2019024206A (en) 2019-02-14

Similar Documents

Publication Publication Date Title
JP6398472B2 (en) Image display system, image display apparatus, image display method, and program
JP6919334B2 (en) Image processing device, image processing method, program
JP6627935B2 (en) Information processing apparatus, information processing method, and information processing program
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
JP7192592B2 (en) Imaging device, image communication system, image processing method, program
JP2016167739A (en) Image processing system, image processing method, and program
JP2013214947A (en) Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program
JP2019057903A (en) Image processing apparatus, photographing system, image processing method, and program
JP2019057264A (en) Image processing apparatus, photographing system, image processing method, and program
US9215340B2 (en) Display apparatus, display method, and computer-readable recording medium
JP2019110434A (en) Image processing apparatus, image processing system, and program
JP2018110384A (en) Image processing apparatus, imaging system, image processing method and program
JP6824143B2 (en) Imaging equipment, imaging systems, image processing methods, information processing equipment, and programs
JP6610741B2 (en) Image display system, image display apparatus, image display method, and program
US20230388643A1 (en) Portable device
JP5514062B2 (en) Electronic device, imaging screen display method with information, and program
JP6256513B2 (en) Imaging system, imaging apparatus, method, and program
JP2017227957A (en) Information processing apparatus and information processing system
JP2019185757A (en) Image processing device, imaging system, image processing method, and program
JP6879350B2 (en) Image display systems, image display devices, image display methods, and programs
US20200007761A1 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
JP2012227717A (en) Display device, display program, and display method
JP2020088571A (en) Management system, information processing system, information processing method and program
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
JP6999052B2 (en) Mobile devices and video display methods

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191014

R151 Written notification of patent or utility model registration

Ref document number: 6610741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151