JP6295738B2 - Video display device, video display system, and video display program - Google Patents

Video display device, video display system, and video display program Download PDF

Info

Publication number
JP6295738B2
JP6295738B2 JP2014046683A JP2014046683A JP6295738B2 JP 6295738 B2 JP6295738 B2 JP 6295738B2 JP 2014046683 A JP2014046683 A JP 2014046683A JP 2014046683 A JP2014046683 A JP 2014046683A JP 6295738 B2 JP6295738 B2 JP 6295738B2
Authority
JP
Japan
Prior art keywords
unit
captured image
image
input
video display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014046683A
Other languages
Japanese (ja)
Other versions
JP2015171095A (en
Inventor
正永 中村
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014046683A priority Critical patent/JP6295738B2/en
Publication of JP2015171095A publication Critical patent/JP2015171095A/en
Application granted granted Critical
Publication of JP6295738B2 publication Critical patent/JP6295738B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像表示装置、映像表示システム、および映像表示プログラムに関する。   The present invention relates to a video display device, a video display system, and a video display program.

撮像装置が現在撮影して得られているスルー画像に、過去に撮影した撮影画像の位置情報を参照して、過去に撮影した撮影画像を重ねて表示する映像表示手法が、たとえば特許文献１に開示されている。同一地点で過去に撮影した撮影画像が複数ある場合にはそれら複数の撮影画像同士が重なり合い、一番上に重ねられている撮影画像しか閲覧することができない。特許文献１では、同一地点で過去に撮影した撮影画像が複数ある場合には、撮影日時を利用して一番上に重ねる撮影画像を指定する手法を提案しているが、日付の指定は煩雑な操作が必要であり、日付順に順次重ねる順番を入れ替えると何度も操作が必要であり煩雑である。   For example, Patent Document 1 discloses a video display method for displaying a captured image captured in the past with reference to positional information of a captured image captured in the past on a through image currently captured by the imaging device. It is disclosed. When there are a plurality of photographed images taken at the same point in the past, the plurality of photographed images overlap each other, and only the photographed image superimposed on the top can be browsed. Patent Document 1 proposes a method for designating a photographed image to be superimposed on the top by using the photographing date / time when there are a plurality of photographed images photographed in the past at the same point. Operation is necessary, and if the order of sequential overlapping is changed, the operation is necessary many times and is complicated.

特開２０１０−６３０７６JP 2010-63076 A

複数の撮影画像が重ねて表示されている場合に、下に重ねられている撮影画像を閲覧するための操作が煩雑である。   When a plurality of photographed images are displayed in an overlapping manner, an operation for browsing the photographed image superimposed below is complicated.

（１）請求項１に記載の映像表示装置は、複数の撮影画像および複数の撮影画像の撮影位置を保存する記憶部と、被写体を撮影する撮影部と、現在位置を算出する現在位置算出部と、撮影部の向く方角を検出する方角検出部と、ユーザによる入力を受け付ける入力部と、表示部と、制御部とを備える。表示部は、撮影部が現在撮影して得ているスルー画像の上に、記憶部に保存されている撮影画像であって、撮影位置が現在位置から所定の距離範囲内でありかつ撮影位置が現在位置から検出した方角を中心に所定の角度範囲内に存在する撮影画像を重ねて表示画面に表示する。制御部は、表示画面に表示された撮影画像のうち入力部からの入力により選択された撮影画像を、入力部からの入力に応じて移動させ、選択された撮影画像の上に別の撮影画像があると、別の撮影画像も入力部からの入力に応じて移動させる。
（２）請求項６に記載の映像表示システムは、上述の映像表示装置とサーバとからなる。映像表示装置は、サーバと通信する表示装置通信部をさらに備え、サーバは、複数の映像表示装置と通信するサーバ通信部と、複数の撮影画像および複数の撮影画像の撮影位置を保存する撮影画像データベースと、サーバ通信部が映像表示装置から現在位置および方角を受信すると、受信した現在位置および方角に基づき撮影画像データベースから撮影画像を抽出し、サーバ通信部により現在位置および方角を送信した映像表示装置へ抽出した撮影画像を送信するサーバ制御部とを備える。
（３）請求項７に記載の映像表示プログラムは、コンピュータに、複数の撮影画像と複数の撮影画像の撮影位置を記憶部から読出させる読出し手順と、被写体を撮影させる撮影手順と、現在位置を算出させる自己位置算出手順と、方角を検出させる方角検出手順と、読出し手順により撮影画像の撮影位置を順次読出し、撮影位置が現在位置から所定の範囲内であり、かつ撮影位置が現在位置から検出した方角を中心に所定の角度以内に存在する場合は、当該撮影画像を撮影手順により得られたスルー画像の上に重ねて表示部に表示させる表示手順と、表示部に表示されている撮影画像を対象に、選択および移動の入力操作を受け付ける入力手順と、入力手順で受け付けた選択操作により選択された撮影画像を入力手順で受け付けた移動操作により表示部上で移動させ、選択された撮影画像の上に重ねて表示される別の撮影画像があると、別の撮影画像も入力手順で受け付けた移動操作により移動させる制御手順とを実行させる。 (1) A video display device according to a first aspect includes a storage unit that stores a plurality of captured images and shooting positions of the plurality of captured images, a shooting unit that captures a subject, and a current position calculation unit that calculates a current position. A direction detecting unit that detects a direction in which the photographing unit faces, an input unit that receives an input by a user, a display unit, and a control unit. The display unit is a captured image stored in the storage unit on the through image currently captured by the imaging unit, the imaging position is within a predetermined distance range from the current position, and the imaging position is The captured images existing within a predetermined angle range centered on the direction detected from the current position are displayed on the display screen in an overlapping manner. The control unit moves a photographic image selected by an input from the input unit among the photographic images displayed on the display screen according to an input from the input unit, and another photographic image is placed on the selected photographic image. If there is, another captured image is also moved in response to an input from the input unit.
(2) A video display system according to a sixth aspect includes the above-described video display device and a server. The video display device further includes a display device communication unit that communicates with the server. The server includes a server communication unit that communicates with the plurality of video display devices, and a plurality of captured images and captured images that store the captured positions of the captured images. When the database and the server communication unit receive the current position and direction from the video display device, the captured image is extracted from the captured image database based on the received current position and direction, and the current position and direction are transmitted by the server communication unit. A server control unit that transmits the extracted captured image to the apparatus.
(3) According to a seventh aspect of the present invention, there is provided a video display program that causes a computer to read out a plurality of photographed images and photographing positions of the plurality of photographed images from a storage unit, a photographing procedure for photographing a subject, and a current position. The self-position calculation procedure to calculate, the direction detection procedure to detect the direction, and the reading position sequentially read out the shooting position of the shot image, the shooting position is within a predetermined range from the current position, and the shooting position is detected from the current position Display procedure in which the captured image is displayed on the display unit by being superimposed on the through image obtained by the imaging procedure, and the captured image displayed on the display unit. The input procedure that accepts input operations for selection and movement, and the moving operation that accepts the captured image selected by the selection operation accepted in the input procedure If there is another photographed image that is displayed on the selected display image and superimposed on the selected photographed image, a control procedure for moving another photographed image by the moving operation received in the input procedure is executed. .

本発明によれば、複数の撮影画像が重ねて表示されている場合でも、煩雑な操作を要さずに下に重ねられている撮影画像を閲覧することができる。   According to the present invention, even when a plurality of photographed images are displayed in a superimposed manner, the photographed images superimposed below can be viewed without requiring a complicated operation.

第１の実施の形態における映像表示装置の構成を示すブロック図The block diagram which shows the structure of the video display apparatus in 1st Embodiment. 第１の実施の形態における動作の説明のための、映像表示装置と撮影画像の撮影位置の関係を示す図The figure which shows the relationship between the imaging | video display device and the imaging position of a picked-up image for description of operation | movement in 1st Embodiment. 第１の実施の形態における表示部への表示を生成する手順を示すフローチャートThe flowchart which shows the procedure which produces | generates the display on the display part in 1st Embodiment. スルー画像を示す図Diagram showing a through image スルー画像に撮影画像を重畳した図Figure with the captured image superimposed on the through image 表示部の表示を更新する手順を示すフローチャートThe flowchart which shows the procedure which updates the display of a display part ユーザの指により表示部に表示された撮影画像が選択される様子を示す図The figure which shows a mode that the picked-up image displayed on the display part by the user's finger | toe is selected. ユーザの指により表示部に表示された撮影画像が移動される様子を示す図The figure which shows a mode that the picked-up image displayed on the display part is moved with a user's finger | toe. 移動された撮影画像が元の位置に戻る様子を示す図The figure which shows a mode that the moved picked-up image returns to the original position. 第２の実施の形態における映像表示システムの構成を示すブロック図The block diagram which shows the structure of the video display system in 2nd Embodiment 第２の実施の形態における表示部への表示を生成する手順を示すフローチャートThe flowchart which shows the procedure which produces | generates the display on the display part in 2nd Embodiment.

（第１の実施の形態）
以下、図１〜図９を参照して、本発明による第１の実施の形態を説明する。
第１の実施の形態にかかる映像表示装置の構成を説明する。
図１は、映像表示装置１０の構成を示すブロック図である。映像表示装置１０は、制御部１１と、撮影部１２と、記憶部１３と、ＧＰＳ受信機１４と、地磁気センサ１５と、入力部１６と、表示部１７とを備える。
制御部１１は、不図示のＣＰＵ、ＲＯＭ、およびＲＡＭを備え、後述するフローチャートにより動作が表されるプログラムをＲＯＭに格納しており、これをＲＡＭに展開して実行する。また、時計の機能も有しており、撮影部１２から受信したデータに現在時刻を付加することができる。 (First embodiment)
A first embodiment according to the present invention will be described below with reference to FIGS.
A configuration of the video display apparatus according to the first embodiment will be described.
FIG. 1 is a block diagram showing the configuration of the video display device 10. The video display device 10 includes a control unit 11, a photographing unit 12, a storage unit 13, a GPS receiver 14, a geomagnetic sensor 15, an input unit 16, and a display unit 17.
The control unit 11 includes a CPU, a ROM, and a RAM (not shown), stores a program whose operation is represented by a flowchart described later in the ROM, and executes the program by expanding it in the RAM. It also has a clock function, and can add the current time to the data received from the photographing unit 12.

撮影部１２は、不図示のレンズ、撮像素子、およびＡＤ変換器を備える。レンズを通過して撮像素子に形成された被写体像の情報は、撮像素子により電気信号へと変換され、さらにＡＤ変換器によりデジタル信号に変換されて制御部１１に出力される。制御部１１は撮影部１２からデータを受信すると表示部１７にスルー画像として表示し、不図示のレリーズボタンが押されると撮影部１２から受信したデータを記憶部１３へ撮影画像として保存する。ただし、記憶部１３へ撮影画像として保存する際には、ＧＰＳ受信機１４および地磁気センサ１５の出力も参照し、撮影位置、撮影時刻、撮影方角の情報を撮影画像とともに画像ファイルに記録する。たとえば、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報として記録する。ただし、撮影位置、撮影時刻、撮影方角の情報を撮影画像と同じ画像ファイルに記録せず、写真と対応付けた別のファイルとして記憶部１３へ保存してもよい。   The imaging unit 12 includes a lens (not shown), an image sensor, and an AD converter. Information on the subject image formed on the image sensor through the lens is converted into an electrical signal by the image sensor, further converted into a digital signal by the AD converter, and output to the control unit 11. When receiving data from the photographing unit 12, the control unit 11 displays it as a through image on the display unit 17. When a release button (not shown) is pressed, the control unit 11 stores the data received from the photographing unit 12 in the storage unit 13 as a photographed image. However, when storing the captured image in the storage unit 13, the information of the imaging position, the imaging time, and the imaging direction is recorded in the image file together with the captured image with reference to the outputs of the GPS receiver 14 and the geomagnetic sensor 15. For example, it is recorded as EXIF (Exchangeable image file format) information. However, the information on the shooting position, the shooting time, and the shooting direction may not be recorded in the same image file as the shot image, but may be stored in the storage unit 13 as another file associated with the photograph.

記憶部１３は、フラッシュメモリにより構成され、記憶部１３には複数の撮影画像、および撮影画像表示設定１３ａが保存される。これらの撮影画像が記録される画像ファイルには、撮影位置、撮影時刻、撮影方角が記録されている。撮影位置とは撮影地点の緯度および経度である。撮影方角とは撮影時に当該映像表示装置１０の撮影部１２が向いていた方角である。
撮影画像表示設定１３ａには、表示部１７に表示するそれぞれの撮影画像について、表示する大きさ、表示する座標が記録される。撮影画像表示設定１３ａは、映像表示装置１０の現在位置および方角、そして記憶部１３に保存されている撮影画像の情報を用いて、制御部１１により算出される。
ＧＰＳ受信機１４は、不図示のＧＰＳアンテナを備え、複数のＧＰＳ衛星から電波を受信して計算により当該映像表示装置１０の現在位置を算出し、制御部１１に出力する。 The storage unit 13 is configured by a flash memory, and the storage unit 13 stores a plurality of captured images and captured image display settings 13a. In the image file in which these photographed images are recorded, the photographing position, the photographing time, and the photographing direction are recorded. The shooting position is the latitude and longitude of the shooting point. The shooting direction is the direction in which the shooting unit 12 of the video display device 10 is facing at the time of shooting.
In the captured image display setting 13a, the display size and display coordinates of each captured image displayed on the display unit 17 are recorded. The captured image display setting 13 a is calculated by the control unit 11 using the current position and direction of the video display device 10 and information on the captured image stored in the storage unit 13.
The GPS receiver 14 includes a GPS antenna (not shown), receives radio waves from a plurality of GPS satellites, calculates the current position of the video display device 10 by calculation, and outputs the current position to the control unit 11.

地磁気センサ１５は、３軸の地磁気センサから構成され、映像表示装置１０の３次元での姿勢をヨー角、ロール角、ピッチ角として出力する。ヨー角は映像表示装置１０の撮影部１２の撮影光軸の水平面内での向き、すなわち方角を表す。
入力部１６は、不図示のタッチパネルを表示部１７の表面に積層した構成であり、映像表示装置１０のユーザが、表示部１７に表示された撮影画像を、選択、移動、および選択解除する入力操作を制御部１１に出力する。
表示部１７は、撮影部１２が現在撮影して得ている映像をスルー画像として表示するとともに、制御部１１から出力されるデータを表示する。 The geomagnetic sensor 15 is composed of a three-axis geomagnetic sensor, and outputs the three-dimensional posture of the image display device 10 as a yaw angle, a roll angle, and a pitch angle. The yaw angle represents the direction in the horizontal plane of the imaging optical axis of the imaging unit 12 of the video display device 10, that is, the direction.
The input unit 16 has a configuration in which a touch panel (not shown) is stacked on the surface of the display unit 17, and an input by which the user of the video display device 10 selects, moves, and deselects a captured image displayed on the display unit 17. The operation is output to the control unit 11.
The display unit 17 displays the video currently captured by the imaging unit 12 as a through image and displays data output from the control unit 11.

映像表示装置１０の動作を説明する。
（表示の生成）
以下に説明する映像表示装置１０の動作は、記憶部１３にＰ１〜Ｐ７で表す７枚の撮影画像が保存されていることを前提としている。撮影画像Ｐ１〜Ｐ７には、それぞれの撮影日時および撮影位置が内包されており、番号順に撮影画像Ｐ１の撮影日時が最も新しく、撮影画像Ｐ７の撮影日時が最も古い。撮影画像Ｐ１〜Ｐ７の画像ファイルに記録されている撮影位置と、映像表示装置１０の現在位置の関係は図２に示すものである。ただし、映像表示装置１０の現在位置ＰＯＳは二重丸で示しており、撮影画像Ｐ１〜Ｐ７の撮影位置はそれぞれの撮影画像の名称を円で囲んだ位置で示している。すなわち、撮影画像Ｐ１〜Ｐ７のうち、撮影画像Ｐ５以外の撮影位置は現在位置ＰＯＳよりも北であり、撮影画像Ｐ６以外の撮影位置は映像表示装置１０の現在位置を中心とする半径ｒの円の中である。また、映像表示装置１０は北を向いており、現在位置ＰＯＳから映像表示装置１０の向いている方角を中心に角度２θの範囲で撮影されて得られた撮影画像は、撮影画像Ｐ１〜Ｐ４、およびＰ６である。 The operation of the video display device 10 will be described.
(Generate display)
The operation of the video display device 10 described below is based on the premise that seven captured images represented by P1 to P7 are stored in the storage unit 13. Each of the captured images P1 to P7 includes the shooting date and time and the shooting position. The shooting date and time of the shot image P1 is the latest and the shooting date and time of the shot image P7 is the oldest. The relationship between the shooting positions recorded in the image files of the shot images P1 to P7 and the current position of the video display device 10 is shown in FIG. However, the current position POS of the video display device 10 is indicated by a double circle, and the shooting positions of the shot images P1 to P7 are indicated by positions where the names of the shot images are circled. That is, among the captured images P1 to P7, the capturing positions other than the captured image P5 are north of the current position POS, and the capturing positions other than the captured image P6 are circles having a radius r centered on the current position of the video display device 10. It is in. Further, the video display device 10 faces north, and the captured images obtained by shooting in the range of the angle 2θ centering on the direction facing the video display device 10 from the current position POS are the captured images P1 to P4, And P6.

図３は、映像表示装置１０の表示部１７に表示する映像を生成するプログラムの動作を示すフローチャートであり、制御部１１により一定時間ごと、たとえば５秒ごとに実行される。
ステップＳ２０１では、制御部１１は、ＧＰＳ受信機１４から映像表示装置１０の現在位置、すなわち図２に示す二重丸の位置を取得してステップＳ２０２に進む。
ステップＳ２０２では、制御部１１は、地磁気センサ１５から映像表示装置１０の向いている方角を取得し、ステップＳ２０３に進む。図２の例では、撮影部１２が撮影している方角を図２に示したように北であるとして取得する。 FIG. 3 is a flowchart showing the operation of a program that generates a video to be displayed on the display unit 17 of the video display device 10, and is executed by the control unit 11 at regular intervals, for example, every 5 seconds.
In step S201, the control unit 11 acquires the current position of the video display device 10 from the GPS receiver 14, that is, the position of the double circle shown in FIG. 2, and proceeds to step S202.
In step S202, the control unit 11 acquires the direction in which the video display device 10 is facing from the geomagnetic sensor 15, and proceeds to step S203. In the example of FIG. 2, the direction in which the photographing unit 12 is photographing is acquired as being north as shown in FIG.

ステップＳ２０３では、制御部１１は、記憶部１３に保存している撮影画像のうち、映像表示装置１０を中心に所定の範囲、たとえば距離ｒ以内の撮影画像を抽出する。図２の例では、映像表示装置１０の現在位置ＰＯＳから距離ｒ以内の位置が撮影位置である、撮影画像Ｐ１〜Ｐ５，およびＰ７が抽出される。
ステップＳ２０４では、制御部１１は、ステップＳ２０３において抽出された撮影画像から、撮影位置が映像表示装置１０の現在位置を起点として映像表示装置１０の向いている方角を中心に所定の角度以内、たとえば角度２θ以内に存在する撮影画像をさらに抽出する。図２の例では、ステップＳ２０３において抽出された撮影画像Ｐ１〜Ｐ５，およびＰ７のうち、映像表示装置１０の現在位置ＰＯＳから北を中心として２θの角度内で撮影された、撮影画像Ｐ１〜Ｐ４が抽出される。次にステップＳ２０５に進む。 In step S <b> 203, the control unit 11 extracts a captured image within a predetermined range, for example, a distance r, centered on the video display device 10 from the captured images stored in the storage unit 13. In the example of FIG. 2, captured images P1 to P5 and P7 whose positions within the distance r from the current position POS of the video display device 10 are the capturing positions are extracted.
In step S204, the control unit 11 determines from the captured image extracted in step S203 within a predetermined angle centered on the direction in which the image display device 10 is directed from the current position of the image display device 10, for example, A captured image existing within an angle 2θ is further extracted. In the example of FIG. 2, among the captured images P1 to P5 and P7 extracted in step S203, the captured images P1 to P4 are captured within an angle of 2θ centering on the north from the current position POS of the video display device 10. Is extracted. Next, the process proceeds to step S205.

ステップＳ２０５では、制御部１１は、撮影部１２が現在撮影して得ているリアルタイムの映像、すなわちスルー画像を表示部１７に出力し、ステップＳ２０６に進む。ただし一度ステップＳ２０５が実行されれば、これ以後はステップＳ２０５の処理が実行されていない場合であっても、撮影部１２により撮影されたスルー画像が表示部１７に表示される。このとき、表示部１７には図４のように表示される。   In step S205, the control unit 11 outputs the real-time video currently captured by the imaging unit 12, that is, a through image, to the display unit 17, and the process proceeds to step S206. However, once step S205 is executed, a through image captured by the image capturing unit 12 is displayed on the display unit 17 even when the process of step S205 is not performed thereafter. At this time, it is displayed on the display unit 17 as shown in FIG.

ステップＳ２０６では、制御部１１は、ステップＳ２０４において抽出した撮影画像の表示部１７への表示位置および大きさを以下のように計算し、記憶部１３に撮影画像表示設定１３ａとして保存する。表示位置は、各撮影画像の撮影位置に対応する位置に各撮影画像が表示されるように、地磁気センサー１５の出力を参照して所定の計算式により算出される。表示される大きさは、映像表示装置１０の現在位置から各撮影画像の撮影位置までの距離に応じて、近いほど大きく、遠いほど小さく表示されるように、所定の関数により算出される。次にステップＳ２０７に進む。   In step S206, the control unit 11 calculates the display position and size of the photographed image extracted in step S204 on the display unit 17 as follows, and stores them in the storage unit 13 as the photographed image display setting 13a. The display position is calculated by a predetermined calculation formula with reference to the output of the geomagnetic sensor 15 so that each captured image is displayed at a position corresponding to the captured position of each captured image. The displayed size is calculated by a predetermined function so that the closer to the shooting position of each captured image from the current position of the video display device 10 the larger the displayed size and the smaller the displayed position. Next, the process proceeds to step S207.

ステップＳ２０７では、制御部１１は、ステップＳ２０４において抽出した撮影画像を、スルー画像の上に、撮影日時の古い順番に、撮影画像表示設定１３ａに記述された位置、大きさで表示部１７に重ねて配置し、図３に示すフローチャートを終了する。このとき表示部１７には例えば図５のように表示される。図５に示すウインドウに表示された撮影画像Ｗ１〜Ｗ４は撮影画像Ｐ１〜Ｐ４に対応し、撮影日時の古い撮影画像Ｐ４に対応する撮影画像Ｗ４から順番に重ねて配置したので、重なりの順番は上から撮影画像Ｗ１，撮影画像Ｗ２，撮影画像Ｗ３，撮影画像Ｗ４、スルー画像となっている。   In step S207, the control unit 11 superimposes the photographed image extracted in step S204 on the display unit 17 on the through image in the order of photographing date and time in the position and size described in the photographed image display setting 13a. And the flowchart shown in FIG. 3 is completed. At this time, the display unit 17 displays, for example, as shown in FIG. The captured images W1 to W4 displayed in the window shown in FIG. 5 correspond to the captured images P1 to P4 and are arranged in order from the captured image W4 corresponding to the captured image P4 with the oldest shooting date and time. From the top, the captured image W1, the captured image W2, the captured image W3, the captured image W4, and the through image are displayed.

（表示されている撮影画像の移動）
表示部１７に表示されている撮影画像Ｗ１〜Ｗ４は、ユーザによる入力部１６からの入力により移動させることができる。たとえば、図５に示す状態では撮影画像Ｗ１は全体が見えているが、撮影画像Ｗ２〜Ｗ４は上に重なっている撮影画像があるためその全体を見ることができない。この問題を解決するために、ユーザは表示部１７に表示されている任意の撮影画像を移動させることができる。
図６は、ユーザの入力部１６への操作に応じて表示部１７に表示されている撮影画像を移動させるプログラムの動作を示すフローチャートであり、制御部１１により一定時間ごと、たとえば１秒ごとに実行される。 (Move the displayed shot image)
The captured images W1 to W4 displayed on the display unit 17 can be moved by an input from the input unit 16 by the user. For example, in the state shown in FIG. 5, the entire captured image W1 is visible, but the entire captured images W2 to W4 cannot be viewed because there are captured images superimposed on top. In order to solve this problem, the user can move an arbitrary captured image displayed on the display unit 17.
FIG. 6 is a flowchart showing the operation of the program for moving the captured image displayed on the display unit 17 in response to the user's operation on the input unit 16. The control unit 11 performs the operation every predetermined time, for example, every second. Executed.

ステップＳ３０１では、制御部１１は、ユーザによる入力部１６への入力、たとえばタッチパネルへのタッチ操作により、表示部１７に表示されているいずれかの撮影画像の選択があったか否かを判断する。ユーザによりいずれかの撮影画像が選択されたと判断する場合はステップＳ３０２に進み、入力部１６への入力がなかった、もしくは撮影画像以外が選択されたと判断する場合は図６のフローチャートを終了する。入力部１６への入力による表示部１７に表示されている撮影画像の選択とは、たとえば表示部１７に表示されている撮影画像に触れ、タッチパネルがユーザが触れた座標を検出し、制御部１１がユーザの触れた座標に撮影画像が表示されていると判断することである。   In step S301, the control unit 11 determines whether or not any photographed image displayed on the display unit 17 has been selected by a user input to the input unit 16, for example, a touch operation on the touch panel. If it is determined that one of the photographed images has been selected by the user, the process proceeds to step S302, and if it is determined that there has been no input to the input unit 16 or something other than the photographed image has been selected, the flowchart of FIG. The selection of the photographed image displayed on the display unit 17 by the input to the input unit 16 refers to, for example, touching the photographed image displayed on the display unit 17 and detecting the coordinates touched by the user on the touch panel, and the control unit 11 Is to determine that the captured image is displayed at the coordinates touched by the user.

ステップＳ３０２では、制御部１１は、ステップＳ３０１においてユーザが選択したと判断した撮影画像の上に重ねられている撮影画像があるか否かを判断する。ユーザが選択した撮影画像の上にいずれかの撮影画像が重ねられていると判断する場合はステップＳ３０３に進み、ユーザが選択した撮影画像の上に重ねられている撮影画像はないと判断する場合はステップＳ３０４に進む。この判断は、たとえば、撮影画像表示設定１３ａの記載、および重なりの順番の基準となっている各撮影画像の撮影日時から算出する。選択された撮影画像と、選択された撮影画像よりも撮影日時が新しい撮影画像の表示エリアを撮影画像表示設定１３ａに基づいて算出し、両者のエリアに重複があれば、ユーザが選択した撮影画像の上に撮影画像が重ねられていると判断する。   In step S302, the control unit 11 determines whether there is a captured image superimposed on the captured image determined to be selected by the user in step S301. When it is determined that any one of the captured images is superimposed on the captured image selected by the user, the process proceeds to step S303, and when it is determined that there is no captured image superimposed on the captured image selected by the user. Advances to step S304. This determination is calculated from, for example, the description of the photographed image display setting 13a and the photographing date and time of each photographed image that is the reference for the order of overlap. The display area of the selected photographed image and the photographed image that has a newer photographing date than the selected photographed image is calculated based on the photographed image display setting 13a. If there is an overlap between both areas, the photographed image selected by the user is selected. It is determined that the captured image is overlaid on.

ステップＳ３０３では、制御部１１は、移動対象とする撮影画像を、ユーザが選択した撮影画像、およびその撮影画像の上に重ねられている撮影画像に設定してステップＳ３０５に進む。ただし、ユーザが選択した撮影画像の上に複数の撮影画像が重ねられている場合には、その全てを移動対象とする。ユーザは移動させる撮影画像の下に重ねられている撮影画像の閲覧を望んでいるので、その閲覧の障害になりうる、選択された撮影画像よりも上に重ねられている撮影画像は全て移動すべきだからである。   In step S303, the control unit 11 sets the captured image to be moved to the captured image selected by the user and the captured image superimposed on the captured image, and proceeds to step S305. However, when a plurality of photographed images are superimposed on the photographed image selected by the user, all of them are set as moving objects. Since the user wants to view the captured image superimposed under the captured image to be moved, all the captured images that are overlaid above the selected captured image that may interfere with the viewing are moved. Because it should.

ステップＳ３０４では、制御部１１は、移動対象とする撮影画像をユーザが選択した撮影画像のみに設定してステップＳ３０５に進む。
ステップＳ３０５では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像の移動前の表示部１７上の位置（以後、「元の位置」と呼ぶ）を制御部１１のＲＡＭに記憶し、ステップＳ３０６に進む。
ステップＳ３０６では、制御部１１は、ユーザにより入力部１６から撮影画像を移動する入力があったか否かを判断し、撮影画像を移動する入力があると判断する場合はステップＳ３０７に進み、撮影画像を移動する入力がないと判断する場合はステップＳ３０８に進む。ユーザによる入力部１６から撮影画像を移動させる入力とは、例えばタッチパネルに指をふれたまま移動させる行為である。 In step S304, the control unit 11 sets the captured image to be moved only to the captured image selected by the user, and proceeds to step S305.
In step S305, the control unit 11 determines the position on the display unit 17 before the movement of the captured image set as the movement target in step S303 or step S304 (hereinafter referred to as “original position”) in the RAM of the control unit 11. And proceed to step S306.
In step S306, the control unit 11 determines whether or not there is an input for moving the captured image from the input unit 16 by the user. When determining that there is an input for moving the captured image, the control unit 11 proceeds to step S307. If it is determined that there is no input to move, the process proceeds to step S308. The input for moving the captured image from the input unit 16 by the user is an action of moving the finger touching the touch panel, for example.

ステップＳ３０７では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像を対象として、ユーザによる入力部１６への入力に追従して表示部１７に表示された撮影画像を移動させ、ステップＳ３０８に進む。
ステップＳ３０８では、制御部１１は、ユーザにより入力部１６から撮影画像の選択を解除する入力があったか否かを判断する。撮影画像の選択を解除する入力があったと判断する場合はステップＳ３０９に進み、撮影画像の選択を解除する入力がなかったと判断する場合はステップＳ３０６に戻る。ユーザによる入力部１６から撮影画像の選択を解除する入力とは、たとえばタッチパネルから指を離す行為である。 In step S307, the control unit 11 moves the captured image displayed on the display unit 17 following the input to the input unit 16 by the user, targeting the captured image set as the movement target in step S303 or step S304. Then, the process proceeds to step S308.
In step S308, the control unit 11 determines whether there is an input from the input unit 16 to cancel the selection of the captured image. If it is determined that there is an input for canceling the selection of the captured image, the process proceeds to step S309. If it is determined that there is no input for canceling the selection of the captured image, the process returns to step S306. The input by the user to cancel the selection of the photographed image from the input unit 16 is an action of releasing a finger from the touch panel, for example.

ステップＳ３０９では、制御部１１は、ステップＳ３０３またはステップＳ３０４において移動対象に設定された撮影画像を、移動後の位置（以後、「移動位置」とよぶ）から元の位置へと移動させ、図６のフローチャートを終了する。この移動は、ユーザが指を離したことにより撮影画像が元の位置に戻っている様子をユーザにわかりやすく伝えるために、撮影画像は移動位置と元の位置を通る直線上を元の位置を収束点とした振動が減衰するように移動させる。すなわち、撮影画像は移動位置から元の位置へと向かって移動し、元の位置を通り過ぎた後に反転して再度元の位置へ向かって移動する。元の位置を通り過ぎてから反転をするまでの距離を、元の位置を通り過ぎるたびに短くすることで、元の位置に収束する減衰振動とすることができる。   In step S309, the control unit 11 moves the captured image set as the movement target in step S303 or step S304 from the moved position (hereinafter referred to as “moving position”) to the original position, as shown in FIG. This flowchart is finished. In order to convey to the user in an easy-to-understand manner how the captured image returns to the original position when the user lifts his / her finger, the captured image shows the original position on the straight line passing through the moving position and the original position. Move so that the vibration at the convergence point is attenuated. In other words, the captured image moves from the moving position toward the original position, and after passing through the original position, the image is reversed and moved toward the original position again. By shortening the distance from passing the original position to reversal every time the original position is passed, it is possible to obtain a damped vibration that converges to the original position.

（動作例）
たとえば、ユーザが図５の撮影画像Ｗ２を移動させる際には、以下のように制御部１１により処理が行われる。
図７に示すように、ユーザが指Ｆにより表示部１７に表示されている撮影画像Ｗ２に触れると、入力部１６によりユーザによる入力が制御部１１に伝達され、制御部１１によりユーザが撮影画像Ｗ２を選択したと判断される（ステップＳ３０１：ＹＥＳ）。そして、撮影画像表示設定１３ａの記載、および重なりの順番の基準となっている各撮影画像の撮影日時から、撮影画像Ｗ２の上に撮影画像Ｗ１が重ねられていると判断する（ステップＳ３０２：ＹＥＳ）。制御部１１は、ステップＳ３０３では撮影画像Ｗ１および撮影画像Ｗ２を移動対象に設定し、ステップＳ３０５では撮影画像Ｗ１および撮影画像Ｗ２の表示位置を保存する。 (Operation example)
For example, when the user moves the captured image W2 of FIG. 5, the process is performed by the control unit 11 as follows.
As shown in FIG. 7, when the user touches the captured image W <b> 2 displayed on the display unit 17 with the finger F, the input by the user is transmitted to the control unit 11 by the input unit 16, and the user captures the captured image by the control unit 11. It is determined that W2 has been selected (step S301: YES). Then, it is determined that the photographed image W1 is superimposed on the photographed image W2 from the description of the photographed image display setting 13a and the photographing date and time of each photographed image that is the reference for the overlapping order (step S302: YES). ). In step S303, the control unit 11 sets the captured image W1 and the captured image W2 as movement targets, and in step S305, stores the display positions of the captured image W1 and the captured image W2.

ユーザがこのまま指Ｆを表示部１７に触れたまま動かさない場合は、制御部１１は、ステップＳ３０６およびステップＳ３０８にて否定判断を行い、再びステップＳ３０６に戻る。
図８に示すように、ユーザが表示部１７に触れた指Ｆをそのまま右に動かすと、制御部１１は入力部１６から移動信号の入力をうけるので、ユーザにより入力部１６から撮影画像を移動する入力があったと判断する（ステップＳ３０６：ＹＥＳ）。そして制御部１１は、移動対象に設定された撮影画像である撮影画像Ｗ１および撮影画像Ｗ２を、表示部１７上で移動させる（ステップＳ３０７）。続いてユーザが表示部１７から指Ｆを離すと、制御部１１は入力部１６から撮影画像の選択を解除した信号が入力されるので制御部１１は撮影画像の選択が解除されたと判断する（ステップＳ３０８：ＹＥＳ）。そして、図９の点線で示す、移動後の位置にあった撮影画像Ｗ１ａおよび撮影画像Ｗ２ａを元の位置に移動させる（ステップＳ３０９）。 When the user does not move the finger F while touching the display unit 17 as it is, the control unit 11 makes a negative determination in step S306 and step S308, and returns to step S306 again.
As shown in FIG. 8, when the user moves the finger F touching the display unit 17 to the right as it is, the control unit 11 receives a movement signal from the input unit 16, so that the user moves the captured image from the input unit 16. It is determined that there is an input to be performed (step S306: YES). And the control part 11 moves the picked-up image W1 and the picked-up image W2 which are the picked-up images set as the movement object on the display part 17 (step S307). Subsequently, when the user releases the finger F from the display unit 17, the control unit 11 determines that the selection of the photographed image has been canceled because a signal indicating that the selection of the photographed image has been canceled is input from the input unit 16. Step S308: YES). Then, the photographed image W1a and the photographed image W2a that were at the moved positions indicated by the dotted lines in FIG. 9 are moved to the original positions (step S309).

上記の動作例では、ユーザが選択した撮影画像の上に重ねられている撮影画像があったが、ユーザが選択した撮影画像の上に重ねられている撮影画像がない場合には、制御部１１によりユーザが選択した撮影画像のみが移動対象に設定され（ステップＳ３０２：ＮＯ、Ｓ３０４）、以下同様に移動の処理が行われる。また、上記の動作例では撮影画像を横方向に移動させたが、ユーザによる入力部１６からの入力に従い、撮影画像は縦方向、および斜め方向にも移動することができる。
本発明は、表示部１７に重ねて表示された撮影画像のそれぞれを容易に閲覧するために、入力部１６からの入力に従い移動対象として選択された撮影画像の上に重ねられた撮影画像がある場合には、選択された撮影画像の上に重ねられた撮影画像もあわせて移動させる。そのため、選択した撮影画像の下に重ねられていた撮影画像を容易に閲覧することができる。 In the above operation example, there is a captured image superimposed on the captured image selected by the user, but when there is no captured image superimposed on the captured image selected by the user, the control unit 11. Thus, only the captured image selected by the user is set as the movement target (step S302: NO, S304), and the movement process is performed in the same manner. In the above operation example, the photographed image is moved in the horizontal direction. However, the photographed image can be moved in the vertical direction and the oblique direction in accordance with the input from the input unit 16 by the user.
In the present invention, there is a captured image superimposed on a captured image selected as a movement target in accordance with an input from the input unit 16 in order to easily browse each of the captured images displayed on the display unit 17. In this case, the captured image superimposed on the selected captured image is also moved. Therefore, it is possible to easily browse the captured image that has been superimposed under the selected captured image.

以上説明した第１の実施の形態によれば、以下の作用効果を奏する。
（１）映像表示装置１０は、複数の撮影画像および複数の撮影画像の撮影位置を保存する記憶部１３と、被写体を撮影する撮影部１２と、現在位置を算出するＧＰＳ受信機１４と、撮影部１２の向く方角を検出する地磁気センサ１５と、ユーザによる入力を受け付ける入力部１６と、表示部１７と、制御部１１とを備える。表示部１７は、撮影部１２が現在撮影して得ているスルー画像を表示部１７に表示する。さらに制御部１１が、記憶部１３に保存されている撮影画像であって、撮影位置が現在位置から所定の距離範囲内でありかつ撮影位置が現在位置から検出した方角を中心に所定の角度範囲内に存在する撮影画像を、表示部１７のスルー画像の上に重ねて表示する。制御部１１は、表示部１７に表示された撮影画像のうち入力部１６からの入力により選択された撮影画像を、入力部１６からの入力に応じて移動させ、選択された撮影画像の上に別の撮影画像があると、別の撮影画像も入力部１６からの入力に応じて移動させる。
そのため、ユーザにより入力部１６から撮影画像を選択して移動させる入力があると、選択された撮影画像の上に重ねられている撮影画像も同時に移動されるため、複数の撮影画像が重なりあう場合でも、煩雑な操作を要さずに下に重ねられている撮影画像を閲覧することができる。 According to 1st Embodiment described above, there exist the following effects.
(1) The video display device 10 includes a storage unit 13 that stores a plurality of photographed images and photographing positions of the plurality of photographed images, a photographing unit 12 that photographs a subject, a GPS receiver 14 that calculates a current position, and photographing. A geomagnetic sensor 15 that detects a direction in which the unit 12 faces, an input unit 16 that receives an input by a user, a display unit 17, and a control unit 11 are provided. The display unit 17 displays a through image currently captured by the imaging unit 12 on the display unit 17. Further, the control unit 11 is a captured image stored in the storage unit 13 and has a predetermined angle range centered on a direction in which the shooting position is within a predetermined distance range from the current position and the shooting position is detected from the current position. The photographed image existing inside is superimposed and displayed on the through image of the display unit 17. The control unit 11 moves the captured image selected by the input from the input unit 16 among the captured images displayed on the display unit 17 according to the input from the input unit 16, and moves the selected captured image on the selected captured image. If there is another photographed image, the other photographed image is also moved according to the input from the input unit 16.
For this reason, when there is an input for selecting and moving a captured image from the input unit 16 by the user, the captured image superimposed on the selected captured image is also moved at the same time, and thus a plurality of captured images overlap each other. However, it is possible to browse the captured images that are superimposed below without requiring complicated operations.

（２）制御部１１は、入力部１６からの入力により選択された撮影画像、および選択された撮影画像の上に重ねられている撮影画像の表示位置を記憶し（図６のステップＳ３０５）、入力部１６からの撮影画像の選択を解除する入力、すなわちタッチパネルから指を離す入力に応じて、入力部１６からの入力に応じて移動させた撮影画像を、記憶した表示位置に移動させる。
そのため、入力部１６への入力に応じて移動させた撮影画像を容易に元の位置に戻すことができるだけでなく、移動させた撮影画像の元の表示位置は制御部１１が記憶しているので、誤った位置に戻すことがない。 (2) The control unit 11 stores the captured image selected by the input from the input unit 16 and the display position of the captured image superimposed on the selected captured image (step S305 in FIG. 6). In response to an input for canceling the selection of the photographed image from the input unit 16, that is, an input for releasing the finger from the touch panel, the photographed image moved according to the input from the input unit 16 is moved to the stored display position.
Therefore, not only can the captured image moved in accordance with the input to the input unit 16 be easily returned to the original position, but the control unit 11 stores the original display position of the moved captured image. , Never return to the wrong position.

（３）制御部１１による、入力部１６からの入力に応じて移動させた撮影画像の記憶した表示位置への移動は、撮影画像が記憶した表示位置を１回以上通過して記憶した表示位置に収束する移動である。
そのため、ユーザは移動した撮影画像を注意深く観察していなくても、撮影画像が元の位置に戻ったことを容易に気付くことができる。また、移動後の位置から移動前の位置に移動する際に、移動前の位置を一回以上通過させて移動前の位置に収束する移動を行うので、伸ばされていた弾性体が自然長に戻る際の自由端の動きと類似しており、本来の位置へ戻ることをユーザに視覚的に伝えることができる。 (3) The movement of the captured image moved in response to the input from the input unit 16 by the control unit 11 to the stored display position is the display position stored after passing the display position stored by the captured image one or more times. It moves to converge.
Therefore, even if the user does not carefully observe the moved captured image, the user can easily recognize that the captured image has returned to the original position. In addition, when moving from the position after movement to the position before movement, the position before the movement passes one or more times and converges to the position before movement, so the stretched elastic body becomes a natural length It is similar to the movement of the free end when returning, and it is possible to visually tell the user to return to the original position.

（変形例１）
第１の実施の形態においては、表示部１７への撮影画像の配置は撮影日時の古い順番に配置されたが、撮影画像を重ねる順番はこれに限定されない。制御部１１は、表示部１７に撮影日時の新しい順番に配置し、撮影日時が古い撮影画像ほど上に重ねてもよいし、ＧＰＳ受信機１４により算出された映像表示装置１０と撮影画像の撮影位置との距離が近い順、または遠い順に表示部１７へ撮影画像を配置してもよい。さらに、これらの撮影画像を重ねる順番は、入力部１６から入力に応じて切り替えてもよい。
この変形例１によれば、入力部１６からの入力に応じて、表示部１７に表示する撮影画像の重ねる順番を多様に変化させることができる。 (Modification 1)
In the first embodiment, the arrangement of the captured images on the display unit 17 is arranged in the order of the photographing date and time, but the order in which the photographed images are overlapped is not limited to this. The control unit 11 may be arranged on the display unit 17 in the order of the latest shooting date and time, and the older shooting date and time may be overlaid, or the video display device 10 calculated by the GPS receiver 14 and the shooting of the shot image. You may arrange | position a picked-up image to the display part 17 in order with the near distance from a position, or a long distance. Furthermore, the order in which these captured images are superimposed may be switched from the input unit 16 according to the input.
According to the first modification, the order in which the captured images displayed on the display unit 17 are superimposed can be variously changed according to the input from the input unit 16.

（変形例２）
第１の実施の形態において、制御部１１は、入力部１６よりタッチパネルに指をふれたまま移動させる入力を受けると、表示部１７に表示されている撮影画像を移動させたが（図６のステップＳ３０６、Ｓ３０７）、撮影画像を移動させる入力はこれに限定されない。たとえば、入力部１６から指がタッチパネル上で軽く払われる動作が入力されると、制御部１１はこれをフリック入力と認識して、移動対象に設定されている撮影画像を指が払われた方向に所定の距離だけ移動させ、所定の時間後に元の位置に戻してもよい。ただし、次に入力部１６が入力を受けるまで元の位置に戻さなくてもよい。また、制御部１１がフリック入力を認識した際に移動対象に設定されている撮影画像を移動させる距離は、フリック入力が早いほど、すなわち指の速度が速いほど長く移動させてもよい。
この変形例２によれば、ユーザは簡易な操作により表示部１７に表示されている撮影画像を移動させることができる。また、動かす指の速さにより移動させる距離を調整することができる。 (Modification 2)
In the first embodiment, when the control unit 11 receives an input for moving the finger while touching the touch panel from the input unit 16, the control unit 11 moves the captured image displayed on the display unit 17 (see FIG. 6). In steps S306 and S307), the input for moving the captured image is not limited to this. For example, when an operation in which the finger is gently swept on the touch panel is input from the input unit 16, the control unit 11 recognizes this as a flick input, and the direction in which the finger is swung on the captured image set as the movement target May be moved by a predetermined distance to return to the original position after a predetermined time. However, it is not necessary to return to the original position until the input unit 16 receives an input next time. Further, when the control unit 11 recognizes the flick input, the distance to which the captured image set as the movement target is moved may be moved longer as the flick input is faster, that is, as the finger speed is faster.
According to the second modification, the user can move the captured image displayed on the display unit 17 by a simple operation. Further, the moving distance can be adjusted according to the speed of the moving finger.

（変形例３）
第１の実施の形態においては、入力部１６はタッチパネルから構成されていたが、入力部１６の構成はこれに限定されない。たとえば、入力部１６を複数のボタンにより構成し、表示部１７に表示された撮影画像に対する第１乃至第３の入力、すなわち撮影画像の選択、移動、および選択解除を行ってもよい。
この変形例３によれば、タッチパネルに代えてボタンを備えればよいので、映像表示装置１０を安価に製造することができる。また、映像表示装置１０の表示部１７が小さくタッチパネルによる操作が困難な場合でも、ボタンにより容易に操作ができる。 (Modification 3)
In the first embodiment, the input unit 16 includes a touch panel, but the configuration of the input unit 16 is not limited to this. For example, the input unit 16 may be configured by a plurality of buttons, and first to third inputs to the captured image displayed on the display unit 17, that is, selection, movement, and deselection of the captured image may be performed.
According to the third modification, the video display device 10 can be manufactured at low cost because it is sufficient to provide buttons instead of the touch panel. Even when the display unit 17 of the video display device 10 is small and it is difficult to operate with the touch panel, the operation can be easily performed with the buttons.

（第２の実施の形態）
以下、図１０〜１１を参照して、本発明による第２の実施の形態を説明する。第２の実施の形態は、サーバが撮影画像を送受信する点で第１の実施の形態と異なる。
第２の実施の形態にかかる映像表示システムの構成を説明する。
図１０は、映像表示システム２の構成を示すブロック図である。第１の実施の形態と同一の構成には同一の番号を付し、以下では主に差異点を説明する。映像表示システム２は、複数の映像表示装置１０と、サーバ２０とから構成される。
映像表示装置１０は、第１の実施の形態における構成に加えて通信部１８を備えており、制御部１１のＲＯＭに保存されているプログラム、および記憶部１３に保存されるデータが一部異なる。 (Second Embodiment)
The second embodiment according to the present invention will be described below with reference to FIGS. The second embodiment is different from the first embodiment in that the server transmits and receives captured images.
The configuration of the video display system according to the second embodiment will be described.
FIG. 10 is a block diagram showing the configuration of the video display system 2. The same number is attached | subjected to the structure same as 1st Embodiment, and a difference point is mainly demonstrated below. The video display system 2 includes a plurality of video display devices 10 and a server 20.
The video display device 10 includes a communication unit 18 in addition to the configuration in the first embodiment, and the program stored in the ROM of the control unit 11 and the data stored in the storage unit 13 are partially different. .

制御部１１は、第１の実施の形態においては不図示のレリーズボタンが押されると、撮影部１２から受信したデータに撮影位置、撮影時刻、撮影方角の情報を付加して記憶部１３へ撮影画像として保存したが、記憶部１３へ保存するとともに通信部１８を利用してサーバ２０へ送信する。
記憶部１３には、映像表示装置１０により撮影された撮影画像、撮影画像表示設定１３ａ、および通信部１８がサーバ２０から受信した撮影画像が保存される。
通信部１８は、サーバ２０と通信を行う。 When a release button (not shown) in the first embodiment is pressed in the first embodiment, the control unit 11 adds information on the shooting position, shooting time, and shooting direction to the data received from the shooting unit 12 and shoots the data to the storage unit 13. Although saved as an image, the image is saved in the storage unit 13 and transmitted to the server 20 using the communication unit 18.
The storage unit 13 stores a captured image captured by the video display device 10, a captured image display setting 13a, and a captured image received from the server 20 by the communication unit 18.
The communication unit 18 communicates with the server 20.

サーバ２０は、サーバ制御部２１と、サーバ通信部２２と、撮影画像データベース２３とを備える。
サーバ制御部２１は、サーバ通信部２２により映像表示装置１０から受信した位置情報などに基づき撮影画像データベース２３に保存されている撮影画像を検索し、条件に該当する撮影画像を映像表示装置１０へサーバ通信部２２により送信する。 The server 20 includes a server control unit 21, a server communication unit 22, and a captured image database 23.
The server control unit 21 searches for a captured image stored in the captured image database 23 based on the position information received from the video display device 10 by the server communication unit 22, and transmits the captured image corresponding to the condition to the video display device 10. It is transmitted by the server communication unit 22.

サーバ通信部２２は、複数の映像表示装置１０と映像表示装置１０が撮影した撮影画像の送受信、および複数の映像表示装置１０から受信した位置情報などのサーバ制御部２１への通知を行う。
撮影画像データベース２３は、複数の映像表示装置１０から受信する撮影画像を保存し、サーバ制御部２１により読み出される。映像表示装置１０から受信する撮影画像には、当該撮影画像の撮影位置、撮影時刻、撮影方角の情報が内包されている。 The server communication unit 22 transmits / receives a plurality of video display devices 10 and captured images taken by the video display device 10 and notifies the server control unit 21 of position information received from the plurality of video display devices 10.
The captured image database 23 stores captured images received from the plurality of video display devices 10 and is read by the server control unit 21. The captured image received from the video display device 10 includes information on the capturing position, the capturing time, and the capturing direction of the captured image.

第２の実施の形態の動作を説明する。
第１の実施の形態において映像表示装置１０の制御部１１は主に、図３に示した表示部１７に表示する映像を生成する動作（以下、表示生成動作とよぶ）と、図６に示したユーザによる入力部１６からの操作に応じて表示部１７の表示を変更する動作（以下、表示変更動作）を行っていた。第２の実施の形態においては、表示生成動作は第１の実施の形態と一部異なるが、表示変更動作は第１の実施の形態と同様なので表示変更動作の説明は省略する。 The operation of the second embodiment will be described.
In the first embodiment, the control unit 11 of the video display apparatus 10 mainly generates an operation for generating an image to be displayed on the display unit 17 shown in FIG. 3 (hereinafter referred to as a display generation operation), and FIG. In addition, an operation for changing the display of the display unit 17 in accordance with an operation from the input unit 16 by a user (hereinafter, a display changing operation) is performed. In the second embodiment, the display generation operation is partially different from that of the first embodiment. However, the display change operation is the same as that of the first embodiment, and the description of the display change operation is omitted.

図１１のフローチャートに示すプログラムは、第１の実施の形態における図３のフローチャートに示すプログラムに代わって、第２の実施の形態において映像表示装置１０の制御部１１が実行する表示生成動作の処理手順を示すものである。図１１において、図３に示す処理と同様な処理を行うステップに対しては同一のステップ番号を付しており、図３とはステップＳ２０３〜Ｓ２０４に代わってステップＳ４０１〜Ｓ４０２が実行される点が異なる。以下では、図１１と図３の相違点を中心に説明する。
映像表示装置１０の制御部１１は、一定時間ごとに図１１のフローチャートを実行し、表示部１７に表示する映像を生成する。 The program shown in the flowchart of FIG. 11 is a display generation operation process executed by the control unit 11 of the video display apparatus 10 in the second embodiment, instead of the program shown in the flowchart of FIG. 3 in the first embodiment. The procedure is shown. In FIG. 11, the same step numbers are assigned to steps that perform the same processes as those shown in FIG. 3, and steps S401 to S402 are executed instead of steps S203 to S204 in FIG. Is different. Below, it demonstrates centering around the difference of FIG. 11 and FIG.
The control unit 11 of the video display device 10 generates the video to be displayed on the display unit 17 by executing the flowchart of FIG.

ステップＳ２０１およびＳ２０２では、制御部１１は、ＧＰＳ受信機１４および地磁気センサ１５から、映像表示装置１０の現在位置および方角を取得し、ステップＳ４０１に進む。
ステップＳ４０１では、制御部１１は、ステップＳ２０１およびステップＳ２０２において取得した映像表示装置１０の現在位置および方角をサーバ２０に送信し、ステップＳ４０２に進む。 In steps S201 and S202, the control unit 11 acquires the current position and direction of the video display device 10 from the GPS receiver 14 and the geomagnetic sensor 15, and proceeds to step S401.
In step S401, the control unit 11 transmits the current position and direction of the video display device 10 acquired in steps S201 and S202 to the server 20, and the process proceeds to step S402.

ステップＳ４０２では、制御部１１は、サーバ２０から撮影画像を受信し制御部１１のＲＡＭに保存してステップＳ２０５に進む。ここで受信した撮影画像は、サーバ２０のサーバ制御部２１が撮影画像データベース２３から、ステップＳ４０１において送信した現在位置および方角をもとに抽出した撮影画像である。
ステップＳ２０５では、制御部１１は、撮影部１２が現在撮影して得ているリアルタイムの映像、すなわちスルー画像を表示部１７に出力し、ステップＳ２０６ａに進む。 In step S402, the control unit 11 receives a captured image from the server 20, stores it in the RAM of the control unit 11, and proceeds to step S205. The captured image received here is a captured image extracted by the server control unit 21 of the server 20 from the captured image database 23 based on the current position and direction transmitted in step S401.
In step S205, the control unit 11 outputs the real-time video currently captured by the imaging unit 12, that is, a through image, to the display unit 17, and the process proceeds to step S206a.

ステップＳ２０６ａでは、制御部１１は、ステップＳ４０２において受信した撮影画像の表示部１７への表示位置および大きさを図３のステップＳ２０６と同様に計算して、記憶部１３に撮影画像表示設定１３ａとして保存し、ステップＳ２０７に進む。
ステップＳ２０７では、制御部１１は、ステップＳ４０２において受信した撮影画像を、スルー画像の上に、撮影日時の古い順番に、撮影画像表示設定１３ａに記述された位置、大きさで表示部１７に配置し、図１１に示すフローチャートを終了する。 In step S206a, the control unit 11 calculates the display position and size of the captured image received in step S402 on the display unit 17 in the same manner as in step S206 in FIG. 3, and stores it in the storage unit 13 as the captured image display setting 13a. Save and proceed to step S207.
In step S207, the control unit 11 arranges the captured image received in step S402 on the display unit 17 on the through image in the order of the shooting date and time in the position and size described in the captured image display setting 13a. Then, the flowchart shown in FIG.

サーバ２０のサーバ制御部２１は、映像表示装置１０から現在位置（以下、「受信した現在位置」と呼ぶ）および方角（以下、「受信した方角」と呼ぶ）を受信すると、撮影画像データベース２３に保存されている撮影画像から、以下の条件に合致する撮影画像を抽出して、映像表示装置１０に送信する。条件とは、撮影画像が記録されている画像ファイルに記録されている撮影位置が、受信した現在位置から所定の範囲内であり、かつ受信した現在位置から受信した方角を中心に所定の角度以内にあることである。   When the server control unit 21 of the server 20 receives the current position (hereinafter referred to as “received current position”) and the direction (hereinafter referred to as “received direction”) from the video display device 10, the server control unit 21 stores the captured image database 23. A captured image that satisfies the following conditions is extracted from the stored captured image and transmitted to the video display device 10. The condition is that the shooting position recorded in the image file where the shot image is recorded is within a predetermined range from the received current position, and within a predetermined angle centered on the direction received from the received current position. It is to be.

本発明は、映像表示装置１０が撮影して得られた撮影画像をサーバ２０の撮影画像データベース２３に保存し、映像表示装置１０の現在位置および向いている方角に応じてサーバ２０が撮影画像データベース２３に保存されている撮影画像を映像表示装置１０に送信する。そのため、映像表示装置１０には他の映像表示装置１０により撮影された撮影画像も表示することができる。   In the present invention, the captured image obtained by capturing the image display device 10 is stored in the captured image database 23 of the server 20, and the server 20 captures the captured image database according to the current position and the direction of the image display device 10. The captured image stored in the image display device 10 is transmitted to the image display device 10. For this reason, the video display device 10 can also display a captured image taken by another video display device 10.

以上説明した第２の実施の形態によれば、以下の作用効果を奏する。
（１）映像表示システム２は、映像表示装置１０とサーバ２０とを備える。映像表示装置１０は、サーバ２０と通信する通信部１８をさらに備える。サーバ２０は、複数の映像表示装置１０と通信するサーバ通信部２２と、映像表示装置１０から受信した撮影画像を保存する撮影画像データベース２３と、映像表示装置１０から現在位置および方角を受信すると、受信した現在位置および方角に基づき撮影画像データベース２３から撮影画像を抽出し、現在位置および方角を送信した映像表示装置１０に抽出した撮影画像を送信するサーバ制御部２１とを備える。
そのため、映像表示装置１０の表示部１７に異なる映像表示装置１０により撮影された撮影画像もあわせて表示することができる。 According to 2nd Embodiment described above, there exist the following effects.
(1) The video display system 2 includes a video display device 10 and a server 20. The video display device 10 further includes a communication unit 18 that communicates with the server 20. When the server 20 receives a server communication unit 22 that communicates with a plurality of video display devices 10, a captured image database 23 that stores captured images received from the video display device 10, and a current position and direction from the video display device 10, The server control unit 21 extracts a captured image from the captured image database 23 based on the received current position and direction, and transmits the extracted captured image to the video display device 10 that has transmitted the current position and direction.
Therefore, a captured image captured by a different video display device 10 can also be displayed on the display unit 17 of the video display device 10.

（変形例４）
第２の実施の形態においては、映像表示装置１０が撮影画像表示設定１３ａを算出したが、サーバ２０が撮影画像表示設定１３ａを算出して撮影画像データベース２３から抽出した撮影画像とともに送信してもよい。すなわち、映像表示装置１０は図１１のステップＳ４０２において撮影画像と撮影画像表示設定１３ａとを受信し、ステップＳ２０５のあとにステップＳ２０６を省略してステップＳ２０７に進んでもよい。この変形例４によれば、映像表示装置１０において行う計算を削減することができる。 (Modification 4)
In the second embodiment, the video display device 10 calculates the captured image display setting 13a. However, the server 20 calculates the captured image display setting 13a and transmits it together with the captured image extracted from the captured image database 23. Good. That is, the video display apparatus 10 may receive the captured image and the captured image display setting 13a in step S402 in FIG. 11, and may skip step S206 after step S205 and proceed to step S207. According to the fourth modification, the calculation performed in the video display device 10 can be reduced.

（変形例５）
第２の実施の形態においては、映像表示装置１０により撮影された撮影画像は記憶部１３に保存されたが、記憶部１３には保存せず撮影された撮影画像はサーバ２０へ送信した後に削除してもよい。すなわち、表示部１７に表示される撮影画像は全てサーバ２０から受信し、制御部１１のＲＡＭに一時的に保存してもよい。
この変形例５によれば、撮影部１２により撮影して得られた撮影画像は、記憶部１３に撮影画像を保存せずサーバ２０に送信するため、記憶部１３の容量を小さく抑えることができる。
また、映像表示装置１０の撮影部１２をスルー画像の取得のみに使用し、撮影画像の保存を一切行わなくてもよい。この場合は、映像表示装置１０に表示する撮影画像は、映像表示装置１０の読み取り専用領域、またはサーバにあらかじめ保存される。たとえば、博物館や美術館での使用が想定され、あらかじめ撮影した展示品の撮影画像を映像表示装置１０に表示し、展示品の展示位置を案内することができる。 (Modification 5)
In the second embodiment, the captured image captured by the video display device 10 is stored in the storage unit 13, but the captured image captured without being stored in the storage unit 13 is deleted after being transmitted to the server 20. May be. That is, all the captured images displayed on the display unit 17 may be received from the server 20 and temporarily stored in the RAM of the control unit 11.
According to the fifth modification, the captured image obtained by photographing by the photographing unit 12 is transmitted to the server 20 without storing the photographed image in the storage unit 13, so that the capacity of the storage unit 13 can be reduced. .
Further, the photographing unit 12 of the video display device 10 may be used only for obtaining a through image, and the photographed image may not be stored at all. In this case, the captured image displayed on the video display device 10 is stored in advance in a read-only area of the video display device 10 or a server. For example, it is assumed to be used in a museum or an art museum, and a photographed image of an exhibit photographed in advance can be displayed on the video display device 10 to guide the display position of the exhibit.

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。さらに、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における機器構成に何ら限定されない。   The above-described embodiments and modifications may be combined. Furthermore, as long as the characteristic functions of the present invention are not impaired, the present invention is not limited to the device configuration in the above-described embodiment.

１０ … 映像表示装置、 １１ … 制御部
１２ … 撮影部、 １３ … 記憶部
１３ａ … 撮影画像表示設定、 １４ … ＧＰＳ受信機
１５ … 地磁気センサ、 １６ … 入力部
１７ … 表示部、 １８ … 通信部
２０ … サーバ、 ２１ … サーバ制御部
２２ … サーバ通信部 DESCRIPTION OF SYMBOLS 10 ... Video display apparatus 11 ... Control part 12 ... Imaging | photography part, 13 ... Memory | storage part 13a ... Captured image display setting, 14 ... GPS receiver 15 ... Geomagnetic sensor, 16 ... Input part 17 ... Display part, 18 ... Communication part 20 ... Server, 21 ... Server control part 22 ... Server communication part

Claims (7)

複数の撮影画像および前記複数の撮影画像の撮影位置を保存する記憶部と、
被写体を撮影する撮影部と、
現在位置を算出する現在位置算出部と、
前記撮影部の向く方角を検出する方角検出部と、
ユーザによる入力を受け付ける入力部と、
前記撮影部が現在撮影して得ているスルー画像の上に、前記記憶部に保存されている前記撮影画像であって、前記撮影位置が前記現在位置から所定の距離範囲内でありかつ前記撮影位置が前記現在位置から前記検出した方角を中心に所定の角度範囲内に存在する前記撮影画像を重ねて表示画面に表示する表示部と、
前記表示画面に表示された前記撮影画像のうち前記入力部からの入力により選択された前記撮影画像を、前記入力部からの入力に応じて移動させ、前記選択された撮影画像の上に別の撮影画像があると、前記別の撮影画像も前記入力部からの入力に応じて移動させる制御部とを備える映像表示装置。 A storage unit for storing a plurality of photographed images and photographing positions of the plurality of photographed images;
A shooting section for shooting the subject;
A current position calculator for calculating the current position;
A direction detection unit that detects a direction in which the photographing unit faces;
An input unit that accepts user input;
The photographed image stored in the storage unit on the through image currently photographed by the photographing unit, the photographing position being within a predetermined distance range from the current position, and the photographing A display unit for displaying on the display screen the captured image whose position is within a predetermined angle range centered on the detected direction from the current position;
The photographed image selected by the input from the input unit among the photographed images displayed on the display screen is moved according to the input from the input unit, and another image is moved on the selected photographed image. A video display device comprising: a control unit that moves a different captured image in response to an input from the input unit when a captured image is present. 請求項１に記載の映像表示装置において、
前記制御部は、前記選択された撮影画像および前記別の撮影画像の表示位置をそれぞれ記憶し、前記入力部からの前記撮影画像の選択を解除する入力に応じて、前記入力部からの入力に応じて移動させた前記撮影画像を、前記記憶した表示位置に移動させる映像表示装置。 The video display device according to claim 1,
The control unit stores a display position of the selected photographed image and the other photographed image, and inputs to the input from the input unit in response to an input for canceling the selection of the photographed image from the input unit. A video display device that moves the photographed image moved in response to the stored display position. 請求項２に記載の映像表示装置において、
前記制御部による、前記入力部からの入力に応じて移動させた前記撮影画像の前記記憶した表示位置への移動は、前記制御部が前記撮影画像を前記記憶した表示位置を１回以上通過させて前記記憶した表示位置に収束させる移動である映像表示装置。 The video display device according to claim 2,
The movement of the captured image moved in response to the input from the input unit to the stored display position by the control unit causes the control unit to pass the stored display position of the captured image one or more times. A video display device that is moved to converge to the stored display position. 請求項１乃至３のいずれか１項に記載の映像表示装置において、
前記記憶部には前記撮影画像の撮影日時も保存され、
前記表示部は、前記撮影画像の撮影日時、および前記現在位置と前記撮影位置との距離、のいずれか一方に基づいて前記表示画面において前記撮影画像を重ねる順番を決定する映像表示装置。 The video display device according to any one of claims 1 to 3,
The storage unit also stores the shooting date and time of the captured image,
The display unit is a video display device that determines an order in which the captured images are superimposed on the display screen based on one of a shooting date and time of the captured image and a distance between the current position and the shooting position. 請求項１乃至４のいずれか１項に記載の映像表示装置において、
前記記憶部には、前記撮影部により撮影した撮影画像が保存される映像表示装置。 The video display device according to any one of claims 1 to 4,
The video display device in which the storage unit stores a photographed image photographed by the photographing unit. 請求項１乃至５のいずれか１項に記載の映像表示装置とサーバとを備える映像表示システムであって、
前記映像表示装置は、前記サーバと通信する表示装置通信部をさらに備え、
前記サーバは、
複数の前記映像表示装置と通信するサーバ通信部と、
前記複数の撮影画像および前記複数の撮影画像の撮影位置を保存する撮影画像データベースと、
前記サーバ通信部が前記映像表示装置から前記現在位置および前記方角を受信すると、受信した前記現在位置および前記方角に基づき前記撮影画像データベースから前記撮影画像を抽出し、前記サーバ通信部により前記現在位置および前記方角を送信した映像表示装置へ前記抽出した撮影画像を送信するサーバ制御部とを備える。 A video display system comprising the video display device according to any one of claims 1 to 5 and a server,
The video display device further includes a display device communication unit that communicates with the server,
The server
A server communication unit that communicates with a plurality of the video display devices;
A captured image database for storing the captured images and the captured positions of the captured images;
When the server communication unit receives the current position and the direction from the video display device, the server communication unit extracts the captured image from the captured image database based on the received current position and direction, and the server communication unit extracts the current position. And a server control unit that transmits the extracted captured image to the video display device that has transmitted the direction. コンピュータに、
複数の撮影画像と前記複数の撮影画像の撮影位置を記憶部から読出させる読出し手順と、
被写体を撮影させる撮影手順と、
現在位置を算出させる自己位置算出手順と、
方角を検出させる方角検出手順と、
前記読出し手順により前記撮影画像の撮影位置を順次読出し、前記撮影位置が前記現在位置から所定の範囲内であり、かつ前記撮影位置が前記現在位置から前記検出した方角を中心に所定の角度以内に存在する場合は、当該撮影画像を前記撮影手順により得られたスルー画像の上に重ねて表示部に表示させる表示手順と、
前記表示部に表示されている前記撮影画像を対象に、選択および移動の入力操作を受け付ける入力手順と、
前記入力手順で受け付けた前記選択操作により選択された前記撮影画像を前記入力手順で受け付けた前記移動操作により前記表示部上で移動させ、前記選択された撮影画像の上に重ねて表示される別の撮影画像があると、前記別の撮影画像も前記入力手順で受け付けた前記移動操作により移動させる制御手順とを実行させるための映像表示プログラム。 On the computer,
A reading procedure for reading out a plurality of photographed images and photographing positions of the plurality of photographed images from the storage unit;
Shooting procedure for shooting the subject,
A self-position calculation procedure for calculating the current position;
Direction detection procedure to detect the direction,
The photographing position of the photographed image is sequentially read out by the reading procedure, the photographing position is within a predetermined range from the current position, and the photographing position is within a predetermined angle centered on the detected direction from the current position. If present, a display procedure for displaying the captured image on the display unit on the through image obtained by the imaging procedure;
An input procedure for receiving an input operation of selection and movement for the captured image displayed on the display unit;
The captured image selected by the selection operation received in the input procedure is moved on the display unit by the moving operation received in the input procedure, and is displayed over the selected captured image. A video display program for executing a control procedure for moving another captured image by the moving operation received in the input procedure when there is a captured image.
JP2014046683A 2014-03-10 2014-03-10 Video display device, video display system, and video display program Active JP6295738B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014046683A JP6295738B2 (en) 2014-03-10 2014-03-10 Video display device, video display system, and video display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014046683A JP6295738B2 (en) 2014-03-10 2014-03-10 Video display device, video display system, and video display program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018029873A Division JP6521121B2 (en) 2018-02-22 2018-02-22 Display device, display system, and display program

Publications (2)

Publication Number Publication Date
JP2015171095A JP2015171095A (en) 2015-09-28
JP6295738B2 true JP6295738B2 (en) 2018-03-20

Family

ID=54203434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014046683A Active JP6295738B2 (en) 2014-03-10 2014-03-10 Video display device, video display system, and video display program

Country Status (1)

Country Link
JP (1) JP6295738B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5186984B2 (en) * 2008-04-08 2013-04-24 株式会社ニコン Electronic camera
JP2010063076A (en) * 2008-09-01 2010-03-18 Hidetoyo Tonuma Image processing apparatus and image processing apparatus program
JP5736933B2 (en) * 2011-04-21 2015-06-17 ソニー株式会社 Electronic device, control method thereof, and program

Also Published As

Publication number Publication date
JP2015171095A (en) 2015-09-28

Similar Documents

Publication Publication Date Title
KR101977703B1 (en) Method for controlling photographing in terminal and terminal thereof
US10378913B2 (en) Navigation apparatus and navigation method
JP4600515B2 (en) Information presenting apparatus, information presenting method, imaging apparatus, and computer program
US9412202B2 (en) Client terminal, server, and medium for providing a view from an indicated position
EP3054662A1 (en) Information processing apparatus, information processing method, and computer program
EP2991323B1 (en) Mobile device and method of projecting image by using the mobile device
JP5955491B2 (en) Information superimposed image display device and information superimposed image display program
KR102078198B1 (en) Shooting Method for Three-Dimensional Modeling And Electrical Device Thereof
CN103780747A (en) Information processing method and electronic equipment
JP2017211811A (en) Display control program, display control method and display control device
JP2016224173A (en) Control device and control method
US11048345B2 (en) Image processing device and image processing method
JP2012019374A (en) Electronic album creation server, information processor, electronic album creation system, and control method of electronic album creation server
KR102100667B1 (en) Apparatus and method for generating an image in a portable terminal
JP6521121B2 (en) Display device, display system, and display program
JP6295738B2 (en) Video display device, video display system, and video display program
JP2009124254A (en) Photographing device
JP6071670B2 (en) Captured image display device, imaging system, captured image display method, and program
JP2019191988A (en) Electronic apparatus, control method of electronic apparatus, program, and storage medium
JP2016115067A (en) Image display terminal, image display system, and image display program
JP6210758B2 (en) Imaging system, imaging apparatus, and server
JP6600450B2 (en) Location information specifying device, location information specifying method, and location information specifying program
JP6208977B2 (en) Information processing apparatus, communication terminal, and data acquisition method
JP6575221B2 (en) Display control method, information processing apparatus, and display control program
JP2011033433A (en) Navigation device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180205

R150 Certificate of patent or registration of utility model

Ref document number: 6295738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250