JP5354253B2 - Imaging camera, image display device, and image display system - Google Patents

Imaging camera, image display device, and image display system Download PDF

Info

Publication number
JP5354253B2
JP5354253B2 JP2008189093A JP2008189093A JP5354253B2 JP 5354253 B2 JP5354253 B2 JP 5354253B2 JP 2008189093 A JP2008189093 A JP 2008189093A JP 2008189093 A JP2008189093 A JP 2008189093A JP 5354253 B2 JP5354253 B2 JP 5354253B2
Authority
JP
Japan
Prior art keywords
image
display device
image display
transmission
photographing camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008189093A
Other languages
Japanese (ja)
Other versions
JP2010026332A (en
Inventor
健詞 山本
孝憲 妹尾
隆太朗 大井
智之 三科
誠人 奥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2008189093A priority Critical patent/JP5354253B2/en
Publication of JP2010026332A publication Critical patent/JP2010026332A/en
Application granted granted Critical
Publication of JP5354253B2 publication Critical patent/JP5354253B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、レンズアレイを備える撮影カメラが撮影した要素画像を、画像表示装置に送信する技術に関する。   The present invention relates to a technique for transmitting an element image taken by a photographing camera including a lens array to an image display device.

従来から、立体撮影の方法として、被写体の多視点画像を撮影する方法が知られている。この多視点画像の撮影には、複数台の撮影カメラが各視点(画像)を撮影するマルチカメラ、又は、レンズアレイを前面に配置した単一カメラを用いることができる(例えば、特許文献1参照)。特許文献1に記載の単一カメラは、複数のマイクロレンズを平面上に2次元的に配置したマイクロレンズアレイを備えるものである。
特開2001−128071号公報
Conventionally, a method of photographing a multi-viewpoint image of a subject is known as a method of stereoscopic photography. For this multi-viewpoint image shooting, a multi-camera in which a plurality of shooting cameras capture each viewpoint (image), or a single camera with a lens array arranged on the front surface can be used (for example, see Patent Document 1). ). The single camera described in Patent Document 1 includes a microlens array in which a plurality of microlenses are two-dimensionally arranged on a plane.
JP 2001-128071 A

しかし、マルチカメラで多視点画像を撮影する場合、必要な視点(画像)のみを表示装置に送信できるが、複数台の撮影カメラが必要となり、撮影装置が大規模化し、その設置や運営に多大な時間や労力が必要となる問題がある。一方、単一カメラで多視点画像を撮影する場合、撮影した画像に全視点(全要素画素)が含まれているため、必要とする視点(要素画素)のみを表示装置に送信することができず、マルチカメラに比べて画像の送信量が多くなるという問題がある。   However, when shooting multi-viewpoint images with a multi-camera, only the necessary viewpoints (images) can be transmitted to the display device. However, a plurality of shooting cameras are required, the size of the shooting device becomes large, and the installation and operation are very large. There is a problem that requires a lot of time and effort. On the other hand, when shooting a multi-viewpoint image with a single camera, all the viewpoints (all element pixels) are included in the captured image, so only the required viewpoints (element pixels) can be transmitted to the display device. However, there is a problem that the amount of image transmission increases compared to the multi-camera.

そこで、本発明は、簡易な構成で、画像の送信量を抑えることができる撮影カメラ、画像表示装置及び画像表示システムを提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides a photographing camera, an image display device, and an image display system that can reduce the amount of image transmission with a simple configuration.

前記した課題を解決するため、請求項1に係る撮影カメラは、複数の要素レンズを同一平面上に配置したレンズアレイを備え、被写体の要素画像群を撮影して前記要素画像群の一部の要素画像を画像表示装置に送信する撮影カメラであって、前記レンズアレイを介して、前記要素画像群を撮影する撮影素子と、前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を記憶する記憶手段と、前記撮影素子が撮影した要素画像群を前記要素画像に分解する分解手段と、前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて、前記分解手段が分解した要素画像のうち、前記画像表示装置に送信する前記要素画像を選択する選択手段と、前記選択手段が選択した前記要素画像を前記画像表示装置に送信する送信手段と、を備える構成とした。   In order to solve the above-described problem, a photographing camera according to claim 1 includes a lens array in which a plurality of element lenses are arranged on the same plane, and photographs an element image group of a subject to form a part of the element image group. An imaging camera that transmits an element image to an image display device, an imaging element that images the element image group via the lens array, and a position of the element image that the imaging camera transmits to the image display device A storage unit that stores preset transmission element image information indicating the number, a decomposition unit that decomposes an element image group captured by the imaging element into the element image, and the element set in the transmission element image information Based on the position and number of images, among the element images decomposed by the decomposition means, a selection means for selecting the element image to be transmitted to the image display device, and the element selected by the selection means Transmitting means for transmitting an image to the image display device, and configured to include a.

かかる構成によれば、撮影カメラは、記憶手段によって、被写体を撮影する前に、画像表示装置が必要とする要素画像を示す送信要素画像情報を記憶しておく。この送信要素画像情報は、画像表示装置から送信されても良い。また、撮影カメラは、撮影素子によって、レンズアレイを介して被写体を撮影することで、要素画像で構成される被写体の要素画像群を、1台の撮影カメラで撮影できる。また、撮影カメラは、分解手段によって、撮影素子が撮影した要素画像群を要素画像に分解、例えば、要素画像群を要素レンズの数で等分、要素画像群を予め定めた位置で分解、又は、要素画像群に含まれるマーカを基準に要素画像群を分解し、各要素画像を得ることができる。   According to such a configuration, the photographing camera stores the transmission element image information indicating the element image required by the image display device before the subject is photographed by the storage unit. This transmission element image information may be transmitted from the image display device. In addition, the photographing camera can photograph a subject image group of element images with a single photographing camera by photographing a subject through a lens array with a photographing element. In addition, the imaging camera decomposes the element image group captured by the imaging element into element images by the decomposing means, for example, the element image group is equally divided by the number of element lenses, and the element image group is decomposed at a predetermined position, or Each element image can be obtained by decomposing the element image group with reference to the marker included in the element image group.

また、撮影カメラは、選択手段によって、送信要素画像情報に設定された要素画像の位置と数とに基づいて、分解手段が分解した要素画像のうち、画像表示装置が必要とする要素画像のみを選択できる。そして、撮影カメラは、送信手段によって、画像表示装置が必要としない要素画像を送信することなく、画像表示装置が必要とする要素画像のみを画像表示装置に送信できる。   Further, the photographing camera selects only the element images required by the image display device from among the element images decomposed by the decomposition means based on the position and number of element images set in the transmission element image information by the selection means. You can choose. And a photography camera can transmit only the element image which an image display apparatus requires to an image display apparatus, without transmitting the element image which an image display apparatus does not require by a transmission means.

また、請求項2に係る撮影カメラは、前記画像表示装置が中継機器を介して前記撮影カメラに複数接続される場合、前記送信手段が、前記要素画像を前記複数の画像表示装置にマルチキャストで送信することを特徴とする。   Further, in the photographing camera according to claim 2, when a plurality of the image display devices are connected to the photographing camera via a relay device, the transmission unit transmits the element image to the plurality of image display devices by multicast. It is characterized by doing.

かかる構成によれば、撮影カメラは、送信手段によって、各画像表示装置が必要とする要素画像のみを、各画像表示装置に送信することができる。   According to such a configuration, the photographing camera can transmit only the element images required by each image display device to each image display device by the transmission unit.

また、請求項3に係る撮影カメラは、前記送信手段が、前記要素画像を符号化して前記画像表示装置に送信することを特徴とする。   In the photographing camera according to a third aspect, the transmission unit encodes the element image and transmits the encoded element image to the image display device.

かかる構成によれば、撮影カメラは、送信手段によって、例えば、要素画像を動画として送信するときはMPEG(Moving Picture Experts Group)方式、要素画像を静止画として送信するときはJPEG(Joint Photographic Experts Group)方式で要素画像を符号化する。   According to such a configuration, the photographing camera uses the transmission means to transmit, for example, an MPEG (Moving Picture Experts Group) method when transmitting an element image as a moving image, and a JPEG (Joint Photographic Experts Group) when transmitting an element image as a still image. ) Method to encode the element image.

また、請求項4に係る撮影カメラは、前記送信手段が、複数の前記要素画像をまとめて符号化して前記画像表示装置に送信することを特徴とする。   According to a fourth aspect of the present invention, there is provided the photographing camera, wherein the transmission unit collectively encodes a plurality of the element images and transmits them to the image display device.

かかる構成によれば、撮影カメラは、送信手段によって、例えば、MVC(multi-view video coding)方式で、複数の前記要素画像をまとめて符号化する。このMVC方式は、撮影カメラが撮影した要素画像群の各要素画像が類似することを利用して符号化を行うものである。   According to such a configuration, the photographing camera encodes the plurality of element images together by, for example, the MVC (multi-view video coding) method by the transmission unit. This MVC method performs encoding using the fact that the element images of the element image group photographed by the photographing camera are similar.

また、請求項5に係る撮影カメラは、前記記憶手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を記憶し、前記選択手段は、前記送信要素画像情報に基づいて、2以上の前記要素画像を選択し、前記送信手段は、前記選択手段が選択した2以上の前記要素画像を前記画像表示装置に送信することを特徴とする。   In the photographing camera according to claim 5, the storage unit stores the transmission element image information indicating that the number of the element images is 2 or more, and the selection unit is configured to store 2 based on the transmission element image information. The above element image is selected, and the transmission unit transmits the two or more element images selected by the selection unit to the image display device.

かかる構成によれば、撮影カメラは、送信手段によって、2以上の要素画像を送信するので、これを受信した画像表示装置において、多視点画像を表示させることができる。   According to such a configuration, the photographing camera transmits two or more element images by the transmission unit, and thus the multi-viewpoint image can be displayed on the image display device that has received the element images.

また、請求項6に係る撮影カメラは、前記撮影手段が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う補正手段、をさらに備えることを特徴とする。   According to a sixth aspect of the present invention, the photographing camera further includes a correcting unit that performs at least one of geometric correction and color correction on the elemental image group captured by the photographing unit.

かかる構成によれば、撮影カメラは、補正手段によって、要素画像群に含まれるレンズ歪や色ずれを除去し、歪みの少ない要素画像を送信できる。特に、要素画像群の端に近づく程、レンズ歪や色ずれの影響が大きくなるが、この場合でも、レンズ歪や色ずれを少なくすることができる。   According to such a configuration, the photographing camera can remove the lens distortion and the color misregistration included in the element image group by the correcting unit, and transmit the element image with less distortion. In particular, the closer to the end of the element image group, the greater the influence of lens distortion and color misregistration. Even in this case, lens distortion and color misregistration can be reduced.

また、請求項7に係る画像表示装置は、請求項1から請求項6のいずれか一項に記載の撮影カメラから、当該撮影カメラによって撮影された被写体の要素画像群の一部の要素画像を受信する画像表示装置であって、前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を、前記撮影カメラに送信する送信要素画像情報送信手段と、前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて前記撮影カメラが選択した前記要素画像を受信し、当該要素画像から表示画像を生成する画像生成手段と、前記画像生成手段が生成した表示画像を表示する表示手段と、を備える構成とした。 According to a seventh aspect of the present invention, there is provided an image display device including, from the photographing camera according to any one of the first to sixth aspects, a partial element image of an element image group of a subject photographed by the photographing camera . Transmitting element image information for transmitting to the imaging camera preset transmission element image information indicating the position and number of the element images transmitted from the imaging camera to the image display apparatus. A transmission means, and an image generation means for receiving the element image selected by the photographing camera based on the position and number of the element images set in the transmission element image information, and generating a display image from the element image. And display means for displaying the display image generated by the image generation means.

かかる構成によれば、画像表示装置は、送信要素画像情報送信手段によって、撮影カメラが被写体を撮影する前に、画像表示装置が必要とする要素画像を示す送信要素画像情報を、撮影カメラに送信要素画像情報を送信する。また、画像表示装置は、画像生成手段によって、画像表示装置が必要としない要素画像を含む要素画像群を受信することなく、1台の撮影カメラから画像表示装置が必要とする要素画像のみを受信し、この要素画像から表示画像を生成する。そして、画像表示装置は、表示手段によって、画像生成手段が生成した表示画像を表示する。   According to such a configuration, the image display device transmits the transmission element image information indicating the element image required by the image display device to the photographing camera before the photographing camera photographs the subject by the transmission element image information transmission unit. Send element image information. Further, the image display device receives only the element images required by the image display device from one photographing camera without receiving the element image group including the element images not required by the image display device by the image generation means. Then, a display image is generated from this element image. Then, the image display device displays the display image generated by the image generation means by the display means.

また、請求項8に係る画像表示装置は、前記送信要素画像情報送信手段が、前記要素画像の数が2以上を示す前記送信要素画像情報を前記撮影カメラに送信し、前記画像生成手段が、前記撮影カメラから2以上の前記要素画像を受信して前記表示画像を生成することを特徴とする。   Further, in the image display device according to claim 8, the transmission element image information transmission unit transmits the transmission element image information indicating the number of the element images of 2 or more to the photographing camera, and the image generation unit includes: The display image is generated by receiving two or more element images from the photographing camera.

かかる構成によれば、画像表示装置は、画像生成手段によって、撮影カメラから2以上の要素画像を受信するので、多視点画像を表示することができる。   According to such a configuration, the image display device receives two or more element images from the photographing camera by the image generation unit, and thus can display a multi-viewpoint image.

また、請求項9に係る画像表示システムは、請求項1から請求項5のいずれか一項に記載の撮影カメラと、請求項6又は請求項7に記載の画像表示装置と、を備えることを特徴とする。   An image display system according to a ninth aspect includes the photographing camera according to any one of the first to fifth aspects, and the image display device according to the sixth or seventh aspect. Features.

本発明によれば、以下のような優れた効果を奏する。
請求項1,7,9に係る発明によれば、1台の撮影カメラで要素画像群を撮影できると共に、画像表示装置が必要とする要素画像のみを選択して画像表示装置に送信できるため、複数台の撮影カメラで構成される従来のマルチカメラに比べて、簡易な構成とすることができ、画像表示装置が必要としない要素画像を送信する従来の単一カメラに比べて、画像の送信量を抑えることができる。
According to the present invention, the following excellent effects can be obtained.
According to the first, seventh, and ninth aspects of the invention, the element image group can be photographed by one photographing camera, and only the element images required by the image display device can be selected and transmitted to the image display device. Compared to a conventional multi-camera composed of multiple shooting cameras, it can be configured more simply and transmit images compared to a conventional single camera that transmits elemental images that are not required by the image display device. The amount can be reduced.

請求項2に係る発明によれば、各画像表示装置が必要とする要素画像のみを、各画像表示装置に送信できるため、画像の送信量をより抑えることができる。
請求項3に係る発明によれば、要素画像を符号化するため、画像の送信量をより抑えることができる。
請求項4に係る発明によれば、複数の要素画像をまとめて符号化するため、符号化効率を高めると共に、画像の送信量をより抑えることができる。
According to the second aspect of the present invention, since only the element images required by each image display device can be transmitted to each image display device, the amount of image transmission can be further suppressed.
According to the invention of claim 3, since the element image is encoded, the transmission amount of the image can be further suppressed.
According to the fourth aspect of the invention, since a plurality of element images are encoded together, the encoding efficiency can be improved and the transmission amount of images can be further suppressed.

請求項5に係る発明によれば、画像表示装置に多視点画像を表示させることができる。
請求項6に係る発明によれば、歪みの少ない要素画像を送信できるため、画像表示装置に高品質な多視点画像を表示させることができる。
請求項8に係る発明によれば、画像表示装置が多視点画像を表示することができる。
According to the invention which concerns on Claim 5, a multi-viewpoint image can be displayed on an image display apparatus.
According to the invention of claim 6, since an element image with little distortion can be transmitted, a high-quality multi-viewpoint image can be displayed on the image display device.
According to the eighth aspect of the present invention, the image display device can display a multi-viewpoint image.

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び部材には同一の符号を付し、説明を省略した。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means and members having the same function are denoted by the same reference numerals, and description thereof is omitted.

(第1実施形態)
[画像表示システムの概略]
図1は本発明の実施形態に係る画像表示システムの概略を説明する図であり、(a)は画像表示システムの概略図であり、(b)は撮影カメラが撮影した要素画像群を説明する図であり、(c)は撮影カメラが画像表示装置に送信する要素画像を説明する図である。
(First embodiment)
[Outline of image display system]
FIG. 1 is a diagram illustrating an outline of an image display system according to an embodiment of the present invention, (a) is a schematic diagram of the image display system, and (b) is a diagram illustrating an element image group captured by a photographing camera. FIG. 4C is a diagram illustrating an element image transmitted from the photographing camera to the image display device.

図1(a)に示すように、画像表示システム1は、撮影カメラ2と、画像表示装置(クライアントPC)3とを備える。
撮影カメラ(単一カメラ)2は、レンズアレイ21を前面に有し、被写体Hの要素画像群を撮影するデジタルカメラである(図1では、一部の要素レンズ21aのみ図示)。ここでは、レンズアレイ21は、縦3個×横4個、計12個の要素レンズ21aが同一平面上に配置されたものである。また、撮影カメラ2は、例えば、有線LAN(Local Area Network)、無線LAN、イントラネット等のネットワーク5を介して、画像表示装置3と接続され、その一部の要素画像を画像表示装置3に送信する。
画像表示装置3は、撮影カメラ2から送信された要素画像から表示画像を生成し、これを表示するものである。
As shown in FIG. 1A, the image display system 1 includes a photographing camera 2 and an image display device (client PC) 3.
The photographing camera (single camera) 2 is a digital camera that has a lens array 21 on the front surface and photographs a group of element images of the subject H (in FIG. 1, only some element lenses 21a are shown). Here, the lens array 21 is configured such that a total of twelve element lenses 21a, 3 vertical × 4 horizontal, are arranged on the same plane. The photographing camera 2 is connected to the image display device 3 via a network 5 such as a wired LAN (Local Area Network), a wireless LAN, or an intranet, and transmits a part of the element image to the image display device 3. To do.
The image display device 3 generates a display image from the element image transmitted from the photographing camera 2 and displays it.

まず、画像表示装置3は、被写体Hを撮影する前に、ネットワーク5を介して、撮影カメラ2が画像表示装置3に送信する要素画像の位置と数とを示す送信要素画像情報を撮影カメラ2に送信する。ここで、送信要素画像情報は、例えば、要素画像群の中央に位置する2個の要素画像を示すものとする。   First, the image display device 3 transmits transmission element image information indicating the position and number of element images transmitted from the photographing camera 2 to the image display device 3 via the network 5 before photographing the subject H. Send to. Here, the transmission element image information indicates, for example, two element images located in the center of the element image group.

次に、送信要素画像情報を受信したら、撮影カメラ2は、送信要素画像情報を記憶し、被写体Hを撮影する。前記したように、撮影カメラ2は、12個の要素レンズ21aを備えるため、図1(b)に示すように、12個の要素画像で構成される要素画像群を撮影する。ここで、送信要素画像情報として、要素画像群の中央に位置する2個の要素画像が設定されているため、撮影カメラ2は、図1(c)に示すように、図1(b)の要素画像群のうち、中央に位置する2個の要素画像のみを画像表示装置3に送信する(図1(b)の太枠部分)。   Next, when the transmission element image information is received, the photographing camera 2 stores the transmission element image information and images the subject H. As described above, since the photographing camera 2 includes the twelve element lenses 21a, the element image group including the twelve element images is photographed as illustrated in FIG. Here, since the two element images located in the center of the element image group are set as the transmission element image information, the photographing camera 2 is configured as shown in FIG. 1C, as shown in FIG. Of the group of element images, only the two element images located in the center are transmitted to the image display device 3 (thick frame portion in FIG. 1B).

つまり、撮影カメラ2が、図1(c)の要素画像を画像表示装置3に送信するため、画像表示システム1は、図1(b)の要素画像群を送信する場合と比べて、画像の送信量を少なくすることができる。   That is, since the photographic camera 2 transmits the element image of FIG. 1C to the image display device 3, the image display system 1 is more effective than the case of transmitting the element image group of FIG. The amount of transmission can be reduced.

[撮影カメラの構成]
図2は、図1の撮影カメラの構成を示すブロック図である。図2に示すように、撮影カメラ2は、記憶手段22と、撮影素子23と、補正手段24と、分解手段25と、選択手段26と、符号化手段(送信手段)27と、送信要素画像情報受信手段28とを備える。なお、図2では、レンズアレイ21の図示を省略した。
[Camera configuration]
FIG. 2 is a block diagram showing a configuration of the photographing camera of FIG. As shown in FIG. 2, the photographing camera 2 includes a storage unit 22, a photographing element 23, a correcting unit 24, a decomposing unit 25, a selecting unit 26, an encoding unit (transmitting unit) 27, and a transmission element image. Information receiving means 28. In FIG. 2, the lens array 21 is not shown.

送信要素画像情報受信手段28は、撮影カメラ2で撮影を行う前に、ネットワーク5を介して、画像表示装置3から送信要素画像情報を受信するものである。
記憶手段22は、送信要素画像情報受信手段28が受信した送信要素画像情報を記憶するものであり、RAM(Random Access Memory)及びHDD(Hard Disk Drive)等で構成される。また、記憶手段22は、要素レンズ21aの数(縦横の数)、要素レンズ21aの大きさ、及び、撮影カメラ2から被写体Hまでの距離等の撮影カメラ2の設置条件を含むパラメータを記憶しても良い。
The transmission element image information receiving unit 28 receives transmission element image information from the image display device 3 via the network 5 before photographing with the photographing camera 2.
The storage means 22 stores the transmission element image information received by the transmission element image information reception means 28, and includes a RAM (Random Access Memory), a HDD (Hard Disk Drive), and the like. In addition, the storage unit 22 stores parameters including the number of element lenses 21a (vertical and horizontal numbers), the size of the element lens 21a, and the installation conditions of the photographing camera 2 such as the distance from the photographing camera 2 to the subject H. May be.

送信要素画像情報は、撮影カメラ2が画像表示装置3に送信する要素画像の位置と数とを示すものである。画像表示装置3が多視点画像を表示するためには、送信要素画像情報は、任意の位置の要素画像の数を2以上、設定する。例えば、自由視点の平面画像を画像表示装置3が表示する場合、送信要素画像情報は、自由視点の平面画像を生成するための要素画像の数を4(4視点分)設定する。なお、送信要素画像情報は、隣接する要素画像を複数設定しても良く、互いに離れた要素画像を複数設定しても良い。   The transmission element image information indicates the position and number of element images transmitted from the photographing camera 2 to the image display device 3. In order for the image display device 3 to display a multi-viewpoint image, the transmission element image information sets the number of element images at arbitrary positions to two or more. For example, when the image display device 3 displays a free viewpoint planar image, the transmission element image information sets the number of element images for generating a free viewpoint planar image to 4 (for 4 viewpoints). The transmission element image information may set a plurality of adjacent element images, or may set a plurality of element images separated from each other.

また、例えば、左右眼用画像(両眼視差を用いた立体画像)を画像表示装置3が表示する場合、送信要素画像情報は、左眼用画像を生成するための要素画像の数を2(2視点分)、右眼用画像を生成するための要素画像の数を2(2視点分)設定する。なお、送信要素画像情報は、左眼用画像を生成するための要素画像及び右眼用画像を生成するための要素画像として、隣接する位置の要素画像を複数設定しても良く、離れた位置の要素画像を複数設定しても良い。また、送信要素画像情報は、左眼用画像を生成するための要素画像及び右眼用画像を生成するための要素画像として、同一の要素画像を含むように複数設定しても良い。つまり、左眼用画像を生成するための要素画像と右眼用画像を生成するための要素画像とが重複するように、送信要素画像情報において、要素画像の位置が設定される。   Further, for example, when the image display device 3 displays an image for left and right eyes (a stereoscopic image using binocular parallax), the transmission element image information indicates the number of element images for generating a left eye image as 2 ( (2 viewpoints), the number of element images for generating the right eye image is set to 2 (2 viewpoints). The transmission element image information may be set as a plurality of element images at adjacent positions as element images for generating a left-eye image and an element image for generating a right-eye image. A plurality of element images may be set. A plurality of pieces of transmission element image information may be set so as to include the same element image as an element image for generating an image for the left eye and an element image for generating an image for the right eye. That is, the position of the element image is set in the transmission element image information so that the element image for generating the left-eye image and the element image for generating the right-eye image overlap.

また、送信要素画像情報は、要素画像群の最左上部の要素画像の基準とし、画像表示装置3に送信する各要素画像の位置を要素画像(x,y)という座標系で表現しても良い(xは要素画像の横方向の位置、yは要素画像の縦方向の位置)。例えば、図1(b)の要素画像群では、最左上部の要素画像の位置は、要素画像(1,1)となり、最右下部の要素画像の位置は、要素画像(4,3)となる。   The transmission element image information is used as a reference for the element image at the upper left of the element image group, and the position of each element image to be transmitted to the image display device 3 is expressed by a coordinate system called element image (x, y). Good (x is the horizontal position of the element image, y is the vertical position of the element image). For example, in the element image group in FIG. 1B, the position of the upper left element image is the element image (1, 1), and the position of the lower right element image is the element image (4, 3). Become.

なお、後記するマルチキャスト送信を行う場合、記憶手段22は、マルチキャストで送信を行う画像表示装置3のIP(Internet Protocol)アドレスを有するマルチキャスト情報を記憶しても良い。この場合、マルチキャスト情報は、予め、オペレータによって設定される。   When performing multicast transmission described later, the storage unit 22 may store multicast information having an IP (Internet Protocol) address of the image display device 3 that performs transmission by multicast. In this case, the multicast information is set in advance by the operator.

撮影素子23は、被写体Hを撮影するものであり、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)で構成される。ここで、撮影素子23は、レンズアレイ21を介して被写体Hを撮影するので、レンズアレイ21の各要素レンズ21aに対応する要素画像で構成される被写体Hの要素画像群を撮影できる。   The imaging element 23 is for imaging the subject H, and is composed of, for example, a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor). Here, since the photographing element 23 photographs the subject H via the lens array 21, it can photograph an elemental image group of the subject H composed of elemental images corresponding to each element lens 21a of the lens array 21.

補正手段24は、撮影素子23が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行うものである。補正手段24は、例えば、レンズアレイ21が撮影素子23に垂直でない場合又はレンズアレイ21の光軸が一致しない場合、要素画像群を拡大、縮小、回転、平行移動させて幾何補正を行う。この幾何補正としては、例えば、アフィン変換、擬似アフィン変換、射影変換、変換マップを利用した変換がある。また、補正手段24は、例えば、要素画像群にたる型歪み等のレンズ歪みがある場合、高次項を利用した変換、変換マップを利用した変換等の幾何補正を行う。   The correction unit 24 performs at least one of geometric correction and color correction on the elemental image group captured by the imaging element 23. For example, when the lens array 21 is not perpendicular to the imaging element 23 or the optical axis of the lens array 21 does not match, the correction unit 24 performs geometric correction by enlarging, reducing, rotating, and translating the element image group. Examples of this geometric correction include affine transformation, pseudo-affine transformation, projective transformation, and transformation using a transformation map. In addition, for example, when there is a lens distortion such as a mold distortion in the element image group, the correction unit 24 performs geometric correction such as conversion using a higher-order term and conversion using a conversion map.

また、補正手段24は、要素画像群の撮影状態に応じて、要素画像群の濃度、コントラスト、彩度、色相等の色補正を行っても良い。例えば、補正手段24は、要素画像群のコントラストが低い場合、要素画像群の濃度やコントラストを補正する。また、補正手段24は、例えば、被写体Hが人物又は動物の目が赤く撮影された場合(赤目)、この赤目部分を黒色に補正する色補正を行う。なお、補正手段24は、幾何補正又は色補正の一方のみを行っても良く、幾何補正及び色補正の両方を行っても良い。   Further, the correction unit 24 may perform color correction such as density, contrast, saturation, and hue of the element image group in accordance with the photographing state of the element image group. For example, when the contrast of the element image group is low, the correction unit 24 corrects the density and contrast of the element image group. For example, when the subject H is photographed with red eyes of a person or an animal (red eye), the correction unit 24 performs color correction for correcting the red eye portion to black. Note that the correction unit 24 may perform only one of geometric correction and color correction, or may perform both geometric correction and color correction.

分解手段25は、撮影素子23が撮影して補正手段24が補正した後の要素画像群を、各要素画像に分解するものである。ここで、分解手段25は、記憶手段22が記憶するパラメータを参照し、要素レンズ21aの数を求めて、要素画像群を要素レンズ21aの数で等分(分解)しても良い。また、分解手段25は、要素画像群において各要素画像が予め定めた位置で撮影されるように撮影カメラ2を設置し、要素画像群を予め定めた位置で分解しても良い。なお、この場合、要素画像群を分解する位置は、撮影カメラ2の設置条件から求めることができる。   The disassembling means 25 decomposes the element image group after being imaged by the image sensor 23 and corrected by the correcting means 24 into element images. Here, the decomposing unit 25 may refer to the parameters stored in the storage unit 22 to obtain the number of element lenses 21a and equally divide (decompose) the element image group by the number of element lenses 21a. Further, the disassembling unit 25 may dispose the element image group at a predetermined position by installing the photographing camera 2 so that each element image is captured at a predetermined position in the element image group. In this case, the position where the element image group is decomposed can be obtained from the installation conditions of the photographing camera 2.

また、分解手段25は、要素画像群に各要素画像を分解する基準となるマーカが含まれる場合、このマーカを基準として要素画像群を分解すれば良い。図3は図1の分解手段の詳細を説明する図であり、(a)はレンズアレイの一例を示す図であり、(b)はこのレンズアレイを介して撮影された要素画像群を説明する図である。図3(a)に示すように、レンズアレイ21の各要素レンズ21a同士間に、撮影素子23と略垂直な枠21bを設ける。そして、図3(a)のレンズアレイ21を介して被写体Hを撮影した場合、撮影素子23は、図3(b)に示すように、要素レンズ21a同士間に枠21bが格子状で写された要素画像群を撮影する。この場合、分解手段25は、枠21bの色を抽出する処理(例えば、黒色領域抽出)を行って、要素画像群に写された枠21bをマーカとして抽出し、この枠21b(マーカ)を基準に要素画像群を分解する。   Further, when the element image group includes a marker serving as a reference for decomposing each element image, the decomposition unit 25 may decompose the element image group using this marker as a reference. FIG. 3 is a diagram for explaining the details of the disassembling means of FIG. 1, (a) is a diagram showing an example of a lens array, and (b) is a diagram for explaining an element image group photographed through this lens array. FIG. As shown in FIG. 3A, a frame 21 b that is substantially perpendicular to the imaging element 23 is provided between the element lenses 21 a of the lens array 21. When the subject H is photographed through the lens array 21 in FIG. 3A, the photographing element 23 has a frame 21b in a lattice shape between the element lenses 21a as shown in FIG. 3B. Take a group of element images. In this case, the decomposing means 25 performs a process of extracting the color of the frame 21b (for example, black region extraction), extracts the frame 21b copied in the element image group as a marker, and uses the frame 21b (marker) as a reference. The element image group is decomposed into.

例えば、図3(a)のレンズアレイ21は、例えば、要素レンズ21aを、縦3個×横4個、計12個、紫外線硬化接着剤で接着したものである。各要素レンズ21aは、例えば、それぞれが枠21bを有し、大きさが縦1mm×横1mmで、材料が透明プラスチック又は石英ガラスである。なお、要素レンズ21aの大きさ、材料及び個数はこれに限定されない。例えば、レンズアレイ21は、1枚の透明プラスチック板又は石英ガラス板の両面に、要素レンズ21aとして、球面レンズを所定の間隔で形成したものでも良い。   For example, in the lens array 21 of FIG. 3A, for example, the element lenses 21a are bonded by UV curable adhesives in a total of 12 vertical 3 × 4 horizontal 12 pieces. Each element lens 21a has, for example, a frame 21b, a size of 1 mm in length × 1 mm in width, and the material is transparent plastic or quartz glass. The size, material, and number of element lenses 21a are not limited to this. For example, the lens array 21 may be one in which spherical lenses are formed at predetermined intervals as element lenses 21a on both surfaces of a single transparent plastic plate or quartz glass plate.

図2の選択手段26は、記憶手段22が記憶する送信要素画像情報に基づいて、分解手段25が分解した要素画像のうち、画像表示装置3に送信する要素画像を選択するものである。ここで、選択手段26は、送信要素画像情報で2以上の要素画像が設定されている場合、設定された全要素画像を選択する。   The selection unit 26 in FIG. 2 selects an element image to be transmitted to the image display device 3 from among the element images decomposed by the decomposition unit 25 based on the transmission element image information stored in the storage unit 22. Here, when two or more element images are set in the transmission element image information, the selection unit 26 selects all the set element images.

符号化手段27は、選択手段26が選択した要素画像を画像表示装置3に送信するものである。また、符号化手段27は、例えば、この要素画像を動画として送信するときはMPEG方式で、要素画像を静止画として送信するときはJPEG方式で符号化して画像表示装置3に送信する。なお、符号化手段27が、請求項に記載の送信手段に相当する。   The encoding unit 27 transmits the element image selected by the selection unit 26 to the image display device 3. For example, the encoding unit 27 encodes the element image as a moving image by the MPEG method, and transmits the element image as a still image by the JPEG method and transmits the encoded image to the image display device 3. The encoding unit 27 corresponds to the transmission unit described in the claims.

また、符号化手段27は、複数の要素画像をまとめて、例えば、MVC方式で符号化して画像表示装置3に送信する。なお、従来では、MVC方式は、マルチカメラで多視点画像を撮影する際、被写体に対して各カメラの撮影アングルが近似するときに各カメラの画像が類似することを利用して符号化を行うものであり、マルチカメラを対象とすると考えられていた。ここで、本発明者らは、撮影カメラ2が撮影した要素画像群に含まれる各要素画像が類似することに着目し、マルチカメラが対象であると考えられるMVC方式を、単一カメラである撮影カメラ2に適用した。   In addition, the encoding unit 27 collects a plurality of element images, encodes them by, for example, the MVC method, and transmits them to the image display device 3. Conventionally, in the MVC method, when a multi-viewpoint image is captured with a multi-camera, encoding is performed using the fact that the images of each camera are similar when the shooting angle of each camera approximates the subject. It was thought to be intended for multi-cameras. Here, the present inventors pay attention to the fact that the element images included in the element image group photographed by the photographing camera 2 are similar, and the MVC method considered to be a multi-camera is a single camera. This was applied to the photographing camera 2.

なお、図2では、撮影カメラ2は、分解手段25によって、補正手段24が補正した後の要素画像群を各要素画像に分解するものとして説明したが、これに限定されない。例えば、撮影カメラ2は、分解手段25が要素画像群を各要素画像に分解した後、補正手段24が送信要素画像情報を参照して、画像表示装置3に送信する要素画像だけを補正しても良い(不図示)。これによって、撮影カメラ2は、全ての要素画像を補正する必要がなくなり、要素画像の補正処理の演算量を抑制することができる。   In FIG. 2, the photographing camera 2 is described as the element image group after the correction unit 24 corrects the element image group by the decomposition unit 25, but is not limited thereto. For example, in the photographing camera 2, after the decomposition unit 25 decomposes the element image group into element images, the correction unit 24 refers to the transmission element image information and corrects only the element image transmitted to the image display device 3. (Not shown). As a result, the photographing camera 2 does not need to correct all the element images, and the amount of calculation of the element image correction processing can be suppressed.

[画像表示装置の構成]
図4は、図1の画像表示装置の構成を示すブロック図である。図4に示すように、画像表示装置3は、送信要素画像情報送信手段31と、復号化手段32と、画像生成手段33と、表示手段34と、記憶手段35とを備える。
[Configuration of image display device]
FIG. 4 is a block diagram showing a configuration of the image display apparatus of FIG. As shown in FIG. 4, the image display device 3 includes a transmission element image information transmission unit 31, a decoding unit 32, an image generation unit 33, a display unit 34, and a storage unit 35.

送信要素画像情報送信手段31は、撮影カメラ2で撮影を行う前に、ネットワーク5を介して、前記した送信要素画像情報を撮影カメラ2に送信するものである。ここで、送信要素画像情報送信手段31は、撮影カメラ2が被写体Hを撮影する前に送信要素画像情報を撮影カメラ2に送信しておけば良く、その送信タイミング及び送信回数は、特に制限されない。例えば、送信要素画像情報送信手段31は、送信要素画像情報が変更された都度、撮影カメラ2に送信する。また、例えば、送信要素画像情報送信手段31は、オペレータからの指令により、送信要素画像情報を撮影カメラ2に送信する。   The transmission element image information transmission unit 31 transmits the transmission element image information to the photographing camera 2 via the network 5 before photographing with the photographing camera 2. Here, the transmission element image information transmission unit 31 may transmit the transmission element image information to the photographing camera 2 before the photographing camera 2 photographs the subject H, and the transmission timing and the number of transmissions are not particularly limited. . For example, the transmission element image information transmission unit 31 transmits the transmission element image information to the photographing camera 2 every time the transmission element image information is changed. Further, for example, the transmission element image information transmission unit 31 transmits the transmission element image information to the photographing camera 2 in accordance with an instruction from the operator.

また、例えば、送信要素画像情報送信手段31は、一定の時間間隔(例えば、1時間毎)に、送信要素画像情報を撮影カメラ2に送信する。さらに、送信要素画像情報送信手段31は、送信要素画像情報の送信が成功したか否かを判定し、この送信が失敗したと判断したときに、送信要素画像情報を撮影カメラ2に再送しても良い。これによって、撮影カメラ2が送信要素画像情報を記憶していない事態を防ぐことができる。なお、送信要素画像情報は、例えば、オペレータによって、予め設定される。   Further, for example, the transmission element image information transmission unit 31 transmits the transmission element image information to the photographing camera 2 at a constant time interval (for example, every hour). Further, the transmission element image information transmitting means 31 determines whether or not the transmission of the transmission element image information is successful. When it is determined that the transmission has failed, the transmission element image information is retransmitted to the photographing camera 2. Also good. Thus, it is possible to prevent the photographing camera 2 from storing the transmission element image information. The transmission element image information is set in advance by an operator, for example.

復号化手段32は、送信要素画像情報に設定された要素画像の位置と数とに基づいて撮影カメラ2が選択した要素画像を撮影カメラ2から受信するものである。また、復号化手段32は、要素画像がMPEG又はJPEGで符号化されている場合、受信した要素画像を復号化する。   The decoding unit 32 receives the element image selected by the photographing camera 2 based on the position and number of element images set in the transmission element image information from the photographing camera 2. In addition, when the element image is encoded by MPEG or JPEG, the decoding unit 32 decodes the received element image.

画像生成手段33は、復号化手段32が受信した要素画像から表示画像を生成するものである。例えば、撮影カメラ2から右眼用の要素画像(例えば、2視点)と、左眼用の要素画像(例えば、2視点)とを受信した場合、画像生成手段33は、2視点分の右眼用の要素画像を用いて、右目位置での奥行き情報を算出し、この奥行き情報から右目用の表示画像を生成する。そして、画像生成手段33は、右目用の表示画像と同様に、2視点分の左眼用の要素画像を用いて、左目用の表示画像を生成する。さらに、表示手段34が立体画像を表示する場合、画像生成手段33は、復号化手段32が受信した要素画像から被写体Hの3次元座標(縦、横、奥行き)を算出し、この結果を用いて立体画像(表示画像)を生成しても良い。   The image generation unit 33 generates a display image from the element image received by the decoding unit 32. For example, when an element image for the right eye (for example, two viewpoints) and an element image for the left eye (for example, two viewpoints) are received from the photographing camera 2, the image generation unit 33 performs the right eye for two viewpoints. The depth information at the right eye position is calculated using the element image, and a display image for the right eye is generated from the depth information. Then, the image generation unit 33 generates the left-eye display image using the left-eye element images for two viewpoints, similarly to the right-eye display image. Further, when the display unit 34 displays a stereoscopic image, the image generation unit 33 calculates the three-dimensional coordinates (vertical, horizontal, and depth) of the subject H from the element image received by the decoding unit 32, and uses this result. Thus, a stereoscopic image (display image) may be generated.

表示手段34は、画像生成手段33が生成した表示画像を表示するものであり、例えば、ブラウン管ディスプレイ、液晶ディスプレイである。また、表示手段34は、画像生成手段33が生成した表示画像を表示するだけでなく、記憶手段35が記憶する表示画像を表示しても良い。
記憶手段35は、画像生成手段33が生成した表示画像、及び、復号化手段32が受信した要素画像を記憶するものであり、図2の記憶手段22と同様にHDD等で構成することができる。
The display unit 34 displays the display image generated by the image generation unit 33, and is, for example, a cathode ray tube display or a liquid crystal display. The display unit 34 may display not only the display image generated by the image generation unit 33 but also the display image stored by the storage unit 35.
The storage unit 35 stores the display image generated by the image generation unit 33 and the element image received by the decoding unit 32, and can be configured by an HDD or the like, similar to the storage unit 22 of FIG. .

[撮影カメラの動作]
図5は、図2の撮影カメラの動作を示すフローチャートである(適宜図2参照)。なお、図5では、予め、画像表示装置3から送信要素画像情報が送信され、これを記憶手段22に記憶しているものとして説明する。
[Camera operation]
FIG. 5 is a flowchart showing the operation of the photographing camera of FIG. 2 (see FIG. 2 as appropriate). In FIG. 5, it is assumed that the transmission element image information is transmitted from the image display device 3 and stored in the storage unit 22 in advance.

まず、撮影カメラ2は、撮影素子23によって、被写体Hの要素画像群を撮影する(ステップS11)。撮影カメラ2は、補正手段24によって、撮影素子23が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う。ここで、撮影カメラ2は、補正手段24によって、要素画像群の撮影状態に応じて、要素画像群の濃度、コントラスト、彩度、色相等の色補正を行う(ステップS12)。   First, the photographing camera 2 photographs an element image group of the subject H by the photographing element 23 (step S11). The photographing camera 2 performs at least one of geometric correction and color correction on the element image group photographed by the photographing element 23 by the correcting unit 24. Here, the photographing camera 2 performs color correction such as density, contrast, saturation, hue, and the like of the element image group according to the photographing state of the element image group by the correcting unit 24 (step S12).

ステップS12の処理に続いて、撮影カメラ2は、分解手段25によって、撮影素子23が撮影して補正手段24が補正した後の要素画像群を、各要素画像に分解する。ここで、撮影カメラ2は、分解手段25によって、要素画像群を要素レンズ21aの数で等分(分解)しても良く、要素画像群を予め定めた位置で分解しても良く、又は、要素画像群に写された枠21b(マーカ)を基準として要素画像群を分解しても良い(ステップS13)。   Subsequent to the processing in step S12, the photographing camera 2 uses the disassembling unit 25 to decompose the element image group after the photographing element 23 has photographed and corrected by the correcting unit 24 into each element image. Here, the photographing camera 2 may divide the element image group by the number of the element lenses 21a by the disassembling unit 25 (decompose), may decompose the element image group at a predetermined position, or The element image group may be disassembled with reference to the frame 21b (marker) copied to the element image group (step S13).

ステップS13の処理に続いて、撮影カメラ2は、選択手段26によって、記憶手段22が記憶する送信要素画像情報に基づいて、分解手段25が分解した要素画像のうち、画像表示装置3に送信する要素画像を選択する(ステップS14)。また、撮影カメラ2は、符号化手段27によって、選択手段26が選択した要素画像を画像表示装置3に送信する。ここで、撮影カメラ2は、符号化手段27によって、要素画像をMPEG方式又はJPEG方式で符号化してから送信しても良い。さらに、撮影カメラ2は、符号化手段27によって、複数の要素画像をまとめてMVC方式で符号化して画像表示装置3に送信しても良い(ステップS15)。   Following the processing of step S13, the photographing camera 2 transmits the element image decomposed by the decomposing unit 25 to the image display device 3 by the selecting unit 26 based on the transmission element image information stored in the storage unit 22. An element image is selected (step S14). The photographing camera 2 transmits the element image selected by the selection unit 26 to the image display device 3 by the encoding unit 27. Here, the photographing camera 2 may transmit the element image after encoding the element image by the MPEG method or the JPEG method by the encoding unit 27. Furthermore, the photographing camera 2 may encode the plurality of element images together by the MVC method by the encoding unit 27 and transmit the encoded image to the image display device 3 (step S15).

以上の処理によって、撮影カメラ2は、画像表示装置3が必要とする要素画像のみを画像表示装置3に送信するので、画像の送信量を抑えることができる。
なお、図5では、撮影カメラ2は、ステップS12の処理に続いて、ステップS13の処理を行うこととして説明したが、これに限定されない。例えば、撮影カメラ2は、図5のステップS13の処理と、ステップS12の処理とを入れ替えて動作しても良い(不図示)。
With the above processing, the photographing camera 2 transmits only the element images required by the image display device 3 to the image display device 3, so that the amount of image transmission can be suppressed.
In FIG. 5, the photographing camera 2 has been described as performing the process of step S13 following the process of step S12, but the present invention is not limited to this. For example, the photographing camera 2 may operate by exchanging the process of step S13 in FIG. 5 and the process of step S12 (not shown).

[画像表示装置の動作]
図6は、図4の画像表示装置の動作を示すフローチャートである(適宜図4参照)。
画像表示装置3は、送信要素画像情報送信手段31によって、ネットワーク5を介して、前記した送信要素画像情報を撮影カメラ2に送信する(ステップS21)。
[Operation of image display device]
FIG. 6 is a flowchart showing the operation of the image display apparatus of FIG. 4 (see FIG. 4 as appropriate).
The image display device 3 transmits the transmission element image information described above to the photographing camera 2 via the network 5 by the transmission element image information transmission unit 31 (step S21).

ステップS21の処理に続いて、画像表示装置3は、復号化手段32によって、送信要素画像情報に応じて撮影カメラ2が選択した要素画像を撮影カメラ2から受信する。ここで、画像表示装置3は、復号化手段32によって、受信した要素画像がMPEG方式又はJPEG方式で符号化されている場合、要素画像をMPEG方式又はJPEG方式で復号化する。また、画像表示装置3は、復号化手段32によって、受信した要素画像がMVC方式で符号化されている場合、要素画像をMVC方式で復号化する。そして、画像表示装置3は、画像生成手段33によって、復号化手段32が受信した要素画像から表示画像を生成する(ステップS22)。   Following the processing of step S21, the image display device 3 receives, from the photographing camera 2, the element image selected by the photographing camera 2 according to the transmission element image information by the decoding unit 32. Here, when the received element image is encoded by the MPEG method or the JPEG method by the decoding means 32, the image display device 3 decodes the element image by the MPEG method or the JPEG method. Further, when the received element image is encoded by the MVC method by the decoding unit 32, the image display device 3 decodes the element image by the MVC method. And the image display apparatus 3 produces | generates a display image from the element image which the decoding means 32 received by the image generation means 33 (step S22).

ステップS22の処理に続いて、画像表示装置3は、表示手段34によって、画像生成手段33が生成した表示画像を表示する(ステップS23)。
以上の処理によって、画像表示装置3が必要とする要素画像のみを撮影カメラ2から受信して表示画像を表示するので、画像の送信量を抑えることができる。
Following the processing in step S22, the image display device 3 displays the display image generated by the image generation unit 33 by the display unit 34 (step S23).
With the above processing, only the element images required by the image display device 3 are received from the photographing camera 2 and the display images are displayed, so that the amount of image transmission can be suppressed.

(第2実施形態)
図7は、本発明の第2実施形態に係る画像表示システムの概略を説明する図である。
図7の画像表示システム1aは、1台の撮影カメラ2と2台の画像表示装置3a,3bが、ハブ等の中継機器4を介して、ネットワーク接続されている。ここで、画像表示装置3a,3bを区別しない場合、単に画像表示装置3と記す。なお、撮影カメラ2及び画像表示装置3の各手段は、図2及び図4と同様のものであるため、説明を省略する(適宜図2、図4参照)。
(Second Embodiment)
FIG. 7 is a diagram for explaining the outline of the image display system according to the second embodiment of the present invention.
In the image display system 1a of FIG. 7, one photographing camera 2 and two image display devices 3a and 3b are connected to a network via a relay device 4 such as a hub. Here, when the image display devices 3a and 3b are not distinguished, they are simply referred to as the image display device 3. The units of the photographing camera 2 and the image display device 3 are the same as those in FIGS. 2 and 4 and will not be described (refer to FIGS. 2 and 4 as appropriate).

以下、撮影カメラ2は、横一列に配置された5個の要素レンズ21aを有するレンズアレイ21を有し、横一列に並ぶ5個の要素画像で構成される要素画像群を撮影する例で説明する。ここで、撮影カメラ2は、送信要素画像情報を画像表示装置3毎に記憶、例えば、5個の要素画像のうち、1番目と2番目の要素画像を画像表示装置3aに送信し、3番目と4番目の要素画像を画像表示装置3bに送信すると記憶しても良い。なお、撮影カメラ2は、異なる位置及び数の要素画像を画像表示装置3a,3bに送信しても良く、同じ位置及び数の要素画像を画像表示装置3a,3bに送信しても良い。   Hereinafter, the photographing camera 2 has a lens array 21 having five element lenses 21a arranged in a horizontal row, and will be described by taking an example of photographing an element image group composed of five element images arranged in a horizontal row. To do. Here, the photographing camera 2 stores the transmission element image information for each image display device 3, for example, transmits the first and second element images of the five element images to the image display device 3a, and the third And the fourth element image may be stored when transmitted to the image display device 3b. The photographing camera 2 may transmit element images with different positions and numbers to the image display devices 3a and 3b, or may transmit element images with the same position and number to the image display devices 3a and 3b.

図7に示すように、画像表示装置3が中継機器4を介して撮影カメラ2に複数接続される場合、撮影カメラ2は、符号化手段27によって、要素画像を複数の画像表示装置3にマルチキャストで送信する。ここで、マルチキャストで送信とは、撮影カメラ2が、記憶手段22のマルチキャスト情報に設定された画像表示装置3に対して、要素画像をマルチキャストで送信することである。これによって、画像表示システム1aは、撮影カメラ2と中継機器4との間では画像の送信量を全要素画像までに抑えることができ、中継機器4と各画像表示装置3との間では、各画像表示装置3が必要とする要素画像だけを送信するので、画像の送信量を最小限に抑えることができる。   As shown in FIG. 7, when a plurality of image display devices 3 are connected to the photographic camera 2 via the relay device 4, the photographic camera 2 multicasts element images to the plurality of image display devices 3 by the encoding means 27. Send with. Here, the transmission by multicast means that the photographing camera 2 transmits the element image by multicast to the image display device 3 set in the multicast information of the storage unit 22. As a result, the image display system 1a can reduce the amount of image transmission between the photographing camera 2 and the relay device 4 to all element images, and between the relay device 4 and each image display device 3, Since only the element images required by the image display device 3 are transmitted, the amount of image transmission can be minimized.

なお、本発明の各実施形態では、撮影カメラ2を1台として説明したが、撮影カメラ2を複数台としても良い。この場合、複数の撮影カメラ2に対し、1台の画像表示装置3が接続されても良く、2台以上の画像表示装置3が接続されても良い。   In each embodiment of the present invention, the shooting camera 2 is described as one unit. However, a plurality of shooting cameras 2 may be used. In this case, one image display device 3 may be connected to a plurality of photographing cameras 2, or two or more image display devices 3 may be connected.

なお、本発明の各実施形態では、画像表示装置3を独立した装置として説明したが、一般的なコンピュータを、画像表示装置3の前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。   In each embodiment of the present invention, the image display device 3 is described as an independent device. However, a general computer can be operated by a program that functions as each of the above-described units of the image display device 3. This program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.

本発明の実施形態に係る画像表示システムの概略を説明する図であり、(a)は画像表示システムの概略図であり、(b)は撮影カメラが撮影した要素画像群を説明する図であり、(c)は撮影カメラが画像表示装置に送信する要素画像を説明する図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure explaining the outline of the image display system which concerns on embodiment of this invention, (a) is a schematic diagram of an image display system, (b) is a figure explaining the element image group which the imaging | photography camera image | photographed. (C) is a figure explaining the element image which a photographing camera transmits to an image display device. 図1の撮影カメラの構成を示すブロック図である。It is a block diagram which shows the structure of the imaging camera of FIG. 図1の分解手段の詳細を説明する図であり、(a)はレンズアレイの一例を示す図であり、(b)はこのレンズアレイを介して撮影された要素画像群を説明する図である。FIGS. 2A and 2B are diagrams illustrating details of the disassembling unit of FIG. 1, in which FIG. 1A is a diagram illustrating an example of a lens array, and FIG. 2B is a diagram illustrating a group of element images photographed through the lens array; . 図1の画像表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image display apparatus of FIG. 図2の撮影カメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging camera of FIG. 図4の画像表示装置の動作を示すフローチャートである。5 is a flowchart showing an operation of the image display device in FIG. 4. 本発明の第2実施形態に係る画像表示システムの概略を説明する図である。It is a figure explaining the outline of the image display system concerning a 2nd embodiment of the present invention.

符号の説明Explanation of symbols

1,1a 画像表示システム
2 撮影カメラ
21 レンズアレイ
21a 要素レンズ
21b 枠
22 記憶手段
23 撮影素子
24 補正手段
25 分解手段
26 選択手段
27 符号化手段(送信手段)
28 送信要素画像情報受信手段
3 画像表示装置
31 送信要素画像情報送信手段
32 復号化手段
33 画像生成手段
34 表示手段
35 記憶手段
4 中継機器
5 ネットワーク
1, 1a Image display system 2 Shooting camera 21 Lens array 21a Element lens 21b Frame 22 Storage means 23 Imaging element 24 Correction means 25 Decomposition means 26 Selection means 27 Encoding means (transmission means)
28 transmitting element image information receiving means 3 image display device 31 transmitting element image information transmitting means 32 decoding means 33 image generating means 34 display means 35 storage means 4 relay device 5 network

Claims (9)

複数の要素レンズを同一平面上に配置したレンズアレイを備え、被写体の要素画像群を撮影して前記要素画像群の一部の要素画像を画像表示装置に送信する撮影カメラであって、
前記レンズアレイを介して、前記要素画像群を撮影する撮影素子と、
前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を記憶する記憶手段と、
前記撮影素子が撮影した要素画像群を前記要素画像に分解する分解手段と、
前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて、前記分解手段が分解した要素画像のうち、前記画像表示装置に送信する前記要素画像を選択する選択手段と、
前記選択手段が選択した前記要素画像を前記画像表示装置に送信する送信手段と、を備えることを特徴とする撮影カメラ。
A camera that includes a lens array in which a plurality of element lenses are arranged on the same plane, shoots an element image group of a subject, and transmits a part of the element image group to an image display device,
An imaging element for imaging the group of element images via the lens array;
Storage means for storing preset transmission element image information indicating the position and number of the element images transmitted by the photographing camera to the image display device;
Decomposing means for decomposing the element image group captured by the imaging element into the element image;
Based on the position and number of the element images set in the transmission element image information, a selection unit that selects the element image to be transmitted to the image display device from among the element images decomposed by the decomposition unit;
A photographic camera comprising: transmission means for transmitting the element image selected by the selection means to the image display device.
前記画像表示装置が中継機器を介して前記撮影カメラに複数接続される場合、
前記送信手段は、前記要素画像を前記複数の画像表示装置にマルチキャストで送信することを特徴とする請求項1に記載の撮影カメラ。
When a plurality of the image display devices are connected to the photographing camera via a relay device,
The photographing camera according to claim 1, wherein the transmission unit transmits the element image to the plurality of image display devices by multicast.
前記送信手段は、前記要素画像を符号化して前記画像表示装置に送信することを特徴とする請求項1又は請求項2に記載の撮影カメラ。   The imaging camera according to claim 1, wherein the transmission unit encodes the element image and transmits the encoded element image to the image display device. 前記送信手段は、複数の前記要素画像をまとめて符号化して前記画像表示装置に送信することを特徴とする請求項1又は請求項2に記載の撮影カメラ。   The imaging camera according to claim 1, wherein the transmission unit collectively encodes a plurality of the element images and transmits the encoded image to the image display device. 前記記憶手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を記憶し、
前記選択手段は、前記送信要素画像情報に基づいて、2以上の前記要素画像を選択し、
前記送信手段は、前記選択手段が選択した2以上の前記要素画像を前記画像表示装置に送信することを特徴とする請求項1から請求項4のいずれか一項に記載の撮影カメラ。
The storage means stores the transmission element image information indicating that the number of element images is two or more,
The selection means selects two or more element images based on the transmission element image information,
5. The photographing camera according to claim 1, wherein the transmission unit transmits the two or more element images selected by the selection unit to the image display device.
前記撮影手段が撮影した要素画像群に、幾何補正及び色補正の少なくとも一方を行う補正手段、をさらに備えることを特徴とする請求項1から請求項5のいずれか一項に記載の撮影カメラ。   The photographing camera according to any one of claims 1 to 5, further comprising a correcting unit that performs at least one of geometric correction and color correction on the elemental image group captured by the photographing unit. 請求項1から請求項6のいずれか一項に記載の撮影カメラから、当該撮影カメラによって撮影された被写体の要素画像群の一部の要素画像を受信する画像表示装置であって、
前記撮影カメラが前記画像表示装置に送信する前記要素画像の位置と数とを示す予め設定された送信要素画像情報を、前記撮影カメラに送信する送信要素画像情報送信手段と、
前記送信要素画像情報に設定された前記要素画像の位置と数とに基づいて前記撮影カメラが選択した前記要素画像を受信し、当該要素画像から表示画像を生成する画像生成手段と、
前記画像生成手段が生成した表示画像を表示する表示手段と、
を備えることを特徴とする画像表示装置。
An image display device that receives , from the photographing camera according to any one of claims 1 to 6, a partial element image of an element image group of a subject photographed by the photographing camera ,
Transmission element image information transmitting means for transmitting, to the photographing camera, preset transmission element image information indicating the position and number of the element images transmitted by the photographing camera to the image display device;
Image generating means for receiving the element image selected by the photographing camera based on the position and number of the element images set in the transmission element image information, and generating a display image from the element image;
Display means for displaying a display image generated by the image generation means;
An image display device comprising:
前記送信要素画像情報送信手段は、前記要素画像の数が2以上を示す前記送信要素画像情報を前記撮影カメラに送信し、
前記画像生成手段は、前記撮影カメラから2以上の前記要素画像を受信して前記表示画像を生成することを特徴とする請求項7に記載の画像表示装置。
The transmission element image information transmission means transmits the transmission element image information indicating the number of the element images of 2 or more to the photographing camera,
The image display device according to claim 7, wherein the image generation unit receives two or more element images from the photographing camera and generates the display image.
請求項1から請求項6のいずれか一項に記載の撮影カメラと、
請求項7又は請求項8に記載の画像表示装置と、
を備えることを特徴とする画像表示システム。
The photographing camera according to any one of claims 1 to 6,
The image display device according to claim 7 or 8,
An image display system comprising:
JP2008189093A 2008-07-22 2008-07-22 Imaging camera, image display device, and image display system Expired - Fee Related JP5354253B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008189093A JP5354253B2 (en) 2008-07-22 2008-07-22 Imaging camera, image display device, and image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008189093A JP5354253B2 (en) 2008-07-22 2008-07-22 Imaging camera, image display device, and image display system

Publications (2)

Publication Number Publication Date
JP2010026332A JP2010026332A (en) 2010-02-04
JP5354253B2 true JP5354253B2 (en) 2013-11-27

Family

ID=41732210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008189093A Expired - Fee Related JP5354253B2 (en) 2008-07-22 2008-07-22 Imaging camera, image display device, and image display system

Country Status (1)

Country Link
JP (1) JP5354253B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5756119B2 (en) * 2009-11-18 2015-07-29 トムソン ライセンシングThomson Licensing Method and system for 3D content distribution with flexible parallax selection
JP5499778B2 (en) * 2010-03-03 2014-05-21 株式会社ニコン Imaging device
JP2013117684A (en) * 2011-12-05 2013-06-13 Nippon Hoso Kyokai <Nhk> Stereoscopic image photographing device and stereoscopic image display device
JP5906139B2 (en) * 2012-06-20 2016-04-20 日本放送協会 Correction apparatus, program thereof, and stereoscopic imaging system
JP5993694B2 (en) * 2012-10-02 2016-09-14 日本放送協会 Image encoding device
KR20190136117A (en) 2015-07-31 2019-12-09 에이치에스엔아이 엘엘씨 Virtual Three Dimensional Video Creation and Management System and Method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11103473A (en) * 1997-09-26 1999-04-13 Toshiba Corp Stereoscopic picture display device
JP2001128071A (en) * 1999-10-22 2001-05-11 Fuji Photo Film Co Ltd Digital camera
JP4243034B2 (en) * 2001-03-29 2009-03-25 日本放送協会 Encoder
JP4576740B2 (en) * 2001-04-02 2010-11-10 ソニー株式会社 Window-shaped imaging display device and bidirectional communication method using the same
JP3951695B2 (en) * 2001-12-11 2007-08-01 ソニー株式会社 Image distribution system and method, image distribution apparatus and method, image reception apparatus and method, recording medium, and program
JP4272464B2 (en) * 2003-05-02 2009-06-03 日本放送協会 Stereoscopic image correction apparatus and method
JP2006191357A (en) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd Reproduction device and reproduction program
JP2006270488A (en) * 2005-03-24 2006-10-05 Seiko Epson Corp Imaging apparatus and image processing method

Also Published As

Publication number Publication date
JP2010026332A (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN107249096B (en) Panoramic camera and shooting method thereof
CN101883215B (en) Imaging device
JP5437369B2 (en) 3D video signal encoding apparatus
JP5354253B2 (en) Imaging camera, image display device, and image display system
JP5763184B2 (en) Calculation of parallax for 3D images
JP5185104B2 (en) Multi-viewpoint image encoding apparatus and generation apparatus using camera parameters, method thereof, and recording medium on which a program for performing the method is recorded
CN105872525A (en) Image processing apparatus and image processing method
WO2011052064A1 (en) Information processing device and method
JP2012023557A (en) Image pickup device
JP2007067846A (en) Structure of stereoscopic display image data, recording method of stereoscopic display image data, displaying and reproducing method, recording program and displaying and reproducing program
TW201537950A (en) Method for using a light field camera to generate a three-dimensional image and the light field camera
JP2010063067A (en) Image processing device and method, and program
US20200176031A1 (en) Using sharding to generate virtual reality content
JP2013090059A (en) Image pickup device, image generation system, server, and electronic equipment
JP5785398B2 (en) Imaging apparatus and image signal processing apparatus
JP2014086968A (en) Image processing device, image processing method, and program
JP2012133185A (en) Imaging apparatus
JP4523538B2 (en) 3D image display device
JP2012034215A (en) Image processing apparatus and method and program
EP2852149A1 (en) Method and apparatus for generation, processing and delivery of 3D video
JP3550046B2 (en) Camera image transmission method and camera image transmission system
WO2012014695A1 (en) Three-dimensional imaging device and imaging method for same
US11962745B2 (en) Method and apparatus for processing image content
JP7382186B2 (en) Encoding device, decoding device, and program
JP4293945B2 (en) Image generation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees