JP4561399B2

JP4561399B2 - Image recording method and camera apparatus

Info

Publication number: JP4561399B2
Application number: JP2005048420A
Authority: JP
Inventors: 明彦長坂
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-02-24
Filing date: 2005-02-24
Publication date: 2010-10-13
Anticipated expiration: 2025-02-24
Also published as: JP2006237937A

Description

本発明は、画像記録方法、及びカメラ装置に関するものである。 The present invention relates to an image recording method and a camera device.

近年、プレゼンテーションや会議等においては、パーソナルコンピュータにデータとして用意したドキュメントをプロジェクタによってスクリーンやホワイトボードに拡大投影することが行われている。また、書画原稿（例えばカタログ、新聞、雑誌の記事）等の投影対象物を、それ専用の書画カメラや、汎用的なデジタルカメラによって撮影し、その画像データをパーソナルコンピュータ（以下、ＰＣ）に入力したり、或いはプロジェクタに直接入力して拡大投影することも行われている。 In recent years, in presentations and meetings, a document prepared as data in a personal computer is enlarged and projected onto a screen or whiteboard by a projector. In addition, a projection object such as a document manuscript (eg catalog, newspaper, magazine article) is photographed by a dedicated document camera or general-purpose digital camera, and the image data is input to a personal computer (hereinafter referred to as a PC). Or, it is directly input to a projector and projected in an enlarged manner.

また、下記特許文献１には、前述した書画原稿等の撮影に用いられる装置として、原稿台となる台座の上方側に支柱等を介してＣＣＤ等の撮像素子を含む撮像部が支持された書画カメラが記載されている。
特開２００２−３５４３３１号公報 Also, in Patent Document 1 below, as an apparatus used for photographing the above-described document manuscript or the like, a document image in which an image pickup unit including an image pickup device such as a CCD is supported via a column or the like above a pedestal serving as a document table. A camera is described.
JP 2002-354331 A

ところで、書画カメラやデジタルカメラ等のカメラによって撮影した原稿等の画像をプロジェクタによって拡大投影するとき、例えば上記カメラとプロジェクタなどの投影装置との間にＰＣを接続し、カメラによって撮影した画像をＰＣを介してプロジェクタへ供給する場合には、撮影した画像をＰＣ内に保存しておくことにより、それを単に投影用の画像として利用するとだけでなく、ＰＣにおいて投影以外の目的での再利用が可能となる。 By the way, when an image of an original photographed by a camera such as a document camera or a digital camera is enlarged and projected by a projector, for example, a PC is connected between the camera and a projection device such as a projector, and an image photographed by the camera is PC. When the image is supplied to the projector via the PC, the captured image is stored in the PC so that it can be used not only as an image for projection but also reused for purposes other than projection on the PC. It becomes possible.

しかし、撮影した（保存した）画像を再利用するとき、例えばその用途が複数である場合にあっては、撮影した画像を用途別に分類して保存しておくことが望ましいが、それを実現するためには、全ての画像の投影（保存）が終わった後に各々の画像を確認しながら、または投影作業と並行して、別途、手作業による分類作業を行う必要が生じるため、利便性に欠けるという問題があった。 However, when reusing photographed (saved) images, for example, when there are multiple uses, it is desirable to classify and save the photographed images according to their use. Therefore, it is necessary to perform a manual classification work while confirming each image after all the images have been projected (saved) or in parallel with the projection work. There was a problem.

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影によって取得される複数の画像を任意の基準により分類して保存する際の作業性を向上させることが可能となる画像記録方法、及びカメラ装置を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and an image recording method capable of improving workability when a plurality of images acquired by photographing are classified and stored according to an arbitrary criterion. And a camera device.

前記課題を解決するため請求項１の発明にあっては、撮像手段を備えたカメラ装置を用いて台座に置かれた撮影対象を撮影し、撮影により得られた画像を分類して記録する画像記録方法であって、前記台座の一部に互いに異なる任意の分類を示す複数の分類マークを予め設けておき、前記撮像手段の撮像領域を前記台座を含む領域に固定した状態で、撮影対象を置く以前の前記台座を撮像し基準画像を取得する第１の工程と、前記基準画像において前記複数の分類マークが存在する複数の領域をそれぞれ比較領域として特定する第２の工程と、撮像領域を固定したままの前記撮像手段によって、撮影対象を置いた状態の前記台座を撮像し、前記台座を含む被写体画像を取得する第３の工程と、前記被写体画像と前記基準画像との双方における複数の前記比較領域について、画像内容の違いの有無を比較領域毎に判別する第４の工程と、前記被写体画像と前記基準画像との間に違いがあると判別した比較領域が単一であるとき、前記被写体画像を、前記基準画像において当該比較領域に存在していた分類マークにより示される分類の画像として記録する第５の工程とを含む方法とした。 In order to solve the above-mentioned problem, in the invention of claim 1, an image is obtained by photographing a photographing object placed on a pedestal using a camera device provided with an imaging means, and classifying and recording images obtained by photographing. In the recording method, a plurality of classification marks indicating arbitrary different classifications are provided in advance on a part of the pedestal, and an imaging target is set in a state where the imaging region of the imaging unit is fixed to the region including the pedestal. A first step of taking an image of the pedestal before placing and acquiring a reference image; a second step of specifying a plurality of regions where the plurality of classification marks exist in the reference image as comparison regions; and an imaging region. In the third step of capturing an image of the pedestal in a state in which the photographing target is placed by the imaging means that is fixed and acquiring a subject image including the pedestal, both in the subject image and the reference image For the number of comparison areas, there is a single comparison area that has been determined that there is a difference between the subject image and the reference image, and the fourth step of determining whether there is a difference in image content for each comparison area And a fifth step of recording the subject image as an image of the classification indicated by the classification mark existing in the comparison area in the reference image.

かかる方法においては、撮影対象を台座に置いて撮影したとき、撮影によって取得された画像が、撮影時に台座に設けられている複数の分類マークのうち、その一部又は全部が隠されていた分類マークに対応する分類の画像として自動的に記録される。 In such a method, when shooting is performed with the shooting target placed on a pedestal, the image acquired by shooting is classified in which some or all of the plurality of classification marks provided on the pedestal at the time of shooting are hidden. It is automatically recorded as a classified image corresponding to the mark.

また、請求項２の発明にあっては、前記第５の工程では、前記被写体画像に対し所定の画像処理を事前に行い、前記被写体画像と前記基準画像との間に違いがあると判別した比較領域が単一であるとき、前記画像処理後の画像を、前記基準画像において当該比較領域に存在していた分類マークにより示される分類の画像として記録する方法とした。 In the second aspect of the invention, in the fifth step, predetermined image processing is performed on the subject image in advance, and it is determined that there is a difference between the subject image and the reference image. When there is a single comparison area, the image after image processing is recorded as an image of the classification indicated by the classification mark existing in the comparison area in the reference image.

また、請求項３の発明にあっては、前記第５の工程で記録する画像は、画像投影装置による拡大投影を目的として取得された画像である方法とした。 According to a third aspect of the present invention, the image recorded in the fifth step is an image acquired for the purpose of enlarged projection by an image projection device.

また、請求項４の発明にあっては、前記所定の画像処理は、前記被写体画像における前記撮影対象に相当する部分の正面化補正処理、又は前記被写体画像における前記撮影対象に相当する部分の切り出し処理のうちの少なくともいずれか一方を含む方法とした。 In the invention according to claim 4, the predetermined image processing includes front-facing correction processing of a portion corresponding to the shooting target in the subject image, or clipping of a portion corresponding to the shooting target in the subject image. The method includes at least one of the treatments.

また、請求項５の発明にあっては、被写体を撮像する撮像手段と、撮影対象が置かれる台座を含む領域に撮像領域が固定された状態で前記撮像手段により撮像された、撮影対象が置かれる以前の前記台座の画像である基準画像を記憶する基準画像記憶手段と、この基準画像記憶手段に記憶された基準画像から、前記台座の一部に予め設けられている互いに異なる任意の分類を示す複数の分類マークが存在する複数の比較領域をそれぞれ示す複数の領域情報を取得する取得手段と、この取得手段により取得された複数の領域情報を記憶する領域記憶手段と、撮像領域が固定されたまま前記撮像手段により撮像された、撮影対象が置かれた状態の前記台座を含む被写体画像を記憶する被写体画像記憶手段と、前記撮像手段により撮像された前記被写体画像と、前記基準画像記憶手段に記憶されている基準画像との双方における、前記領域記憶手段に記憶されている複数の領域情報により示される複数の前記比較領域について、画像内容の違いの有無を比較領域毎に判別する判別手段と、この判別手段により前記被写体画像と前記基準画像との間に違いがあると判別された比較領域が単一であるとき、前記被写体画像を、前記基準画像において当該比較領域に存在していた分類マークにより示される分類に対応付けて前記被写体画像記憶手段に記憶させる制御手段とを備えたものとした。 According to the invention of claim 5, there is provided an imaging unit for imaging the subject and an imaging target imaged by the imaging unit in a state where the imaging region is fixed to an area including a pedestal on which the imaging target is placed. A reference image storage unit that stores a reference image that is an image of the pedestal before being changed, and a reference image that is stored in the reference image storage unit is used to select arbitrary different classifications that are provided in advance on a part of the pedestal. An acquisition means for acquiring a plurality of area information indicating a plurality of comparison areas each having a plurality of classification marks to be indicated, an area storage means for storing a plurality of area information acquired by the acquisition means, and an imaging area are fixed A subject image storage means for storing a subject image including the pedestal in a state where a subject to be photographed is captured, and the subject imaged by the imaging means. Whether there is a difference in image content between the plurality of comparison areas indicated by the plurality of area information stored in the area storage means in both the body image and the reference image stored in the reference image storage means And determining means for each comparison area, and when there is a single comparison area determined to have a difference between the subject image and the reference image by the determination means, the subject image is determined as the reference image. And a control means for storing in the subject image storage means in association with the classification indicated by the classification mark existing in the comparison area.

かかる構成においては、撮影対象を台座に置いて撮影したとき、撮影によって取得された画像が、撮影時に台座に設けられている複数の分類マークのうち、その一部又は全部が隠されていた分類マークに対応する分類に対応付けて被写体画像記憶手段に記憶される。 In such a configuration, when shooting is performed with the shooting target placed on the pedestal, the image acquired by shooting is classified as a part or all of the plurality of classification marks provided on the pedestal at the time of shooting. The image is stored in the subject image storage means in association with the classification corresponding to the mark.

また、請求項６の発明にあっては、前記撮像手段により撮像された前記被写体画像に対し所定の画像処理を行う画像処理手段を備え、前記制御手段は、判別手段により前記被写体画像と前記基準画像との間に違いがあると判別された比較領域が単一であるとき、前記画像処理手段により所定の画像処理が施された後の前記被写体画像を、前記基準画像において当該比較領域に存在していた分類マークにより示される分類に対応付けて前記被写体画像記憶手段に記憶させるものとした。 According to a sixth aspect of the present invention, there is provided image processing means for performing predetermined image processing on the subject image picked up by the image pickup means, and the control means is configured to determine the subject image and the reference by the determination means. When there is a single comparison area that is determined to be different from the image, the subject image that has been subjected to predetermined image processing by the image processing means is present in the comparison area in the reference image The subject image storage means stores the information in association with the classification indicated by the classification mark.

また、請求項７の発明にあっては、前記制御手段が、前記判別手段により前記被写体画像と前記基準画像との間に違いがあると判別された比較領域が単一であるとき、前記基準画像において当該比較領域に存在していた分類マークにより示される分類に対応付けて前記被写体画像記憶手段に記憶させる前記被写体画像は、画像投影装置による拡大投影用の画像であるものとした。 In the invention of claim 7, when the control unit determines that there is a single comparison area that is determined to be different between the subject image and the reference image by the determination unit, the reference unit The subject image stored in the subject image storage unit in association with the classification indicated by the classification mark present in the comparison area in the image is an image for enlargement projection by the image projection device.

また、請求項８の発明にあっては、前記画像処理手段による前記所定の画像処理は、前記被写体画像における前記撮影対象に相当する部分の正面化補正処理、又は前記被写体画像における前記撮影対象に相当する部分の切り出し処理のうちの少なくともいずれか一方を含むものとした。 In the invention according to claim 8, the predetermined image processing by the image processing means is a frontal correction process of a portion corresponding to the shooting target in the subject image or the shooting target in the subject image. It is assumed that at least one of the corresponding part cutout processes is included.

また、請求項９の発明にあっては、前記台座を含むカメラスタンドと、このカメラスタンドに装着されるとともに、前記撮像手段、及び前記撮像手段により撮像した画像を外部機器へ送信する送信手段とを備えた電子カメラ装置と、この電子カメラ装置から送られた画像を受信する受信手段、及び前記基準画像記憶手段、前記取得手段、前記領域記憶手段、前記被写体画像記憶手段、前記判別手段、前記制御手段を備えた外部装置とからなり、この外部装置における前記基準画像記憶手段は、前記受信手段により受信された前記基準画像を記憶、かつ前記外部装置における前記被写体記憶手段は、前記受信手段により受信された前記被写体画像を記憶するものとした。 According to a ninth aspect of the present invention, a camera stand including the pedestal, a camera stand attached to the camera stand, the imaging unit, and a transmission unit that transmits an image captured by the imaging unit to an external device; An electronic camera device including: a receiving unit that receives an image transmitted from the electronic camera device; and the reference image storage unit, the acquisition unit, the region storage unit, the subject image storage unit, the determination unit, The reference image storage means in the external device stores the reference image received by the reception means, and the subject storage means in the external device is provided by the reception means. The received subject image is stored.

また、請求項１０の発明にあっては、撮像手段を備えたカメラ装置を構成するコンピュータを、撮影対象が置かれる台座を含む領域に撮像領域が固定された状態で前記撮像手段により撮像された、撮影対象が置かれる以前の前記台座の画像である基準画像から、前記台座の一部に予め設けられている互いに異なる任意の分類を示す複数の分類マークが存在する複数の比較領域をそれぞれ示す複数の領域情報を取得する取得手段と、撮像領域が固定されたまま前記撮像手段により撮像された、撮影対象が置かれた状態の前記台座を含む被写体画像と前記基準画像との双方における、前記取得手段により取得された複数の領域情報により示される複数の前記比較領域について、画像内容の違いの有無を比較領域毎に判別する判別手段と、この判別手段により前記被写体画像と前記基準画像との間に違いがあると判別された比較領域が単一であるとき、前記被写体画像を、前記基準画像において当該比較領域に存在していた分類マークにより示される分類に対応付けて被写体画像記憶手段に記憶させる制御手段として機能させるためのプログラムとした。 In the invention of claim 10, the computer constituting the camera device provided with the image pickup means is imaged by the image pickup means in a state where the image pickup area is fixed to the area including the pedestal on which the shooting target is placed. , From a reference image that is an image of the pedestal before the shooting target is placed, a plurality of comparison regions each having a plurality of classification marks indicating arbitrary different classifications provided in advance on a part of the pedestal The acquisition means for acquiring a plurality of area information, and both the subject image including the pedestal in a state where the imaging target is placed and the reference image captured by the imaging means while the imaging area is fixed, and the reference image Discrimination means for discriminating whether or not there is a difference in image contents for each of the comparison areas indicated by the plurality of area information acquired by the acquisition means, and this determination When there is a single comparison area that is determined to have a difference between the subject image and the reference image by the stage, the subject image is indicated by a classification mark that was present in the comparison area in the reference image. A program for causing a subject image storage unit to function as a control unit in association with a category to be stored.

また、請求項１１の発明にあっては、撮影対象が置かれる台座に対して位置固定されるカメラ装置であって、被写体を撮像する撮像手段と、前記台座の一部に予め設けられている互いに異なる任意の分類を示す複数の分類マークが存在する複数の比較領域をそれぞれ示す複数の領域情報を記憶する領域記憶手段と、前記撮像手段により撮像された、撮影対象が置かれた状態の前記台座を含む被写体画像を記憶する被写体画像記憶手段と、前記撮像手段により撮像された前記被写体画像に基づき、前記領域記憶手段に記憶されている複数の領域情報により示される複数の前記比較領域について前記分類マークの有無を比較領域毎に判別する判別手段と、この判別手段により前記分類マークが無いと判別された比較領域が単一であるとき、前記被写体画像を当該比較領域に対応する分類マークにより示される分類に対応付けて前記被写体画像記憶手段に記憶させる制御手段とを備えたものとした。 According to an eleventh aspect of the present invention, there is provided a camera device that is fixed in position with respect to a pedestal on which an object to be photographed is placed, and is provided in advance in an imaging unit that images a subject and a part of the pedestal. Area storage means for storing a plurality of area information respectively indicating a plurality of comparison areas in which a plurality of classification marks indicating arbitrary classifications different from each other exist, and the imaging target imaged by the imaging means Subject image storage means for storing a subject image including a pedestal, and a plurality of the comparison areas indicated by a plurality of area information stored in the area storage means based on the subject image captured by the imaging means When there is a single discriminating means for discriminating the presence / absence of a classification mark for each comparison area and a comparison area that is discriminated as having no classification mark by the discrimination means, The body image is assumed that a control means for storing in said object image storage means in association with the classification indicated by the classification mark corresponding to the comparison region.

以上のように本発明においては、撮影対象を台座に置いて撮影したとき、撮影によって取得された画像が、撮影時に台座に設けられている複数の分類マークのうち、その一部又は全部が隠されていた分類マークに対応する分類に対応付けて記録されるようにした。よって、使用者が撮影時に所望とする分類の分類マークを隠すといった簡単な作業を行うだけで、撮影によって取得される画像を意図した通りに分類して記録することができるため、複数の画像を任意の基準により分類して保存する際の作業性を向上させることが可能となる。 As described above, according to the present invention, when shooting is performed with the shooting target placed on a pedestal, an image acquired by shooting is partially or entirely hidden among a plurality of classification marks provided on the pedestal at the time of shooting. It was made to record in association with the classification corresponding to the classification mark. Therefore, it is possible to classify and record an image acquired by photographing as intended by simply performing a simple operation such as hiding a classification mark of a desired classification at the time of photographing. It becomes possible to improve the workability at the time of classifying and storing according to arbitrary criteria.

以下、本発明の一実施の形態を図にしたがって説明する。図１は本発明に係るカメラ装置を含む撮像投影システムの構成図である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram of an imaging projection system including a camera device according to the present invention.

この撮像投影システムは、書面原稿やカタログ等の投影対象物を撮影する書画カメラ１と、ＰＣ（パーソナルコンピュータ）２と、プロジェクタ（投影装置）３とから構成されている。書画カメラ１とＰＣ２はＵＳＢケーブル４によって接続されており、ＰＣ２とプロジェクタ３とはＲＧＢケーブル５によって接続されている。なお、プロジェクタ３には、離れた場所からの操作を可能とする赤外線リモートコントロールユニット６が付属している。以下、書画カメラ１、ＰＣ２、プロジェクタ３の詳細を説明する。 This imaging / projection system is composed of a document camera 1, a PC (personal computer) 2, and a projector (projection device) 3 for photographing a projection object such as a written document or a catalog. The document camera 1 and the PC 2 are connected by a USB cable 4, and the PC 2 and the projector 3 are connected by an RGB cable 5. The projector 3 is provided with an infrared remote control unit 6 that can be operated from a remote location. Details of the document camera 1, the PC 2, and the projector 3 will be described below.

（書画カメラ）
書画カメラ１は、カメラスタンド１１と、それに着脱自在に装着されたデジタルカメラ５１とから構成されている。まず、前記カメラスタンド１１について説明すると、図１に示したように、前記カメラスタンド１１は、主として任意の投影対象物が置かれる薄板状の台座１２と、台座１２に支持されたスタンド本体１３と、その上端部に設けられた支持アーム１４、及びその先端に設けられた取付部１５とから構成されており、取付部１５に前記デジタルカメラ５１が装着されている。また、台座１２の表面には、スタンド本体１３と対向する側の辺に沿って複数の分類マークＭが所定の方法（例えば刻設、印刷、シールの貼付）により設けられている。ここでは、説明の便宜上、各分類マークＭが１，２，３，４，５の数字とした例を示したが、アルファベット等でもよく、さらに分類の内容を示す決められた任意のマークでもよい。なお、カメラスタンド１１は、台座１２の左右両側が開閉自在であり、かつ台座１２とスタンド本体１３とが回動自在に連結され、非使用時には、全体が取り扱いの容易な薄型のパネル形状に折り畳み可能な構造となっている。 (Document camera)
The document camera 1 includes a camera stand 11 and a digital camera 51 detachably attached thereto. First, the camera stand 11 will be described. As shown in FIG. 1, the camera stand 11 includes a thin plate-like pedestal 12 on which an arbitrary projection object is mainly placed, and a stand main body 13 supported by the pedestal 12. The support arm 14 is provided at the upper end portion thereof, and the attachment portion 15 is provided at the tip thereof. The digital camera 51 is attached to the attachment portion 15. A plurality of classification marks M are provided on the surface of the pedestal 12 along a side facing the stand main body 13 by a predetermined method (for example, engraving, printing, sticking a seal). Here, for convenience of explanation, an example in which each classification mark M is a number of 1, 2, 3, 4, and 5 has been shown, but it may be an alphabet or the like, and may be any predetermined mark indicating the content of the classification. . The camera stand 11 can be opened and closed on both the left and right sides of the pedestal 12, and the pedestal 12 and the stand main body 13 are pivotally connected. It has a possible structure.

次に、前記デジタルカメラ５１について説明する。デジタルカメラ５１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、それ単体での使用が可能であるとともに、カメラスタンド１１に装着されているときには、カメラスタンド１１を介して撮像により取得した画像データを前記ＰＣ２へ出力する。 Next, the digital camera 51 will be described. The digital camera 51 has general functions such as AE, AWB, and AF, and can be used alone. When the digital camera 51 is attached to the camera stand 11, the digital camera 51 takes an image through the camera stand 11. The image data acquired by the above is output to the PC 2.

図２は、デジタルカメラ５１の構成を示すブロック図である。レンズブロック６１には、前記撮像レンズ５９を構成するズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、上記光学系は駆動機構に設けられているモータ６２によって光軸方向に駆動される。モータ６２は、デジタルカメラ５１全体を制御するＣＰＵ７２にバス６３を介し接続されたモータドライバ６４から供給される駆動信号によって動作し光学系を駆動する。なお、バス６３にはストロボ６５も接続されている。 FIG. 2 is a block diagram showing the configuration of the digital camera 51. The lens block 61 includes an optical system such as a zoom lens and a focus lens constituting the imaging lens 59, and a drive mechanism for driving the optical system, and the optical system is provided in the drive mechanism. It is driven in the optical axis direction by a motor 62. The motor 62 operates by a drive signal supplied from a motor driver 64 connected via a bus 63 to a CPU 72 that controls the entire digital camera 51 to drive the optical system. A strobe 65 is also connected to the bus 63.

また、前記撮像レンズ５９の光軸上には本発明の撮像手段であるＣＣＤ６６が配置されている。ＣＣＤ６６は、ＣＰＵ７２の命令に従いタイミング発生器（ＴＧ：Timing Generator）６７が生成するタイミング信号に基づき垂直及び水平ドライバ６８によって駆動され、被写体の光学像に応じたアナログの撮像信号を信号処理回路６９に出力する。信号処理回路６９は、ＣＣＤ６６の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号を画像処理部７０へ出力する。 A CCD 66 which is an image pickup means of the present invention is disposed on the optical axis of the image pickup lens 59. The CCD 66 is driven by a vertical and horizontal driver 68 based on a timing signal generated by a timing generator (TG: Timing Generator) 67 in accordance with a command from the CPU 72, and an analog imaging signal corresponding to the optical image of the subject is supplied to the signal processing circuit 69. Output. The signal processing circuit 69 includes a CDS circuit that removes noise included in the output signal of the CCD 66 by correlated double sampling, an A / D converter that converts an imaging signal from which noise has been removed to a digital signal, and the like. The imaging signal converted into is output to the image processing unit 70.

画像処理部７０は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部７０で変換されたＹＵＶデータは順次ＳＤＲＡＭ７１に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、前記液晶モニタ（ＬＣＤ）５３へ送られてスルー画像として画面表示される。そしてＳＤＲＡＭ７１に一時記憶された画像データは、シャッターキーが押された撮影時においては、ＣＰＵ７２により圧縮され、最終的には所定のフォーマットの画像ファイルとして外部メモリ７３に記録される。 The image processing unit 70 performs processing such as pedestal clamping on the input imaging signal, converts it into a luminance (Y) signal and a color difference (UV) signal, and performs image processing such as auto white balance, contour enhancement, and pixel interpolation. Perform digital signal processing to improve quality. The YUV data converted by the image processing unit 70 is sequentially stored in the SDRAM 71, and in the REC through mode, every time one frame of data (image data) is accumulated, it is converted into a video signal, and the liquid crystal monitor (LCD) ) 53 and displayed on the screen as a through image. The image data temporarily stored in the SDRAM 71 is compressed by the CPU 72 at the time of shooting when the shutter key is pressed, and is finally recorded in the external memory 73 as an image file of a predetermined format.

外部メモリ７３は、図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードである。外部メモリ７３に記録された画像ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じてＣＰＵ７２に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ７１に展開された後、液晶モニタ５３に表示される。フラッシュメモリ７４には、ＣＰＵ７２に上記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム等の各種のプログラムが格納されている。 The external memory 73 is a memory card that is detachable from the camera body connected via a card interface (not shown). The image file recorded in the external memory 73 is read out and expanded by the CPU 72 in accordance with the user's selection operation in the PLAY mode, and expanded on the SDRAM 71 as YUV data, and then displayed on the liquid crystal monitor 53. The flash memory 74 stores various programs for causing the CPU 72 to control the above-described units, for example, various programs such as an AE, AF, AWB control program, and a data communication program.

また、バス６３には、本発明の送信手段として機能するＵＳＢインターフェース７５が接続されている。ＵＳＢインターフェース７５には、前述したカメラスタンド１１の取付部１５に設けられている図示しないＵＳＢ仕様の接続コネクタと接続された接続コネクタが設けられており、それによりデジタルカメラ５１は、ＵＳＢインターフェース７５から前記カメラスタンド１１を介して、ＰＣ２への画像データの出力、及びＰＣ２との間におけるデータ通信が可能となっている。また、デジタルカメラ５１は、電源スイッチ、モード選択キー、シャッターキーや等の操作キーやスイッチ類を含むキー入力部７６を有している。キー入力部７６における各操作キーの操作の有無はＣＰＵ７２によって定常的にスキャンされており、いずれかの操作キーが操作されると、ＣＰＵ７２によりキー操作に応じた処理が実行される。
一方、図３は、前記ＰＣ２とプロジェクタ３の電気的構成の概略を示すブロック図である。まずＰＣ２の構成を説明する。図示したＰＣ２は本発明の外部装置として機能する汎用のノート型パソコンであり、ＣＰＵ８１と、ＲＡＭ８２、記憶装置８３、入力装置８４、ビデオアダプタ８５、ＶＲＡＭ８６、表示装置８７を備えている。 In addition, a USB interface 75 that functions as a transmission unit of the present invention is connected to the bus 63. The USB interface 75 is provided with a connection connector connected to a USB connector (not shown) provided on the mounting portion 15 of the camera stand 11 described above, whereby the digital camera 51 is connected to the USB interface 75 from the USB interface 75. Output of image data to the PC 2 and data communication with the PC 2 are possible via the camera stand 11. The digital camera 51 has a key input unit 76 including operation keys and switches such as a power switch, a mode selection key, a shutter key, and the like. The operation of each operation key in the key input unit 76 is regularly scanned by the CPU 72, and when any operation key is operated, the CPU 72 executes a process corresponding to the key operation.
On the other hand, FIG. 3 is a block diagram showing an outline of the electrical configuration of the PC 2 and the projector 3. First, the configuration of the PC 2 will be described. The illustrated PC 2 is a general-purpose notebook personal computer that functions as an external device of the present invention, and includes a CPU 81, a RAM 82, a storage device 83, an input device 84, a video adapter 85, a VRAM 86, and a display device 87.

ビデオアダプタ８５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置８７に出力し、ＶＲＡＭ８６は、ビデオアダプタ８５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ８５には、前記ＲＧＢケーブル５が接続されたＲＢＧ出力端子８８が設けられており、ビデオアダプタ８５は、ＣＰＵ８１の命令に応じて表示用の画像データをＲＧＢケーブル５を介してプロジェクタ３へ出力する。 The video adapter 85 generates a display video signal (RGB signal) and outputs it to a display device 87 including an LCD and its drive circuit. The VRAM 86 stores the display image data generated by the video adapter 85 as needed. To do. The video adapter 85 is provided with an RBG output terminal 88 to which the RGB cable 5 is connected. The video adapter 85 sends image data for display via the RGB cable 5 in accordance with a command from the CPU 81. Output to 3.

また、ＣＰＵ８１には、本発明の受信手段として機能するＵＳＢインターフェース８９が設けられており、このＵＳＢインターフェース８９に、前記書画カメラ１に接続されているＵＳＢケーブル４が接続されている。したがって、ＣＰＵ８１には、書画カメラ１（デジタルカメラ５１）から送られた画像データがＵＳＢインターフェース８９を介して入力される一方、必要に応じて書画カメラ１との間におけるデータ通信が可能となっている。 Further, the CPU 81 is provided with a USB interface 89 that functions as the receiving means of the present invention, and the USB cable 4 connected to the document camera 1 is connected to the USB interface 89. Accordingly, image data sent from the document camera 1 (digital camera 51) is input to the CPU 81 via the USB interface 89, and data communication with the document camera 1 is possible as necessary. Yes.

入力装置８４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、ＲＡＭ８２はＣＰＵ８１の動作時に使用される汎用的な作業用メモリ、記憶装置８３は記憶容量の比較的大きなハードディスク等である。記憶装置８３には、前述したデジタルカメラ５１とデータ通信を行うための通信プログラムや、投影保存プログラム等が格納されている。投影保存プログラムは、図１に示した状態においてデジタルカメラ５１によって撮影された投影対象物の画像を処理し、処理後の画像をプロジェクタ３によって投影させ、かつ投影した画像を保存するためのプログラムである。そして、係る投影保存プログラムに基づき動作することにより、ＣＰＵ８１は本発明の取得手段、判別手段、制御手段、画像処理手段として機能する。 The input device 84 is a plurality of keys provided on the PC 2 main body, a mouse connected to the main body, the RAM 82 is a general-purpose work memory used when the CPU 81 is operating, and the storage device 83 is a comparison of storage capacities. Large hard disk. The storage device 83 stores a communication program for performing data communication with the digital camera 51 described above, a projection storage program, and the like. The projection storage program is a program for processing an image of a projection object photographed by the digital camera 51 in the state shown in FIG. 1, projecting the processed image by the projector 3, and storing the projected image. is there. By operating based on the projection storage program, the CPU 81 functions as an acquisition unit, a determination unit, a control unit, and an image processing unit of the present invention.

また、記憶装置８３は本発明の基準画像記憶手段、領域記憶手段、被写体画像記憶手段であって、記憶装置８３には、上記投影保存プログラムに基づく動作中に使用される図４に示した以下の各領域が予め確保されている。すなわち記憶装置８３には、キャリブレーション画像記憶領域８３１、撮影画像記憶領域８３２、分類指定領域記憶領域８３３、結果記憶領域８３４、正面化補正画像記憶領域８３５、表示分類位置記憶領域８３６の各領域が確保されている。なお、分類指定領域記憶領域８３３は分類１用〜分類５用の複数の記憶領域８３３ａ〜８３３ｅによって構成され、正面化補正画像記憶領域８３５は、分類なし用、分類１用〜分類５用の複数の記憶領域８３５ａ〜８３５ｆによって構成されている。 The storage device 83 is the reference image storage means, area storage means, and subject image storage means of the present invention. The storage device 83 includes the following shown in FIG. 4 used during the operation based on the projection storage program. These areas are secured in advance. In other words, the storage device 83 includes calibration image storage area 831, captured image storage area 832, classification designation area storage area 833, result storage area 834, front-facing corrected image storage area 835, and display classification position storage area 836. It is secured. The classification designation area storage area 833 is composed of a plurality of storage areas 833a to 833e for classification 1 to classification 5, and the front-facing corrected image storage area 835 is a plurality of areas for no classification and for classification 1 to classification 5. Storage areas 835a to 835f.

次に、プロジェクタ３の構成を説明する。プロジェクタ３は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、画像入力部９４、表示部９５、キー入力部９６、赤外信号受信部９７を備えている。画像入力部９４には、前記ＲＧＢケーブル５が接続されたＲＢＧ信号の入力端子９８が接続されており、ＰＣ２から入力した入力画像信号（ＲＧＢ信号）に基づき、画像を投影するための表示信号を生成し表示部９５へ送る。表示部９５は、クリプトンランプ等の光源、及び光源の光を入力表示信号に応じた投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、画像入力部９４から送られた表示信号に基づき駆動する駆動回路、本体の投影部３ａ（図１参照）に設けられている投影レンズ等の光学系を含み、ＰＣ２から送られた画像データに基づく表示画像をスクリーン（又はホワイトボード）Ｓに投影する。 Next, the configuration of the projector 3 will be described. The projector 3 includes a CPU 91, ROM 92, RAM 93, image input unit 94, display unit 95, key input unit 96, and infrared signal receiving unit 97. An RBG signal input terminal 98 to which the RGB cable 5 is connected is connected to the image input unit 94, and a display signal for projecting an image is input based on the input image signal (RGB signal) input from the PC 2. It is generated and sent to the display unit 95. The display unit 95 includes a light source such as a krypton lamp, an image conversion element such as a liquid crystal or a micromirror array for converting light of the light source into projection light corresponding to an input display signal, and the image conversion element. A display circuit based on image data sent from the PC 2 includes a drive circuit that drives based on a display signal sent from the optical system, and an optical system such as a projection lens provided in the projection unit 3a (see FIG. 1) of the main body. (Or whiteboard) Project to S

ＣＰＵ９１は、ＲＯＭ９２に格納されているプログラムに従いＲＡＭ９３を作業用メモリとして動作し、プロジェクタ３全体を制御する。キー入力部９６は、ユーザーがプロジェクタ３の操作を行うために用意された、複数の操作キーにより構成されており、赤外信号受信部９７は、前述した赤外線リモートコントロールユニット６から送られた赤外線を受光し、それにコード化されている操作信号をデコードしてＣＰＵ９１へ送る。 The CPU 91 operates using the RAM 93 as a working memory according to a program stored in the ROM 92 and controls the projector 3 as a whole. The key input unit 96 is composed of a plurality of operation keys prepared for the user to operate the projector 3, and the infrared signal receiving unit 97 is an infrared signal sent from the infrared remote control unit 6 described above. Is received, and the operation signal encoded therein is decoded and sent to the CPU 91.

そして、以上の撮像投影システムにおいては、デジタルカメラ５１に、ユーザーによる撮影操作に応じて投影対象の撮影、及び撮影した画像のＰＣ２への転送を行う所定のモードが設定されるとともに、ＰＣ２が前述した投影保存プログラムに基づき後述する動作を行うことによって、デジタルカメラ５１によって撮影された投影対象物の画像が、ＰＣ２において処理された後、処理後の画像がプロジェクタ３によって投影され、同時にＰＣ２の前記記憶装置８３に記憶される。 In the above-described imaging / projection system, the digital camera 51 is set with a predetermined mode for photographing the projection target and transferring the photographed image to the PC 2 in accordance with the photographing operation by the user. By performing the operation described later based on the projection storage program, the image of the projection object photographed by the digital camera 51 is processed by the PC 2, and then the processed image is projected by the projector 3. It is stored in the storage device 83.

図５は、投影保存プログラムの起動中にＰＣ２のＣＰＵ８１が実行する、主として本発明に係る処理内容を示したフローチャートである。ＣＰＵ８１は、投影プログラムの起動とともに動作を開始し、デジタルカメラ５１からの画像の転送待ちを行う（ステップＳ１）。この間、ユーザーは、台座１２がきちんとデジタルカメラ５１の画角内に収まっているか否かを確認し、収まっていなければ画角を調整した後、所定の撮影操作を行って投影対象物が載せられていないカメラスタンド１１の台座１２の画像を撮影する。なお、ユーザーによる撮影操作は、デジタルカメラ５１におけるシャッターキーの押下に限らず、ＰＣ２において予め割り当てられている特定のキーの押下、またはマウスによる所定の操作である。 FIG. 5 is a flowchart mainly showing the processing contents according to the present invention, which is executed by the CPU 81 of the PC 2 while the projection storage program is activated. The CPU 81 starts the operation together with the activation of the projection program, and waits for transfer of an image from the digital camera 51 (step S1). During this time, the user checks whether or not the pedestal 12 is properly within the angle of view of the digital camera 51. If not, the user adjusts the angle of view and then performs a predetermined photographing operation to place the projection object. An image of the pedestal 12 of the camera stand 11 not taken is taken. Note that the shooting operation by the user is not limited to pressing the shutter key in the digital camera 51, but is pressing a specific key assigned in advance in the PC 2 or a predetermined operation using the mouse.

そして、ユーザーが撮影操作を行うことによってデジタルカメラ５１から上記画像が転送されたら（ステップＳ１でＹＥＳ）、転送された画像をキャリブレーション画像（基準画像）として、キャリブレーション画像記憶領域８３１に記憶する（ステップＳ２）。図６（ａ）は、ここで記憶されるキャリブレーション画像１０１を示した図であって、キャリブレーション画像１０１の中には台座１２の全体と、スタンド本体１３の一部が含まれ、台座１２の一部には前述した複数の分類マークＭ（１，２，・・・）が含まれる。なお、図６（ａ）において台座１２の折り曲げ部分は省略してある。そして、ＣＰＵ８１は、係るキャリブレーション画像１０１から所定の画像認識技術によって、図６（ｂ）に示した複数の分類マークＭ（１，２，・・・）がそれぞれ存在する矩形の領域（以下、マーク領域という。）Ｍ１〜Ｍ５を認識し、各々のマーク領域Ｍ１〜Ｍ５を示す座標データを、分類指定領域記憶領域８３３における分類１用〜分類５用の各記憶領域８３３ａ〜８３３ｅに記憶する（ステップＳ３）。この後は、再びデジタルカメラ５１からの画像の転送待ちを行う（ステップＳ４）。この間に、ユーザーは、投影対象物を台座１２に載せて、デジタルカメラ５１の画角を変更せずに投影対象物の撮影を行うこととなる。 When the image is transferred from the digital camera 51 by the user performing a shooting operation (YES in step S1), the transferred image is stored in the calibration image storage area 831 as a calibration image (reference image). (Step S2). FIG. 6A shows the calibration image 101 stored here. The calibration image 101 includes the entire pedestal 12 and a part of the stand body 13. Includes a plurality of classification marks M (1, 2,...) Described above. In addition, the bending part of the base 12 is abbreviate | omitted in Fig.6 (a). Then, the CPU 81 uses a predetermined image recognition technique from the calibration image 101 to have a rectangular area (hereinafter, referred to as a plurality of classification marks M (1, 2,...) Shown in FIG. This is referred to as a mark area.) M1 to M5 are recognized, and coordinate data indicating the mark areas M1 to M5 are stored in the storage areas 833a to 833e for classification 1 to classification 5 in the classification designation area storage area 833 ( Step S3). After this, the image transfer from the digital camera 51 is again waited for (step S4). During this time, the user places the projection object on the pedestal 12 and shoots the projection object without changing the angle of view of the digital camera 51.

そして、画像が転送される毎に（ステップＳ４でＹＥＳ）、以下の処理を繰り返す。まず、転送された撮影画像を撮影画像記憶領域８３２に記憶する（ステップＳ５）。図７は、投影対象物がパンレット等の書面Ａである場合に撮影画像記憶領域８３２に記憶される撮影画像１０２の例を示した図であって、同図は、撮影時に複数の分類マークＭのうちの１つ（「１」）が、ユーザーの指１０００によって隠されていた場合の例である。 Each time an image is transferred (YES in step S4), the following processing is repeated. First, the transferred captured image is stored in the captured image storage area 832 (step S5). FIG. 7 is a diagram showing an example of the photographed image 102 stored in the photographed image storage area 832 when the projection target is a document A such as a panlet. The figure shows a plurality of classification marks M at the time of photographing. In this example, one of them (“1”) is hidden by the user's finger 1000.

次に、キャリブレーション画像記憶領域８３１に記憶してあるキャリブレーション画像１０１と撮影画像記憶領域８３２に記憶した撮影画像１０２とについて、分類指定領域記憶領域８３３の各記憶領域８３３ａ〜８３３ｅに記憶されている座標データに基づき、各々のマーク領域Ｍ１〜Ｍ５における画像内容を比較（ステップＳ６）する。ここで、画像内容が不一致であるマーク領域が１つだけであったときには、（ステップＳ７でＹＥＳ）、前述した記憶結果記憶領域８３４に、今回の撮影により取得された画像を記憶する位置（分類位置）として、正面化補正画像記憶領域８３５における分類１用〜分類５用のいずれかの記憶領域８３５ｂ〜８３５ｆを示す分類位置情報を記憶する（ステップＳ８）。つまり撮影画像１０２において、図７に例示したように、分類マークＭが１つだけ隠されていたとき（又は部分的に隠されていたとき）には、分類１用の記憶領域８３５ｂを示す分類位置情報を記憶結果記憶領域８３４に記憶する。逆に、画像内容が不一致であるマーク領域が１つだけでなかったとき、すなわち撮影時にいずれの分類マークＭも隠されていなかったときや、複数の分類マークＭが隠されていたときには（ステップＳ７でＮＯ）、分類なし用の記憶領域８３５ａを示す分類位置情報を記憶結果記憶領域８３４に記憶する（ステップＳ９）。 Next, the calibration image 101 stored in the calibration image storage area 831 and the captured image 102 stored in the captured image storage area 832 are stored in the storage areas 833a to 833e of the classification designation area storage area 833. Based on the coordinate data, the image contents in each of the mark areas M1 to M5 are compared (step S6). Here, when there is only one mark area where the image contents do not match (YES in step S7), the storage result storage area 834 described above stores the image acquired by the current shooting (classification). As the position), classification position information indicating any one of the storage areas 835b to 835f for classification 1 to classification 5 in the front-facing corrected image storage area 835 is stored (step S8). That is, in the captured image 102, as illustrated in FIG. 7, when only one classification mark M is hidden (or partially hidden), the classification indicating the storage area 835b for classification 1 is displayed. The position information is stored in the storage result storage area 834. Conversely, when there is not only one mark area where the image contents do not match, that is, when no classification mark M is hidden at the time of shooting, or when a plurality of classification marks M are hidden (step In step S9, the classification position information indicating the storage area 835a for no classification is stored in the storage result storage area 834 (step S9).

引き続き、前述したキャリブレーション画像１０１から、台座１２部分に相当する領域で、かつマーク領域Ｍ１〜Ｍ５を含まない矩形の撮影対象領域１０１ａ（図６（ａ）参照）を確認し、その領域１０１ａ内を対象とした輪郭線の検出、検出した輪郭線により形成される領域である輪郭内における画像つまり書面Ａ部分の画像の切り出し、切り出した画像に対する正面化補正を行う（ステップＳ１０）。なお、正面化補正は、投影対象（撮影対象）が書面Ａのように矩形であることを想定して行う画像処理であって、撮影対象に対して正対していない状態で撮影が行われた場合に画像に存在する台形歪み等の歪み、及び回転方向の傾きを補正する画像処理である。 Subsequently, a rectangular imaging target area 101a (see FIG. 6A) that is an area corresponding to the pedestal 12 portion and does not include the mark areas M1 to M5 is confirmed from the calibration image 101 described above, and the area 101a The contour of the image is detected, the image within the contour that is the region formed by the detected contour, that is, the image of the document A portion, is cut out, and the frontal correction is performed on the cut out image (step S10). The front-facing correction is image processing performed on the assumption that the projection target (photographing target) is a rectangle like the document A, and the photographing was performed in a state where it is not directly facing the photographing target. This is image processing for correcting distortion such as trapezoidal distortion and the inclination in the rotation direction.

そして、補正後の画像（補正画像）を、記憶結果記憶領域８３４に記憶されている分類位置情報によって示される正面化補正画像記憶領域８３５のいずれかの記憶領域８３５ａ〜８３５ｆに記憶する（ステップＳ１１）。しかる後、上記の補正画像を表示装置８７に表示させるとともに、プロジェクタ３へ出力してスクリーンＳに投影させる（ステップＳ１２）。これ以降はステップＳ４へ戻り、デジタルカメラ５１によって新たな投影対象が撮影される毎に、その画像がＰＣ２において処理された後、適宜分類されて記憶装置８３に記録されるとともに、プロジェクタ３によって投影される。 Then, the corrected image (corrected image) is stored in any one of the storage areas 835a to 835f of the front-facing corrected image storage area 835 indicated by the classification position information stored in the storage result storage area 834 (step S11). ). Thereafter, the corrected image is displayed on the display device 87, and is output to the projector 3 and projected onto the screen S (step S12). Thereafter, the process returns to step S4, and each time a new projection target is photographed by the digital camera 51, the image is processed in the PC 2, and then appropriately classified and recorded in the storage device 83, and projected by the projector 3. Is done.

これにより、本実施の形態における撮像投影システムにおいては、ユーザーは、新たな投影対象を撮影する時、その時点で所望とする分類の分類マークＭを、図７に示したように指で、あるいは筆記具等の任意の物を用いて全部又は１部を隠すといった簡単な作業を行うだけで、撮影によって取得される画像を意図した通りに分類してＰＣ２に記録（保存）させることができる。したがって、投影した複数の画像を任意の基準により分類して保存しておきたいときには、例えば複数の画像を投影順に自動的に保存しておき、それらの投影が終了した時点で保存した画像を分類作業によって用途別に分類する場合等に比べ、それらの分類作業を極めて容易かつ楽に行うことができる。 As a result, in the imaging / projection system according to the present embodiment, when shooting a new projection target, the user can select a desired classification mark M at that time with a finger as shown in FIG. The image acquired by photographing can be classified as intended and recorded (saved) in the PC 2 simply by performing a simple operation such as hiding all or one part using an arbitrary object such as a writing instrument. Therefore, when it is desired to classify and store a plurality of projected images according to an arbitrary criterion, for example, the plurality of images are automatically stored in the order of projection, and the stored images are classified when the projection ends. Compared with the case of classifying according to use by work, the classification work can be performed very easily and easily.

また、図８は前記ＰＣ２において、前述したように正面化補正画像記憶領域８３５に記憶されている画像（正面化補正された画像）が、前記投影保存プログラムに用意されている画像表示機能により分類別に表示されるときの表示装置８７における表示画面２００の例を示した図である。 Further, FIG. 8 shows that the images stored in the front-corrected image storage area 835 (images corrected for front-facing) in the PC 2 are classified by the image display function prepared in the projection storage program. It is the figure which showed the example of the display screen 200 in the display apparatus 87 when it displays separately.

本実施の形態においては、図示したように表示画面２００に、カメラスタンド１１の台座１２設けられている複数の分類マークＭ（１〜５の数字）に対応すると同時に、正面化補正画像記憶領域８３５における分類１用〜分類５用の記憶領域８３５ｂ〜８３５ｆに対応する分類１〜分類５を表す分類文字２０１〜２０５を画面右上に表示するとともに、ユーザーによって選択されている分類の１又は複数の画像１０３を画面左側の所定領域に一覧表示する。その際、ユーザーによって選択されている分類の分類文字２０１〜２０５のいずれかを拡大表示する。また、「分類無し」が選択された場合には、分類文字２０１〜２０５を拡大表示することなく、正面化補正画像記憶領域８３５の分類なし用の記憶領域８３５ａに記憶されている画像を一覧表示する。なお、図示した例は「分類１」が選択されている状態である。また、ユーザーによる分類の選択は、前記入力装置８４の操作、つまり所定のキー操作やマウスによる操作より行われる。 In the present embodiment, as shown in the figure, the display screen 200 corresponds to a plurality of classification marks M (numbers 1 to 5) provided on the pedestal 12 of the camera stand 11, and at the same time, the front-facing corrected image storage area 835. In addition, the classification characters 201 to 205 representing the classifications 1 to 5 corresponding to the storage areas 835b to 835f for the classification 1 to the classification 5 in the above are displayed on the upper right of the screen, and one or a plurality of images of the classification selected by the user 103 are displayed in a list in a predetermined area on the left side of the screen. At that time, any one of the classification characters 201 to 205 of the classification selected by the user is enlarged and displayed. When “no classification” is selected, a list of images stored in the non-classification storage area 835a of the front-facing corrected image storage area 835 is displayed without enlarging the classification characters 201 to 205. To do. In the example shown in the figure, “Category 1” is selected. The classification selection by the user is performed by operating the input device 84, that is, by a predetermined key operation or a mouse operation.

ここで、以上説明した本実施の形態においては、撮影により取得した画像を記録するとき、それをユーザーにより指定された（自動的に判別した）分類毎に記憶装置８３の異なる記憶領域、すなわち正面化補正画像記憶領域８３５の各記憶領域８３５ａ〜８３５ｆに記憶するようにしたが、これ以外にも、例えば画像を記録するときのファイル名に指定された分類を示す情報を付加する等の他の手法によって、撮影により取得した画像を各分類とに対応付けて記録するようにしてもよい。 Here, in the present embodiment described above, when an image acquired by photographing is recorded, a different storage area of the storage device 83, that is, the front, for each classification (automatically determined) designated by the user. The storage areas 835a to 835f of the corrected image storage area 835 are stored, but other than this, for example, information indicating the classification specified in the file name when recording an image is added. Depending on the technique, an image acquired by photographing may be recorded in association with each classification.

また、本実施の形態では、デジタルカメラ５１によって撮影した画像をＰＣ２へ送り、ＰＣ２に図５に示した処理を行わせる構成としたが、その処理の一部又は全部をデジタルカメラ５１において行わせる構成としてもよい。また、本実施の形態では、本発明を、撮影した画像をプロジェクタ３によって拡大投影する撮像投影システムに適用した場合、すなわち本発明の特定画像が投影用の画像である場合を示したが、これに限らず、本発明の特定画像は、例えば台座１２に置かれた書面Ａ等の画像をデジタルカメラ５１やＰＣ２への単なる記録を目的とした記録用の画像であっても構わない。その場合においても、撮影によって得られる複数の画像を、任意の基準で分類して記録する時の分類作業を極めて容易かつ楽に行うことができる。 In the present embodiment, the image captured by the digital camera 51 is sent to the PC 2 to cause the PC 2 to perform the processing shown in FIG. 5. However, part or all of the processing is performed by the digital camera 51. It is good also as a structure. In the present embodiment, the present invention is applied to an imaging projection system that magnifies and projects a captured image by the projector 3, that is, the specific image of the present invention is an image for projection. However, the specific image of the present invention may be a recording image for the purpose of simply recording an image of the document A or the like placed on the pedestal 12 on the digital camera 51 or the PC 2, for example. Even in this case, it is possible to very easily and easily perform the classification work when a plurality of images obtained by photographing are classified and recorded according to an arbitrary standard.

また、カメラスタンド１１に台座１２が設けられるとともに、デジタルカメラ５１をカメラスタンド１１に装着した状態で台座１２等を撮影する場合について説明したが、書面Ａ等が置かれる台座１２に対して相対的に位置固定、すなわち撮影範囲を固定することができれば、デジタルカメラ５１は台座１２に物理的に固定される構成でなくともよい。例えば台座１２とは別体の三脚等を用いてデジタルカメラ５１を位置固定するようにしても構わない。 Further, the case where the camera stand 11 is provided with the pedestal 12 and the pedestal 12 and the like are photographed with the digital camera 51 mounted on the camera stand 11 has been described. As long as the position can be fixed, that is, the shooting range can be fixed, the digital camera 51 may not be physically fixed to the base 12. For example, the position of the digital camera 51 may be fixed using a tripod or the like separate from the base 12.

また、前述した処理では、撮影画像１０２から事前に書面Ａ部分の画像の切り出し、切り出した画像に対する正面化補正を行い、補正後の画像を記録し投影するようにしたが、上記の切り出し処理、及び切り出した画像に対する正面化補正処理の一方、又は双方は適宜省略してもよく、また係る処理に代えて、或いは係る処理に加えて他の画像処理を事前に施すようにしても構わない。 Further, in the above-described processing, the image of the document A portion is cut out from the captured image 102 in advance, the front-face correction is performed on the cut-out image, and the corrected image is recorded and projected. One or both of the front-facing correction processes for the cut image may be omitted as appropriate, and other image processing may be performed in advance instead of or in addition to such processing.

さらに、本実施の形態においては、投影対象物を撮影する以前に、予め前述したキャリブレーション画像１０１を取得し、台座１２に設けられている複数の分類マークＭ（１，２，・・・）がそれぞれ存在するマーク領域Ｍ１〜Ｍ５を示す座標データを、分類指定領域記憶領域８３３における分類１用〜分類５用の各記憶領域８３３ａ〜８３３ｅに記憶するものに対説明したが、例えば投影対象物が置かれる台座を有するカメラスタンドと、そのカメラスタンドに固定的に、或いは着脱可能に設けられた前記デジタルカメラ５１に相当する専用のカメラとからなるとともに、カメラが台座が含まれる特定の撮影範囲を備えていたり、カメラに上記特定の撮影範囲を簡単に確保できる構成の書画カメラ等を用いる場合においては、マーク領域Ｍ１〜Ｍ５を示す座標データを既知のデータとしてＰＣ２等に予め記憶させておくようにしてもよい。 Further, in the present embodiment, the calibration image 101 described above is acquired in advance before photographing the projection object, and a plurality of classification marks M (1, 2,...) Provided on the base 12 are obtained. Although the coordinate data indicating the mark areas M1 to M5 in which each exists is stored in the storage areas 833a to 833e for the classification 1 to the classification 5 in the classification designation area storage area 833, for example, the projection object And a dedicated camera corresponding to the digital camera 51 that is fixedly or detachably provided on the camera stand, and the camera includes a specific shooting range. If the document camera or the like having a configuration that can easily secure the specific shooting range is used for the camera, the mark area M ~M5 may be stored in advance in the PC2 such as data the coordinate data of known showing a.

その場合には、以下の方法で、撮影によって得られる複数の画像を任意の基準で分類してＰＣ２等に記録させればよい。すなわち投影対象物を撮影した撮影画像において、既知のマーク領域Ｍ１〜Ｍ５の各々について、その領域に対応する分類マークＭの有無を判別し、その判別結果に応じてユーザーによる分類指定の有無、及び指定された分類を判断し、撮影画像や前述した補正画像等を、分類指定があった場合には指定された分類の画像として、また分類指定がなかった場合には「分類無し」の画像としてそれぞれ記録させればよい。係る方法においても本実施の形態と同様の効果を得ることができる。 In that case, a plurality of images obtained by photographing may be classified on the basis of an arbitrary standard and recorded on the PC 2 or the like by the following method. That is, for each of the known mark regions M1 to M5 in the captured image obtained by photographing the projection object, the presence / absence of the classification mark M corresponding to the region is determined, and the presence / absence of classification designation by the user according to the determination result, The specified classification is judged, and the photographed image or the corrected image described above is regarded as an image of the designated classification when the classification is designated, or as an “no classification” image when the classification is not designated. Each can be recorded. Even in this method, the same effect as in the present embodiment can be obtained.

本発明に係る撮像投影システムを示すシステム構成図である。1 is a system configuration diagram showing an imaging projection system according to the present invention. デジタルカメラの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of a digital camera. 同システムにおけるプロジェクタとＰＣの電気的構成の概略を示すブロック図である。It is a block diagram which shows the outline of the electrical structure of the projector and PC in the system. パーソナルコンピュータの記憶装置に確保されている記憶領域を示す概念図である。It is a conceptual diagram which shows the memory area ensured in the memory | storage device of a personal computer. 撮像投影システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an imaging projection system. キャリブレーション画像を示す図である。It is a figure which shows a calibration image. 撮影画像の例を示すを示す図である。It is a figure which shows the example of a picked-up image. パーソナルコンピュータにおいて分類分けして記録された画像を表示するときの表示装置における表示画面例を示した図である。It is the figure which showed the example of the display screen in a display apparatus when displaying the image classified and recorded in the personal computer.

Explanation of symbols

１書画カメラ
２ＰＣ
３プロジェクタ
４ＵＳＢケーブル
５ＲＧＢケーブル
１１カメラスタンド
１２台座
１３スタンド本体
５１デジタルカメラ
６６ＣＣＤ
７２ＣＰＵ
７５ＵＳＢインターフェース
８１ＣＰＵ
８３記憶装置
８３１キャリブレーション画像記憶領域
８３２撮影画像記憶領域
８３３分類指定領域記憶領域
８３４結果記憶領域
８３５正面化補正画像記憶領域
８３６表示分類位置記憶領域
８７表示装置
８９ＵＳＢインターフェース
１０１キャリブレーション画像
１０２撮影画像
Ａ書面
1 Document Camera 2 PC
3 Projector 4 USB cable 5 RGB cable 11 Camera stand 12 Base 13 Stand body 51 Digital camera 66 CCD
72 CPU
75 USB interface 81 CPU
83 Storage device 831 Calibration image storage area 832 Captured image storage area 833 Classification designation area storage area 834 Result storage area 835 Front-correction corrected image storage area 836 Display classification position storage area 87 Display apparatus 89 USB interface 101 Calibration image 102 Captured image A Document

Claims

An image recording method for photographing a photographing object placed on a pedestal using a camera device provided with an imaging means, and classifying and recording images obtained by photographing,
A plurality of classification marks indicating arbitrary different classifications are provided in advance on a part of the pedestal, and the pedestal before placing an imaging target in a state where the imaging area of the imaging means is fixed to an area including the pedestal. A first step of capturing and obtaining a reference image;
A second step of identifying a plurality of regions where the plurality of classification marks exist in the reference image as comparison regions, respectively;
A third step of capturing an image of the pedestal in a state where a photographing target is placed and acquiring a subject image including the pedestal by the imaging unit with a fixed imaging region;
A fourth step of determining, for each comparison area, whether or not there is a difference in image contents for the plurality of comparison areas in both the subject image and the reference image;
When there is a single comparison area in which it is determined that there is a difference between the subject image and the reference image, the subject image is classified according to the classification mark present in the comparison area in the reference image. And a fifth step of recording as an image.

In the fifth step, predetermined image processing is performed on the subject image in advance, and when there is a single comparison area where it is determined that there is a difference between the subject image and the reference image, the image processing is performed. The image recording method according to claim 1 , wherein a subsequent image is recorded as an image of a classification indicated by a classification mark existing in the comparison area in the reference image .

The image acquisition method according to claim 1, wherein the image recorded in the fifth step is an image acquired for the purpose of enlarged projection by an image projection apparatus .

The predetermined image processing includes at least one of a front-facing correction process of a portion corresponding to the shooting target in the subject image and a clipping process of a portion corresponding to the shooting target in the subject image. 4. The image acquisition method according to any one of 1 to 3, which is a feature .

Imaging means for imaging a subject;
Reference image storage means for storing a reference image that is an image of the pedestal before the photographing object is placed, which is imaged by the imaging means in a state where the imaging region is fixed in an area including the pedestal on which the photographing object is placed;
From the reference image stored in the reference image storage means, a plurality of area information respectively indicating a plurality of comparison areas each having a plurality of classification marks indicating arbitrary different classifications provided in advance on a part of the pedestal. Acquisition means for acquiring;
Area storage means for storing a plurality of area information acquired by the acquisition means;
Subject image storage means for storing a subject image including the pedestal in a state in which a subject to be photographed is imaged by the imaging means while the imaging region is fixed;
A plurality of comparison areas indicated by a plurality of area information stored in the area storage means in both the subject image captured by the imaging means and the reference image stored in the reference image storage means A discriminating means for discriminating whether there is a difference in image contents for each comparison area;
When there is a single comparison region that is determined to have a difference between the subject image and the reference image by the determination unit, the subject image is classified as a classification mark that existed in the comparison region in the reference image. And a control means for storing in the subject image storage means in association with the classification indicated by.

Image processing means for performing predetermined image processing on the subject image picked up by the image pickup means;
The control means has a single comparison area that is determined to be different between the subject image and the reference image by the determination means, and after the predetermined image processing is performed by the image processing means. 6. The camera apparatus according to claim 5, wherein the subject image is stored in the subject image storage unit in association with a classification indicated by a classification mark existing in the comparison area in the reference image .

When the control unit has a single comparison area that is determined to have a difference between the subject image and the reference image by the determination unit, the classification mark that existed in the comparison area in the reference image The camera apparatus according to claim 5, wherein the subject image stored in the subject image storage unit in association with the classification indicated by is an image for enlargement projection by an image projection device.

The predetermined image processing by the image processing means is at least one of front-facing correction processing of a portion corresponding to the shooting target in the subject image, and clipping processing of a portion corresponding to the shooting target in the subject image. The camera apparatus according to claim 5, wherein one of the camera apparatuses is included.

A camera stand including the pedestal;
An electronic camera device that is mounted on the camera stand and includes the imaging unit and a transmission unit that transmits an image captured by the imaging unit to an external device;
A receiving means for receiving an image sent from the electronic camera device; and an external device comprising the reference image storage means, the acquisition means, the area storage means, the subject image storage means, the determination means, and the control means; Consists of
The reference image storage means in the external device stores the reference image received by the receiving means, and the subject storage means in the external device stores the subject image received by the receiving means. The camera device according to claim 5, wherein the camera device is characterized in that:

A computer constituting a camera device provided with an imaging means;
From a reference image, which is an image of the pedestal before the shooting target is placed, captured by the imaging unit in a state where the imaging region is fixed to an area including the pedestal on which the shooting target is placed, a part of the pedestal is previously stored. Acquisition means for acquiring a plurality of area information respectively indicating a plurality of comparison areas in which a plurality of classification marks indicating different classifications provided are provided;
Based on a plurality of area information acquired by the acquisition unit in both the subject image including the pedestal in a state where the imaging target is placed and the reference image captured by the imaging unit while the imaging region is fixed. A discriminating means for discriminating for each comparison area whether or not there is a difference in image contents for the plurality of comparison areas shown
When there is a single comparison region that is determined to have a difference between the subject image and the reference image by the determination means, the subject image is classified as a classification mark that existed in the comparison region in the reference image. A program for causing a subject image storage unit to function as a control unit in association with the classification indicated by.

A camera device whose position is fixed with respect to a pedestal on which an imaging target is placed,
Imaging means for imaging a subject;
A region storage means for storing a plurality of region information respectively indicating a plurality of comparison regions each having a plurality of classification marks indicating different classifications provided in advance on a part of the pedestal;
Subject image storage means for storing a subject image including the pedestal in a state where a subject to be photographed is imaged by the imaging means;
Discrimination means for discriminating presence or absence of the classification mark for each of the plurality of comparison areas indicated by the plurality of area information stored in the area storage means based on the subject image captured by the imaging means; ,
When there is a single comparison area that is determined to have no classification mark by the determination means, the subject image is stored in the subject image storage means in association with the classification indicated by the classification mark corresponding to the comparison area. And a control means.