JP5159544B2 - Imaging apparatus and network camera system - Google Patents

Imaging apparatus and network camera system Download PDF

Info

Publication number
JP5159544B2
JP5159544B2 JP2008255502A JP2008255502A JP5159544B2 JP 5159544 B2 JP5159544 B2 JP 5159544B2 JP 2008255502 A JP2008255502 A JP 2008255502A JP 2008255502 A JP2008255502 A JP 2008255502A JP 5159544 B2 JP5159544 B2 JP 5159544B2
Authority
JP
Japan
Prior art keywords
image
imaging
face
person
personal identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008255502A
Other languages
Japanese (ja)
Other versions
JP2010087898A (en
Inventor
剛史 諏訪
正義 柴田
正雄 岡田
宏幸 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008255502A priority Critical patent/JP5159544B2/en
Publication of JP2010087898A publication Critical patent/JP2010087898A/en
Application granted granted Critical
Publication of JP5159544B2 publication Critical patent/JP5159544B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は撮像装置及びネットワークカメラシステムに関し、特に、動画像データをネットワーク上に送出するために用いて好適な技術に関する。   The present invention relates to an imaging apparatus and a network camera system, and more particularly to a technique suitable for use in transmitting moving image data over a network.

近年、インターネットが普及し、WWW(World Wide Web)等による情報発信が一般的に行なわれるようになってきた。その様な中で、撮影した画像に写っている人物を自動的に認識し、その認識された人物の所有する端末へその画像を転送する技術が提案されている。   In recent years, the Internet has become widespread, and information transmission by the WWW (World Wide Web) or the like has been generally performed. Under such circumstances, there has been proposed a technique for automatically recognizing a person shown in a photographed image and transferring the image to a terminal owned by the recognized person.

例えば、サーバが、ユーザが人物画像の配信を希望する人物の顔画像と、この人物の送信先の電子メールアドレスとをデータベースに記憶しておく。一人以上の人物が被写体となった画像がユーザの端末からアップロードされると、サーバが受信した画像の被写体である人物の顔画像と、データベースに登録された認識対象の顔画像とを比較して、配信先の人物を特定する。そしてサーバは、特定した人物に対応する電子メールアドレスをデータベースから取得する。サーバは、この電子メールアドレスを宛先にして、この人物が被写体となった画像を添付した電子メール、あるいは、人物画像をダウンロードするためのURLを添付した電子メールを配信する(例えば、特許文献1を参照)。   For example, the server stores a face image of a person the user wants to distribute a person image and an e-mail address of the person's transmission destination in a database. When an image of one or more persons as a subject is uploaded from the user's terminal, the face image of the person who is the subject of the image received by the server is compared with the face image to be recognized registered in the database , Identify the person to whom you want to deliver Then, the server acquires an e-mail address corresponding to the specified person from the database. The server distributes an e-mail attached with an image in which the person is a subject or an e-mail attached with a URL for downloading a person image with the e-mail address as a destination (for example, Patent Document 1). See).

特開2004−326281号公報JP 2004-326281 A

しかしながら、前述の特許文献1に開示された構成では、被写体となった人物に自動的に画像を送信することができるが、自分自身がどのように撮影されたのかを被写体が知ることができるのは、あくまで撮影を終えた後であった。つまり、例えばその被写体の襟が折れていたり、ネクタイが曲っていたりしたとしても、誰かが指摘しなければ撮影前に被写体がそれに気付くことは難しく、撮影を終えた後にしか被写体がそれを確認することができなかった。   However, in the configuration disclosed in Patent Document 1 described above, an image can be automatically transmitted to the person who is the subject, but the subject can know how the subject was photographed. Was after the filming was over. In other words, even if the subject's collar is broken or the tie is bent, it is difficult for the subject to notice it unless someone points out, and the subject confirms it only after shooting. I couldn't.

本発明は前述の問題点に鑑み、特に人物の写真を撮る場合において、被写体となる一人以上の人物にとって、満足度が高い写真を撮影することが可能な撮像装置を提供できるようにすることを目的としている。   In view of the above-described problems, the present invention is to provide an imaging apparatus capable of taking a photograph with high satisfaction for one or more persons who are subjects, particularly when taking a photograph of a person. It is aimed.

本発明の撮像装置は、被写体を撮像して撮像データを生成する撮像手段と、前記撮像手段により生成された撮像データから顔検出を行う顔検出手段と、前記顔検出手段により検出された顔の個人識別を行い、認証する個人識別手段と、前記個人識別手段の認証結果に基づき、前記撮像データより、前記個人識別手段により認証された人物を切り出処理を行う画像処理手段と、前記画像処理手段により処理された撮像データを、前記個人識別手段により認証された人物に関連付けられた端末を送信先として、ネットワーク上に送出するネットワーク通信手段と、本撮影を指示する撮影指示手段と、前記撮影指示手段にて本撮影が指示されたことに応じて行われた本撮影で生成された撮像データを記録する記憶手段とを有し、前記撮影指示手段によって本撮影が指示されるよりも前に前記撮像手段により生成され、かつ、前記記憶手段に記録されない動画像の撮像データに対して、前記顔検出手段、前記個人識別手段、前記画像処理手段、および、前記ネットワーク通信手段が各々の処理を行うことを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup unit that picks up a subject and generates image pickup data, a face detection unit that detects a face from the image pickup data generated by the image pickup unit, and a face detected by the face detection unit. performs personal identification, a personal identification means for authenticating based on the authentication result of the personal identification means, image processing means for performing from the imaging data, a process to cut out the authenticated person by the personal identification means, the image Network communication means for sending the image data processed by the processing means to a network associated with the person authenticated by the personal identification means on the network, a photographing instruction means for instructing main photographing, Storage means for recording imaging data generated by actual imaging performed in response to the instruction of actual imaging by the imaging instruction unit, and the imaging instruction unit Therefore, the face detection means, the personal identification means, the image processing means, and the like are used for moving image imaging data that is generated by the imaging means and is not recorded in the storage means before the actual photographing is instructed. And the said network communication means performs each process, It is characterized by the above-mentioned.

本発明のネットワークカメラシステムは、前記に記載の撮像装置と、前記撮像装置より送信された動画像を表示装置に表示する表示端末を有し、前記表示端末は、前記表示装置に表示された画像がユーザの意図にそぐわない場合は、前記撮像装置に対して再撮影の要求を行う通信手段を有することを特徴とする。   The network camera system of the present invention includes the imaging device described above and a display terminal that displays a moving image transmitted from the imaging device on a display device, and the display terminal displays an image displayed on the display device. Is not suitable for the user's intention, it has a communication means for requesting re-shooting to the imaging apparatus.

本発明によれば、本撮影前に、被写体に自分がどのように撮られるかを事前に画像で確認させることが可能となる。   According to the present invention, it is possible to confirm in advance an image how the subject is photographed before the actual photographing.

(第1の実施形態)
図1に、本発明の撮像装置を用いたネットワークカメラシステムの概略構成を説明するブロック図を示す。
本実施形態の撮像装置1500には画像処理部1100、撮像部1200、及び通信部1300の大きく分けて3つの構成要素が存在する。撮像部1200は、映像が入射されるレンズ1210、レンズ1210で集められた光を電気信号に変換するセンサー1220、センサー1220から得られる信号を現像する現像処理部1230からなる。このような構成により、被写体を撮像して撮像データを生成する。
(First embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of a network camera system using the imaging apparatus of the present invention.
The imaging apparatus 1500 according to the present embodiment includes three main components, that is, an image processing unit 1100, an imaging unit 1200, and a communication unit 1300. The imaging unit 1200 includes a lens 1210 on which an image is incident, a sensor 1220 that converts light collected by the lens 1210 into an electrical signal, and a development processing unit 1230 that develops a signal obtained from the sensor 1220. With such a configuration, the subject is imaged to generate imaging data.

現像された信号は画像データとして画像処理部1100に与えられ、そこで符号化などの処理を経た後、通信部1300に符号化データとして与えられる。通信部1300は、ネットワーク通信部として機能して、入力された符号化データを送出するネットワークの形態に応じてパケット化するなどの処理をネットワーク制御部1310が行い、ネットワークインターフェース1320に対して送信用データとして出力する。   The developed signal is provided as image data to the image processing unit 1100, and after undergoing processing such as encoding, is provided to the communication unit 1300 as encoded data. The communication unit 1300 functions as a network communication unit, and the network control unit 1310 performs processing such as packetizing according to the form of the network that transmits the input encoded data, and transmits it to the network interface 1320. Output as data.

ネットワークインターフェース1320は、ネットワーク制御部1310から入力された送信用データを、ネットワーク網1400に対してそのネットワークの形態に応じた形で送出する。ネットワーク網1400は、Ethernet(登録商標)等の有線LAN、IEEE802.11b等に代表される形式の無線LAN、もしくはISDN等の公衆回線網などを代表的なものとして想定することができる。   The network interface 1320 sends the transmission data input from the network control unit 1310 to the network 1400 in a form corresponding to the network configuration. The network 1400 can be assumed as a typical one such as a wired LAN such as Ethernet (registered trademark), a wireless LAN represented by IEEE 802.11b, or a public line network such as ISDN.

画像処理部1100で処理された画像は、メディアドライブ1600を介して、メモリーカード1700に保存される。また、メモリーカード1700は着脱可能であり、メモリーカード1700に保存された画像データを、メディアドライブ1600を介して読み出し、画像処理部1100で再び処理することも可能である。   The image processed by the image processing unit 1100 is stored in the memory card 1700 via the media drive 1600. The memory card 1700 is detachable, and image data stored in the memory card 1700 can be read out via the media drive 1600 and processed again by the image processing unit 1100.

なお、本実施形態では図1において画像処理部1100、撮像部1200、通信部1300はそれぞれ別のブロックとして記述しているが、本実施形態を実ハードウェアで構成する際には、これらのブロックをそれぞれ別のICとして実現することができる。もしくは、各部のいくつかの部分(例えば現像処理部1230と画像処理部1100とネットワーク制御部1310)をまとめて1チップ上に実現するなどの様々な実現形態が可能であり、その形態は本実施形態において制限されるものではない。また、ここで述べる表示端末とは、通信機能と画像の表示機能を有したものであり、携帯電話などが好例となる。   In the present embodiment, the image processing unit 1100, the imaging unit 1200, and the communication unit 1300 are described as separate blocks in FIG. 1, but these blocks are used when the present embodiment is configured by actual hardware. Can be realized as separate ICs. Alternatively, various realization forms are possible such that several parts of each part (for example, the development processing unit 1230, the image processing unit 1100, and the network control unit 1310) are collectively realized on one chip. It is not limited in form. The display terminal described here has a communication function and an image display function, and a mobile phone is a good example.

図2は、画像処理部1100の詳細な構成を示すブロック図である。
図2において、画像処理部1100にはフレームバッファ1110、画像データDMAC(ダイレクトメモリアクセス・コントローラ)1120、ラスタ/ブロック変換用メモリ1140、コーデック処理部1150、符号化データDMAC1160を有している。また、制御用シーケンサ1170、画像処理用メモリ1121、データバッファ1112も有している。
FIG. 2 is a block diagram illustrating a detailed configuration of the image processing unit 1100.
In FIG. 2, the image processing unit 1100 includes a frame buffer 1110, an image data DMAC (direct memory access controller) 1120, a raster / block conversion memory 1140, a codec processing unit 1150, and encoded data DMAC 1160. Further, it also has a control sequencer 1170, an image processing memory 1121, and a data buffer 1112.

制御用シーケンサ1170は、この画像処理部1100の中の画像データDMAC1120、ラスタ/ブロック変換用メモリ1140、コーデック処理部1150、符号化データDMAC1160とそれぞれ制御用信号線で接続されている。そして、これらの各ユニットの制御を実施する。   The control sequencer 1170 is connected to the image data DMAC 1120, the raster / block conversion memory 1140, the codec processing unit 1150, and the encoded data DMAC 1160 in the image processing unit 1100 through control signal lines. And control of each of these units is implemented.

更に、現像処理部1230とは、フレームデータ転送完了割込み信号線、通信部1300とは画像−通信部間制御信号1171で接続され、相互に信号をやり取りして動きを制御する。また、コーデック処理部1150は、画像処理用メモリ1121と接続され、このメモリを利用して各種画像処理を実施する。   Further, the development processing unit 1230 is connected with a frame data transfer completion interrupt signal line, and the communication unit 1300 is connected with an image-communication unit control signal 1171 to control the movement by exchanging signals with each other. The codec processing unit 1150 is connected to the image processing memory 1121 and performs various image processing using this memory.

更に、コーデック処理部1150は内部にパラメータレジスタ1151を持っており、このパラメータレジスタに対して制御用シーケンサ1170が書き込んだ値に従って、各種画像処理を実施するものとする。   Further, the codec processing unit 1150 has a parameter register 1151 therein, and performs various image processing according to the value written by the control sequencer 1170 to the parameter register.

更に、コーデック処理部1150は内部に顔認識部1152と個人識別部1153とを有し、撮影された画像より、人物の顔検出及び個人識別を行う。なお、フレームバッファ1110、画像処理用メモリ1121、データバッファ1112のそれぞれは画像処理部1100のそれ以外の構成要素が1つのICの中で実現される場合に、それらと同一のIC上のオンチップメモリとして構成することが可能である。また、ICの外部でそのICと接続されるメモリデバイス(例えばSDR(Single Data Rate)またはDDR(Double Data Rate)のSDRAM(シンクロナスDRAM)など)として実現することが可能である。また、そのメモリもそれぞれを別のメモリデバイス上に配することや1つの同じメモリデバイス上に配置するなど、様々な構成をとることが可能である。   Further, the codec processing unit 1150 includes a face recognition unit 1152 and a personal identification unit 1153, and performs face detection and personal identification of a person from the captured image. Each of the frame buffer 1110, the image processing memory 1121, and the data buffer 1112 is on-chip on the same IC when the other components of the image processing unit 1100 are realized in one IC. It can be configured as a memory. Further, it can be realized as a memory device (for example, SDR (Single Data Rate) or DDR (Double Data Rate) SDRAM (synchronous DRAM)) connected to the IC outside the IC. In addition, the memories can have various configurations such as being arranged on different memory devices or being arranged on one same memory device.

以下、撮像装置1500の基本動作等について図1、2を用いて詳細に説明する。
図1において、まず、撮像部1200のレンズ1210によって集められた光の画像情報がセンサー1220によって電気信号として取り込まれる。このセンサー1220はCCDイメージセンサー、またはCMOSイメージセンサーなどを利用することが可能である。本実施形態においては、正方画素のプログレッシブ形式のCCDであるとする。
Hereinafter, basic operations and the like of the imaging apparatus 1500 will be described in detail with reference to FIGS.
In FIG. 1, first, image information of light collected by the lens 1210 of the imaging unit 1200 is captured by the sensor 1220 as an electrical signal. As the sensor 1220, a CCD image sensor, a CMOS image sensor, or the like can be used. In the present embodiment, it is assumed that the CCD is a progressive pixel with square pixels.

また、その有効画素数は640×480のいわゆるVGAサイズであり、1/30秒毎に1フレームのVGA画像を出力することができるものとする。すなわち、本実施形態での1映像期間(1画面分の画像データの更新間隔)は1/30秒(およそ33.3mS)であるとする。センサー1220で光電変換されて電気信号として取り込まれた画像データは、順次読み出され現像処理部1230に渡される。現像処理部1230では、センサー1220から得られた画像データを信号処理して、輝度信号と色差信号を作り出し、後段で処理しやすい形式にして出力する。仮にここでは、YUV422形式で出力されるものとする。   The number of effective pixels is a so-called VGA size of 640 × 480, and a VGA image of one frame can be output every 1/30 seconds. That is, it is assumed that one video period (image data update interval for one screen) in this embodiment is 1/30 second (approximately 33.3 mS). The image data photoelectrically converted by the sensor 1220 and captured as an electrical signal is sequentially read out and passed to the development processing unit 1230. The development processing unit 1230 performs signal processing on the image data obtained from the sensor 1220 to generate a luminance signal and a color difference signal, and outputs them in a format that can be easily processed later. Here, it is assumed that the output is in the YUV422 format.

以下に、本実施形態の撮像装置1500の動作を図3のフローチャートを参照しながら説明する。
電源投入後、まず、ステップS1001において撮像部1200の駆動を開始する。次に、ステップS1002において、スルー画像の撮影を行い、スルー画像取り込みを開始する。ここで述べるスルー画像とは、撮像部1200で特定のフレームレートにより逐次撮影される画像のことであり、メモリーカード1700への記録を目的とするものではなく、被写体の様子をリアルタイムにユーザに認識させるための動画を指す。
Hereinafter, the operation of the imaging apparatus 1500 of the present embodiment will be described with reference to the flowchart of FIG.
After the power is turned on, first, driving of the imaging unit 1200 is started in step S1001. Next, in step S1002, a through image is taken and through image capture is started. The through image described here is an image that is sequentially captured by the imaging unit 1200 at a specific frame rate, and is not intended to be recorded on the memory card 1700. The user recognizes the state of the subject in real time. Refers to a video for

本撮影の前にこのスルー画像を撮像装置1500の図示されていないディスプレイに表示することによって、本撮影前に現在の撮像部1200で撮像できる画角や被写体をユーザに認識させる。   By displaying the through image on a display (not shown) of the imaging apparatus 1500 before the main shooting, the user can recognize the angle of view and the subject that can be captured by the current imaging unit 1200 before the main shooting.

次に、ステップS1003において、メディアドライブ1600からメモリーカード(記憶装置)1700に保存されている、人物の顔写真(顔画像)を読み出す。メモリーカード1700に保存されている人物の画像は、各端末を持つユーザに予め用意させてもよいし、本撮影の準備前に、撮像装置1500を使用して取得してもよい。   In step S <b> 1003, a human face photograph (face image) stored in a memory card (storage device) 1700 is read from the media drive 1600. An image of a person stored in the memory card 1700 may be prepared in advance by a user having each terminal, or may be acquired using the imaging device 1500 before preparation for actual shooting.

このとき、スルー画像に含まれる人物の抽出(ステップS1004)、個人識別、および、各端末との関連付けを画像処理部1100の中に含まれる、顔認識部1152、個人識別部1153で行う。   At this time, extraction of a person included in the through image (step S1004), personal identification, and association with each terminal are performed by the face recognition unit 1152 and the personal identification unit 1153 included in the image processing unit 1100.

また、人物の切り出し動画像の出力先となる各端末との関連づけを容易にするため、1画像につき一人の人物を写しておき、ファイル名と端末名とを予め関連付けしておくとよい。スルー画像からの、人物の顔の抜き出し方について、ここではその詳細を述べないが、具体的な技術として、特開平11-173632号公報等に記載されている技術を用いることができる。   Further, in order to facilitate the association with each terminal that is the output destination of the cut-out moving image of the person, it is preferable to copy one person per image and associate the file name and the terminal name in advance. Although details of how to extract a person's face from a through image are not described here, as a specific technique, a technique described in JP-A-11-173632 or the like can be used.

次に、ステップS1005において、撮像部1200より取り込まれたスルー画像から人物の顔を抜き出し、前述した各表示端末1400a〜1400hから受信した画像より抜き出された人物の顔との比較を行い個人の識別をする。個人の識別の詳細については、具体的な技術として、特開2004−046697号公報に記載の技術を用いることができる。   Next, in step S1005, a person's face is extracted from the through image captured from the imaging unit 1200, and compared with the person's face extracted from the images received from the display terminals 1400a to 1400h described above. Identify. Regarding the details of individual identification, a technique described in Japanese Patent Application Laid-Open No. 2004-046697 can be used as a specific technique.

次に、ステップS1006において、スルー画像中に、メモリーカード1700から読み出した画像と同一の人物がいると判断された場合は、前記人物の顔を抜き出したスルー画像の現像を行う。現像の際は、被写体の人物の顔が、切り出しによって欠けることなく、またディスプレイ付き端末1400aのディスプレイ1401aで表情まで確認できるようなサイズと解像度で切り出す。あるいは、周囲との立ち位置の関係や、その人物がどの程度他の人物の影になっているかを確認できるように、被写体の人物の全身がディスプレイ1401aに収まるサイズで切り出しても構わない。また、ディスプレイ1401aの解像度については、処理性能判断部1311が予めデータとして記憶しても、処理性能判断部1311がディスプレイ付き端末1400aから通信によって解像度情報を得るようにしても構わない。   In step S1006, if it is determined that the same person as the image read from the memory card 1700 is present in the through image, the through image obtained by extracting the face of the person is developed. At the time of development, the human face of the subject is cut out with a size and resolution so that the facial expression can be confirmed on the display 1401a of the display-equipped terminal 1400a without being cut out. Alternatively, the whole body of the subject person may be cut out to a size that fits on the display 1401a so that the relationship of the standing position with the surroundings and how much the person is shadowed by other people can be confirmed. In addition, regarding the resolution of the display 1401a, the processing performance determination unit 1311 may store data as data in advance, or the processing performance determination unit 1311 may obtain resolution information by communication from the terminal with display 1400a.

さらに、ステップS1007では、リアルタイムに各表示端末1400a〜1400hで抜き出した顔のスルー画像の表示を行えるよう、通信部1300より出力する。また、これと同時に、顔を抜き出す前のスルー画像を撮像装置1500のディスプレイに表示する。このとき、撮像装置1500のディスプレイには撮影画角の全体像がリアルタイムで表示され、その中に個人の識別に成功した被写体が含まれていれば、その被写体の所有する表示端末にその被写体の顔を中心として切り出された画像がリアルタイムで表示される。   Further, in step S1007, the communication unit 1300 outputs the face through images extracted by the display terminals 1400a to 1400h in real time. At the same time, the through image before extracting the face is displayed on the display of the imaging apparatus 1500. At this time, the entire image of the shooting angle of view is displayed in real time on the display of the imaging apparatus 1500, and if a subject that has been successfully identified by the individual is included in the display, the display terminal of the subject owns the subject. An image cut out with the face at the center is displayed in real time.

次に、ステップS1008で、撮像装置1500の駆動を終了するか否かの判断を行う。これは、ユーザによって撮影を終了するための操作が行われたか否かを判断することによって行う。この判断の結果、引き続き撮影を行う場合は、ステップS1009に進み、前述した各表示端末1400a〜1400hで、本撮影の準備完了ボタンが押されたか否かを確認する。このときの各表示端末1400a〜1400hでの動作については図4を用いて後述する。この確認の結果、通信部1300が撮影許可を認識した場合、ステップS1010で撮影指示がなされ、本撮影の駆動に移る。ここで言う本撮影とは、図示されていないが、レンズ1210内に含まれるメカシャッターを使用する撮像モードであり、センサー1220内で画素加算などを行わない、高精細な静止画等を指す。   Next, in step S1008, it is determined whether or not to finish driving the imaging device 1500. This is performed by determining whether or not an operation for ending photographing is performed by the user. As a result of this determination, if shooting is continued, the process proceeds to step S1009, where it is confirmed whether or not the actual shooting preparation completion button has been pressed on each of the display terminals 1400a to 1400h. The operation in each of the display terminals 1400a to 1400h at this time will be described later with reference to FIG. If the communication unit 1300 recognizes permission to shoot as a result of this confirmation, a shooting instruction is issued in step S1010, and the process shifts to driving for actual shooting. The main photographing here is an imaging mode that uses a mechanical shutter included in the lens 1210 (not shown), and refers to a high-definition still image that does not perform pixel addition in the sensor 1220.

本撮影終了後には、ステップS1011で画像処理部1100において、識別された各人物の顔とその周辺を切り出した静止画を作成し、通信部1300より各表示端末1400a〜1400h宛に、人物の顔と対応する、前記切り出した静止画を送信する。また、切り出しを行う前の静止画を、メディアドライブ1600を介してメモリーカード1700に保存する。   After the actual shooting is finished, in step S1011 the image processing unit 1100 creates a still image in which each identified person's face and its surroundings are cut out, and the communication unit 1300 sends each person's face to the display terminals 1400a to 1400h. The cut out still image corresponding to is transmitted. Further, the still image before being cut out is stored in the memory card 1700 via the media drive 1600.

次に、ステップS1012において、各表示端末1400a〜1400hからの再撮影の要求を通信部1300において受け付ける。その後、ステップS1013において、再撮影の要求の有無を確認する。この確認の結果要求がなかった場合には、そのまま終了となる。一方、再撮影の要求がなされた場合には、ステップS1014で各表示端末1400a〜1400h宛に、通信部1300より再撮影を行う旨を送信し、ステップS1006に戻る。   Next, in step S1012, the communication unit 1300 receives a request for re-shooting from each of the display terminals 1400a to 1400h. Thereafter, in step S1013, it is confirmed whether there is a request for re-shooting. If there is no request as a result of this confirmation, the process ends as it is. On the other hand, if a request for re-photographing is made, in step S1014, the communication unit 1300 transmits a message indicating that re-photographing is performed to the display terminals 1400a to 1400h, and the process returns to step S1006.

次に、図4のフローチャートを参照しながら画像表示機能付きの表示端末1400a〜1400hの駆動を説明する。
まず、ステップS2001で撮像装置1500の撮像部1200で取得された画像から、各表示端末1400a〜1400hを持つユーザの顔とその周囲を切り出しされたスルー画像を受信する。
Next, driving of the display terminals 1400a to 1400h with an image display function will be described with reference to the flowchart of FIG.
First, from the image acquired by the imaging unit 1200 of the imaging apparatus 1500 in step S2001, a through image obtained by cutting out the face of the user having each of the display terminals 1400a to 1400h and its surroundings is received.

次に、ステップS2002に進み、切り出しされたスルー画像は、各表示端末1400a〜1400hのディスプレイ1401a〜1401hに表示され、ユーザが撮像装置1500でどのように撮影されているかリアルタイムで確認できる。   Next, the process proceeds to step S2002, and the cut-out through images are displayed on the displays 1401a to 1401h of the display terminals 1400a to 1400h, and it is possible to check in real time how the user has taken the image with the imaging device 1500.

次に、ステップS2003において、撮影準備が完了したか判断が行われる。各表示端末1400a〜1400hは、切り出しされたスルー画像を見ているユーザに対して、本撮影への移行についての可否を問合せる表示を行い、移行を許可するのであれば、所定の操作をするようユーザに指示する。例えば、本撮影の準備が完了したのであれば、ユーザに各表示端末1400a〜1400hの準備完了ボタンを押下させればよい。この判断の結果、本撮影(撮像装置1500によるメカシャッターを使用した静止画の撮影)を行う準備ができた際には、ステップS2004へ進み、準備ができていない場合には、ステップS2001に戻る。   Next, in step S2003, it is determined whether shooting preparation is completed. Each of the display terminals 1400a to 1400h displays a message asking whether or not to shift to the main shooting to the user who is viewing the cut-out through image, and performs a predetermined operation if the shift is permitted. Instruct the user. For example, if the preparation for the main photographing is completed, the user may press the preparation completion button of each display terminal 1400a to 1400h. As a result of this determination, when it is ready to perform the main shooting (still image shooting using the mechanical shutter by the imaging device 1500), the process proceeds to step S2004, and when it is not ready, the process returns to step S2001. .

次に、ステップS2004で撮像装置1500に本撮影の準備が完了した旨を送信する。全ての表示端末1400a〜1400hから本撮影の準備が完了した旨が撮像装置1500に送られると、撮像装置1500は本撮影を行う。そして、本撮影が行われた後に、撮影された静止画から、各端末のユーザの顔が写っている部分を切り出した静止画を各表示端末1400a〜1400hは受信する(ステップS2005)。   In step S2004, the image capturing apparatus 1500 is notified that preparations for main shooting have been completed. When all the display terminals 1400a to 1400h send to the imaging apparatus 1500 that the preparation for the main imaging has been completed, the imaging apparatus 1500 performs the main imaging. Then, after the actual shooting is performed, each display terminal 1400a to 1400h receives a still image obtained by cutting out the portion of each terminal where the user's face is captured from the captured still image (step S2005).

各表示端末1400a〜1400hは、受信した静止画をステップS2006で各ディスプレイ1401a〜1401hに表示し、ユーザに確認を促す。
次に、ステップS2007に進み、本撮影された画像について、ユーザが気に入らなくて再撮影の要求が有るか否かを判断する。この判断の結果、再撮影の要求が有る場合にはステップS2008に進み、ユーザにより再撮影ボタンが押下されるのを待機する。そして、ユーザにより再撮影ボタンが押下された場合にはステップS2009に進んで撮像装置1500へ再撮影の要求を出す。一方、ステップS2007の判断の結果、再撮影の要求がなかった場合には処理を終了する。
The display terminals 1400a to 1400h display the received still images on the displays 1401a to 1401h in step S2006, and prompt the user for confirmation.
Next, the process proceeds to step S2007, and it is determined whether or not there is a request for re-shooting the image that has been actually shot without the user's satisfaction. If the result of this determination is that there is a request for re-photographing, the process advances to step S2008 to wait for the user to press the re-photographing button. If the user presses the re-shooting button, the process advances to step S2009 to issue a re-shooting request to the imaging apparatus 1500. On the other hand, if the result of determination in step S2007 is that there is no request for re-shooting, the processing ends.

このように、撮影中の動画像とメモリーカード1700に記録されている画像の中から人物を抽出し、個人識別の認証を行う。そして、認証結果に応じて、人物ごとにそれぞれのディスプレイ付き端末に個別のスルー画像を切り出して出力する。こうすることにより、各ユーザが本撮影前の自分の姿を見ることができる。   In this manner, a person is extracted from the moving image being shot and the image recorded on the memory card 1700, and authentication of personal identification is performed. And according to an authentication result, an individual through image is cut out and outputted to each terminal with a display for every person. By doing so, each user can see his / her own appearance before the actual photographing.

以上により、被写体となる各ユーザ自身が撮像装置1500でどのような表情で撮影されているか、逐次確認することができる。例えば、襟が折れていたり、ネクタイが曲っていたりすれば、このディスプレイ付き端末に表示されたスルー画像をみることで、撮影前にそれを認識して直すことが可能となる。これにより、被写体となるユーザにとって満足度の高い静止画像の撮影を行うことができる。   As described above, it is possible to sequentially confirm what expression each user who is a subject is photographed with the imaging apparatus 1500. For example, if the collar is broken or the tie is bent, the through image displayed on the display-equipped terminal can be seen and recognized before shooting. As a result, it is possible to shoot a still image that is highly satisfactory for the user who is the subject.

さらに、本撮影後に静止画の自分の移っている部分を確認することにより、目つぶりや被写体となる人物の望まないような表情で撮影された場合に、素早く再撮影を行うことができる。
なお、本撮影に静止画を撮影する例をあげて説明を行ったが、本撮影は動画であっても構わない。動画撮影前に、スルー画像を認証結果に応じてディスプレイ付き端末に出力することで、静止画のときと同様に、動画撮影開始時に自分がどのような状態になるのかを予め確認することができる。
Furthermore, by recognizing the part of the still image where the person has moved after the actual shooting, it is possible to quickly re-shoot when the image is taken with a blink or an undesired expression of the person who is the subject.
In addition, although the example which image | photographs a still image was given and demonstrated to this imaging | photography, this imaging | photography may be a moving image. By outputting the through image to the terminal with a display according to the authentication result before moving image shooting, it is possible to check in advance what the state will be at the start of moving image shooting, as with still images. .

(第2の実施形態)
本実施形態では、画像表示機能を持つ端末に撮像部1200をさらに設けた場合で説明を行う。
以下に、図5のフローチャートを参照しながら撮像装置の駆動を説明する。
電源投入後、まずステップS3001において撮像部1200の駆動を開始し、ステップS3002においてスルー画像の取り込みを行う。
(Second Embodiment)
In the present embodiment, a case where an imaging unit 1200 is further provided in a terminal having an image display function will be described.
Hereinafter, the driving of the imaging apparatus will be described with reference to the flowchart of FIG.
After the power is turned on, the driving of the imaging unit 1200 is first started in step S3001, and a through image is captured in step S3002.

次に、ステップS3003において、通信部1300から各表示端末1400a〜1400hの図示していないカメラで撮影された、人物の顔写真(顔画像)を受信する。受信した画像は、メディアドライブ1600を介してメモリーカード1700に一時的に記憶してもよい。次に、ステップS3004において、各表示端末1400a〜1400hから受信した画像より、人物の顔を検出する。   Next, in step S3003, a face photo (face image) of a person taken by a camera (not shown) of each of the display terminals 1400a to 1400h is received from the communication unit 1300. The received image may be temporarily stored in the memory card 1700 via the media drive 1600. Next, in step S3004, a human face is detected from images received from the display terminals 1400a to 1400h.

次に、ステップS3005において、撮像部1200より取り込まれたスルー画像から人物の顔を抜き出し、各表示端末1400a〜1400hから受信した画像より抜き出された人物の顔とを比較して個人の識別を行い、同一人物の顔を検索して同定する。   Next, in step S3005, a person's face is extracted from the through image captured from the imaging unit 1200, and the person's face is extracted from the images received from the display terminals 1400a to 1400h to identify the person. And search and identify the faces of the same person.

次に、ステップS3006において、スルー画像中に、各表示端末1400a〜1400hから受信した画像と同一の人物がいると判断された場合は、その顔を抜き出したスルー画像の現像を行い、スルー画像を作成する。   Next, in step S3006, if it is determined that there is the same person as the image received from each of the display terminals 1400a to 1400h in the through image, the through image extracted from the face is developed, and the through image is displayed. create.

次に、ステップS3007に進み、リアルタイムに各表示端末1400a〜1400hで抜き出した顔のスルー画像の表示を行えるよう、通信部1300より、対応する送信先の端末に送信する。また、これと同時に、顔を抜き出す前のスルー画像を撮像装置1500のディスプレイに表示する。   In step S3007, the communication unit 1300 transmits to the corresponding transmission destination terminal so that a through image of the face extracted by each of the display terminals 1400a to 1400h can be displayed in real time. At the same time, the through image before extracting the face is displayed on the display of the imaging apparatus 1500.

次に、ステップS3008で、撮像装置1500の駆動を終了するか否かの判断を行う。この判断の結果、引き続き撮影を行う場合は、ステップS3009に進み、各表示端末1400a〜1400hで、本撮影の準備完了ボタンが押されたことを確認する。各表示端末1400a〜1400hでの動作については図6を用いて後で説明する。この確認の結果、各表示端末1400a〜1400hで本撮影の準備完了ボタンが押されたことを通信部1300が認識した場合、ステップS3010で本撮影の駆動に移る。   Next, in step S3008, it is determined whether or not to finish driving the imaging device 1500. If the result of this determination is that shooting will continue, processing proceeds to step S3009, where it is confirmed that the preparation button for main shooting has been pressed on each of the display terminals 1400a to 1400h. The operation in each of the display terminals 1400a to 1400h will be described later with reference to FIG. As a result of the confirmation, when the communication unit 1300 recognizes that the ready button for main shooting has been pressed on each of the display terminals 1400a to 1400h, the process proceeds to driving of main shooting in step S3010.

本撮影終了後には、ステップS3011に進み、画像処理部1100において、識別された各人物の顔とその周辺を切り出した静止画を作成し、通信部1300より各表示端末1400a〜1400h宛に、人物の顔と対応する、前記切り出した静止画を送信する。また、切り出しを行う前の静止画を、メディアドライブ1600を介してメモリーカード1700に保存する。
次に、ステップS3012において、各表示端末1400a〜1400hからの再撮影の要求を通信部1300において受け付ける。
After the completion of the main shooting, the process proceeds to step S3011, where the image processing unit 1100 creates a still image in which each identified person's face and its surroundings are cut out, and the communication unit 1300 sends the individual images to the display terminals 1400a to 1400h. The cut out still image corresponding to the face is transmitted. Further, the still image before being cut out is stored in the memory card 1700 via the media drive 1600.
Next, in step S <b> 3012, the communication unit 1300 receives a request for re-imaging from each of the display terminals 1400 a to 1400 h.

次に、ステップS3013において、再撮影の要求の有無を判断する。この判断の結果、再撮影の要求がなかった場合には、そのまま終了となる。また、再撮影の要求がなされた場合にはステップS3014に進み、各表示端末1400a〜1400h宛に、通信部1300より再撮影を行う旨を送信し、その後、ステップS3006に戻る。   In step S3013, it is determined whether there is a request for re-shooting. If there is no request for re-shooting as a result of this determination, the processing is ended as it is. If a request for re-photographing is made, the process proceeds to step S3014, the communication unit 1300 transmits a message indicating that re-photographing is performed to each display terminal 1400a to 1400h, and then the process returns to step S3006.

次に、図6のフローチャートを参照しながら画像表示機能付きの各表示端末1400a〜1400hの駆動を説明する。この例では、画像表示機能付きの端末にさらに図示されていないカメラが内蔵されていることとする。   Next, driving of the display terminals 1400a to 1400h with an image display function will be described with reference to the flowchart of FIG. In this example, it is assumed that a camera (not shown) is incorporated in a terminal with an image display function.

まず、ステップS4001で撮像部1200の駆動を行う。
次に、ステップS4002で撮影モードか否かの判断を行う。この判断の結果、撮影モードである場合はステップS4003に進み、スルー画像の撮影を開始する。次に、ステップS4004において、シャッタボタンが押下されるまで待機する。そして、シャッタボタンが押下された場合にはステップS4005に進み、ユーザの顔を写した静止画の撮影を行う。
First, in step S4001, the imaging unit 1200 is driven.
Next, in step S4002, it is determined whether or not the shooting mode is set. If the result of this determination is that the camera is in shooting mode, processing proceeds to step S4003 and shooting of a through image is started. In step S4004, the process waits until the shutter button is pressed. If the shutter button is pressed, the process advances to step S4005 to take a still image that captures the user's face.

次に、ステップS4006に進み、ステップS4005の撮影によって取得された静止画像を撮像装置1500に送信する。このとき、撮影された画像を基にして、撮像装置1500は画像処理部1100において個人の認証を行う。ステップS4006の処理を終ったらステップS4002に戻る。撮影された画像が気に入らない場合は、ステップS4002において撮影モードを再度選択し、ユーザの顔を写した静止画の再撮影を行う。   Next, the process proceeds to step S4006, and the still image acquired by the imaging in step S4005 is transmitted to the imaging apparatus 1500. At this time, the imaging apparatus 1500 performs personal authentication in the image processing unit 1100 based on the captured image. When the process of step S4006 is completed, the process returns to step S4002. If the user does not like the shot image, the shooting mode is selected again in step S4002, and a still image showing the user's face is shot again.

ユーザの顔の撮影が終わった場合は、ステップS4002の判断の結果が撮影モードではなくなり、ステップS4002からステップS4007に移行する。ステップS4007では、撮像装置1500の撮像部1200で取得された画像から、各表示端末1400a〜1400hを持つユーザの顔とその周囲を切り出しされたスルー画像を受信する。   When the user's face has been shot, the result of the determination in step S4002 is not the shooting mode, and the process proceeds from step S4002 to step S4007. In step S4007, a through image obtained by cutting out the face of the user having each of the display terminals 1400a to 1400h and its surroundings from the image acquired by the imaging unit 1200 of the imaging device 1500 is received.

次に、ステップS4008に進み、切り出しされたスルー画像を各表示端末1400a〜1400hのディスプレイ1401a〜1401hに表示する。これにより、ユーザは撮像装置1500でどのように撮影されているかリアルタイムで確認することができる。   Next, the process proceeds to step S4008, and the cut-out through images are displayed on the displays 1401a to 1401h of the display terminals 1400a to 1400h. As a result, the user can confirm in real time how the image capturing apparatus 1500 is capturing images.

次に、ステップS4009において、本撮影(撮像装置1500によるメカシャッターを使用した静止画の撮影)を行う準備が完了したか否かを判断する。各表示端末1400a〜1400hは、切り出しされたスルー画像を見ているユーザに対して、本撮影に移行してよいか否かを問合せる表示を行い、移行を許可するのであれば、所定の操作をするようユーザに指示する。この判断の結果、完了していない場合にはステップS4007に戻る。また、完了した場合には、ステップS4010へ進む。   Next, in step S4009, it is determined whether or not preparation for performing the main shooting (still image shooting using a mechanical shutter by the imaging device 1500) is completed. Each of the display terminals 1400a to 1400h performs a display for inquiring whether or not to shift to the main shooting to the user who is viewing the cut-out through image, and performs a predetermined operation if the shift is permitted. Instruct the user to If the result of this determination is not complete, processing returns to step S4007. If completed, the process advances to step S4010.

ステップS4010においては、各表示端末1400a〜1400hから撮像装置1500に本撮影の準備が完了した旨が送信される。   In step S4010, the display terminals 1400a to 1400h transmit information indicating that preparation for main shooting has been completed to the imaging device 1500.

全ての端末から本撮影の準備が完了した旨が撮像装置1500に送られると、撮像装置1500は本撮影を行う。そして、本撮影後に、撮影された静止画から、各端末のユーザの顔が写っている部分を切り出した静止画を各表示端末1400a〜1400hは受信する(ステップS4011)。
次に、ステップS4012において、各表示端末1400a〜1400hは、受信した静止画を各ディスプレイに表示し、ユーザに確認を促す。
When the fact that preparations for main shooting have been completed is sent from all terminals to the imaging apparatus 1500, the imaging apparatus 1500 performs main shooting. Then, after the actual shooting, each display terminal 1400a to 1400h receives a still image obtained by cutting out a portion where the user's face of each terminal is captured from the captured still image (step S4011).
Next, in step S4012, each display terminal 1400a-1400h displays the received still image on each display, and prompts the user for confirmation.

次に、ステップS4013において、再撮影の要求の有無を判断する。このステップにおいては、本撮影された画像について、ユーザが意図にそぐわなくて気に入らなかった場合、ユーザは再撮影要求を行う。再撮影を行う場合にはステップS4014に進む。ステップS4014において再撮影ボタンが押下されると、撮像装置1500へ再撮影の要求を出す(ステップS4015)。ステップS4015の処理を終了するとステップS4007に戻り、前述した処理を繰り返し行う。また、ステップS4013の判断の結果、再撮影の要求ではない場合にはエンドとなる。   In step S4013, it is determined whether there is a request for re-shooting. In this step, if the user does not like the actually captured image because the user does not like the intention and does not like the image, the user makes a re-imaging request. If re-photographing is to be performed, the process proceeds to step S4014. When the re-shooting button is pressed in step S4014, a request for re-shooting is issued to the imaging apparatus 1500 (step S4015). When the process of step S4015 is completed, the process returns to step S4007 and the above-described process is repeated. Further, if the result of determination in step S4013 is not a request for re-shooting, the process ends.

本実施形態のように、カメラ付きの端末で各人物の顔の画像を用意することにより、撮影前に被写体の画像を予め用意する必要がないなど、第1の実施形態に比べ、本撮影前の準備の手間を大幅に削減することができる。   Compared to the first embodiment, the image of the face of each person is prepared by a terminal equipped with a camera as in the present embodiment, so that it is not necessary to prepare the image of the subject in advance before shooting. The preparation time can be greatly reduced.

さらに、撮影中の動画像と各ディスプレイとカメラ付き端末から送られた画像の中から人物を抽出し、個人識別を行い、認証された人物ごとにそれぞれの端末に個別の動画像を出力することにより、各ユーザが望む、最適な動画像を提供することができる。   In addition, a person is extracted from the moving images being shot and images sent from each display and camera-equipped device, personal identification is performed, and an individual moving image is output to each terminal for each authenticated person. Thus, it is possible to provide an optimal moving image desired by each user.

(本発明に係る他の実施形態)
前述した本発明の実施形態における撮像装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each unit constituting the imaging apparatus according to the above-described embodiment of the present invention can be realized by operating a program stored in a RAM or a ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム(実施形態では図3〜図6に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 3 to 6) for executing each step in the imaging method described above is directly or remotely supplied to the system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリーカード1700、ROM、DVD(DVD−ROM,DVD−R)などがある。   Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card 1700, ROM, DVD (DVD-ROM, DVD) -R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer may perform part or all of the actual processing. The functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

本発明の第1の実施形態における、画像処理部の構成例を説明するブロック図である。It is a block diagram explaining the structural example of the image process part in the 1st Embodiment of this invention. 本発明の第1の実施形態における、撮像装置の詳細を説明する図である。It is a figure explaining the detail of the imaging device in the 1st Embodiment of this invention. 本発明の第1の実施形態における、撮像装置の駆動フローチャートである。3 is a driving flowchart of the imaging apparatus according to the first embodiment of the present invention. 本発明の第1の実施形態における、撮像装置の動作に対応する動画像表示端末の駆動フローチャートである。4 is a driving flowchart of the moving image display terminal corresponding to the operation of the imaging apparatus in the first embodiment of the present invention. 本発明の第2の実施形態における、撮像装置の駆動フローチャートである。6 is a driving flowchart of the imaging apparatus according to the second embodiment of the present invention. 本発明の第2の実施形態における、撮像装置の動作に対応する動画像表示端末の駆動フローチャートである。It is a drive flowchart of the moving image display terminal corresponding to operation | movement of an imaging device in the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1100 画像処理部
1110 フレームバッファ
1112 データバッファ
1120 画像データDMAC
1121 画像処理用メモリ
1140 ラスタ/ブロック変換用メモリ
1150 コーデック処理部
1151 パラメータレジスタ
1152 顔認識部
1153 個人識別部
1160 符号化データDMAC
1170 制御用シーケンサ
1171 画像-通信部間制御信号
1200 撮像部
1210 レンズ
1220 センサー
1230 現像処理部
1300 通信部
1310 ネットワーク制御部
1320 ネットワークインターフェース
1311 処理性能判断部
1400 ネットワーク網
1400a〜h ディスプレイ付き端末
1401a〜h ディスプレイ
1500 撮像装置
1600 メディアドライブ
1700 メモリーカード
1100 Image processing unit 1110 Frame buffer 1112 Data buffer 1120 Image data DMAC
1121 Image processing memory 1140 Raster / block conversion memory 1150 Codec processing unit 1151 Parameter register 1152 Face recognition unit 1153 Personal identification unit 1160 Encoded data DMAC
1170 Control Sequencer 1171 Image-Communication Unit Control Signal 1200 Imaging Unit 1210 Lens 1220 Sensor 1230 Development Processing Unit 1300 Communication Unit 1310 Network Control Unit 1320 Network Interface 1311 Processing Performance Judgment Unit 1400 Network Networks 1400a-h Terminals with Display 1401a-h Display 1500 Imaging device 1600 Media drive 1700 Memory card

Claims (5)

被写体を撮像して撮像データを生成する撮像手段と、
前記撮像手段により生成された撮像データから顔検出を行う顔検出手段と、
前記顔検出手段により検出された顔の個人識別を行い、認証する個人識別手段と、
前記個人識別手段の認証結果に基づき、前記撮像データより、前記個人識別手段により認証された人物を切り出処理を行う画像処理手段と、
前記画像処理手段により処理された撮像データを、前記個人識別手段により認証された人物に関連付けられた端末を送信先として、ネットワーク上に送出するネットワーク通信手段と、
本撮影を指示する撮影指示手段と、
前記撮影指示手段にて本撮影が指示されたことに応じて行われた本撮影で生成された撮像データを記録する記憶手段とを有し、
前記撮影指示手段によって本撮影が指示されるよりも前に前記撮像手段により生成され、かつ、前記記憶手段に記録されない動画像の撮像データに対して、前記顔検出手段、前記個人識別手段、前記画像処理手段、および、前記ネットワーク通信手段が各々の処理を行うことを特徴とする撮像装置。
Imaging means for imaging a subject and generating imaging data;
Face detection means for performing face detection from imaging data generated by the imaging means;
Personal identification means for performing personal identification of the face detected by the face detection means and authenticating;
Based on the authentication result of the personal identification means, image processing means for performing from the imaging data, a process to cut out the authenticated person by the personal identification means,
Network communication means for sending the imaging data processed by the image processing means to a network with a terminal associated with the person authenticated by the personal identification means as a destination ;
Photographing instruction means for instructing the main photographing;
Storage means for recording imaging data generated in the main shooting performed in response to the instruction of the main shooting by the shooting instruction unit;
With respect to moving image imaging data that is generated by the imaging unit and is not recorded in the storage unit before actual imaging is instructed by the imaging instruction unit, the face detection unit, the personal identification unit, An image processing apparatus and an image pickup apparatus, wherein the network communication means performs respective processes.
前記記憶手段は予め人物の顔の撮像データを記憶しており、
前記個人識別手段は、前記記憶手段に保存されている人物の顔と、前記撮像装置で撮影された画像に含まれる人物の顔とを比較することにより、個人を識別することを特徴とする請求項1に記載の撮像装置。
The storage means stores in advance image data of a person's face,
The personal identification means identifies an individual by comparing the face of a person stored in the storage means with the face of a person included in an image taken by the imaging device. Item 2. The imaging device according to Item 1.
前記個人識別手段は、前記ネットワーク上の端末から送信された画像に含まれる人物の顔と、前記撮像装置で撮影された画像に含まれる人物の顔を比較することにより、個人を識別することを特徴とする請求項1に記載の撮像装置。   The personal identification means identifies an individual by comparing the face of a person included in an image transmitted from a terminal on the network with the face of a person included in an image taken by the imaging device. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized. 前記ネットワーク通信手段は、前記送信先へ前記処理された撮像データを送出した後に、前記送信先から撮影の可否についての指示を受信することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。 Wherein the network communication means, Previous Kioku signal destination after sending the processed imaging data, any one of claims 1 to 3, characterized in that receiving an indication of whether photographing from the destination The imaging device according to item . 請求項1〜の何れか1項に記載の撮像装置と、前記撮像装置より送信された動画像を表示装置に表示する表示端末とを有し、
前記表示端末は、前記表示装置に表示された画像がユーザの意図にそぐわない場合は、前記撮像装置に対して再撮影の要求を行う通信手段を有することを特徴とするネットワークカメラシステム。
An imaging apparatus according to any one of claims 1 to 4 , and a display terminal that displays a moving image transmitted from the imaging apparatus on a display device,
The network camera system according to claim 1, wherein the display terminal includes communication means for requesting the imaging device to perform re-shooting when an image displayed on the display device does not meet a user's intention.
JP2008255502A 2008-09-30 2008-09-30 Imaging apparatus and network camera system Expired - Fee Related JP5159544B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008255502A JP5159544B2 (en) 2008-09-30 2008-09-30 Imaging apparatus and network camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008255502A JP5159544B2 (en) 2008-09-30 2008-09-30 Imaging apparatus and network camera system

Publications (2)

Publication Number Publication Date
JP2010087898A JP2010087898A (en) 2010-04-15
JP5159544B2 true JP5159544B2 (en) 2013-03-06

Family

ID=42251382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008255502A Expired - Fee Related JP5159544B2 (en) 2008-09-30 2008-09-30 Imaging apparatus and network camera system

Country Status (1)

Country Link
JP (1) JP5159544B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155092A (en) * 1997-11-20 1999-06-08 Sony Corp Remote monitor device and image pickup system
JP2000152206A (en) * 1998-11-13 2000-05-30 Canon Inc Communication conference connector, communication conference system, control method for communication conference and storage medium
JP2004096165A (en) * 2002-08-29 2004-03-25 Nikon Corp Electronic camera and electronic camera system
JP2004326281A (en) * 2003-04-23 2004-11-18 Fuji Photo Film Co Ltd Image distributing server
JP4220856B2 (en) * 2003-08-18 2009-02-04 本田技研工業株式会社 Image capturing apparatus and method for mobile robot using portable terminal device
JP2007028077A (en) * 2005-07-14 2007-02-01 Noritsu Koki Co Ltd Portable terminal
JP4662902B2 (en) * 2006-10-10 2011-03-30 富士フイルム株式会社 Shooting system
JP2009267663A (en) * 2008-04-24 2009-11-12 Sony Ericsson Mobilecommunications Japan Inc Imaging device, imaging method, imaging control program, and mobile terminal device

Also Published As

Publication number Publication date
JP2010087898A (en) 2010-04-15

Similar Documents

Publication Publication Date Title
JP6240642B2 (en) Method and apparatus for providing image of image capturing apparatus
JP5182352B2 (en) Imaging apparatus, image composition method, and program
JP5347847B2 (en) Image capturing apparatus, communication establishment method, program
JP5401420B2 (en) Imaging device
JP4520259B2 (en) Multimedia recording apparatus, multimedia recording method, and multimedia recording system
JP2006502660A (en) Remote control photography system and method
JP5402018B2 (en) Display device and imaging device
JP2004215090A (en) Image communication system and image processing apparatus
JP5159544B2 (en) Imaging apparatus and network camera system
JP4875955B2 (en) Image album creating apparatus and method, communication terminal, and image collecting apparatus
JP4891123B2 (en) Image display device, image display method, and program
JP2009027503A (en) Imaging apparatus, alteration detecting method, and alteration detecting device
JP4920492B2 (en) Imaging device
JP2004104426A (en) Imaging apparatus
JP2010147691A (en) Image generation device and method, and program
JP5293422B2 (en) Image specifying device and image specifying program
JPH1155617A (en) Image pickup device
JP5504635B2 (en) Display device, image display method, and program
JP7212862B2 (en) Image processing device, image processing method, image providing system and image processing program
JP2009159395A (en) Digital camera with projector and projection system
JP2008085383A (en) Electronic device
JP2009005190A (en) Imaging device and image communication system
JP2010268367A (en) Electronic apparatus
JP2007116610A (en) Photographing device and photographing method
JP2008262487A (en) Imaging unit, and method for generating and recording synchronization file

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121211

R151 Written notification of patent or utility model registration

Ref document number: 5159544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees