JP5159544B2 - Imaging apparatus and network camera system - Google Patents
Imaging apparatus and network camera system Download PDFInfo
- Publication number
- JP5159544B2 JP5159544B2 JP2008255502A JP2008255502A JP5159544B2 JP 5159544 B2 JP5159544 B2 JP 5159544B2 JP 2008255502 A JP2008255502 A JP 2008255502A JP 2008255502 A JP2008255502 A JP 2008255502A JP 5159544 B2 JP5159544 B2 JP 5159544B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- face
- person
- personal identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は撮像装置及びネットワークカメラシステムに関し、特に、動画像データをネットワーク上に送出するために用いて好適な技術に関する。 The present invention relates to an imaging apparatus and a network camera system, and more particularly to a technique suitable for use in transmitting moving image data over a network.
近年、インターネットが普及し、WWW(World Wide Web)等による情報発信が一般的に行なわれるようになってきた。その様な中で、撮影した画像に写っている人物を自動的に認識し、その認識された人物の所有する端末へその画像を転送する技術が提案されている。 In recent years, the Internet has become widespread, and information transmission by the WWW (World Wide Web) or the like has been generally performed. Under such circumstances, there has been proposed a technique for automatically recognizing a person shown in a photographed image and transferring the image to a terminal owned by the recognized person.
例えば、サーバが、ユーザが人物画像の配信を希望する人物の顔画像と、この人物の送信先の電子メールアドレスとをデータベースに記憶しておく。一人以上の人物が被写体となった画像がユーザの端末からアップロードされると、サーバが受信した画像の被写体である人物の顔画像と、データベースに登録された認識対象の顔画像とを比較して、配信先の人物を特定する。そしてサーバは、特定した人物に対応する電子メールアドレスをデータベースから取得する。サーバは、この電子メールアドレスを宛先にして、この人物が被写体となった画像を添付した電子メール、あるいは、人物画像をダウンロードするためのURLを添付した電子メールを配信する(例えば、特許文献1を参照)。 For example, the server stores a face image of a person the user wants to distribute a person image and an e-mail address of the person's transmission destination in a database. When an image of one or more persons as a subject is uploaded from the user's terminal, the face image of the person who is the subject of the image received by the server is compared with the face image to be recognized registered in the database , Identify the person to whom you want to deliver Then, the server acquires an e-mail address corresponding to the specified person from the database. The server distributes an e-mail attached with an image in which the person is a subject or an e-mail attached with a URL for downloading a person image with the e-mail address as a destination (for example, Patent Document 1). See).
しかしながら、前述の特許文献1に開示された構成では、被写体となった人物に自動的に画像を送信することができるが、自分自身がどのように撮影されたのかを被写体が知ることができるのは、あくまで撮影を終えた後であった。つまり、例えばその被写体の襟が折れていたり、ネクタイが曲っていたりしたとしても、誰かが指摘しなければ撮影前に被写体がそれに気付くことは難しく、撮影を終えた後にしか被写体がそれを確認することができなかった。 However, in the configuration disclosed in Patent Document 1 described above, an image can be automatically transmitted to the person who is the subject, but the subject can know how the subject was photographed. Was after the filming was over. In other words, even if the subject's collar is broken or the tie is bent, it is difficult for the subject to notice it unless someone points out, and the subject confirms it only after shooting. I couldn't.
本発明は前述の問題点に鑑み、特に人物の写真を撮る場合において、被写体となる一人以上の人物にとって、満足度が高い写真を撮影することが可能な撮像装置を提供できるようにすることを目的としている。 In view of the above-described problems, the present invention is to provide an imaging apparatus capable of taking a photograph with high satisfaction for one or more persons who are subjects, particularly when taking a photograph of a person. It is aimed.
本発明の撮像装置は、被写体を撮像して撮像データを生成する撮像手段と、前記撮像手段により生成された撮像データから顔検出を行う顔検出手段と、前記顔検出手段により検出された顔の個人識別を行い、認証する個人識別手段と、前記個人識別手段の認証結果に基づき、前記撮像データより、前記個人識別手段により認証された人物を切り出す処理を行う画像処理手段と、前記画像処理手段により処理された撮像データを、前記個人識別手段により認証された人物に関連付けられた端末を送信先として、ネットワーク上に送出するネットワーク通信手段と、本撮影を指示する撮影指示手段と、前記撮影指示手段にて本撮影が指示されたことに応じて行われた本撮影で生成された撮像データを記録する記憶手段とを有し、前記撮影指示手段によって本撮影が指示されるよりも前に前記撮像手段により生成され、かつ、前記記憶手段に記録されない動画像の撮像データに対して、前記顔検出手段、前記個人識別手段、前記画像処理手段、および、前記ネットワーク通信手段が各々の処理を行うことを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup unit that picks up a subject and generates image pickup data, a face detection unit that detects a face from the image pickup data generated by the image pickup unit, and a face detected by the face detection unit. performs personal identification, a personal identification means for authenticating based on the authentication result of the personal identification means, image processing means for performing from the imaging data, a process to cut out the authenticated person by the personal identification means, the image Network communication means for sending the image data processed by the processing means to a network associated with the person authenticated by the personal identification means on the network, a photographing instruction means for instructing main photographing, Storage means for recording imaging data generated by actual imaging performed in response to the instruction of actual imaging by the imaging instruction unit, and the imaging instruction unit Therefore, the face detection means, the personal identification means, the image processing means, and the like are used for moving image imaging data that is generated by the imaging means and is not recorded in the storage means before the actual photographing is instructed. And the said network communication means performs each process, It is characterized by the above-mentioned.
本発明のネットワークカメラシステムは、前記に記載の撮像装置と、前記撮像装置より送信された動画像を表示装置に表示する表示端末を有し、前記表示端末は、前記表示装置に表示された画像がユーザの意図にそぐわない場合は、前記撮像装置に対して再撮影の要求を行う通信手段を有することを特徴とする。 The network camera system of the present invention includes the imaging device described above and a display terminal that displays a moving image transmitted from the imaging device on a display device, and the display terminal displays an image displayed on the display device. Is not suitable for the user's intention, it has a communication means for requesting re-shooting to the imaging apparatus.
本発明によれば、本撮影前に、被写体に自分がどのように撮られるかを事前に画像で確認させることが可能となる。 According to the present invention, it is possible to confirm in advance an image how the subject is photographed before the actual photographing.
(第1の実施形態)
図1に、本発明の撮像装置を用いたネットワークカメラシステムの概略構成を説明するブロック図を示す。
本実施形態の撮像装置1500には画像処理部1100、撮像部1200、及び通信部1300の大きく分けて3つの構成要素が存在する。撮像部1200は、映像が入射されるレンズ1210、レンズ1210で集められた光を電気信号に変換するセンサー1220、センサー1220から得られる信号を現像する現像処理部1230からなる。このような構成により、被写体を撮像して撮像データを生成する。
(First embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration of a network camera system using the imaging apparatus of the present invention.
The
現像された信号は画像データとして画像処理部1100に与えられ、そこで符号化などの処理を経た後、通信部1300に符号化データとして与えられる。通信部1300は、ネットワーク通信部として機能して、入力された符号化データを送出するネットワークの形態に応じてパケット化するなどの処理をネットワーク制御部1310が行い、ネットワークインターフェース1320に対して送信用データとして出力する。
The developed signal is provided as image data to the
ネットワークインターフェース1320は、ネットワーク制御部1310から入力された送信用データを、ネットワーク網1400に対してそのネットワークの形態に応じた形で送出する。ネットワーク網1400は、Ethernet(登録商標)等の有線LAN、IEEE802.11b等に代表される形式の無線LAN、もしくはISDN等の公衆回線網などを代表的なものとして想定することができる。
The
画像処理部1100で処理された画像は、メディアドライブ1600を介して、メモリーカード1700に保存される。また、メモリーカード1700は着脱可能であり、メモリーカード1700に保存された画像データを、メディアドライブ1600を介して読み出し、画像処理部1100で再び処理することも可能である。
The image processed by the
なお、本実施形態では図1において画像処理部1100、撮像部1200、通信部1300はそれぞれ別のブロックとして記述しているが、本実施形態を実ハードウェアで構成する際には、これらのブロックをそれぞれ別のICとして実現することができる。もしくは、各部のいくつかの部分(例えば現像処理部1230と画像処理部1100とネットワーク制御部1310)をまとめて1チップ上に実現するなどの様々な実現形態が可能であり、その形態は本実施形態において制限されるものではない。また、ここで述べる表示端末とは、通信機能と画像の表示機能を有したものであり、携帯電話などが好例となる。
In the present embodiment, the
図2は、画像処理部1100の詳細な構成を示すブロック図である。
図2において、画像処理部1100にはフレームバッファ1110、画像データDMAC(ダイレクトメモリアクセス・コントローラ)1120、ラスタ/ブロック変換用メモリ1140、コーデック処理部1150、符号化データDMAC1160を有している。また、制御用シーケンサ1170、画像処理用メモリ1121、データバッファ1112も有している。
FIG. 2 is a block diagram illustrating a detailed configuration of the
In FIG. 2, the
制御用シーケンサ1170は、この画像処理部1100の中の画像データDMAC1120、ラスタ/ブロック変換用メモリ1140、コーデック処理部1150、符号化データDMAC1160とそれぞれ制御用信号線で接続されている。そして、これらの各ユニットの制御を実施する。
The
更に、現像処理部1230とは、フレームデータ転送完了割込み信号線、通信部1300とは画像−通信部間制御信号1171で接続され、相互に信号をやり取りして動きを制御する。また、コーデック処理部1150は、画像処理用メモリ1121と接続され、このメモリを利用して各種画像処理を実施する。
Further, the
更に、コーデック処理部1150は内部にパラメータレジスタ1151を持っており、このパラメータレジスタに対して制御用シーケンサ1170が書き込んだ値に従って、各種画像処理を実施するものとする。
Further, the codec processing unit 1150 has a
更に、コーデック処理部1150は内部に顔認識部1152と個人識別部1153とを有し、撮影された画像より、人物の顔検出及び個人識別を行う。なお、フレームバッファ1110、画像処理用メモリ1121、データバッファ1112のそれぞれは画像処理部1100のそれ以外の構成要素が1つのICの中で実現される場合に、それらと同一のIC上のオンチップメモリとして構成することが可能である。また、ICの外部でそのICと接続されるメモリデバイス(例えばSDR(Single Data Rate)またはDDR(Double Data Rate)のSDRAM(シンクロナスDRAM)など)として実現することが可能である。また、そのメモリもそれぞれを別のメモリデバイス上に配することや1つの同じメモリデバイス上に配置するなど、様々な構成をとることが可能である。
Further, the codec processing unit 1150 includes a
以下、撮像装置1500の基本動作等について図1、2を用いて詳細に説明する。
図1において、まず、撮像部1200のレンズ1210によって集められた光の画像情報がセンサー1220によって電気信号として取り込まれる。このセンサー1220はCCDイメージセンサー、またはCMOSイメージセンサーなどを利用することが可能である。本実施形態においては、正方画素のプログレッシブ形式のCCDであるとする。
Hereinafter, basic operations and the like of the
In FIG. 1, first, image information of light collected by the
また、その有効画素数は640×480のいわゆるVGAサイズであり、1/30秒毎に1フレームのVGA画像を出力することができるものとする。すなわち、本実施形態での1映像期間(1画面分の画像データの更新間隔)は1/30秒(およそ33.3mS)であるとする。センサー1220で光電変換されて電気信号として取り込まれた画像データは、順次読み出され現像処理部1230に渡される。現像処理部1230では、センサー1220から得られた画像データを信号処理して、輝度信号と色差信号を作り出し、後段で処理しやすい形式にして出力する。仮にここでは、YUV422形式で出力されるものとする。
The number of effective pixels is a so-called VGA size of 640 × 480, and a VGA image of one frame can be output every 1/30 seconds. That is, it is assumed that one video period (image data update interval for one screen) in this embodiment is 1/30 second (approximately 33.3 mS). The image data photoelectrically converted by the
以下に、本実施形態の撮像装置1500の動作を図3のフローチャートを参照しながら説明する。
電源投入後、まず、ステップS1001において撮像部1200の駆動を開始する。次に、ステップS1002において、スルー画像の撮影を行い、スルー画像取り込みを開始する。ここで述べるスルー画像とは、撮像部1200で特定のフレームレートにより逐次撮影される画像のことであり、メモリーカード1700への記録を目的とするものではなく、被写体の様子をリアルタイムにユーザに認識させるための動画を指す。
Hereinafter, the operation of the
After the power is turned on, first, driving of the
本撮影の前にこのスルー画像を撮像装置1500の図示されていないディスプレイに表示することによって、本撮影前に現在の撮像部1200で撮像できる画角や被写体をユーザに認識させる。
By displaying the through image on a display (not shown) of the
次に、ステップS1003において、メディアドライブ1600からメモリーカード(記憶装置)1700に保存されている、人物の顔写真(顔画像)を読み出す。メモリーカード1700に保存されている人物の画像は、各端末を持つユーザに予め用意させてもよいし、本撮影の準備前に、撮像装置1500を使用して取得してもよい。
In step S <b> 1003, a human face photograph (face image) stored in a memory card (storage device) 1700 is read from the
このとき、スルー画像に含まれる人物の抽出(ステップS1004)、個人識別、および、各端末との関連付けを画像処理部1100の中に含まれる、顔認識部1152、個人識別部1153で行う。
At this time, extraction of a person included in the through image (step S1004), personal identification, and association with each terminal are performed by the
また、人物の切り出し動画像の出力先となる各端末との関連づけを容易にするため、1画像につき一人の人物を写しておき、ファイル名と端末名とを予め関連付けしておくとよい。スルー画像からの、人物の顔の抜き出し方について、ここではその詳細を述べないが、具体的な技術として、特開平11-173632号公報等に記載されている技術を用いることができる。 Further, in order to facilitate the association with each terminal that is the output destination of the cut-out moving image of the person, it is preferable to copy one person per image and associate the file name and the terminal name in advance. Although details of how to extract a person's face from a through image are not described here, as a specific technique, a technique described in JP-A-11-173632 or the like can be used.
次に、ステップS1005において、撮像部1200より取り込まれたスルー画像から人物の顔を抜き出し、前述した各表示端末1400a〜1400hから受信した画像より抜き出された人物の顔との比較を行い個人の識別をする。個人の識別の詳細については、具体的な技術として、特開2004−046697号公報に記載の技術を用いることができる。
Next, in step S1005, a person's face is extracted from the through image captured from the
次に、ステップS1006において、スルー画像中に、メモリーカード1700から読み出した画像と同一の人物がいると判断された場合は、前記人物の顔を抜き出したスルー画像の現像を行う。現像の際は、被写体の人物の顔が、切り出しによって欠けることなく、またディスプレイ付き端末1400aのディスプレイ1401aで表情まで確認できるようなサイズと解像度で切り出す。あるいは、周囲との立ち位置の関係や、その人物がどの程度他の人物の影になっているかを確認できるように、被写体の人物の全身がディスプレイ1401aに収まるサイズで切り出しても構わない。また、ディスプレイ1401aの解像度については、処理性能判断部1311が予めデータとして記憶しても、処理性能判断部1311がディスプレイ付き端末1400aから通信によって解像度情報を得るようにしても構わない。
In step S1006, if it is determined that the same person as the image read from the
さらに、ステップS1007では、リアルタイムに各表示端末1400a〜1400hで抜き出した顔のスルー画像の表示を行えるよう、通信部1300より出力する。また、これと同時に、顔を抜き出す前のスルー画像を撮像装置1500のディスプレイに表示する。このとき、撮像装置1500のディスプレイには撮影画角の全体像がリアルタイムで表示され、その中に個人の識別に成功した被写体が含まれていれば、その被写体の所有する表示端末にその被写体の顔を中心として切り出された画像がリアルタイムで表示される。
Further, in step S1007, the
次に、ステップS1008で、撮像装置1500の駆動を終了するか否かの判断を行う。これは、ユーザによって撮影を終了するための操作が行われたか否かを判断することによって行う。この判断の結果、引き続き撮影を行う場合は、ステップS1009に進み、前述した各表示端末1400a〜1400hで、本撮影の準備完了ボタンが押されたか否かを確認する。このときの各表示端末1400a〜1400hでの動作については図4を用いて後述する。この確認の結果、通信部1300が撮影許可を認識した場合、ステップS1010で撮影指示がなされ、本撮影の駆動に移る。ここで言う本撮影とは、図示されていないが、レンズ1210内に含まれるメカシャッターを使用する撮像モードであり、センサー1220内で画素加算などを行わない、高精細な静止画等を指す。
Next, in step S1008, it is determined whether or not to finish driving the
本撮影終了後には、ステップS1011で画像処理部1100において、識別された各人物の顔とその周辺を切り出した静止画を作成し、通信部1300より各表示端末1400a〜1400h宛に、人物の顔と対応する、前記切り出した静止画を送信する。また、切り出しを行う前の静止画を、メディアドライブ1600を介してメモリーカード1700に保存する。
After the actual shooting is finished, in step S1011 the
次に、ステップS1012において、各表示端末1400a〜1400hからの再撮影の要求を通信部1300において受け付ける。その後、ステップS1013において、再撮影の要求の有無を確認する。この確認の結果要求がなかった場合には、そのまま終了となる。一方、再撮影の要求がなされた場合には、ステップS1014で各表示端末1400a〜1400h宛に、通信部1300より再撮影を行う旨を送信し、ステップS1006に戻る。
Next, in step S1012, the
次に、図4のフローチャートを参照しながら画像表示機能付きの表示端末1400a〜1400hの駆動を説明する。
まず、ステップS2001で撮像装置1500の撮像部1200で取得された画像から、各表示端末1400a〜1400hを持つユーザの顔とその周囲を切り出しされたスルー画像を受信する。
Next, driving of the
First, from the image acquired by the
次に、ステップS2002に進み、切り出しされたスルー画像は、各表示端末1400a〜1400hのディスプレイ1401a〜1401hに表示され、ユーザが撮像装置1500でどのように撮影されているかリアルタイムで確認できる。
Next, the process proceeds to step S2002, and the cut-out through images are displayed on the
次に、ステップS2003において、撮影準備が完了したか判断が行われる。各表示端末1400a〜1400hは、切り出しされたスルー画像を見ているユーザに対して、本撮影への移行についての可否を問合せる表示を行い、移行を許可するのであれば、所定の操作をするようユーザに指示する。例えば、本撮影の準備が完了したのであれば、ユーザに各表示端末1400a〜1400hの準備完了ボタンを押下させればよい。この判断の結果、本撮影(撮像装置1500によるメカシャッターを使用した静止画の撮影)を行う準備ができた際には、ステップS2004へ進み、準備ができていない場合には、ステップS2001に戻る。
Next, in step S2003, it is determined whether shooting preparation is completed. Each of the
次に、ステップS2004で撮像装置1500に本撮影の準備が完了した旨を送信する。全ての表示端末1400a〜1400hから本撮影の準備が完了した旨が撮像装置1500に送られると、撮像装置1500は本撮影を行う。そして、本撮影が行われた後に、撮影された静止画から、各端末のユーザの顔が写っている部分を切り出した静止画を各表示端末1400a〜1400hは受信する(ステップS2005)。
In step S2004, the
各表示端末1400a〜1400hは、受信した静止画をステップS2006で各ディスプレイ1401a〜1401hに表示し、ユーザに確認を促す。
次に、ステップS2007に進み、本撮影された画像について、ユーザが気に入らなくて再撮影の要求が有るか否かを判断する。この判断の結果、再撮影の要求が有る場合にはステップS2008に進み、ユーザにより再撮影ボタンが押下されるのを待機する。そして、ユーザにより再撮影ボタンが押下された場合にはステップS2009に進んで撮像装置1500へ再撮影の要求を出す。一方、ステップS2007の判断の結果、再撮影の要求がなかった場合には処理を終了する。
The
Next, the process proceeds to step S2007, and it is determined whether or not there is a request for re-shooting the image that has been actually shot without the user's satisfaction. If the result of this determination is that there is a request for re-photographing, the process advances to step S2008 to wait for the user to press the re-photographing button. If the user presses the re-shooting button, the process advances to step S2009 to issue a re-shooting request to the
このように、撮影中の動画像とメモリーカード1700に記録されている画像の中から人物を抽出し、個人識別の認証を行う。そして、認証結果に応じて、人物ごとにそれぞれのディスプレイ付き端末に個別のスルー画像を切り出して出力する。こうすることにより、各ユーザが本撮影前の自分の姿を見ることができる。
In this manner, a person is extracted from the moving image being shot and the image recorded on the
以上により、被写体となる各ユーザ自身が撮像装置1500でどのような表情で撮影されているか、逐次確認することができる。例えば、襟が折れていたり、ネクタイが曲っていたりすれば、このディスプレイ付き端末に表示されたスルー画像をみることで、撮影前にそれを認識して直すことが可能となる。これにより、被写体となるユーザにとって満足度の高い静止画像の撮影を行うことができる。
As described above, it is possible to sequentially confirm what expression each user who is a subject is photographed with the
さらに、本撮影後に静止画の自分の移っている部分を確認することにより、目つぶりや被写体となる人物の望まないような表情で撮影された場合に、素早く再撮影を行うことができる。
なお、本撮影に静止画を撮影する例をあげて説明を行ったが、本撮影は動画であっても構わない。動画撮影前に、スルー画像を認証結果に応じてディスプレイ付き端末に出力することで、静止画のときと同様に、動画撮影開始時に自分がどのような状態になるのかを予め確認することができる。
Furthermore, by recognizing the part of the still image where the person has moved after the actual shooting, it is possible to quickly re-shoot when the image is taken with a blink or an undesired expression of the person who is the subject.
In addition, although the example which image | photographs a still image was given and demonstrated to this imaging | photography, this imaging | photography may be a moving image. By outputting the through image to the terminal with a display according to the authentication result before moving image shooting, it is possible to check in advance what the state will be at the start of moving image shooting, as with still images. .
(第2の実施形態)
本実施形態では、画像表示機能を持つ端末に撮像部1200をさらに設けた場合で説明を行う。
以下に、図5のフローチャートを参照しながら撮像装置の駆動を説明する。
電源投入後、まずステップS3001において撮像部1200の駆動を開始し、ステップS3002においてスルー画像の取り込みを行う。
(Second Embodiment)
In the present embodiment, a case where an
Hereinafter, the driving of the imaging apparatus will be described with reference to the flowchart of FIG.
After the power is turned on, the driving of the
次に、ステップS3003において、通信部1300から各表示端末1400a〜1400hの図示していないカメラで撮影された、人物の顔写真(顔画像)を受信する。受信した画像は、メディアドライブ1600を介してメモリーカード1700に一時的に記憶してもよい。次に、ステップS3004において、各表示端末1400a〜1400hから受信した画像より、人物の顔を検出する。
Next, in step S3003, a face photo (face image) of a person taken by a camera (not shown) of each of the
次に、ステップS3005において、撮像部1200より取り込まれたスルー画像から人物の顔を抜き出し、各表示端末1400a〜1400hから受信した画像より抜き出された人物の顔とを比較して個人の識別を行い、同一人物の顔を検索して同定する。
Next, in step S3005, a person's face is extracted from the through image captured from the
次に、ステップS3006において、スルー画像中に、各表示端末1400a〜1400hから受信した画像と同一の人物がいると判断された場合は、その顔を抜き出したスルー画像の現像を行い、スルー画像を作成する。
Next, in step S3006, if it is determined that there is the same person as the image received from each of the
次に、ステップS3007に進み、リアルタイムに各表示端末1400a〜1400hで抜き出した顔のスルー画像の表示を行えるよう、通信部1300より、対応する送信先の端末に送信する。また、これと同時に、顔を抜き出す前のスルー画像を撮像装置1500のディスプレイに表示する。
In step S3007, the
次に、ステップS3008で、撮像装置1500の駆動を終了するか否かの判断を行う。この判断の結果、引き続き撮影を行う場合は、ステップS3009に進み、各表示端末1400a〜1400hで、本撮影の準備完了ボタンが押されたことを確認する。各表示端末1400a〜1400hでの動作については図6を用いて後で説明する。この確認の結果、各表示端末1400a〜1400hで本撮影の準備完了ボタンが押されたことを通信部1300が認識した場合、ステップS3010で本撮影の駆動に移る。
Next, in step S3008, it is determined whether or not to finish driving the
本撮影終了後には、ステップS3011に進み、画像処理部1100において、識別された各人物の顔とその周辺を切り出した静止画を作成し、通信部1300より各表示端末1400a〜1400h宛に、人物の顔と対応する、前記切り出した静止画を送信する。また、切り出しを行う前の静止画を、メディアドライブ1600を介してメモリーカード1700に保存する。
次に、ステップS3012において、各表示端末1400a〜1400hからの再撮影の要求を通信部1300において受け付ける。
After the completion of the main shooting, the process proceeds to step S3011, where the
Next, in step S <b> 3012, the
次に、ステップS3013において、再撮影の要求の有無を判断する。この判断の結果、再撮影の要求がなかった場合には、そのまま終了となる。また、再撮影の要求がなされた場合にはステップS3014に進み、各表示端末1400a〜1400h宛に、通信部1300より再撮影を行う旨を送信し、その後、ステップS3006に戻る。
In step S3013, it is determined whether there is a request for re-shooting. If there is no request for re-shooting as a result of this determination, the processing is ended as it is. If a request for re-photographing is made, the process proceeds to step S3014, the
次に、図6のフローチャートを参照しながら画像表示機能付きの各表示端末1400a〜1400hの駆動を説明する。この例では、画像表示機能付きの端末にさらに図示されていないカメラが内蔵されていることとする。
Next, driving of the
まず、ステップS4001で撮像部1200の駆動を行う。
次に、ステップS4002で撮影モードか否かの判断を行う。この判断の結果、撮影モードである場合はステップS4003に進み、スルー画像の撮影を開始する。次に、ステップS4004において、シャッタボタンが押下されるまで待機する。そして、シャッタボタンが押下された場合にはステップS4005に進み、ユーザの顔を写した静止画の撮影を行う。
First, in step S4001, the
Next, in step S4002, it is determined whether or not the shooting mode is set. If the result of this determination is that the camera is in shooting mode, processing proceeds to step S4003 and shooting of a through image is started. In step S4004, the process waits until the shutter button is pressed. If the shutter button is pressed, the process advances to step S4005 to take a still image that captures the user's face.
次に、ステップS4006に進み、ステップS4005の撮影によって取得された静止画像を撮像装置1500に送信する。このとき、撮影された画像を基にして、撮像装置1500は画像処理部1100において個人の認証を行う。ステップS4006の処理を終ったらステップS4002に戻る。撮影された画像が気に入らない場合は、ステップS4002において撮影モードを再度選択し、ユーザの顔を写した静止画の再撮影を行う。
Next, the process proceeds to step S4006, and the still image acquired by the imaging in step S4005 is transmitted to the
ユーザの顔の撮影が終わった場合は、ステップS4002の判断の結果が撮影モードではなくなり、ステップS4002からステップS4007に移行する。ステップS4007では、撮像装置1500の撮像部1200で取得された画像から、各表示端末1400a〜1400hを持つユーザの顔とその周囲を切り出しされたスルー画像を受信する。
When the user's face has been shot, the result of the determination in step S4002 is not the shooting mode, and the process proceeds from step S4002 to step S4007. In step S4007, a through image obtained by cutting out the face of the user having each of the
次に、ステップS4008に進み、切り出しされたスルー画像を各表示端末1400a〜1400hのディスプレイ1401a〜1401hに表示する。これにより、ユーザは撮像装置1500でどのように撮影されているかリアルタイムで確認することができる。
Next, the process proceeds to step S4008, and the cut-out through images are displayed on the
次に、ステップS4009において、本撮影(撮像装置1500によるメカシャッターを使用した静止画の撮影)を行う準備が完了したか否かを判断する。各表示端末1400a〜1400hは、切り出しされたスルー画像を見ているユーザに対して、本撮影に移行してよいか否かを問合せる表示を行い、移行を許可するのであれば、所定の操作をするようユーザに指示する。この判断の結果、完了していない場合にはステップS4007に戻る。また、完了した場合には、ステップS4010へ進む。
Next, in step S4009, it is determined whether or not preparation for performing the main shooting (still image shooting using a mechanical shutter by the imaging device 1500) is completed. Each of the
ステップS4010においては、各表示端末1400a〜1400hから撮像装置1500に本撮影の準備が完了した旨が送信される。
In step S4010, the
全ての端末から本撮影の準備が完了した旨が撮像装置1500に送られると、撮像装置1500は本撮影を行う。そして、本撮影後に、撮影された静止画から、各端末のユーザの顔が写っている部分を切り出した静止画を各表示端末1400a〜1400hは受信する(ステップS4011)。
次に、ステップS4012において、各表示端末1400a〜1400hは、受信した静止画を各ディスプレイに表示し、ユーザに確認を促す。
When the fact that preparations for main shooting have been completed is sent from all terminals to the
Next, in step S4012, each
次に、ステップS4013において、再撮影の要求の有無を判断する。このステップにおいては、本撮影された画像について、ユーザが意図にそぐわなくて気に入らなかった場合、ユーザは再撮影要求を行う。再撮影を行う場合にはステップS4014に進む。ステップS4014において再撮影ボタンが押下されると、撮像装置1500へ再撮影の要求を出す(ステップS4015)。ステップS4015の処理を終了するとステップS4007に戻り、前述した処理を繰り返し行う。また、ステップS4013の判断の結果、再撮影の要求ではない場合にはエンドとなる。 In step S4013, it is determined whether there is a request for re-shooting. In this step, if the user does not like the actually captured image because the user does not like the intention and does not like the image, the user makes a re-imaging request. If re-photographing is to be performed, the process proceeds to step S4014. When the re-shooting button is pressed in step S4014, a request for re-shooting is issued to the imaging apparatus 1500 (step S4015). When the process of step S4015 is completed, the process returns to step S4007 and the above-described process is repeated. Further, if the result of determination in step S4013 is not a request for re-shooting, the process ends.
本実施形態のように、カメラ付きの端末で各人物の顔の画像を用意することにより、撮影前に被写体の画像を予め用意する必要がないなど、第1の実施形態に比べ、本撮影前の準備の手間を大幅に削減することができる。 Compared to the first embodiment, the image of the face of each person is prepared by a terminal equipped with a camera as in the present embodiment, so that it is not necessary to prepare the image of the subject in advance before shooting. The preparation time can be greatly reduced.
さらに、撮影中の動画像と各ディスプレイとカメラ付き端末から送られた画像の中から人物を抽出し、個人識別を行い、認証された人物ごとにそれぞれの端末に個別の動画像を出力することにより、各ユーザが望む、最適な動画像を提供することができる。 In addition, a person is extracted from the moving images being shot and images sent from each display and camera-equipped device, personal identification is performed, and an individual moving image is output to each terminal for each authenticated person. Thus, it is possible to provide an optimal moving image desired by each user.
(本発明に係る他の実施形態)
前述した本発明の実施形態における撮像装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each unit constituting the imaging apparatus according to the above-described embodiment of the present invention can be realized by operating a program stored in a RAM or a ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.
なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム(実施形態では図3〜図6に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 3 to 6) for executing each step in the imaging method described above is directly or remotely supplied to the system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリーカード1700、ROM、DVD(DVD−ROM,DVD−R)などがある。
Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape,
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer may perform part or all of the actual processing. The functions of the above-described embodiments can be realized.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
1100 画像処理部
1110 フレームバッファ
1112 データバッファ
1120 画像データDMAC
1121 画像処理用メモリ
1140 ラスタ/ブロック変換用メモリ
1150 コーデック処理部
1151 パラメータレジスタ
1152 顔認識部
1153 個人識別部
1160 符号化データDMAC
1170 制御用シーケンサ
1171 画像-通信部間制御信号
1200 撮像部
1210 レンズ
1220 センサー
1230 現像処理部
1300 通信部
1310 ネットワーク制御部
1320 ネットワークインターフェース
1311 処理性能判断部
1400 ネットワーク網
1400a〜h ディスプレイ付き端末
1401a〜h ディスプレイ
1500 撮像装置
1600 メディアドライブ
1700 メモリーカード
1100
1121
1170
Claims (5)
前記撮像手段により生成された撮像データから顔検出を行う顔検出手段と、
前記顔検出手段により検出された顔の個人識別を行い、認証する個人識別手段と、
前記個人識別手段の認証結果に基づき、前記撮像データより、前記個人識別手段により認証された人物を切り出す処理を行う画像処理手段と、
前記画像処理手段により処理された撮像データを、前記個人識別手段により認証された人物に関連付けられた端末を送信先として、ネットワーク上に送出するネットワーク通信手段と、
本撮影を指示する撮影指示手段と、
前記撮影指示手段にて本撮影が指示されたことに応じて行われた本撮影で生成された撮像データを記録する記憶手段とを有し、
前記撮影指示手段によって本撮影が指示されるよりも前に前記撮像手段により生成され、かつ、前記記憶手段に記録されない動画像の撮像データに対して、前記顔検出手段、前記個人識別手段、前記画像処理手段、および、前記ネットワーク通信手段が各々の処理を行うことを特徴とする撮像装置。 Imaging means for imaging a subject and generating imaging data;
Face detection means for performing face detection from imaging data generated by the imaging means;
Personal identification means for performing personal identification of the face detected by the face detection means and authenticating;
Based on the authentication result of the personal identification means, image processing means for performing from the imaging data, a process to cut out the authenticated person by the personal identification means,
Network communication means for sending the imaging data processed by the image processing means to a network with a terminal associated with the person authenticated by the personal identification means as a destination ;
Photographing instruction means for instructing the main photographing;
Storage means for recording imaging data generated in the main shooting performed in response to the instruction of the main shooting by the shooting instruction unit;
With respect to moving image imaging data that is generated by the imaging unit and is not recorded in the storage unit before actual imaging is instructed by the imaging instruction unit, the face detection unit, the personal identification unit, An image processing apparatus and an image pickup apparatus, wherein the network communication means performs respective processes.
前記個人識別手段は、前記記憶手段に保存されている人物の顔と、前記撮像装置で撮影された画像に含まれる人物の顔とを比較することにより、個人を識別することを特徴とする請求項1に記載の撮像装置。 The storage means stores in advance image data of a person's face,
The personal identification means identifies an individual by comparing the face of a person stored in the storage means with the face of a person included in an image taken by the imaging device. Item 2. The imaging device according to Item 1.
前記表示端末は、前記表示装置に表示された画像がユーザの意図にそぐわない場合は、前記撮像装置に対して再撮影の要求を行う通信手段を有することを特徴とするネットワークカメラシステム。 An imaging apparatus according to any one of claims 1 to 4 , and a display terminal that displays a moving image transmitted from the imaging apparatus on a display device,
The network camera system according to claim 1, wherein the display terminal includes communication means for requesting the imaging device to perform re-shooting when an image displayed on the display device does not meet a user's intention.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008255502A JP5159544B2 (en) | 2008-09-30 | 2008-09-30 | Imaging apparatus and network camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008255502A JP5159544B2 (en) | 2008-09-30 | 2008-09-30 | Imaging apparatus and network camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010087898A JP2010087898A (en) | 2010-04-15 |
JP5159544B2 true JP5159544B2 (en) | 2013-03-06 |
Family
ID=42251382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008255502A Expired - Fee Related JP5159544B2 (en) | 2008-09-30 | 2008-09-30 | Imaging apparatus and network camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5159544B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11155092A (en) * | 1997-11-20 | 1999-06-08 | Sony Corp | Remote monitor device and image pickup system |
JP2000152206A (en) * | 1998-11-13 | 2000-05-30 | Canon Inc | Communication conference connector, communication conference system, control method for communication conference and storage medium |
JP2004096165A (en) * | 2002-08-29 | 2004-03-25 | Nikon Corp | Electronic camera and electronic camera system |
JP2004326281A (en) * | 2003-04-23 | 2004-11-18 | Fuji Photo Film Co Ltd | Image distributing server |
JP4220856B2 (en) * | 2003-08-18 | 2009-02-04 | 本田技研工業株式会社 | Image capturing apparatus and method for mobile robot using portable terminal device |
JP2007028077A (en) * | 2005-07-14 | 2007-02-01 | Noritsu Koki Co Ltd | Portable terminal |
JP4662902B2 (en) * | 2006-10-10 | 2011-03-30 | 富士フイルム株式会社 | Shooting system |
JP2009267663A (en) * | 2008-04-24 | 2009-11-12 | Sony Ericsson Mobilecommunications Japan Inc | Imaging device, imaging method, imaging control program, and mobile terminal device |
-
2008
- 2008-09-30 JP JP2008255502A patent/JP5159544B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010087898A (en) | 2010-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6240642B2 (en) | Method and apparatus for providing image of image capturing apparatus | |
JP5182352B2 (en) | Imaging apparatus, image composition method, and program | |
JP5347847B2 (en) | Image capturing apparatus, communication establishment method, program | |
JP5401420B2 (en) | Imaging device | |
JP4520259B2 (en) | Multimedia recording apparatus, multimedia recording method, and multimedia recording system | |
JP2006502660A (en) | Remote control photography system and method | |
JP5402018B2 (en) | Display device and imaging device | |
JP2004215090A (en) | Image communication system and image processing apparatus | |
JP5159544B2 (en) | Imaging apparatus and network camera system | |
JP2009027503A (en) | Imaging apparatus, alteration detecting method, and alteration detecting device | |
JP4875955B2 (en) | Image album creating apparatus and method, communication terminal, and image collecting apparatus | |
JP4891123B2 (en) | Image display device, image display method, and program | |
JP7212862B2 (en) | Image processing device, image processing method, image providing system and image processing program | |
JP4920492B2 (en) | Imaging device | |
JP2004104426A (en) | Imaging apparatus | |
JP2010147691A (en) | Image generation device and method, and program | |
JP5293422B2 (en) | Image specifying device and image specifying program | |
JPH1155617A (en) | Image pickup device | |
JP5504635B2 (en) | Display device, image display method, and program | |
JP2009159395A (en) | Digital camera with projector and projection system | |
JP2010268367A (en) | Electronic apparatus | |
JP2008085383A (en) | Electronic device | |
JP2009005190A (en) | Imaging device and image communication system | |
JP2007116610A (en) | Photographing device and photographing method | |
JP2008262487A (en) | Imaging unit, and method for generating and recording synchronization file |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121211 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5159544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |