JP6460510B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP6460510B2 JP6460510B2 JP2012178516A JP2012178516A JP6460510B2 JP 6460510 B2 JP6460510 B2 JP 6460510B2 JP 2012178516 A JP2012178516 A JP 2012178516A JP 2012178516 A JP2012178516 A JP 2012178516A JP 6460510 B2 JP6460510 B2 JP 6460510B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- subject
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Projection Apparatus (AREA)
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
従来から、壁やスクリーン等の投影対象に向けて投影画像を投影するいわゆるプロジェクタの機能が搭載されたデジタルカメラが知られている（例えば、特許文献１参照）。このような機能が搭載されたデジタルカメラは、投影画像を投影対象に対し投影すると同時に、当該投影画像が投影されている投影対象を背景として、デジタルカメラと投影対象との間に存在する人物等を被写体として動画像や静止画像を撮像することができる。 2. Description of the Related Art Conventionally, there is known a digital camera equipped with a so-called projector function that projects a projection image toward a projection target such as a wall or a screen (for example, see Patent Document 1). A digital camera equipped with such a function projects a projection image onto a projection target, and at the same time, a person or the like existing between the digital camera and the projection target with the projection target on which the projection image is projected as a background. A moving image or a still image can be captured using the subject as a subject.
しかしながら、特許文献１を含め従来のデジタルカメラがこのような撮像を行うと、被写体に対して投影画像の少なくとも一部が重畳して投影される。したがって、被写体の形状如何によっては、投影画像が歪んでしまう等、所望の状態で投影画像を投影できないため、投影画像の鮮明さが損なわれてしまう。
However, when conventional digital cameras including
本発明は、このような状況に鑑みてなされたものであり、投影対象の手前に位置する被写体の存在に関わらず所望の投影画像を投影することを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to project a desired projection image regardless of the presence of a subject located in front of a projection target.
上記目的を達成するため、本発明の一態様の画像処理装置は、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された撮像画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる撮像画像から、前記被写体の顔領域を検出する被写体検出手段と、
被写体の顔を判別するための画像を記憶する記憶手段と、
前記被写体検出手段により検出された被写体の顔領域に含まれるデータと、前記記憶手段に記憶されている画像に含まれるデータと、が略一致するか否かを判別する判別手段と、
前記判別手段により略一致すると判別された場合にのみ、前記検出された被写体の顔領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を備えることを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
Projection control means for executing control for projecting a projection image according to an input image signal onto a projection target by the projection means;
From the captured image captured by the imaging unit, including the projection target on which the projection image is projected by the projection unit, and a subject positioned in front of the projection target as viewed from the projection unit, a subject detecting means for detecting a face area of the subject,
Storage means for storing an image for determining the face of the subject;
A discriminating unit for discriminating whether or not the data included in the face area of the subject detected by the subject detecting unit and the data included in the image stored in the storage unit substantially match ;
Only when it is determined that substantially coincides with the discriminating means, the projection image before dangerous out the image processing of the Jo Tokoro with respect face area of the object, performs the subject projected image projected by the projection means Processing means;
It is characterized by providing.
本発明によれば、投影対象の手前に位置する被写体の存在に関わらず所望の投影画像を投影することができる。 According to the present invention, a desired projection image can be projected regardless of the presence of a subject positioned in front of the projection target.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラとして構成される。
FIG. 1 is a block diagram showing a hardware configuration of an image processing apparatus according to an embodiment of the present invention.
The
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、撮像部１８と、投影部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
The
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、撮像部１８、投影部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
The
出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、電源ボタン、シャッタボタン等各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。なお、ここでいう各種ボタン等には、ハードウェアボタンのみならず、出力部１６の画面に表示されるソフトウェアボタンも含まれる。即ち、入力部１７は、出力部１６のディスプレイに積層されるタッチパネルも含むように構成されている。
The
The
撮像部１８は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と称する）のデジタル信号（画像信号）をＣＰＵ１１に供給する。ここで、撮像画像のデジタル信号（画像信号）を、「撮像画像のデータ」と適宜呼ぶ。
The
投影部１９は、各種画像のデータを投影画像のデータと取得して、当該投影画像を壁やスクリーン等の投影対象に投影する。
投影画像のデータは、特に限定されず、撮像部１８により撮像されているリアルタイムの撮像画像のデータであってもよいし、記憶部２０に記憶された画像のデータ（過去に撮像済みの撮像画像のデータや、他装置から送信されて通信部２１に受信された画像のデータ等）であってもよい。
本実施形態では、投影部１９は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）素子を用いた公知のＤＬＰ（登録商標）方式で構成されたいわゆるプロジェクタにより構成される。
The
The data of the projection image is not particularly limited, and may be data of a real-time captured image captured by the
In the present embodiment, the
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、撮像画像等の各種画像のデータを記憶する。
記憶部２０はまた、複数の被写体を判別するための判別画像テーブルを記憶している。判別画像テーブルの詳細については、後述の図３を参照して説明する。
The
The
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
A
図２は、投影対象の一例であるスクリーン１１０の手前、即ち、スクリーン１１０と画像処理装置１との間に被写体１２０が存在する状態で、画像処理装置１が投影画像１３０をスクリーン１１０に投影した状態を示す図である。以下、説明の便宜上、スクリーン１１０から見て、画像処理装置１側を「手前」と呼ぶ。
FIG. 2 shows the
図２（１）に示すように、スクリーン１１０の手前に被写体１２０が存在する環境で、画像処理装置１の投影部１９により投影画像が投影されたスクリーン１１０が、画像処理装置１の撮像部１８により撮像される場合がある。
この場合、図２（２）に示すように、スクリーン１１０に単に投影されようとした投影画像１３０のうち、被写体１２０及びその周囲に投影された部分（特に顔１４０に投影された部分）が、当該被写体１２０（特に顔）の形状に応じて歪んで表示され、その結果、投影画像全体の鮮明さが損なわれてしまう。即ち、鮮明さが損なわれた投影画像１３０が投影されたスクリーン１１０と、その手前に存在する被写体１２０とが写る撮像画像となってしまう。
そこで、本実施形態の画像処理装置１は、投影画像１３０のうち、被写体１２０及びその周囲に投影された部分のデータ（画像信号）に対して、所定の画像処理を施すことで、当該被写体１２０の存在に関わらず鮮明な投影画像１３０の投影を可能にする。
この場合の所定の画像処理の種類は、特に限定されないが、本実施形態では、投影画像のうち被写体１２０の顔１４０に投影される部分を透明化する画像処理が採用されている。
以下、このような。透明化の画像処理の概要について、上述した図２に加えて図３を参照して説明する。
As illustrated in FIG. 2A, the
In this case, as shown in FIG. 2 (2), among the projected
Therefore, the
The type of the predetermined image processing in this case is not particularly limited, but in the present embodiment, image processing for making the portion projected on the
Below, like this. An overview of the image processing for transparency will be described with reference to FIG. 3 in addition to FIG. 2 described above.
図３は、図１の画像処理装置１が実行する透明化の画像処理の概要について説明する図である。
画像処理装置１のＣＰＵ１１は、ユーザにより入力部１７の投影開始ボタンが押下されると、投影部１９がスクリーン１１０に対し投影画像１３０を通常に投影するように制御する。この場合、上述したように、スクリーン１１０の手前に人物たる被写体１２０が存在すると（図２（１）参照）、スクリーン１１０に投影された投影画像１３０のうち、被写体１２０及びその周囲に投影された部分（特に顔１４０部分）が、当該被写体１２０の顔１４０の形状に合わせて歪んでしまう（図２（２）参照）。
そこで、画像処理装置１のＣＰＵ１１は、投影画像１３０内の歪んでいる部分（即ち、被写体１２０の顔１４０に投影されている部分）を特定すべく、図２（１）に示す状態で、図２（２）の様子を撮像部１８に撮像させる。即ち、画像処理装置１のＣＰＵ１１は、撮影が指示されると、投影画像１３０が通常に投影されているスクリーン１１０の手前に被写体１２０が存在する状態で、スクリーン１１０の投影面全体（即ち、スクリーン１１０に投影された投影画像１３０全体）が画角に入るように撮像部１８に撮像させる。
このような撮像部１８による撮像の結果、図３（１）に示す撮像画像ｇ１（静止画ｇ１）が得られる。この図３（１）に示す撮像画像ｇ１には、投影画像１３０が投影された被写体１２０の像１２０ｇ（以下、「被写体像１２０ｇ」と呼ぶ）と、投影画像１３０が投影されたスクリーン１１０の像１３０ｇ（以下、「スクリーン像１３０ｇ」と呼ぶ）とが含まれている。被写体像１２０ｇの顔領域においては、投影画像１３０が被写体１２０の形状に合わせて歪んでいる様子が写し出される。従って、この時点で撮像された撮像画像ｇ１は、特に被写体像１２０ｇの顔領域が不鮮明な状態で撮像されている。
FIG. 3 is a diagram for explaining an overview of the transparent image processing executed by the
When the projection start button of the
Therefore, the
As a result of such imaging by the
そこで、画像処理装置１のＣＰＵ１１は、図３（２）に示すように、撮像画像ｇ１のデータに対し顔特徴点解析を施すことにより、被写体像１２０ｇの顔領域１４０ｇを検出する。
次に、画像処理装置１のＣＰＵ１１は、図３（３）に示すように、検出した顔領域１４０ｇのみが透明（例えば画素値０）となり、それ以外が黒等の一定色となる画像ｇ２（以下、「顔検出画像ｇ２」と呼ぶ）のデータを生成する。
そして、画像処理装置１のＣＰＵ１１は、顔検出画像ｇ２のデータと、投影画像ｇ３（これまでの投影画像１３０（図２参照）と同一の画像ｇ３）のデータとを合成することによって、図３（４）に示す合成画像ｇ４のデータを生成する。即ち、合成画像ｇ４とは、投影画像１３０のうち、顔領域１４０ｇのみが透明化されたものである。
このようにして、投影画像ｇ３（投影画像１３０と同一の画像ｇ３）に対して、検出した顔領域１４０ｇを透明化する画像処理が実行される。
Therefore, the
Next, as shown in FIG. 3C, the
Then, the
In this way, image processing for making the detected
図４は、図２と対比する図であって、投影対象の一例であるスクリーン１１０の手前、即ち、スクリーン１１０と画像処理装置１との間に被写体１２０が存在する状態で、画像処理装置１が、顔領域１４０ｇが透明化された投影画像ｇ４をスクリーン１１０に投影した状態を示す図である。
FIG. 4 is a diagram contrasting with FIG. 2, in which the
図４（１）は、図２（１）と同一の図であって、スクリーン１１０の手前に被写体１２０が存在する環境で、画像処理装置１の投影部１９により、顔領域１４０ｇが透明化された投影画像ｇ４（図３（４）参照）が投影されたスクリーン１１０が、画像処理装置１の撮像部１８により撮像される様子を示している。
この場合、図４（２）に示すように、スクリーン１１０に対して投影画像ｇ４が投影されると、被写体１２０の顔１４０には透明な部分が投影される（単に投影部１９の光源の光が照射される）ので、図２（２）のような歪みは生ぜず、その結果、このような状態で撮像部１８により撮像が行われると、鮮明さが際立った投影画像１３０が投影されたスクリーン１１０と、その手前に存在する被写体１２０とが写る撮像画像が得られる。
FIG. 4A is the same diagram as FIG. 2A, and the
In this case, as shown in FIG. 4B, when the projection image g4 is projected onto the
以上図２乃至図４を参照して説明した、画像処理装置１により実行される一連の処理を、「投影制御処理」と呼ぶ。
即ち、投影制御処理とは、ユーザにより入力部１７の投影開始ボタンが押下されたことにより画像処理装置１の動作モードが投影状態に変更されたことを契機として開始される、次のような一連の処理をいう。
即ち、画像処理装置１は、先ず、投影画像を投影対象に投影する。この場合、投影対象の手前には被写体が存在することを前提とする。画像処理装置１は、被写体及び投影対象を撮像することによって、前処理用の撮像画像（静止画像）のデータを得る。次に、画像処理装置１は、前処理用の撮像画像のデータに対して、被写体の顔領域の検出処理を施す。そして、画像処理装置１は、検出された顔領域の情報に基づいて、投影画像のうち被写体の顔に投射される領域（以下、「投影画像の顔領域」と呼ぶ）を透明化する画像処理を実行する。画像処理装置１は、画像処理実行後の投影画像、即ち顔領域が透明化された投影画像を、投影対象に投影する。画像処理装置１は、被写体及び投影対象を撮像し、その結果得られる記録用の撮像画像（静止画像）のデータをリムーバブルメディア３１等に記録させる。このような一連の処理が、投影制御処理である。
ここで、顔領域の検出処理の手法は、特に限定されないが、例えば、各学習テンプレートに基づいて、ニューラルネットワーク（ＮＮ）、アダブースト（ＡｄａＢｏｏｓｔ）、サポートベクターマシン（ＳＶＭ）と呼ばれるアルゴリズムに従って顔領域を推定して検出する手法を採用することができる。
ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、アダブースト（ＡｄａＢｏｏｓｔ）、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、による顔検出処理は、公知の技術であるため、本実施形態では、詳細な説明については省略する。
The series of processes executed by the
That is, the projection control process is started when the operation mode of the
That is, the
Here, the method of face area detection processing is not particularly limited. For example, based on each learning template, the face area is determined according to algorithms called neural network (NN), Adaboost (AdaBoost), and support vector machine (SVM). An estimation and detection method can be employed.
Since face detection processing by a neural network (NN), Adaboost (AdaBoost), and support vector machine (SVM) is a well-known technique, detailed description is omitted in this embodiment. .
図５は、図１の画像処理装置１の機能的構成のうち、このような投影制御処理を実行するための機能的構成を示す機能ブロック図である。
ＣＰＵ１１においては、投影制御処理の実行が制御される場合、投影制御部４１と、撮像制御部４２と、画像取得部４３と、被写体検出部４４と、判別部４５と、投影画像処理部４６と、が機能する。
なお、図５は例示であり、画像処理装置１にＧＡ（Ｇｒａｐｈｉｃｓ Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理専用のハードウェアを備えて、ＣＰＵ１１の機能の少なくとも一部を当該ハードウェアに委譲してもよい。
また、記憶部２０は、上述したように、複数の被写体を判別するための複数の判別画像を含む判別画像テーブルを記憶している。
FIG. 5 is a functional block diagram showing a functional configuration for executing such projection control processing among the functional configurations of the
In the
FIG. 5 is an example, and the
Further, as described above, the
ここで、図６を参照して、記憶部２０に記憶されている判別画像テーブルについて説明する。図６は、記憶部２０に記憶されている判別画像テーブルの表示例を示している。
判別画像テーブルには、判別の対象となるｎ個の判別画像２０１−１、２０１−２、２０１−３、２０１−４、２０１−５、・・・２０１−ｎの各データと、これらの判別画像に付された優先度と、これらの判別画像に対する画像処理のＯＮ（発揮状態）又はＯＦＦ（非発揮状態）を示す判別設定フラグと、が対応付けられて記憶されている。以下、複数の判別画像２０１−１、２０１−２、２０１−３、２０１−４、２０１−５、・・・２０１―ｎを個々に区別する必要がない場合、これらをまとめて、「判別画像２０１」と単に称する。
「判別画像２０１」とは、撮像部１８により撮像された撮像画像（前処理用の撮像画像）に含まれる被写体の顔を判別するために用いられる、予め既知の人物の顔を含む画像をいう。
「優先度」とは、撮像部１８により撮像された撮像画像から複数の被写体の形状（顔領域）が検出された場合、複数の被写体のうち何れの被写体を透明化の画像処理の対象とするのかについてか、又は、何れの被写体から透明化の画像処理の対象に設定するのかについて決定するための順位である。優先度は、１〜５まで設定され、優先度「５」が最高位であり、優先度が下がっていく（「１」に近づいていく）に従って、画像処理の対象になる順位が低くなる。例えば、撮像画像に優先度「３」の判別画像２０１−１に含まれる顔領域と類似する顔領域を有する被写体Ａが存在したとする。なお、以下、判別画像に含まれる顔領域と類似する顔領域を有する被写体を、単に「判別画像に類似する被写体」と表現する。また、撮像画像に、優先度「５」の判別画像２０１−４に類似する被写体Ｂが存在したとする。この場合について、各々の判別画像２０１−１，２０１−４に対応する判別フラグがＯＮである場合について考える。この場合、ＣＰＵ１１は、撮像画像に含まれる２つの被写体のうち、優先度「５」の被写体Ｂを、透明化の画像処理の対象に設定する。
ユーザは、入力部１７を操作して、画像処理装置１の処理モードを切り替えることによって、各優先度の情報及び判別設定フラグの情報を任意に変更することができる。
Here, the discrimination image table stored in the
The discrimination image table includes n pieces of discrimination images 201-1, 201-2, 201-3, 201-4, 201-5,... The priority assigned to the image and the determination setting flag indicating ON (presentation state) or OFF (non-execution state) of image processing for these determination images are stored in association with each other. Hereinafter, when it is not necessary to individually distinguish the plurality of discrimination images 201-1, 201-2, 201-3, 201-4, 201-5,... 201-n, these are collectively referred to as “discrimination images”. 201 ".
The “
The “priority” means that when a plurality of subject shapes (face areas) are detected from the captured image captured by the
The user can arbitrarily change the information on each priority and the information on the discrimination setting flag by operating the
図５に戻り、投影制御部４１は、入力される画像信号（投影対象の画像のデータ）に応じた投影画像を、投影部１９からスクリーン１１０等の投影対象に投影させる制御を実行する。また、投影制御部４１は、後述の投影画像処理部４６により画像処理が行われた後においては、投影画像処理部４６により画像処理が行われた投影画像を、投影部１９から投影対象に投影させる制御を実行する。
Returning to FIG. 5, the
撮像制御部４２は、投影制御部４１の制御により投影画像１３０が投影された投影対象（及びその手前に存在する被写体）を撮像部１８に撮像させる制御を実行する。
画像取得部４３は、撮像制御部４２の制御により撮像部１８により撮像された撮像画像であって、投影部１９により投影画像が投影されているスクリーン１１０等の投影対象及びその手前に位置する被写体とが含まれる撮像画像を取得する。画像取得部４３は、取得した撮像画像のデータを被写体検出部４４へ供給する。
The
The
被写体検出部４４は、撮像制御部４２の制御により撮像された撮像画像のデータから、スクリーン１１０の手前に位置する被写体の形状を検出する。具体的には、被写体検出部４４は、撮像画像のデータに対して顔特徴点解析を施すことにより、被写体の顔領域を検出する。
この場合、被写体検出部４４は、投影制御部４１により投影された投影画像と、撮像制御部４２により撮像された撮像画像とで画像が異なる領域を被写体１２０（図４参照）の形状として検出する。具体的には、被写体検出部４４は、投影画像と撮影画像とを、ブロック（小領域）単位でパターンマッチングして、マッチしないブロックの集合体の形状を、撮像画像の被写体の形状として検出する。これにより、被写体検出部４４は、投影画像と撮像画像とを区別して、撮像画像のデータの被写体に対して顔特徴点解析を施すことができる。
The
In this case, the
また、被写体検出部４４は、投影部１９からの１のオブジェクト（例えば、スクリーン１１０や、被写体１２０等）までの距離の情報に基づいて、投影部１９からスクリーン１１０までの距離が短い対象を被写体１２０の形状として検出する。被写体検出部４４は、１のオブジェクト（例えば、スクリーン１１０や、被写体１２０等）に対する各焦点距離を用いて、各オブジェクトまでの距離の情報として予測演算する。これにより、被写体検出部４４は、投影画像と撮像画像とを区別して、撮像画像のデータの被写体に対して顔特徴点解析を施すことができる。被写体検出部４４は、検出した被写体１２０（図３参照）の顔領域１４０ｇ（図３参照）の情報を判別部４５及び投影画像処理部４６へ供給する。
In addition, the
判別部４５は、撮像制御部４２の制御により撮像された撮像画像のデータを比較対象として設定すると共に、記憶部２０の判別画像テーブルに記憶されている判別画像のデータを比較相手として設定して、比較対象と比較相手との各被写体が略一致するか否かを判別する。判別部４５は、判別結果を投影画像処理部４６へ通知する。
The
投影画像処理部４６は、判別部４５により比較対象と比較相手との各被写体が略一致すると判別された場合に、投影画像の被写体の顔領域を透明化させる画像処理を、当該投影画像のデータに対して施す。そして、投影画像処理部４６により顔領域が透明化された投影画像が、スクリーン等の投影対象に投影される。
The projection
次に、図７を参照して、このような図５の機能的構成の画像処理装置１が実行する投影制御処理について説明する。
図７は、図５の機能的構成を有する図１の画像処理装置１が実行する投影制御処理の流れを説明するフローチャートである。
Next, a projection control process executed by the
FIG. 7 is a flowchart for explaining the flow of the projection control process executed by the
投影制御処理は、ユーザにより入力部１７の投影開始ボタンが押下されたことにより画像処理装置１の動作モードが投影状態に変更されたことを契機として開始され、次のような処理が繰り返し実行される。
The projection control process is started when the operation mode of the
ステップＳ１１において、投影制御部４１は、スクリーン１１０に投影画像を投影させる制御を実行する。この処理において投影される投影画像１３０は、まだ透明化されていないため、図２（２）に示すように、被写体１２０及びその周囲に投影された部分（特に顔１４０）が歪んで表示されている。
In step S <b> 11, the
ステップＳ１２において、撮像制御部４２は、入力部１７のシャッタボタンが押下されたか否かを判定する。この処理では、撮像制御部４２は、シャッタボタンが押下されたか否かを判定することで、ユーザが撮像画像（静止画）を撮像したいと所望しているか否かを判定する。シャッタボタンが押下されていない場合には、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１２に戻る。即ち、シャッタボタンが押下されるまでの間、ステップＳ１２の処理が繰り返し実行され、投影制御処理は待機状態となる。シャッタボタンが押下された場合には、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。
In step S12, the
ステップＳ１３において、撮像制御部４２は、投影制御部４１により投影された投影画像１３０（静止画）を撮像する制御を実行する。この処理において撮像される撮像画像は、前処理用の撮像画像のデータとして取得される。
In step S <b> 13, the
ステップＳ１４において、被写体検出部４４は、ステップＳ１３において撮像された前処理用の撮像画像のデータに対する顔特徴点解析に基づいて被写体の顔領域を検出する。
In step S14, the
ステップＳ１５において、判別部４５は、ステップＳ１３において撮像した撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致するか否かを判定する。この処理では、判別部４５は、撮像部１８により撮像された投影画像に含まれる被写体が、記憶部２０に記憶されている判別画像テーブルの各判別画像２０１に含まれる被写体と略一致するか否かを判定する。撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致していないと判定した場合には、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１７に進む。これに対し、撮像画像に含まれる被写体が、記憶部２０に記憶されている被写体と略一致していると判定した場合には、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。
In step S15, the
ステップＳ１６において、投影画像処理部４６は、投影画像の顔領域を透明化する画像処理を行う。
この処理では、投影画像処理部４６は、投影画像のうち、ステップＳ１５において略一致したと判定された被写体の顔領域１４０ｇを透明化させる画像処理を、当該投影画像のデータに対して施す。そして、投影制御部４１は、投影画像処理部４６により顔領域１４０ｇが透明化された投影画像が、スクリーン１１０等の投影対象に投影される。
In step S <b> 16, the projection
In this process, the projection
ステップＳ１７において、撮像制御部４２は、ステップＳ１６において透明化され、投影制御部４１により投影された投影画像１３０（静止画）を撮像する制御を実行する。この処理では、撮像制御部４２は、ステップＳ１６において透明化された投影画像１３０（静止画）が撮像される。
In step S <b> 17, the
ステップＳ１８において、撮像制御部４２は、ステップＳ１７において撮像された撮像画像のデータをリムーバブルメディア３１に記録する。
ステップＳ１９において、投影制御部４１は、投影制御処理の終了指示を受け付けたか否かを判定する。終了指示を受け付けていない場合には、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ１２に戻る。即ち、終了指示を受け付けるまでの間ステップＳ１２乃至Ｓ１９の処理が繰り返し行われる。これに対し、終了指示を受け付けた場合には、ステップＳ１９においてＹＥＳであると判定されて、投影制御処理は終了となる。
In step S <b> 18, the
In step S19, the
以上説明したように、本実施形態の画像処理装置１は、投影制御部４１と、画像取得部４３と、被写体検出部４４と、判別部４５と、投影画像処理部４６と、を備える。投影制御部４１は、入力される画像信号に応じた投影画像を投影部１９によりスクリーン１１０等の投影対象に向けて投影させる制御を実行する。画像取得部４３は、撮像部１８により撮像された画像であって、投影部１９により投影画像１３０が投影されているスクリーン１１０等の投影対象と、撮像部１８からみてスクリーン１１０等の投影対象より手前に位置する被写体１２０とが含まれる画像を取得する。被写体検出部４４は、撮像部１８により撮像された撮像画像から、被写体１２０の領域を検出する。投影画像処理部４６は、被写体検出部４４により検出された被写体１２０の領域に対して所定の画像処理を、投影部１９により投影される投影画像１３０を対象に行う。
これにより、被写体１２０（特に顔領域１４０ｇ）に対し投影される投影画像１３０に対し画像処理が行われることから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
As described above, the
As a result, image processing is performed on the
さらに、画像処理装置１の投影画像処理部４６は、投影画像中の被写体の領域に対する所定領域（顔領域１４０ｇ）については、前記入力される画像信号に応じた画像を投影しない透明化の画像処理を行う。
これにより、被写体１２０（特に顔１４０）に対し投影される投影画像１３０に対し透明化の画像処理が行われることから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Further, the projection
Thereby, since the transparent image processing is performed on the
さらに、画像処理装置１の被写体検出部４４は、投影部１９からスクリーン１１０等の投影対象までの距離が短い対象を被写体１２０の形状として検出する。
これにより、投影画像処理部４６は、スクリーン１１０等の投影対象の手前に被写体１２０が存在している場合であっても、投影画像１３０に含まれるオブジェクトと、スクリーン１１０の手前に存在する被写体１２０と、を区別して画像処理を行うことができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Further, the
Thereby, even if the subject 120 is present in front of the projection target such as the
さらに、画像処理装置１の被写体検出部４４は、投影制御部４１により投影される投影画像１３０と撮像画像とで画像が異なる領域を被写体の形状として検出する。
これにより、投影画像処理部４６は、スクリーン１１０等の投影対象の手前に被写体１２０が存在している場合であっても、投影画像１３０に含まれるオブジェクトと、撮像画像に含まれるスクリーン１１０の手前に存在する被写体１２０と、を区別して画像処理を行うことができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Furthermore, the
Thereby, even if the subject 120 exists in front of the projection target such as the
さらに、画像処理装置１は、記憶部２０と、判別部４５と、をさらに備えることができる。この場合、記憶部２０は、被写体１２０を特定する判別画像２０１を含む判別画像テーブルを記憶する。判別部４５は、撮像部１８により撮像される撮像画像に含まれる被写体１２０と、記憶部２０に記憶されている被写体１２０を特定する判別画像２０１に含まれる被写体とが略一致するか否かを判別する。
そして、投影画像処理部４６は、判別部４５により略一致すると判別された場合に、投影画像１３０中の該当領域（顔領域１４０ｇ）の画像を透明化する画像処理を行う。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の種別に応じて画像処理を行うか否かを決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Furthermore, the
Then, the projection
Thus, the user can determine whether or not to perform image processing according to the type of the subject 120 existing in front of the projection target such as the
さらに、画像処理装置１の記憶部２０に含まれる判別画像テーブルは、被写体１２０を特定する判別画像に関連付けて優先度を記憶する。そして、投影画像処理部４６は、被写体検出部４４により該被写体の形状が複数検出された場合に、優先度に応じて各該当領域（顔領域１４０ｇ）の投影画像の透明度を可変する画像処理を実行する。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の優先度を予め設定することにより、画像処理を行うか否かを予め決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Furthermore, the discrimination image table included in the
Thus, the user can determine in advance whether or not to perform image processing by setting in advance the priority of the subject 120 existing in front of the projection target such as the
さらに、画像処理装置１は、判別部４５をさらに備える。判別部４５は、撮像画像の被写体１２０が投影画像の一部と略一致するか否かを判別する。そして、被写体検出部４４は、判別部４５により被写体１２０が投影画像１３０の一部と略一致すると判別された場合に、撮像画像から該被写体１２０の形状（特に、顔領域１４０ｇ）を検出する。
これにより、ユーザは、スクリーン１１０等の投影対象の手前に存在する被写体１２０の画像を予め設定することにより、画像処理を行うか否かを予め決定することができる。したがって、スクリーン１１０等の投影対象の手前に位置する被写体１２０のうち、所望する被写体１２０の存在に関わらず鮮明な投影画像１３０を投影することができる。
Further, the
Accordingly, the user can determine in advance whether or not to perform image processing by setting in advance an image of the subject 120 existing in front of the projection target such as the
さらに、画像処理装置１の画像取得部４３は、投影画像処理部４６により画像処理が行われた投影画像が投影されたスクリーン１１０等の投影対象を被写体が撮像された画像と共に取得する。
これにより、被写体１２０に対し投影される画像処理が行われた投影画像１３０を取得することから、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず鮮明な投影画像１３０を取得することができる。
Further, the
As a result, since the
さらに、画像処理装置１は、撮像制御部４２と、投影部１９と、撮像部１８と、をさらに備える。撮像制御部４２は、投影部１９により投影画像が投影されている投影対象と、被写体と、を撮像部１８により撮像させる制御を実行する。投影部１９は、投影制御部４１により制御されてスクリーン１１０等の投影対象に投影画像を投影する。撮像部１８は、撮像制御部４２により制御されて投影対象及び被写体を撮像する。
これにより、スクリーン１１０等の投影対象の手前に位置する被写体１２０の存在に関わらず投影された投影画像１３０を撮像することができる。
Furthermore, the
Thereby, it is possible to capture the projected
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、被写体検出部４４は、撮像制御部４２により撮像された撮像画像に対し顔特徴点解析を行うことにより被写体１２０の顔領域１４０ｇの検出を行っているがこれに限られるものではない。例えば、被写体検出部４４は、撮像制御部４２による撮像画像が動画像である場合に、被写体を追尾することで該被写体の形状を検出することができる。これにより、静止画だけではなく、動画に対しても不鮮明な動画を綺麗な動画として撮像することができる。
In the above-described embodiment, the
上述の実施形態では、被写体検出部４４は、各オブジェクトに対する各焦点距離に基づいて各オブジェクトまでの距離の情報を予測演算しているがこれに限られるものではない。例えば、被写体検出部４４は、超音波やレーザ等を用いた測距センサを用いて、各オブジェクトまでの距離の情報に基づいて各オブジェクトまでの距離の情報として演算予測することができる。これにより、焦点距離では測定できない環境下においても適切に各オブジェクトまでの焦点距離を測定することができる。
In the above-described embodiment, the
上述の実施形態では、投影画像処理部４６は、投影制御部４１により投影される投影画像中の被写体を透明化する画像処理を行っているがこれに限られるものではない。例えば、投影画像処理部４６は、投影制御部４１により投影される画像中の所定領域（特に顔領域１４０ｇ）の画像を色つきの半透明化する画像処理を行うことができる。これにより、画像処理が行われている対象を明確に把握することができる。
In the above-described embodiment, the projection
上述の実施形態では、投影画像処理部４６は、投影制御部４１により投影される画像中の被写体の顔領域の画像を透明化する画像処理を行っているがこれに限られるものではない。例えば、投影画像処理部４６は、投影制御部４１により投影される画像中の被写体の全部の領域を透明化する画像処理を行うことができる。
In the above-described embodiment, the projection
また、上述の実施形態では、投影画像処理部４６は、投影画像の顔領域を透明化する画像処理を行っているがこれに限られるものではない。
例えば、投影画像処理部４６は、被写体検出部４４により該被写体の形状が検出された場合に、投影制御部４１により投影される投影画像中の顔や体等の該当領域の画像を記憶部２０に記憶されている被写体の画像に置き換える画像処理を行うことができる。
この場合、記憶部２０には、被写体を特定する画像に該被写体の画像と置き換えるための複数の置換画像を含む置換画像テーブルを判別画像テーブルとは別にさらに記憶する。置換画像テーブルには、置換の対象となるｍ個の置換画像（図示せず）が記憶されている。
この場合、投影画像処理部４６は、撮像画像のうち略一致したと判定された被写体の顔領域１４０ｇを認識する。次に、投影画像処理部４６は、投影画像のうち、認識した顔領域１４０ｇに相当する領域の画像を、置換画像テーブルに記憶されている置換画像に置き換えた画像のデータを生成する。これにより、投影画像処理部４６は、投影画像の顔領域を置換画像に置き換える処理を行うことができる。そして、投影制御部４１は、投影画像処理部４６により顔領域１４０ｇに相当する領域の画像を置換画像に置き換えた画像を投影画像としてスクリーン１１０に投影する。これにより、投影画像１３０が不鮮明である場合であっても、予め記憶部２０に記憶された置換画像に置き換えられるため、鮮明な投影画像１３０を投影することができる。
In the above-described embodiment, the projection
For example, when the
In this case, the
In this case, the projected
また、上述の実施形態では、撮像制御部４２は、シャッタボタンが押下されたこと（ステップＳ１２）を契機として、投影画像１３０（静止画）を前処理用の撮像画像のデータとして撮像する制御を実行している（ステップＳ１３）がこれに限られるものではない。例えば、撮像制御部４２は、ステップＳ１３において、ユーザの入力部１７の操作に基づき前処理用の撮像指示が行われたことを契機として、投影画像１３０（静止画）を前処理用の撮像画像のデータとして撮像する制御を実行することができる。この場合、撮像制御部４２は、ステップＳ１７において、入力部１７のシャッタボタンが押下されたことを契機として、透明化された投影画像１３０（静止画）を撮像する制御を実行することができる。
In the above-described embodiment, the
また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having an imaging function. Specifically, for example, the present invention can be applied to a notebook personal computer, a television receiver, a video camera, a portable navigation device, a mobile phone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 5 is merely an example, and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記投影画像処理手段は、前記投影画像中の前記被写体の領域に対する所定領域については、前記入力される画像信号に応じた画像を投影しない透明化の画像処理を行う
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記投影画像処理手段は、前記投影画像中の前記所定領域の画像を色つき半透明化とする画像処理を行う
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記被写体検出手段は、前記投影手段から前記投影対象までの距離が短い対象を被写体の形状として検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記５］
前記被写体検出手段は、前記投影画像と前記撮像画像とで画像が異なる領域を被写体の形状として検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記６］
被写体を特定する画像を記憶する記憶手段と、
前記撮像画像に含まれる被写体と、前記記憶手段に記憶されている前記画像に含まれる被写体とが略一致するか否かを判別する判別手段と、
をさらに備え、
前記投影画像処理手段は、前記判別手段により略一致すると判別された場合に、前記投影画像中の前記該当領域の画像を透明化する画像処理を行う
ことを特徴とする付記１、４又は５のうち何れか１つに記載の画像処理装置。
［付記７］
前記記憶手段は、前記被写体を特定する画像に関連する該被写体の画像をさらに記憶し、
前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が検出された場合に、前記投影制御手段により投影される画像中の該当領域の画像を、前記記憶手段に記憶されている前記被写体の画像に置き換える
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記記憶手段は、前記被写体を特定する画像に関連付けて優先度をさらに記憶し、
前記投影画像処理手段は、前記被写体検出手段により該被写体の形状が複数検出された場合に、前記優先度に応じて各該当領域の画像の透明度を可変する画像処理を実行する
ことを特徴とする付記６に記載の画像処理装置。
［付記９］
前記撮像画像の前記被写体が前記投影画像の一部と略一致するか否かを判別する判別手段をさらに備え、
前記被写体検出手段は、前記判別手段により前記被写体が前記投影画像の一部と略一致すると判別された場合に、前記撮像画像から該被写体の形状を検出する
ことを特徴とする付記１、２、３又は５のうち何れか１つに記載の画像処理装置。
［付記１０］
前記画像取得手段は、前記投影画像処理手段により画像処理が行われた投影画像が投影された前記投影対象を前記被写体が撮像された画像と共に取得する
ことを特徴とする付記１乃至９のうち何れか１つに記載の画像処理装置。
［付記１１］
前記被写体検出手段は、前記撮像画像が動画像である場合に、前記被写体を追尾することで該被写体の形状を検出する
ことを特徴とする付記１０に記載の画像処理装置。
［付記１２］
前記投影手段により投影画像が投影されている前記投影対象と、前記被写体と、を前記撮像手段により撮像させる制御を実行する撮像制御手段と、
前記投影制御手段により制御されて前記投影対象に前記投影画像を投影する投影手段と、
前記撮像制御手段により制御されて前記投影対象及び前記被写体を撮像する撮像手段と、
を備えることを特徴とする付記１乃至１１のうち何れか１つに記載の画像処理装置。
［付記１３］
所定の画像処理を行う投影画像処理手段が実行する画像処理方法であって、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御ステップと、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得ステップと、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出ステップと、
前記被写体検出ステップにより検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理ステップと、
を含むことを特徴とする画像処理方法。
［付記１４］
所定の画像処理を行う投影画像処理手段が実行するコンピュータに、
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御手段と、
撮像手段により撮像された画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる画像を取得する画像取得手段と、
前記撮像手段により撮像された撮像画像から、前記被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を実行させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Projection control means for executing control for projecting a projection image according to an input image signal onto a projection target by the projection means;
An image acquired by an imaging unit, which acquires an image including the projection target onto which a projection image is projected by the projection unit and a subject positioned in front of the projection target as viewed from the projection unit Acquisition means;
Subject detection means for detecting a region of the subject from a captured image captured by the imaging means;
A projection image processing unit that performs predetermined image processing on a region of the subject detected by the subject detection unit, and a projection image projected by the projection unit;
An image processing apparatus comprising:
[Appendix 2]
The
[Appendix 3]
The image processing apparatus according to
[Appendix 4]
The image processing apparatus according to
[Appendix 5]
The image processing apparatus according to
[Appendix 6]
Storage means for storing an image for specifying a subject;
Determining means for determining whether or not a subject included in the captured image and a subject included in the image stored in the storage means substantially match;
Further comprising
The projection image processing means performs image processing for making the image of the corresponding area in the projection image transparent when it is determined that the projection means substantially matches. The image processing apparatus according to any one of the above.
[Appendix 7]
The storage means further stores an image of the subject related to an image specifying the subject,
The projection image processing means stores the image of the corresponding area in the image projected by the projection control means when the subject detection means detects the shape of the subject, and stores the subject in the storage means The image processing apparatus according to appendix 6, wherein the image processing apparatus replaces the image with the image.
[Appendix 8]
The storage means further stores a priority in association with an image specifying the subject,
The projection image processing means executes image processing for changing the transparency of the image of each corresponding area according to the priority when a plurality of shapes of the subject are detected by the subject detection means. The image processing apparatus according to appendix 6.
[Appendix 9]
A discriminator for discriminating whether or not the subject of the captured image substantially matches a part of the projection image;
The subject detection unit detects the shape of the subject from the captured image when the determination unit determines that the subject substantially matches a part of the projection image. The image processing apparatus according to any one of 3 and 5.
[Appendix 10]
Any one of
[Appendix 11]
The image processing apparatus according to appendix 10, wherein the subject detection unit detects the shape of the subject by tracking the subject when the captured image is a moving image.
[Appendix 12]
An imaging control unit that executes control to cause the imaging unit to image the projection target on which a projection image is projected by the projection unit and the subject;
Projection means controlled by the projection control means to project the projection image onto the projection target;
Imaging means controlled by the imaging control means to image the projection target and the subject;
The image processing apparatus according to any one of
[Appendix 13]
An image processing method executed by a projection image processing means for performing predetermined image processing,
A projection control step for executing control for projecting a projection image corresponding to the input image signal toward the projection target by the projection unit;
An image acquired by an imaging unit, which acquires an image including the projection target onto which a projection image is projected by the projection unit and a subject positioned in front of the projection target as viewed from the projection unit An acquisition step;
A subject detection step of detecting a region of the subject from a captured image captured by the imaging means;
A projection image processing step of performing predetermined image processing on a region of the subject detected by the subject detection step, on a projection image projected by the projection unit;
An image processing method comprising:
[Appendix 14]
In a computer executed by the projection image processing means for performing predetermined image processing,
Projection control means for executing control for projecting a projection image according to an input image signal onto a projection target by the projection means;
An image acquired by an imaging unit, which acquires an image including the projection target onto which a projection image is projected by the projection unit and a subject positioned in front of the projection target as viewed from the projection unit Acquisition means;
Subject detection means for detecting a region of the subject from a captured image captured by the imaging means;
A projection image processing unit that performs predetermined image processing on a region of the subject detected by the subject detection unit, and a projection image projected by the projection unit;
A program characterized by having executed.
１・・・画像処理装置１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・出力部、１７・・・入力部、１８・・・撮像部、１９・・・投影部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・投影制御部、４２・・・撮像制御部、４３・・・画像取得部、４４・・・被写体検出部、４５・・・判別部、４６・・・投影画像処理部
DESCRIPTION OF
Claims (9)
撮像手段により撮像された撮像画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる撮像画像から、前記被写体の顔領域を検出する被写体検出手段と、
被写体の顔を判別するための画像を記憶する記憶手段と、
前記被写体検出手段により検出された被写体の顔領域に含まれるデータと、前記記憶手段に記憶されている画像に含まれるデータと、が略一致するか否かを判別する判別手段と、
前記判別手段により略一致すると判別された場合にのみ、前記検出された被写体の顔領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理手段と、
を備えることを特徴とする画像処理装置。 Projection control means for executing control for projecting a projection image according to an input image signal onto a projection target by the projection means;
From the captured image captured by the imaging unit, including the projection target on which the projection image is projected by the projection unit, and a subject positioned in front of the projection target as viewed from the projection unit, a subject detecting means for detecting a face area of the subject,
Storage means for storing an image for determining the face of the subject;
A discriminating unit for discriminating whether or not the data included in the face area of the subject detected by the subject detecting unit and the data included in the image stored in the storage unit substantially match ;
Only when it is determined that substantially coincides with the discriminating means, the projection image before dangerous out the image processing of the Jo Tokoro with respect face area of the object, performs the subject projected image projected by the projection means Processing means;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 The object detection means according to claim 1 in which the image in said projection image and the captured image to detect the different areas as the shape of the object, and detects the face area of the further object from the shape of the detected object the image processing apparatus according to.
ことを特徴とする請求項１又は２に記載の画像処理装置。 The projection image processing means, for a predetermined region on the facial area of the subject in the projection image, claim 1, characterized in that performing the image processing of clearing the image corresponding to the image signal to be the input or 2. The image processing apparatus according to 2.
前記投影画像処理手段は、前記投影制御手段により投影される画像中の前記検出された被写体の顔領域の画像を、前記記憶手段に記憶されている被写体の顔画像に置き換える
ことを特徴とする請求項１又は２に記載の画像処理装置。 The storage means may further store a face image of an object associated with the image to determine the face of a subject,
The projection image processing means replaces an image of the detected face area of the subject in the image projected by the projection control means with a face image of the subject stored in the storage means. Item 3. The image processing apparatus according to Item 1 or 2 .
前記撮像画像に含まれる被写体が複数である場合に、前記被写体検出手段は、当該複数の被写体各々の顔領域を検出するとともに、前記判別手段は、前記検出された複数の被写体の顔領域に含まれるデータ各々と、前記記憶手段に記憶されている画像に含まれるデータと、が略一致するか否かを判別し、
前記投影画像処理手段は、前記判別手段により略一致すると判別された被写体が複数である場合に、当該略一致すると判別された被写体の顔領域各々の透明度を、前記優先度に応じて可変する画像処理を行う
ことを特徴とする請求項２に記載の画像処理装置。 The storage means may further store the priority in association with the image to determine the face of a subject,
When there are a plurality of subjects included in the captured image, the subject detection unit detects a face area of each of the plurality of subjects , and the determination unit includes the face region of the plurality of detected subjects. Each of the data to be recorded and whether or not the data included in the image stored in the storage means substantially match ,
When there are a plurality of subjects that are determined to be substantially the same by the determination unit, the projection image processing unit can change the transparency of each face area of the subject that is determined to be approximately the same according to the priority. The image processing apparatus according to claim 2 , wherein the image processing is performed.
ことを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。 The subject detection unit, when the captured image is a moving image, in any one of claims 1 to 5, characterized in that to detect the face region of the person the subject by tracking the subject The image processing apparatus described.
前記投影制御手段により制御されて前記投影対象に前記投影画像を投影する投影手段と、
前記撮像制御手段により制御されて前記投影対象及び前記被写体を撮像する撮像手段と、
を更に備え、
前記投影制御手段は、更に、前記投影画像処理手段により前記所定の画像処理が行われた投影画像を前記投影手段により投影対象に向けて投影させる制御を実行し、
前記撮像制御手段は、更に、前記投影画像処理手段により前記所定の画像処理が行われた投影画像が前記投影手段により投影されている前記投影対象と、前記被写体と、を記録用の撮像画像として、前記撮像手段により撮像させる制御を実行し、
前記撮像制御手段、前記投影制御手段、前記被写体検出手段、前記判別手段及び前記投影画像処理手段は、所定の指示操作に応じて処理を実行する
ことを特徴とする請求項１乃至６のうち何れか１項に記載の画像処理装置。 And imaging control means for performing control to imaging by the imaging means and the projection target that projection image is projected by the previous SL projection means, wherein the subject, and
Projection means controlled by the projection control means to project the projection image onto the projection target;
Imaging means controlled by the imaging control means to image the projection target and the subject;
Further comprising
The projection control unit further executes control for projecting the projection image on which the predetermined image processing has been performed by the projection image processing unit toward a projection target by the projection unit,
The imaging control unit may further use the projection target on which the projection image subjected to the predetermined image processing by the projection image processing unit is projected by the projection unit and the subject as a captured image for recording. , Execute control for imaging by the imaging means,
Said imaging control unit, said projection control means, the object detecting means, said discriminating means and the projection image processing section, any one of claims 1 to 6, characterized in that executes processing in response to a predetermined instruction operation The image processing apparatus according to claim 1.
撮像手段により撮像された撮像画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる撮像画像から、前記被写体の顔領域を検出する被写体検出処理と、
前記被写体検出処理で検出された被写体の顔領域に含まれるデータと、記憶手段に記憶されている被写体の顔を判別するための画像に含まれるデータと、が略一致するか否かを判別する判別処理と、
前記判別処理で略一致すると判別された場合にのみ、前記検出された被写体の顔領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理と、
を含むことを特徴とする画像処理方法。 A projection control process for executing a control for projecting a projection image according to an input image signal toward a projection target by a projection unit;
From the captured image captured by the imaging unit, including the projection target on which the projection image is projected by the projection unit, and a subject positioned in front of the projection target as viewed from the projection unit, and the subject detection processing for detecting a face area of the subject,
The determination and the subject detection processing Ru contained in the detected face area of the subject are in data, and data included in the image to determine the face of a subject stored in the storage means, but whether substantially coincides Discriminating process to perform,
Only when it is determined that substantially coincides with the determination process, projected images before dangerous out the image processing of the Jo Tokoro with respect face area of the object, performs the subject projected image projected by the projection means Processing,
An image processing method comprising:
入力される画像信号に応じた投影画像を投影手段により投影対象に向けて投影させる制御を実行する投影制御機能と、
撮像手段により撮像された撮像画像であって、前記投影手段により投影画像が投影されている前記投影対象と、前記投影手段からみて前記投影対象より手前に位置する被写体とが含まれる撮像画像から、前記被写体の顔領域を検出する被写体検出機能と、
前記被写体検出機能により検出された被写体の顔領域に含まれるデータと、記憶手段に記憶されている被写体の顔を判別するための画像に含まれるデータと、が略一致するか否かを判別する判別機能と、
前記判別機能により略一致すると判別された場合にのみ、前記被写体検出機能により検出された被写体の顔領域に対して所定の画像処理を、前記投影手段により投影される投影画像を対象に行う投影画像処理機能と、
を実現させることを特徴とするプログラム。 On the computer,
A projection control function for executing a control for projecting a projection image corresponding to an input image signal toward a projection target by a projection unit;
From the captured image captured by the imaging unit, including the projection target on which the projection image is projected by the projection unit, and a subject positioned in front of the projection target as viewed from the projection unit, and the object detecting function of detecting a face area of the subject,
Determination and data that are Ru included in the face region of the object detected, the data included in the image to determine the face of a subject stored in the storage means, but whether substantially coincides with the object detection function Discriminating function, and
The determination function by only if it is determined that substantially coincides, performs the constant image processing Tokoro with respect face area of the subject detected by the subject detection function, the target projection image projected by the projection means Projected image processing function,
A program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012178516A JP6460510B2 (en) | 2012-08-10 | 2012-08-10 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012178516A JP6460510B2 (en) | 2012-08-10 | 2012-08-10 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014035756A JP2014035756A (en) | 2014-02-24 |
| JP6460510B2 true JP6460510B2 (en) | 2019-01-30 |
Family
ID=50284692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012178516A Active JP6460510B2 (en) | 2012-08-10 | 2012-08-10 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6460510B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6428665B2 (en) * | 2016-02-10 | 2018-11-28 | 三菱電機株式会社 | Aerial video display |
| JP7452506B2 (en) * | 2021-09-22 | 2024-03-19 | カシオ計算機株式会社 | Projection processing device, projection device, projection system, program and projection method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010034820A (en) * | 2008-07-29 | 2010-02-12 | Seiko Epson Corp | Projector, control method of projector, and control program |
| JP5446035B2 (en) * | 2009-04-16 | 2014-03-19 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
| JP5484994B2 (en) * | 2010-04-06 | 2014-05-07 | オリンパスイメージング株式会社 | Facial image synthesis device, facial image synthesis method, and program |
| JP2012027302A (en) * | 2010-07-26 | 2012-02-09 | Nikon Corp | Imaging apparatus with projection function |
-
2012
- 2012-08-10 JP JP2012178516A patent/JP6460510B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014035756A (en) | 2014-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101679290B1 (en) | Image processing method and apparatus | |
| US9521310B2 (en) | Method and apparatus for focusing on subject in digital image processing device | |
| JP4852652B2 (en) | Electronic zoom device, electronic zoom method, and program | |
| KR102597518B1 (en) | An electronic dievice applying bokeh effect to image and controlling method thereof | |
| JP2010086336A (en) | Image control apparatus, image control program, and image control method | |
| JP2013070164A (en) | Imaging device and imaging method | |
| US10958825B2 (en) | Electronic apparatus and method for controlling the same | |
| KR20100075167A (en) | Apparatus and method for capturing digital image using face recognition function | |
| KR20110089655A (en) | Apparatus and method for capturing digital image for guiding photo composition | |
| JP5911227B2 (en) | Determination apparatus, determination method, and program | |
| JP2009223835A (en) | Photographing device, image processor, and image processing method and program therefor | |
| JP6460510B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4807170B2 (en) | Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus | |
| JP2014021901A (en) | Object detection device, object detection method and program | |
| JP4702015B2 (en) | Image display apparatus and program | |
| JP2018007082A (en) | Image reproduction device, control method therefor, and program | |
| JP2008211534A (en) | Face detecting device | |
| JP2017037375A (en) | Imaging apparatus and control method thereof | |
| JP2011211757A (en) | Electronic zoom apparatus, electronic zoom method, and program | |
| JP5383207B2 (en) | Information processing apparatus, control method, computer program, and storage medium | |
| JP2010041629A (en) | Imaging device and controlling method and program | |
| JP6507747B2 (en) | INFORMATION PROCESSING APPARATUS, CONTENT DETERMINING METHOD, AND PROGRAM | |
| US20100166311A1 (en) | Digital image processing apparatus and method of controlling the same | |
| JP5896781B2 (en) | Image processing apparatus and image processing method | |
| JP2013157675A (en) | Imaging device, method for controlling the same, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160629 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170215 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170223 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20170324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6460510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |