JP3957168B2 - モーション・コントロール・カメラ - Google Patents
モーション・コントロール・カメラ Download PDFInfo
- Publication number
- JP3957168B2 JP3957168B2 JP2002149422A JP2002149422A JP3957168B2 JP 3957168 B2 JP3957168 B2 JP 3957168B2 JP 2002149422 A JP2002149422 A JP 2002149422A JP 2002149422 A JP2002149422 A JP 2002149422A JP 3957168 B2 JP3957168 B2 JP 3957168B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- camera
- shooting
- rehearsal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像カメラの自動制御技術または撮像カメラによって得られた画像の画像処理技術に関し、特に、放送局の番組制作や映画制作において、リハーサルで人が操作したカメラの動きを、収録時にカメラの動きだけでなく、映像内の出演者の位置を再現しながら撮影するモーション・コントロール・カメラに関する。
【０００２】
【従来の技術】
近年、コンピュータ制御によって、パン、チルト等のカメラパラメータを正確に再現できるモーション・コントロール・カメラが使用されるようになってきた。モーション・コントロール・カメラは、複数の映像素材を合成して１の映像とする多重合成や、コンピュータグラフィックスに連動して撮像して得られた映像とコンピュータグラフィックスとの映像合成等に利用されている。
【０００３】
そして、映像合成は、例えば、予めリハーサルを行い、被写体である出演者の映像と合成されるべきコンピュータグラフィックスとの位置関係等を決定し、実際の撮影で得られた被写体の映像と、予め位置関係等を決定しておいたコンピュータグラフィックス等とを合成することが行われていた。
【０００４】
映像合成の際、モーション・コントロール・カメラは、予めリハーサル等で決められたカメラワークで被写体を撮影できるようにコンピュータ制御され、正確なカメラワークの再現が図られ、映像合成の正確性を向上するように構成されていた。そして、リハーサルのときに人が操作したカメラの動きを収録時には人の手を介さずに再現することができ、カメラの動きを収録時に忠実に再現することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のモーション・コントロール・カメラでは、リハーサル時のカメラの動きを収録時に忠実に再現することができたとしても、被者体である出演者がリハーサルとまったく同じ動きをすることは不可能であるため、必要な被写体が撮影画面の中の適切な位置に映らないことがあり、意図しない映像になってしまうことが起こってしまうという問題があった。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを提供することにある。
【０００７】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、カメラ撮影の条件であるカメラパラメータに関する情報に基づいて被写体を撮影するロボットカメラと通信し、前記ロボットカメラを用いて予め行われた撮影であるリハーサル撮影において得られたリハーサル映像と前記リハーサル撮影時の前記カメラパラメータに関する情報とに基づいて、前記リハーサル撮影を再現するためのモーション・コントロール・カメラにおいて、映像中の前記被写体の位置に関する情報を生成する画像処理手段と、前記リハーサル撮影時の前記カメラパラメータに関する情報と前記リハーサル撮影時の被写体の位置に関する情報とを同期させて保持する手段と、前記リハーサル撮影を再現する撮影である本番撮影の時に前記画像処理手段によって生成される前記本番撮影時の被写体の位置に関する情報と前記リハーサル時の被写体の位置に関する情報とを対応させ、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置とが一致する方向に前記リハーサル撮影時のカメラパラメータに関する情報を補正して前記ロボットカメラに送信する手段とを備えた構成を有している。
【０００８】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【０００９】
また、請求項２に係る発明は、請求項１において、前記カメラパラメータは、前記ロボットカメラの位置、パン、チルト、ズーム、またはフォーカスのうちの少なくとも1つ以上を含む構成を有している。
【００１０】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１１】
また、請求項３に係る発明は、請求項１において、前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置の差異に基づいて、パン角度またはチルト角度を修正することによって行う構成を有している。
【００１２】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、パン角度またはチルト角度を補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１３】
また、請求項４に係る発明は、請求項１において、前記画像処理手段は、映像中の前記被写体の位置に関する情報に加え、前記映像中の被写体の顔の向きに関する情報をも生成する構成を有している。
【００１４】
この構成により、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１５】
また、請求項５に係る発明は、請求項１において前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の顔の向きと前記リハーサル撮影時の映像における被写体の顔の向きの差異に基づいて行う構成を有している。
【００１６】
この構成により、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態に係るモーション・コントロール・カメラのブロック構成を示す図である。モーション・コントロール・カメラ１００は、カメラ雲台１１０、コントローラ１２０、タイムコード発生手段１３０、被写体位置検出手段１４０、データセンタ１５０、およびコンピュータ１６０によって構成される。ここで、カメラ雲台１１０には、被写体を撮像するためのカメラが含まれるものとする。
【００１８】
カメラ雲台１１０は、外部から入力される制御信号に基づいて、カメラ撮影の条件である、パン、チルト、ズーム、フォーカス、ドリー、ハイト等のカメラパラメータを設定し、または、変化させ、カメラ雲台１１０が有するカメラを用いて被写体を含む映像を撮像して映像信号を生成し、生成した映像信号をコントローラ１２０に出力する手段である。ここで、ドリーとは、カメラ雲台の床面内における移動量をいい、ハイトとは、カメラ雲台の高さ方向の移動量をいう。
【００１９】
また、外部からカメラ雲台１１０に制御信号を入力する手段としては、例えば、後述する操作機２００等や、コントローラ１２０がある。さらに、カメラ雲台１１０は、例えば、特願２０００−３８３９９３号に開示されるロボットカメラとしての機能を有し、人手を介すことなく撮影を行うことができる手段である。
【００２０】
操作機２００は、その動きに連動してカメラ雲台１１０を動作させるための制御信号を生成してカメラ雲台１１０に出力する手段である。操作機２００についての詳細は、公知であり、その説明を省略する。
カメラマンは、例えば、本番の撮影に先立って、操作機２００を操作してカメラ雲台１１０を制御し、コンピュータグラフィックス、実写素材等の映像素材等との合成を考慮したカメラワークのリハーサルを行う。
【００２１】
カメラ雲台１１０は、また、操作機２００からの制御信号に応じてカメラ雲台１１０自身の位置（例えば、ドリー、ハイト等）を変更し、カメラ雲台１１０が有するカメラの撮影条件（例えば、パン、チルト、ズーム、またはフォーカス等）を変化させ、所定時間間隔でこれらのカメラパラメータに関する情報を含む信号をコントローラ１２０に出力する。図４に、リハーサル時の取得データの流れを示す。
【００２２】
一方、本番の撮影では、コントローラ１２０経由で入力される後述の制御信号（リハーサル撮影時に得られた情報を含む信号）に応じて、パン、チルト、ズーム、フォーカス、ドリー、ハイト等のカメラパラメータを設定し、カメラ雲台１１０が有するカメラを用いて被写体を撮像する。なお、カメラ雲台１１０の詳細については、特願２００１−４６１５８号に開示される記載を参照されたい。
【００２３】
コントローラ１２０は、さらに、画像処理手段１２１、および雲台制御手段１２２を含む構成を有する。
画像処理手段１２１は、リハーサル時には、カメラ雲台１１０によって出力された映像信号を入力とし、映像信号に基づいて得られる映像における被写体に関する所定の情報である被写体詳細情報を抽出するための画像処理を行い、抽出した被写体詳細情報をデータセンタ１５０および雲台制御手段１２２に出力する。ここで、被写体詳細情報とは、映像内における被写体の位置や顔の向き等に関する情報である。図５に、本番撮影時の取得データの流れを示す。
【００２４】
上記の被写体詳細情報を抽出するための画像処理としては、例えば、荒木 祐一，島田 伸敬，白井 良明著、「背景と顔の方向に依存しない顔の検出と顔方向の推定」、電子情報通信学会パターン認識メディア理解研究会、２００２／０１／１７−１８、ＰＲＭＵ２００１−２１７、８７−９４頁、に開示されたものがある。この画像処理についての一例の概略は、以下のとおりである。
【００２５】
この例では、被写体を人物とした場合のものである。
ステップＳ１０１で、色情報に基づいて、処理対象の映像中の肌色領域および髪色領域を抽出する。
ステップＳ１０２で、髪色領域の下側に肌色領域がある領域を抽出する。
ステップＳ１０３で、上記の髪色領域および肌色領域が所定の条件を満たすか否かによって、この領域が顔の条件を満たす領域か否かを判断する。
【００２６】
ステップＳ１０４で、顔の領域の重心を算出する。
ステップＳ１０５で、顔の領域中の暗い部分を目の領域として抽出する。
ステップＳ１０６で、目の領域と顔の輪郭等の情報に基づいて顔の向きに関する情報を生成する。
以上の処理において、ステップＳ１０４での処理が終了したときは、人の顔の位置に関する情報を得ることができる。また、ステップＳ１０６での処理が終了したときは、顔の向きに関する情報を得ることができる。
【００２７】
次に、本番の撮影時には、画像処理手段１２１は、カメラ雲台１１０によって出力される映像信号と、データセンタ１５０によって出力される被写体詳細情報および後述する被写体位置情報とを入力とし、リハーサル時の撮影で得られた被写体の映像内における位置と本番の撮影で得られた被写体の映像内の位置とを比較し、撮影の違いによる被写体の位置のずれを検出し、各撮影時の被写体位置情報、被写体詳細情報、または上記の被写体の位置のずれに関する情報である被写体位置ずれ情報を雲台制御手段１２２に出力するための手段である。
【００２８】
雲台制御手段１２２は、リハーサル時には、カメラ雲台１１０によって出力されたカメラパラメータに関する情報を含む信号と、画像処理手段１２１によって出力された被写体詳細情報を含む信号とを入力とし、入力されたこれらの信号に基づいてカメラパラメータに関する情報を被写体詳細情報に関連づけ、関連づけられて得られたカメラパラメータに関する情報である同期カメラワーク情報を含む信号を生成し、生成した同期カメラワーク情報をデータセンタ１５０に出力する手段である。
【００２９】
また、本番の撮影時には、雲台制御手段１２２は、データセンタ１５０によって出力された同期カメラワーク情報を含む信号と画像処理手段１２１によって出力される信号とを入力とし、入力されたこれらの信号に基づいてカメラ雲台１１０を制御するための信号を生成し、生成した制御信号をカメラ雲台１１０に出力する。この制御信号には、リハーサル撮影時のカメラパラメータの情報を後述する方法で補正し、本番撮影時の映像中の被写体の位置等がリハーサル撮影時の映像中の被写体の位置等と一致するように補正されたカメラパラメータに関する情報が含まれる。
【００３０】
タイムコード発生手段１３０は、撮影、画像処理等によって得られる情報のタイミング調整に用いるタイムコードを発生し、データセンタ１５０に出力する手段である。ここで、タイムコードとは、ビデオなどでフレームの正確な時間合わせを行うために用いられる時刻に関する情報をいう。例えば、時間、分、秒に関する情報が記載され、同一の秒で指定されるフレーム中の何番目のフレームかという情報等が入っている。
【００３１】
被写体位置検出手段１４０は、超音波センサ、赤外線センサ等を用いて被写体の居る位置を検出し、検出した被写体の位置に関する情報（以下、被写体位置情報という。）を含む信号をデータセンタ１５０に出力する手段である。
【００３２】
データセンタ１５０は、リハーサル時には、コントローラ１２０によって出力された同期カメラワーク情報を含む信号および被写体詳細情報を含む信号、タイムコード発生手段１３０によって出力されたタイムコード、被写体位置検出手段１４０によって出力された被写体位置情報を含む信号、およびコンテンツ再生手段１６０によって出力された後述の開始終了信号を入力とし、同一のタイムコードで特定される信号を関連づけて保持する手段である。具体的には、タイムコードによって指定される時刻およびフレームに係わる、同期カメラワーク情報、被写体詳細情報、および被写体位置情報等を統一して保持する。
【００３３】
一方、本番の撮影時には、データセンタ１５０は、撮影時に関連づけて保持したデータと、タイムコード発生手段１３０によって出力されたタイムコード、被写体位置検出手段１４０によって出力された現被写体位置情報を含む信号、およびコンテンツ再生手段１６０によって出力された後述の開始終了信号を入力とし、上記の撮影時の関連づけたデータと、現被写体位置情報を含む信号とを現タイムコードに基づいてコントローラ１２０に出力する手段である。
【００３４】
コンピュータ１６０は、コントローラ１２０およびデータセンタ１５０に撮影の開始の指示、および終了の指示等の制御信号を生成し、出力する手段である。なお、コンピュータ１６０は、カメラ雲台１１０によって撮影された映像信号をコントローラ１２０経由で受信して保持するのでも良い。
【００３５】
図２は、本発明の実施の形態に係るモーションコントロール方法における処理の流れを示すフローチャートである。
ステップＳ２０１で、操作機２００を操作することによってカメラ雲台１１０を制御するための制御信号が生成され、その制御信号に応じてカメラ雲台１１０はカメラパラメータを設定し、設定されたカメラパラメータで、カメラ雲台１１０が有するカメラは被写体を撮影する。図３に示すように、カメラ雲台１１０は、被写体３１０を撮影し、リハーサル時の映像３１１を生成する。図３において、被写体３１０は、リハーサル時の被写体を示す。
【００３６】
ステップＳ２０２で、コントローラ１２０は同期カメラワーク情報および被写体詳細情報を生成し、タイムコード発生手段１３０はタイムコードを生成し、被写体位置検出手段１４０は被写体位置情報を生成し、データセンタ１５０は、同期カメラワーク情報および被写体詳細情報と、タイムコードと、被写体位置情報とを受信して、タイムコードに基づいて同期カメラワーク情報および被写体詳細情報と被写体位置情報とを同期させて保持する。ステップＳ２０２における、同期カメラワーク情報と被写体詳細情とを含む信号の流れを図４に示す。
【００３７】
ステップＳ２０３で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の終了を示す信号か否かを判断し、終了を示し信号であると判断した場合、処理はステップＳ２０４に進み、終了を示す信号でないと判断した場合、処理はステップＳ２０１に戻り、上記の処理を繰り返す。言うまでもなく、ステップＳ２０３で終了するか否かを判断する対象の撮影は、リハーサル時の撮影を指す。
【００３８】
ステップＳ２０４で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の開始を示す信号か否かを判断し、開始を示し信号であると判断した場合、処理はステップＳ２０５に進み、開始を示す信号でないと判断した場合、処理はステップＳ２０４に戻り、撮影開始を示す信号があるまでこの処理を繰り返し待機する。
【００３９】
ステップＳ２０５以降の各ステップでの処理は、本番の撮影時におけるものである。
ステップＳ２０５で、データセンタ１５０は、ステップＳ２０２で同期させて保持した情報をコントローラ１２０およびコントローラ１２０経由でカメラ雲台１１０に出力する。言い換えれば、リハーサル時に取得したカメラワークの情報および被写体の位置に関する情報等をコントローラ１２０出力するものである。ステップＳ２０５における、同期カメラワーク情報と被写体詳細情とを含む信号の流れを図５に示す。
【００４０】
ステップＳ２０６で、カメラ雲台１１０は、ステップＳ２０５でコントローラ１２０経由で入力された情報に基づいてカメラ雲台１１０のカメラパラメータを設定し、カメラ雲台１１０が有するカメラで撮影を開始する。図３に示すように、本番の撮影開始時には、カメラ雲台１１０は、リハーサル時の被写体３１０とは異なる位置の被写体３２０を撮影し、本番撮影時の映像３２１を生成する。
【００４１】
ステップＳ２０７で、コントローラ１２０の画像処理手段１２１は、撮影映像中の被写体の位置、顔の向き等に関する情報を検出する。
ステップＳ２０８で、雲台制御手段１２２は、ステップＳ２０７で検出した映像中の被写体の位置や顔の向きと、リハーサル時に取得した対応する映像における被写体の位置や顔の向きとを比較して被写体の位置や顔の向きのずれを検出し、検出したずれに応じて設定するカメラパラメータを補正する。
【００４２】
図６は、リハーサル時と本番の撮影時の映像中における被写体の位置のずれの補正を行う方法についての説明図である。図６（ａ）において、画面内の水平方向のずれをｄｐとし、画面内の垂直方向のずれをｄｔとすると、パン角度の補正量θｐ、チルト角度の補正量θｔは、以下の式のように表される。
θｐ＝ｄｐ・Ａｐ／（水平方向の最大画面サイズ）
θｔ＝ｄｔ・Ａｔ／（垂直方向の最大画面サイズ）
ここで、Ａｐは撮影している水平画角、Ａｔは撮影している垂直画角である。
【００４３】
上記のパン角度の補正量θｐとチルト角度の補正量θｔだけカメラパラメータを補正することによって、図３に符号３３０を用いて示すように、リハーサル時と本番の撮影時の映像中における被写体の位置のずれの修正が施されることになる。
ステップＳ２０９で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の終了を示す信号か否かを判断し、終了を示し信号であると判断した場合、処理は終了し、終了を示す信号でないと判断した場合、処理はステップＳ２０に戻り、上記の処理を繰り返し撮影を行う。
【００４４】
以上説明したように、本発明の実施の形態に係るモーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、リハーサル時と同様の映像が本番撮影時に得ることができ、正確な画像合成を実現することができる。
これによって、音楽等のテレビ番組においても出演者に無理を強いることなく、期待した演出の番組を収録することができる。
【００４５】
【発明の効果】
以上説明したように、本発明は、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るモーション・コントロール・カメラのブロック構成の一例を示す図である。
【図２】本発明の実施の形態に係るモーションコントロール方法における処理の流れを示すフローチャートである。
【図３】リハーサル時と本番撮影時における撮影の様子を概念的に示す説明図である。
【図４】本発明の実施の形態に係るモーション・コントロール・カメラにおけるリハーサル時の取得データの流れを示す説明図である。
【図５】本発明の実施の形態に係るモーション・コントロール・カメラにおける本番撮影時の取得データの流れを示す説明図である。
【図６】本発明の実施の形態に係るリハーサル時と本番の撮影時の映像中における被写体の位置のずれの補正を行う方法についての説明図である。
【符号の説明】
１００ モーション・コントロール・カメラ
１２０ コントローラ
１２１ 画像処理手段
１２２ 雲台制御手段
１３０ タイムコード発生手段
１４０ 被写体位置検出手段
１５０ データセンタ
１６０ コンピュータ
２００ 操作機
３１０ リハーサル時の被写体
３１１ リハーサル時の映像
３２０ 本番撮影時の被写体
３２１ 本番撮影時の映像
【発明の属する技術分野】
本発明は、撮像カメラの自動制御技術または撮像カメラによって得られた画像の画像処理技術に関し、特に、放送局の番組制作や映画制作において、リハーサルで人が操作したカメラの動きを、収録時にカメラの動きだけでなく、映像内の出演者の位置を再現しながら撮影するモーション・コントロール・カメラに関する。
【０００２】
【従来の技術】
近年、コンピュータ制御によって、パン、チルト等のカメラパラメータを正確に再現できるモーション・コントロール・カメラが使用されるようになってきた。モーション・コントロール・カメラは、複数の映像素材を合成して１の映像とする多重合成や、コンピュータグラフィックスに連動して撮像して得られた映像とコンピュータグラフィックスとの映像合成等に利用されている。
【０００３】
そして、映像合成は、例えば、予めリハーサルを行い、被写体である出演者の映像と合成されるべきコンピュータグラフィックスとの位置関係等を決定し、実際の撮影で得られた被写体の映像と、予め位置関係等を決定しておいたコンピュータグラフィックス等とを合成することが行われていた。
【０００４】
映像合成の際、モーション・コントロール・カメラは、予めリハーサル等で決められたカメラワークで被写体を撮影できるようにコンピュータ制御され、正確なカメラワークの再現が図られ、映像合成の正確性を向上するように構成されていた。そして、リハーサルのときに人が操作したカメラの動きを収録時には人の手を介さずに再現することができ、カメラの動きを収録時に忠実に再現することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のモーション・コントロール・カメラでは、リハーサル時のカメラの動きを収録時に忠実に再現することができたとしても、被者体である出演者がリハーサルとまったく同じ動きをすることは不可能であるため、必要な被写体が撮影画面の中の適切な位置に映らないことがあり、意図しない映像になってしまうことが起こってしまうという問題があった。
【０００６】
本発明は、かかる問題を解決するためになされたものであり、その目的は、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを提供することにある。
【０００７】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、カメラ撮影の条件であるカメラパラメータに関する情報に基づいて被写体を撮影するロボットカメラと通信し、前記ロボットカメラを用いて予め行われた撮影であるリハーサル撮影において得られたリハーサル映像と前記リハーサル撮影時の前記カメラパラメータに関する情報とに基づいて、前記リハーサル撮影を再現するためのモーション・コントロール・カメラにおいて、映像中の前記被写体の位置に関する情報を生成する画像処理手段と、前記リハーサル撮影時の前記カメラパラメータに関する情報と前記リハーサル撮影時の被写体の位置に関する情報とを同期させて保持する手段と、前記リハーサル撮影を再現する撮影である本番撮影の時に前記画像処理手段によって生成される前記本番撮影時の被写体の位置に関する情報と前記リハーサル時の被写体の位置に関する情報とを対応させ、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置とが一致する方向に前記リハーサル撮影時のカメラパラメータに関する情報を補正して前記ロボットカメラに送信する手段とを備えた構成を有している。
【０００８】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【０００９】
また、請求項２に係る発明は、請求項１において、前記カメラパラメータは、前記ロボットカメラの位置、パン、チルト、ズーム、またはフォーカスのうちの少なくとも1つ以上を含む構成を有している。
【００１０】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１１】
また、請求項３に係る発明は、請求項１において、前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置の差異に基づいて、パン角度またはチルト角度を修正することによって行う構成を有している。
【００１２】
この構成により、モーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置等のずれに関する情報を検出し、パン角度またはチルト角度を補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１３】
また、請求項４に係る発明は、請求項１において、前記画像処理手段は、映像中の前記被写体の位置に関する情報に加え、前記映像中の被写体の顔の向きに関する情報をも生成する構成を有している。
【００１４】
この構成により、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１５】
また、請求項５に係る発明は、請求項１において前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の顔の向きと前記リハーサル撮影時の映像における被写体の顔の向きの差異に基づいて行う構成を有している。
【００１６】
この構成により、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態に係るモーション・コントロール・カメラのブロック構成を示す図である。モーション・コントロール・カメラ１００は、カメラ雲台１１０、コントローラ１２０、タイムコード発生手段１３０、被写体位置検出手段１４０、データセンタ１５０、およびコンピュータ１６０によって構成される。ここで、カメラ雲台１１０には、被写体を撮像するためのカメラが含まれるものとする。
【００１８】
カメラ雲台１１０は、外部から入力される制御信号に基づいて、カメラ撮影の条件である、パン、チルト、ズーム、フォーカス、ドリー、ハイト等のカメラパラメータを設定し、または、変化させ、カメラ雲台１１０が有するカメラを用いて被写体を含む映像を撮像して映像信号を生成し、生成した映像信号をコントローラ１２０に出力する手段である。ここで、ドリーとは、カメラ雲台の床面内における移動量をいい、ハイトとは、カメラ雲台の高さ方向の移動量をいう。
【００１９】
また、外部からカメラ雲台１１０に制御信号を入力する手段としては、例えば、後述する操作機２００等や、コントローラ１２０がある。さらに、カメラ雲台１１０は、例えば、特願２０００−３８３９９３号に開示されるロボットカメラとしての機能を有し、人手を介すことなく撮影を行うことができる手段である。
【００２０】
操作機２００は、その動きに連動してカメラ雲台１１０を動作させるための制御信号を生成してカメラ雲台１１０に出力する手段である。操作機２００についての詳細は、公知であり、その説明を省略する。
カメラマンは、例えば、本番の撮影に先立って、操作機２００を操作してカメラ雲台１１０を制御し、コンピュータグラフィックス、実写素材等の映像素材等との合成を考慮したカメラワークのリハーサルを行う。
【００２１】
カメラ雲台１１０は、また、操作機２００からの制御信号に応じてカメラ雲台１１０自身の位置（例えば、ドリー、ハイト等）を変更し、カメラ雲台１１０が有するカメラの撮影条件（例えば、パン、チルト、ズーム、またはフォーカス等）を変化させ、所定時間間隔でこれらのカメラパラメータに関する情報を含む信号をコントローラ１２０に出力する。図４に、リハーサル時の取得データの流れを示す。
【００２２】
一方、本番の撮影では、コントローラ１２０経由で入力される後述の制御信号（リハーサル撮影時に得られた情報を含む信号）に応じて、パン、チルト、ズーム、フォーカス、ドリー、ハイト等のカメラパラメータを設定し、カメラ雲台１１０が有するカメラを用いて被写体を撮像する。なお、カメラ雲台１１０の詳細については、特願２００１−４６１５８号に開示される記載を参照されたい。
【００２３】
コントローラ１２０は、さらに、画像処理手段１２１、および雲台制御手段１２２を含む構成を有する。
画像処理手段１２１は、リハーサル時には、カメラ雲台１１０によって出力された映像信号を入力とし、映像信号に基づいて得られる映像における被写体に関する所定の情報である被写体詳細情報を抽出するための画像処理を行い、抽出した被写体詳細情報をデータセンタ１５０および雲台制御手段１２２に出力する。ここで、被写体詳細情報とは、映像内における被写体の位置や顔の向き等に関する情報である。図５に、本番撮影時の取得データの流れを示す。
【００２４】
上記の被写体詳細情報を抽出するための画像処理としては、例えば、荒木 祐一，島田 伸敬，白井 良明著、「背景と顔の方向に依存しない顔の検出と顔方向の推定」、電子情報通信学会パターン認識メディア理解研究会、２００２／０１／１７−１８、ＰＲＭＵ２００１−２１７、８７−９４頁、に開示されたものがある。この画像処理についての一例の概略は、以下のとおりである。
【００２５】
この例では、被写体を人物とした場合のものである。
ステップＳ１０１で、色情報に基づいて、処理対象の映像中の肌色領域および髪色領域を抽出する。
ステップＳ１０２で、髪色領域の下側に肌色領域がある領域を抽出する。
ステップＳ１０３で、上記の髪色領域および肌色領域が所定の条件を満たすか否かによって、この領域が顔の条件を満たす領域か否かを判断する。
【００２６】
ステップＳ１０４で、顔の領域の重心を算出する。
ステップＳ１０５で、顔の領域中の暗い部分を目の領域として抽出する。
ステップＳ１０６で、目の領域と顔の輪郭等の情報に基づいて顔の向きに関する情報を生成する。
以上の処理において、ステップＳ１０４での処理が終了したときは、人の顔の位置に関する情報を得ることができる。また、ステップＳ１０６での処理が終了したときは、顔の向きに関する情報を得ることができる。
【００２７】
次に、本番の撮影時には、画像処理手段１２１は、カメラ雲台１１０によって出力される映像信号と、データセンタ１５０によって出力される被写体詳細情報および後述する被写体位置情報とを入力とし、リハーサル時の撮影で得られた被写体の映像内における位置と本番の撮影で得られた被写体の映像内の位置とを比較し、撮影の違いによる被写体の位置のずれを検出し、各撮影時の被写体位置情報、被写体詳細情報、または上記の被写体の位置のずれに関する情報である被写体位置ずれ情報を雲台制御手段１２２に出力するための手段である。
【００２８】
雲台制御手段１２２は、リハーサル時には、カメラ雲台１１０によって出力されたカメラパラメータに関する情報を含む信号と、画像処理手段１２１によって出力された被写体詳細情報を含む信号とを入力とし、入力されたこれらの信号に基づいてカメラパラメータに関する情報を被写体詳細情報に関連づけ、関連づけられて得られたカメラパラメータに関する情報である同期カメラワーク情報を含む信号を生成し、生成した同期カメラワーク情報をデータセンタ１５０に出力する手段である。
【００２９】
また、本番の撮影時には、雲台制御手段１２２は、データセンタ１５０によって出力された同期カメラワーク情報を含む信号と画像処理手段１２１によって出力される信号とを入力とし、入力されたこれらの信号に基づいてカメラ雲台１１０を制御するための信号を生成し、生成した制御信号をカメラ雲台１１０に出力する。この制御信号には、リハーサル撮影時のカメラパラメータの情報を後述する方法で補正し、本番撮影時の映像中の被写体の位置等がリハーサル撮影時の映像中の被写体の位置等と一致するように補正されたカメラパラメータに関する情報が含まれる。
【００３０】
タイムコード発生手段１３０は、撮影、画像処理等によって得られる情報のタイミング調整に用いるタイムコードを発生し、データセンタ１５０に出力する手段である。ここで、タイムコードとは、ビデオなどでフレームの正確な時間合わせを行うために用いられる時刻に関する情報をいう。例えば、時間、分、秒に関する情報が記載され、同一の秒で指定されるフレーム中の何番目のフレームかという情報等が入っている。
【００３１】
被写体位置検出手段１４０は、超音波センサ、赤外線センサ等を用いて被写体の居る位置を検出し、検出した被写体の位置に関する情報（以下、被写体位置情報という。）を含む信号をデータセンタ１５０に出力する手段である。
【００３２】
データセンタ１５０は、リハーサル時には、コントローラ１２０によって出力された同期カメラワーク情報を含む信号および被写体詳細情報を含む信号、タイムコード発生手段１３０によって出力されたタイムコード、被写体位置検出手段１４０によって出力された被写体位置情報を含む信号、およびコンテンツ再生手段１６０によって出力された後述の開始終了信号を入力とし、同一のタイムコードで特定される信号を関連づけて保持する手段である。具体的には、タイムコードによって指定される時刻およびフレームに係わる、同期カメラワーク情報、被写体詳細情報、および被写体位置情報等を統一して保持する。
【００３３】
一方、本番の撮影時には、データセンタ１５０は、撮影時に関連づけて保持したデータと、タイムコード発生手段１３０によって出力されたタイムコード、被写体位置検出手段１４０によって出力された現被写体位置情報を含む信号、およびコンテンツ再生手段１６０によって出力された後述の開始終了信号を入力とし、上記の撮影時の関連づけたデータと、現被写体位置情報を含む信号とを現タイムコードに基づいてコントローラ１２０に出力する手段である。
【００３４】
コンピュータ１６０は、コントローラ１２０およびデータセンタ１５０に撮影の開始の指示、および終了の指示等の制御信号を生成し、出力する手段である。なお、コンピュータ１６０は、カメラ雲台１１０によって撮影された映像信号をコントローラ１２０経由で受信して保持するのでも良い。
【００３５】
図２は、本発明の実施の形態に係るモーションコントロール方法における処理の流れを示すフローチャートである。
ステップＳ２０１で、操作機２００を操作することによってカメラ雲台１１０を制御するための制御信号が生成され、その制御信号に応じてカメラ雲台１１０はカメラパラメータを設定し、設定されたカメラパラメータで、カメラ雲台１１０が有するカメラは被写体を撮影する。図３に示すように、カメラ雲台１１０は、被写体３１０を撮影し、リハーサル時の映像３１１を生成する。図３において、被写体３１０は、リハーサル時の被写体を示す。
【００３６】
ステップＳ２０２で、コントローラ１２０は同期カメラワーク情報および被写体詳細情報を生成し、タイムコード発生手段１３０はタイムコードを生成し、被写体位置検出手段１４０は被写体位置情報を生成し、データセンタ１５０は、同期カメラワーク情報および被写体詳細情報と、タイムコードと、被写体位置情報とを受信して、タイムコードに基づいて同期カメラワーク情報および被写体詳細情報と被写体位置情報とを同期させて保持する。ステップＳ２０２における、同期カメラワーク情報と被写体詳細情とを含む信号の流れを図４に示す。
【００３７】
ステップＳ２０３で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の終了を示す信号か否かを判断し、終了を示し信号であると判断した場合、処理はステップＳ２０４に進み、終了を示す信号でないと判断した場合、処理はステップＳ２０１に戻り、上記の処理を繰り返す。言うまでもなく、ステップＳ２０３で終了するか否かを判断する対象の撮影は、リハーサル時の撮影を指す。
【００３８】
ステップＳ２０４で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の開始を示す信号か否かを判断し、開始を示し信号であると判断した場合、処理はステップＳ２０５に進み、開始を示す信号でないと判断した場合、処理はステップＳ２０４に戻り、撮影開始を示す信号があるまでこの処理を繰り返し待機する。
【００３９】
ステップＳ２０５以降の各ステップでの処理は、本番の撮影時におけるものである。
ステップＳ２０５で、データセンタ１５０は、ステップＳ２０２で同期させて保持した情報をコントローラ１２０およびコントローラ１２０経由でカメラ雲台１１０に出力する。言い換えれば、リハーサル時に取得したカメラワークの情報および被写体の位置に関する情報等をコントローラ１２０出力するものである。ステップＳ２０５における、同期カメラワーク情報と被写体詳細情とを含む信号の流れを図５に示す。
【００４０】
ステップＳ２０６で、カメラ雲台１１０は、ステップＳ２０５でコントローラ１２０経由で入力された情報に基づいてカメラ雲台１１０のカメラパラメータを設定し、カメラ雲台１１０が有するカメラで撮影を開始する。図３に示すように、本番の撮影開始時には、カメラ雲台１１０は、リハーサル時の被写体３１０とは異なる位置の被写体３２０を撮影し、本番撮影時の映像３２１を生成する。
【００４１】
ステップＳ２０７で、コントローラ１２０の画像処理手段１２１は、撮影映像中の被写体の位置、顔の向き等に関する情報を検出する。
ステップＳ２０８で、雲台制御手段１２２は、ステップＳ２０７で検出した映像中の被写体の位置や顔の向きと、リハーサル時に取得した対応する映像における被写体の位置や顔の向きとを比較して被写体の位置や顔の向きのずれを検出し、検出したずれに応じて設定するカメラパラメータを補正する。
【００４２】
図６は、リハーサル時と本番の撮影時の映像中における被写体の位置のずれの補正を行う方法についての説明図である。図６（ａ）において、画面内の水平方向のずれをｄｐとし、画面内の垂直方向のずれをｄｔとすると、パン角度の補正量θｐ、チルト角度の補正量θｔは、以下の式のように表される。
θｐ＝ｄｐ・Ａｐ／（水平方向の最大画面サイズ）
θｔ＝ｄｔ・Ａｔ／（垂直方向の最大画面サイズ）
ここで、Ａｐは撮影している水平画角、Ａｔは撮影している垂直画角である。
【００４３】
上記のパン角度の補正量θｐとチルト角度の補正量θｔだけカメラパラメータを補正することによって、図３に符号３３０を用いて示すように、リハーサル時と本番の撮影時の映像中における被写体の位置のずれの修正が施されることになる。
ステップＳ２０９で、コントローラ１２０およびデータセンタ１５０は、コンピュータ１６０によって出力された制御信号が撮影の終了を示す信号か否かを判断し、終了を示し信号であると判断した場合、処理は終了し、終了を示す信号でないと判断した場合、処理はステップＳ２０に戻り、上記の処理を繰り返し撮影を行う。
【００４４】
以上説明したように、本発明の実施の形態に係るモーション・コントロール・カメラは、リハーサル時および本番撮影時に撮影した映像等から被写体の位置や顔の向き等のずれに関する情報を検出し、カメラパラメータを補正するため、リハーサル時と同様の映像が本番撮影時に得ることができ、正確な画像合成を実現することができる。
これによって、音楽等のテレビ番組においても出演者に無理を強いることなく、期待した演出の番組を収録することができる。
【００４５】
【発明の効果】
以上説明したように、本発明は、本番の撮影時に被写体がリハーサル時と同じ動きをしなくとも、被写体が画面内の適切な位置に映るように撮影することができるモーション・コントロール・カメラを実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るモーション・コントロール・カメラのブロック構成の一例を示す図である。
【図２】本発明の実施の形態に係るモーションコントロール方法における処理の流れを示すフローチャートである。
【図３】リハーサル時と本番撮影時における撮影の様子を概念的に示す説明図である。
【図４】本発明の実施の形態に係るモーション・コントロール・カメラにおけるリハーサル時の取得データの流れを示す説明図である。
【図５】本発明の実施の形態に係るモーション・コントロール・カメラにおける本番撮影時の取得データの流れを示す説明図である。
【図６】本発明の実施の形態に係るリハーサル時と本番の撮影時の映像中における被写体の位置のずれの補正を行う方法についての説明図である。
【符号の説明】
１００ モーション・コントロール・カメラ
１２０ コントローラ
１２１ 画像処理手段
１２２ 雲台制御手段
１３０ タイムコード発生手段
１４０ 被写体位置検出手段
１５０ データセンタ
１６０ コンピュータ
２００ 操作機
３１０ リハーサル時の被写体
３１１ リハーサル時の映像
３２０ 本番撮影時の被写体
３２１ 本番撮影時の映像
Claims (5)
- カメラ撮影の条件であるカメラパラメータに関する情報に基づいて被写体を撮影するロボットカメラと通信し、前記ロボットカメラを用いて予め行われた撮影であるリハーサル撮影において得られたリハーサル映像と前記リハーサル撮影時の前記カメラパラメータに関する情報とに基づいて、前記リハーサル撮影を再現するためのモーション・コントロール・カメラにおいて、映像中の前記被写体の位置に関する情報を生成する画像処理手段と、前記リハーサル撮影時の前記カメラパラメータに関する情報と前記リハーサル撮影時の被写体の位置に関する情報とを同期させて保持する手段と、前記リハーサル撮影を再現する撮影である本番撮影の時に前記画像処理手段によって生成される前記本番撮影時の被写体の位置に関する情報と前記リハーサル時の被写体の位置に関する情報とを対応させ、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置とが一致する方向に前記リハーサル撮影時のカメラパラメータに関する情報を補正して前記ロボットカメラに送信する手段とを備えたことを特徴とするモーション・コントロール・カメラ。
- 前記カメラパラメータは、前記ロボットカメラの位置、パン、チルト、ズーム、またはフォーカスのうちの少なくとも1つ以上を含むことを特徴とする請求項1記載のモーション・コントロール・カメラ。
- 前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の位置と前記リハーサル撮影時の映像における被写体の位置の差異に基づいて、パン角度またはチルト角度を修正することによって行うことを特徴とする請求項１記載のモーション・コントロール・カメラ。
- 前記画像処理手段は、映像中の前記被写体の位置に関する情報に加え、前記映像中の被写体の顔の向きに関する情報をも生成することを特徴とする請求項1に記載のモーション・コントロール・カメラ。
- 前記リハーサル撮影時のカメラパラメータに関する情報の補正は、前記本番撮影時の映像における被写体の顔の向きと前記リハーサル撮影時の映像における被写体の顔の向きの差異に基づいて行うことを特徴とする請求項４記載のモーション・コントロール・カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002149422A JP3957168B2 (ja) | 2002-05-23 | 2002-05-23 | モーション・コントロール・カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002149422A JP3957168B2 (ja) | 2002-05-23 | 2002-05-23 | モーション・コントロール・カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348384A JP2003348384A (ja) | 2003-12-05 |
| JP3957168B2 true JP3957168B2 (ja) | 2007-08-15 |
Family
ID=29767602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002149422A Expired - Fee Related JP3957168B2 (ja) | 2002-05-23 | 2002-05-23 | モーション・コントロール・カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3957168B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9275680B2 (en) | 2009-06-16 | 2016-03-01 | Microsoft Technology Licensing, Llc | Viewer-centric user interface for stereoscopic cinema |
| CN102681541A (zh) * | 2011-03-10 | 2012-09-19 | 上海方伴自动化设备有限公司 | 一种机器人图像识别和视觉定位的方法 |
| WO2017154953A1 (ja) * | 2016-03-08 | 2017-09-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| US11782195B2 (en) * | 2019-09-30 | 2023-10-10 | Himax Technologies Limited | Diffractive optical element and method for fabricating the diffractive optical element |
| JP7332465B2 (ja) * | 2019-12-26 | 2023-08-23 | 株式会社日立製作所 | 動作認識システム、動作認識装置、および領域設定方法 |
-
2002
- 2002-05-23 JP JP2002149422A patent/JP3957168B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348384A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5163676B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| KR101626780B1 (ko) | 촬상 장치, 화상 처리 방법 및 프로그램 | |
| US8711230B2 (en) | Image capture apparatus and program | |
| JP5514959B2 (ja) | パノラマ画像生成方法及び撮像装置 | |
| JP2006295350A (ja) | 撮像装置及び撮像結果の処理方法 | |
| US20110012991A1 (en) | Moving image recording method and apparatus, and moving image coding method and moving image coder | |
| CN102263894B (zh) | 拍摄装置 | |
| JP4193628B2 (ja) | 撮像装置 | |
| KR20110055241A (ko) | 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법 | |
| JP2007124397A (ja) | 画像処理装置および画像処理方法 | |
| JP3957168B2 (ja) | モーション・コントロール・カメラ | |
| JP2013110754A (ja) | カメラ装置、及びその撮影方法とプログラム | |
| JP2010193324A (ja) | カメラ装置、及びその撮影方法とプログラム | |
| JP5267279B2 (ja) | 画像合成装置及びプログラム | |
| JP4193552B2 (ja) | 画像データ記録再生装置及び方法 | |
| JP2009010903A (ja) | 撮像装置及び撮像方法 | |
| JP5892211B2 (ja) | 撮像装置、及びプログラム | |
| JP2008005427A (ja) | 撮像装置および撮像方法、並びにプログラム | |
| JP4148251B2 (ja) | 撮像装置及び表示装置 | |
| JP4458132B2 (ja) | 撮像装置 | |
| JP5962974B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JPH10290412A (ja) | 撮像、記憶、処理、表示、再生、伝送装置及び記録媒体 | |
| JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
| JP2005348449A5 (ja) | ||
| JP4515005B2 (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070501 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070502 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |