JP6459517B2 - 撮像装置、映像送信装置、及び映像送受信システム - Google Patents

撮像装置、映像送信装置、及び映像送受信システム Download PDF

Info

Publication number
JP6459517B2
JP6459517B2 JP2015000799A JP2015000799A JP6459517B2 JP 6459517 B2 JP6459517 B2 JP 6459517B2 JP 2015000799 A JP2015000799 A JP 2015000799A JP 2015000799 A JP2015000799 A JP 2015000799A JP 6459517 B2 JP6459517 B2 JP 6459517B2
Authority
JP
Japan
Prior art keywords
area
unit
video
block
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015000799A
Other languages
English (en)
Other versions
JP2016127478A (ja
Inventor
耕司 桑田
耕司 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015000799A priority Critical patent/JP6459517B2/ja
Priority to US14/984,572 priority patent/US9807311B2/en
Priority to EP16150138.2A priority patent/EP3043547B1/en
Publication of JP2016127478A publication Critical patent/JP2016127478A/ja
Application granted granted Critical
Publication of JP6459517B2 publication Critical patent/JP6459517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、全体映像から抜き取った一部のエリアの映像の画質を向上するのに好適な露出制御技術に関する。
従来の撮像装置の一例として、ネットワークカメラが知られている。
このネットワークカメラは、TV会議システムや監視システム等に用いられ、撮影対象や背景全体の全体映像を全域に渡って撮影するために、通常、パン/チルト/ズーム機能が搭載されている。パン/チルト機能については、カメラレンズの光軸方向を上下左右方向に変更する駆動機構を搭載し、ズーム機能については光学的機構において倍率を変更するように構成するのが一般的であった。
昨今、イメージセンサの高解像度化、デジタル信号処理(DSP)技術の進歩が著しい。最近のネットワークカメラにあっても、パン/チルト機能については光学的機構ではなく、広角レンズを用いて撮影した全体映像データに対して、スクロールして一部エリアを抜き取っておき、デジタル処理を行うことで、見かけ上のパン/チルト機能を実現している。またズーム機能も光学的機構ではなく、デジタル処理することで実現する処理技術が既に知られている。
TV会議システム等に用いるネットワークカメラについての信号処理技術では、広角レンズを用いて撮影した全体映像に対して最適な露出制御を行っておき、全体映像から必要な一部分の映像データを抜き取り、所定のデジタルズーム処理を施して拡大することで、デジタルパン/チルト/ズーム機能を実現できている。
特許文献1には、画面内の人物の位置/範囲に拘わらず、対象となる人物を適正露光とすることが可能な撮像装置が開示されている。
一般的には、全体映像に対して、パン/チルト操作によりスクロールして一部エリアの映像を抜き取った場合、一部エリアの映像だけが実際にモニタに映し出されるため、その映像が暗すぎる場合や、明るすぎる場合があり、一部エリアの映像レベルには偏りが生じているので、一部エリアの映像によっては目視確認時に違和感が生じる。この原因は、広角レンズを用いて撮影した全体映像に対してのみ最適な露出制御を行っていることに起因している。
本発明は、全体映像から抜き取った一部のエリア映像の画質を向上させることにある。
請求項1記載の発明は、上記課題を解決するため、撮像部と、前記撮像部から取得した映像データを解析して、前記映像データの全エリアでの最適な露光条件を算出して前記撮像部に設定するとともに、前記最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、前記最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、前記エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、記憶手段と、前記信号処理部から取得した前記最適映像データを複数の映像ブロックに分割して、前記映像ブロック毎に最適なブロック露光条件を算出して、前記記憶手段に記憶するブロック測光演算手段と、パン操作又はチルト操作の入力があるか否かを判断する操作判断手段と、を備え、前記露光条件算出手段は、前記エリア露光条件を前記撮像部、及び前記信号処理部に設定し、前記パン操作又は前記チルト操作の入力がある場合に、前記ブロック測光演算手段は、前記記憶手段から取得した前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、前記一部のエリアに係る最適なエリア露光条件を算出して、前記撮像部、及び前記信号処理部に設定することを特徴とする。

本発明によれば、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
本発明の実施形態に係る映像送受信システムの一例であるTV会議システムの構成を示す図である。 図1に示すカメラ及びPTZ制御部の構成を示すブロック図である。 (a)〜(c)は、撮像部により撮影可能な映像データの全体エリアを複数のブロックに分割したことを示す図である。 本発明の実施形態に係るTV会議システムに用いる全体制御部によるカメラ映像の取り込み動作を示したフローチャートである。
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、全体映像から抜き取った一部のエリア映像の画質を向上させるために、以下の構成を有する。
すなわち、本発明の撮像装置は、撮像部と、撮像部から取得した映像データを解析して、映像データの全エリアでの最適な露光条件を算出して撮像部に設定するとともに、最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、を備え、露光条件算出手段は、エリア露光条件を撮像部、及び信号処理部に設定することを特徴とする。
以上の構成を備えることにより、全体映像から抜き取った一部のエリア映像に対して最適な露光条件を設定することで、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
図1は、本発明の実施形態に係る映像送受信システムの一例であるTV会議システムの構成を示す図である。図1においては、TV会議システムのうち、特に映像データに関する部分のみを記載している。
TV会議システム1は、第一の拠点に設置されたカメラ部10A、ディスプレイ12A、端末装置14A、マイク26A、操作部29A、パン/チルト/ズーム制御部(以下、PTZ制御部という)50A、を備えている。
第二の拠点にも第一の拠点に設置された装置と同様の装置が備えられている。
端末装置14Aと端末装置14Bとの間には、夫々に取得された映像及び音声を中継するためのサーバ30を備えており、端末装置14A、端末装置14B、及びサーバ30は、インターネットやイントラネット等のネットワーク40を介して接続されている。
なお、図1においては、第一の拠点を送信側、第二の拠点を受信側として説明するが、実際には、各拠点に設置された夫々の装置は同一の構成を有しており、ともにTV会議に用いられる情報の送受信が可能である。
以下、例えば第一の拠点にはカメラ部10Aが配置され、第二の拠点にはカメラ部10Bが配置されているが、本実施形態における説明を簡略化するため「カメラ部10」として説明することとする。
端末装置14は、画処理部15、エンコーダ部16、NW(ネットワーク)処理部17、デコーダ18、ネットワーク状態検知部20、相手局デコード機能判別部22、音声判別部24を備えている。
画処理部15は、PTZ制御部50の内部において映像データから抜き取った(切り出した)エリアの映像データに基づいて、受信側が必要とするサイズの拡大映像データを生成する拡大処理を行い、処理後の映像データをエンコーダ部16に出力する。なお、画処理部15は、ローカルモードにおいて、自局の必要とするサイズの拡大映像データを生成してモニタ9に出力してもよい。
エンコーダ部16は、ネットワーク状態検知部20と相手局デコード機能判別部22と音声判別部24からの情報に基づいて、符号化レベルや送信モードを決定する。次いで、エンコーダ部16は、画処理部15から入力された映像に対して符号化処理を行い、その符号データをNW処理部17に転送する。
NW処理部17は、エンコーダ部16から転送されてきた映像符号化データを、例えばインターネットまたはLAN(Local Area Network)等のネットワーク40を介して、送信先の端末装置14に転送する。
デコーダ18は、相手局から受信した符号データに含まれる画像信号と音声信号を復号し、モニタ9(スピーカを含む)に出力する。
ネットワーク状態検知部20は、ネットワーク40のネットワーク状態を検知し、検知状況に応じてエンコーダ部16の符号化レベルを制御する。
相手局デコード機能判別部22は、通信プロトコルに従って相手局から受信したデコード能力を表すデコード能力情報に基づいて、相手局のデコード機能を判別し、相手局のデコード機能をエンコーダ部16に出力する。
音声判別部24は、マイク3から入力される音声信号のレベル判別を行い一定レベル以上の音声信号をエンコーダ部16に出力する。
操作部29は、例えば、左ボタン(←)29L、右ボタン(→)29R、上ボタン(↑)29U、下ボタン(↓)29Dを備え、各ボタンに対して行われた押下操作をパン/チルト方向指示として全体制御部28に出力する。また、操作部29は、スライドボリューム29Zを備え、このスライドボリュームに対して行われたスライド操作による抵抗値の変化量をズーム倍率指示として全体制御部28に出力する。さらに、操作部29は、モード設定に関連したボタン等を備えている。
全体制御部28は、CPU、ROM、RAM、タイマ、ユーザI/Fを有し、オペレータの操作により操作部29から入力される指示に従って各モジュールまたはブロックのモード設定やステータス管理を行う。全体制御部28は、ROMからオペレーティングシステムOSを読み出してRAM上に展開してOSを起動し、OS管理下において、ROMからプログラム(処理モジュール)を読み出し、各種処理を実行する。
全体制御部28は、操作部29から入力されたパン/チルト操作に伴う抜き取り(切り出し)エリアの座標情報を撮像エリア抜き取り部51及び第1抜取エリア露出制御部54に通知する。
なお、パン/チルト方向指示は、ローカルモード時の自局のオペレート処理(操作部29)によるものとは別に、例えば、相手局(送信先)からネットワーク40を経由してパン/チルト操作に係るPT方向指示を受信する場合もある。
図2は、図1に示すカメラ部10及びPTZ制御部50の構成を示すブロック図である。
カメラ部10は、広角レンズ11、撮像部12、DSP部13を備えている。
広角レンズ11は、例えば24mm〜35mm相当の焦点距離のレンズであり、撮影対象や背景全体の全体映像を全域に渡って広角に撮影するためのレンズである。広角レンズ11は、画面の中心からの距離と角度が比例する等距離射影方式を採用した魚眼レンズであってもよい。広角レンズ11は、外部から入射する光を透過して結像面に光像を結像する。
撮像部12は、イメージセンサを備え、広角レンズ11を透過した光を受光して結像面に結像(集光)された映像を電気信号に変換する。撮像部12は、DSP部13又はPTZ制御部50から設定される測光条件(露光条件)に含まれる露光時間によりイメージセンサの露光量を調整する。撮像部12は、イメージセンサに対して、露光時間の期間に光電変換された電荷を画素に蓄積させ、転送時間の期間に画素に蓄積された電荷を転送させるようにタイミング制御を行うように構成されている。このように、イメージセンサでは露光時間の期間に光電変換された電荷を画素に蓄積させるため、露光時間が短くなるほど画素に蓄積される電荷量が低下するので、その条件下では映像レベルが低下する傾向がある。一方、露光時間が長くなるほど画素に蓄積される電荷量が増大するので、その条件下では映像レベルが増大する傾向がある。
なお、撮像部12は、映像に係る電気信号に対してA/D変換を施すことで画像データを生成してもよい。
また、イメージセンサには、イメージセンサの各画像からシフト出力される電気信号を増幅するアンプ回路を備えているので、このアンプ回路のゲイン値を測光条件(露光条件)として設定してもよい。
DSP部13は、撮像部12から取得した画像データに対してシェーディング処理、ベイヤー変換処理等のカメラにおいて一般的に周知された信号処理を行う。DSP部13は、撮像部12から取得した電気信号に対してA/D変換を施すことで画像データを生成してもよい。
DSP部13は、映像データの輝度レベルに基づいて露出評価値を生成し、露出評価値に基づいて現在のシーンでの最適測光条件となる露光時間を判断(露出制御)し、この測光条件に含まれる露光時間を撮像部12に設定する。ただし、この時点では撮像部12で生成する映像全体にとって最適と判断した測光条件が設定される。DSP部13は、生成した露出評価値に基づいて最適測光条件を判断(露出制御)し、DSP部13内部で行われる各種処理におけるダイナミックレベルを縮小又は拡大するように構成することで露出制御を行ってもよい。
DSP部13は、PTZ制御部50から設定される測光条件により上記信号処理における露光量を調節する。
図2に示すPTZ制御部50は、撮像エリア抜き取り部51、ブロック測光演算部52、シーンチェンジ検出部53、第1抜取エリア露出制御部54、第2抜取エリア露出制御部55、データスイッチ56を備えている。なお、PTZ制御部50に備えられている各部はソフトウエアモジュールであってもよく、この場合、PTZ制御部50はROM、RAM、CPUから構成されていればよい。また、PTZ制御部50は、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)や画像処理プロセッサを用いて、集積回路もしくはプログラムにより実現されていてもよい。
シーンチェンジ検出部53は、例えばカメラ部10から入力される全体画像データについて、フレーム毎にヒストグラムを作成し、ヒストグラムの変化度合に基づいて、今まで撮影されていた全体映像のシーンが別のシーンにシーンチェンジがあるか否かを判断する。
撮像エリア抜き取り部51は、全体制御部28からのパン/チルト方向指示(コマンド)に従って、全体映像に対して画像の抜き取り(切り出し)エリアをスクロールさせながら、カメラ部10からの映像データに対してフレーム毎にエリア抜き取り処理を行い、抜き取った一部のエリアの映像データを画処理部15及び第1抜取エリア露出制御部54に出力する。
撮像エリア抜き取り部51では、エリア抜き取り処理を行うため、実質的にデジタル的なパン/チルト機能を実現する。なお、抜き取るエリアの大きさについては、全体制御部28からのズーム倍率指示や相手端末に転送する映像データの解像度に依存して決まるものであり、固定されるものではない。
第1抜取エリア露出制御部54(露光条件算出手段)は、パン/チルト操作による表示エリアがスクロール中ではなく、抜き取りエリアが固定されている場合に、撮像エリア抜き取り部51から入力されるエリア映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成する。第1抜取エリア露出制御部54は、この最適な測光条件(露光条件)をデータスイッチ56を介して、撮像部12及びDSP部13に設定することでフィードバックする。この際、第1抜取エリア露出制御部54は、カメラ部10から出力された全体映像の中の一部エリアについての映像データをモニタしながら測光条件を求めていくので、測光条件をフィードバックするまでに数フレーム分の遅延が発生する。第1抜取エリア露出制御部54は、撮像部12及びDSP部13に時間的に遅れてくる後続フレームの測光条件をフィードバックすることになるが、抜き取りエリアが固定されているので、撮影条件が安定しており、多少のリアルタイム性は犠牲にしてもよい。
ブロック測光演算部52は、DSP部13から全体画像についての最適映像データを取得している。ブロック測光演算部52は、全体映像データの各映像ブロックを全て解析して、映像ブロック毎に映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成し、最適なブロック露光条件としてメモリ部52aに記憶する。ブロック測光演算部52は、メモリ部52aから読み出した一部のエリアに相当する映像ブロック毎の露光条件について加重平均値を算出することにより一部エリアに係る最適なエリア露光条件を算出する。ブロック測光演算部52は、一部のエリアを含む映像ブロックが1つのみである場合には、当該映像ブロックについての最適な露光条件を出力する。
なお、ブロック測光演算部52は、ブロック毎の最適な測光条件を継続的に演算するものではなく、時間的に間隔を開けて、定期的に測光条件を割り出してデータを更新する。また、明らかに撮影シーンが変更された場合に、同様の更新処理を行う。
第2抜取エリア露出制御部55は、パン/チルト操作による表示エリアがスクロール中である場合に、ブロック測光演算部52から入力される最適測光条件に基づいて、測光条件を制御する。
ここで、一部エリアの輝度レベルに対して、最適な露光時間を求める処理の一例について説明する。
この際、ブロック測光演算部52、及び第1抜取エリア露出制御部54は、異なる輝度レベルと異なる露出評価値とを一対一に対応させて記憶した輝度レベル・露出評価値変換テーブル、異なる露出評価値と異なる露出時間とを一対一に対応させて記憶した露出評価値・露出時間変換テーブルを有するROMを備えるように構成してもよい。
このように構成しておくことで、ブロック測光演算部52、及び第1抜取エリア露出制御部54において、求めた輝度レベルをキーとして輝度レベル・露出評価値変換テーブルから露出評価値を検索して求め、求まられた露出評価値をキーとして露出評価値・露出時間変換テーブルから最適な露出時間を検索して求めることができる。
露出評価値・露出時間変換テーブルについては、イメージセンサの受光素子特性に依存しているので、最適な露出時間は個々のイメージセンサに対応して変更するのが好ましい。
データスイッチ56は、2系統のデータ接続経路のうち一方を有効にするスイッチ回路であり、全体制御部28により第1状態に設定された場合に、第1抜取エリア露出制御部54で求めた測光条件をデータスイッチ56を介して撮像部12及びDSP部13に出力することができる。一方、データスイッチ56は、全体制御部28により、第2状態に設定された場合に、第2抜取エリア露出制御部55で求めた測光条件をデータスイッチ56を介して撮像部12及びDSP部13に出力することができる。
なお、第2抜取エリア露出制御部55において、現状の抜き取りエリアに最適な測光条件を求めて、撮像部12及びDSP部13に設定する。これにより、時間的に遅れてくる後続フレームにフィードバックすることができるが、抜き取りエリアが他のエリアへスクロール中である場合には、決して最適な測光条件が反映できない。
このような場合、リアルタイム性を優先するために、ブロック測光演算部52のメモリ部52aから前もって抽出済みの測光条件データを読み出して、ブロック測光演算部52においてスクロール中のエリアについての最適な測光条件を算出して利用する。
なお、パン/チルト方向指示は、自局のオペレート処理によるものとは別に、例えば、相手局(送信先)からネットワーク40を経由してパン/チルト操作に係るパン/チルト指示(以下、PT指示)を受信する場合もある。
図3(a)〜(c)は、撮像部12により撮影可能な映像データの全体映像を複数のブロックに分割したことを示す図である。
図3(a)に示すように、ブロック測光演算部52は、撮像部12で撮影可能な全体映像71を例えば36個のブロック1A〜6Fに分割する。
カメラ部10の設置環境が固定された時点(シーンの移動がない状態)において、ブロック測光演算部52は、上述したようにブロック1A〜6Fに夫々に単独で、ブロック毎に最適測光条件を求める。求めた最適測光条件をブロック毎の映像データとともにメモリ部52aに記憶しておく。
なお、ブロック測光演算部52のメモリ部52aに記憶されたデータは定期的に更新する。例えば、周囲の環境が明かに変化したと判断できた場合は、同じ処理をやり直してメモリ部52aに記憶されたデータを更新する。
図3(b)に示すように、スクロール中のある時点での抜き取りエリアが、例えばブロック2B、2C、2D、3B、3C、3D、4B、4C、4Dから構成されたエリア73であることとする。
スクロール中である場合、ブロック測光演算部52は、抜き取りエリア73の面積(画素数)に対する、ブロック毎の面積(画素数)に係る占有率S2B〜S4Dを求める。次いで、ブロック毎の面積に係る占有率S2B〜S4Dから加重平均に用いるブロック毎の係数k2B〜k4D(k2B+・・・+k4D=1)を求める。メモリ部52aから読み出したブロック毎での最適測光条件を夫々にAE2B〜AE4Dとし、さらに、抜き取りエリア73に係る測光条件AEを、
AE=k2B*AE2B+k2C*AE2C+・・・+k4D*AE4D
から求め、更に測光条件AEから露光時間TAEを求め、その結果を抜き取りエリア73に係る測光条件(露光時間TAE)とする。
この測光条件(露光時間TAE)は、全体制御部28による制御に応じて、ブロック測光演算部52、第2抜取エリア露出制御部55、データスイッチ56を経由して撮像部12及びDSP部13の測光条件(露光時間TAE)に設定される。
なお、図3(c)に示すように、抜き取りエリア75と分割ブロック(例えばブロック5E)のサイズ及び位置とがー致した場合、抜き取りエリアの測光条件(露光時間T)は、ブロック5Eの最適測光条件と一致する。この場合、ブロック測光演算部52は、メモリ部52aから読み出した当該ブロックの最適測光条件を第2抜取エリア露出制御部55に出力すればよい。
図4は、本発明の実施形態に係るTV会議システムに用いる全体制御部28によるカメラ映像の取り込み動作を示したフローチャートである。
まず、ステップS1では、全体制御部28は、起動時に各部(各モジュール)に対して初期設定を行い、カメラ部10をリアルタイム撮影が可能な状態にする。
ステップS1でのシステム初期設定を実行することにより、撮像部12及びPTZ制御部50に備えられている各部はリアルタイム処理を行う。
次いで、ステップS2では、全体制御部28は、ブロック測光演算部52に対して、全体映像データを複数のブロックに分割して、ブロック毎の最適な測光条件を算出させる。この制御に応じて、ブロック測光演算部52は、全体映像データの各映像ブロックを全て解析する。
詳しくは、画像データ(各画素データ(R、G、B))に基づいて、測光の対象となるブロック1A〜6F毎に輝度データY1A〜Y6Fを算出する。以下に輝度データの計算式を示す。下記計算式において、Rn、Gn、Bn(nは1A〜6F)は、各ブロック内の各画素データ(R、G、B)の平均値を示している。
=0.299R+0.587G+0.114B
ここで、各ブロックのみで測光処理を行う場合には、ブロックの輝度データを各々算出し、算出したブロックの輝度データの平均値を輝度データY(AE評価値)とする。図3(a)に示す例では、ブロック1A〜6F毎に輝度データの平均値を輝度データY(AE評価値)とする。
ブロック測光演算部52は、映像ブロック毎に映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成し、最適なブロック露光条件としてメモリ部52aに記憶する。また、ブロック測光演算部52は、全ブロックについて最適測光条件を割り出して、そのデータを内部のメモリ部52aに記憶しておくことで記憶データを更新する。
このように、最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して記憶しておくことで、映像ブロック毎に最適なブロック露光条件を必要に応じて利用することができる。
次いで、ステップS3では、全体制御部28は、タイマを時間Tに設定して0からカウントアップを開始させる。
次いで、ステップS4では、全体制御部28は、スクロール操作として操作部29からパン/チルト操作に係るPT指示を受け付けたか否かを確認する。ここで、PT指示がある場合はステップS5に進む。一方、PT指示がない場合はステップS7に進む。
ステップS5では、全体制御部28は、スクロール操作としてPT指示がある場合は、抜き取りエリアがスクロール中であると判断して、データスイッチ56を第2状態に設定する。
この場合、ブロック測光演算部52は、例えば、抜き取りエリア73に対する、ブロック毎の面積(画素数)に係る占有率S2B〜S4Dを求める。次いで、ブロック毎の面積に係る占有率S2B〜S4Dから加重平均に用いるブロック毎の係数k2B〜k4D(k2B+・・・+k4D=1)を求める。メモリ部52aから読み出したブロック毎での最適測光条件を夫々にAE2B〜AE4Dとし、さらに、抜き取りエリア73に係る測光条件AEを、
AE=k2B*AE2B+k2C*AE2C+・・・+k4D*AE4D
から求め、更に測光条件AEから露光時間TAEを求め、その結果を抜き取りエリア73に係る測光条件(露光時間TAE)とする。この測光条件(露光時間TAE)は、ブロック測光演算部52から第2抜取エリア露出制御部55に出力される。
第2抜取エリア露出制御部55では、ブロック測光演算部52から入力される最適測光条件に基づいて、測光条件を制御する。
第2抜取エリア露出制御部55で求めた測光条件をデータスイッチ56を介して撮像部12及びDSP部13に設定させ、撮像部12及びDSP部13にこの測光条件を用いて撮影させる。
これにより、撮像部12及びDSP部13は、第2抜取エリア露出制御部55から設定される測光条件(露光条件)に含まれる露光時間によりイメージセンサの全体映像の露光量を調整することができる。
このように、パン操作又はチルト操作の入力がある場合に、メモリ部52aから取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部12、及びDSP部13に設定する。これにより、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
一方、ステップS7では、全体制御部28は、PT指示がない場合は、スクロール中ではなく、映像の抜き取りエリアが固定されていると判断して、データスイッチ56を第1状態に設定する。
この場合、撮像エリア抜き取り部51は、カメラ部10からの映像データに対してフレーム毎にエリア抜き取り処理を行い、抜き取ったエリアの映像データを画処理部15及び第1抜取エリア露出制御部54に出力する。
ここで、第1抜取エリア露出制御部54は、撮像エリア抜き取り部51から入力されるエリア映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成する。
次いで、第1抜取エリア露出制御部54で求めた測光条件(露光時間)をデータスイッチ56を介して撮像部12及びDSP部13に設定させ、撮像部12及びDSP部13にこの測光条件(露光時間)を用いて撮影させる。
これにより、撮像部12及びDSP部13は、第1抜取エリア露出制御部54から設定される測光条件(露光条件)に含まれる露光時間によりイメージセンサの全体映像の露光量を調整することができる。
画処理部15は、撮像エリア抜き取り部51が映像データから抜き取ったエリアの映像データに基づいて、受信側が必要とするサイズの拡大映像データを生成する拡大処理を行い、処理後の映像データをエンコーダ部16に出力する。
このように、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部12、及びDSP部13に設定する。これにより、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
次いで、ステップS6では、全体制御部28は、タイマに設定された時間Tまでカウントアップ値が到達したか否かを判断する。また、全体制御部28は、シーンチェンジ検出部53から検出結果を取得して、今まで撮影されていた全体映像のシーンが別のシーンにシーンチェンジが発生しているか否かを判断する。
ここで、全体制御部28は、ステップS6での判断において、タイムアウトが発生していない場合、またはシーンチェンジが発生していない場合は、ステップS4に戻り、上述した処理を繰り返す。
一方、全体制御部28は、ステップS6での判断において、タイムアウトが発生した場合、またはシーンチェンジが発生した場合は、ブロック測光データを更新するため、ステップS2に戻り、上述した処理を繰り返す。
本実施形態では、TV会議システムに用いるカメラ部10の撮像部12及びPTZ制御部50の特徴的な構成、作用及び効果について説明したが、監視カメラ等のシステムに本発明を適用しても同様である。
<本発明の実施態様例の構成、作用、効果>
<第1態様>
本態様の撮像装置は、撮像部12と、撮像部12から取得した映像データを解析して、映像データの全エリアでの最適な露光条件を算出して撮像部12に設定するとともに、最適な露光条件で撮像された最適映像データを出力するDSP部13(信号処理部)と、を備えた撮像装置であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する撮像エリア抜き取り部51(一部切出手段)と、エリア映像データに基づいて、最適なエリア露光条件を算出する第1抜取エリア露出制御部54(露光条件算出手段)と、を備え、第1抜取エリア露出制御部54は、エリア露光条件を撮像部12、及びDSP部13に設定することを特徴とする。
本態様によれば、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部12、及びDSP部13に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
<第2態様>
本態様の撮像装置は、メモリ部52a(記憶手段)と、DSP部13(信号処理部)から取得した最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して、メモリ部52aに記憶するブロック測光演算手段と、を備えることを特徴とする。
本態様によれば、最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して記憶しておくことで、映像ブロック毎に最適なブロック露光条件を必要に応じて利用することができる。
<第3態様>
本態様の撮像装置は、パン操作又はチルト操作の入力があるか否かを判断する(操作判断手段)と、パン操作又はチルト操作の入力がある場合に、ブロック測光演算部52(ブロック測光演算手段)は、メモリ部52a(記憶手段)から取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部12、及びDSP部13に設定することを特徴とする。
本態様によれば、パン操作又はチルト操作の入力がある場合に、メモリ部52aから取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部12、及びDSP部13に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
<第4態様>
本態様のブロック測光演算部52(ブロック測光演算手段)は、一部のエリアに相当する映像ブロック毎の最適なブロック露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することを特徴とする。
本態様によれば、一部のエリアに相当する映像ブロック毎の露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することで、最適なエリア露光条件を撮像部12、及びDSP部13に設定することができ、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
<第5態様>
本態様のブロック測光演算部52(ブロック測光演算手段)は、一部のエリアを含む映像ブロックが1つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することを特徴とする。
本態様によれば、一部のエリアを含む映像ブロックが1つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することで、最適なエリア露光条件を撮像部12、及びDSP部13に設定することができ、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
<第6態様>
本態様の映像送信装置は、第1態様乃至第5態様の何れか1つに記載の撮像装置と、撮像エリア抜き取り部51(一部切出手段)により切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成する画処理部15(拡大処理部)と、拡大映像データをネットワーク40を介して相手側の映像受信装置に送信する端末装置14(送信手段)と、を備えることを特徴とする。
本態様によれば、一部のエリアから切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成し、この拡大映像データをネットワーク40を介して相手側の映像受信装置に送信することで、エリア映像の画質を向上させた拡大映像データを相手側の映像受信装置に提供することができる。
<第7態様>
本態様の映像送受信システムは、第6態様に記載の映像送信装置と、映像送信装置から拡大映像データを受信して表示する映像受信装置と、を備えることを特徴とする。
本態様によれば、映像送信装置と、映像送信装置から拡大映像データを受信して表示する映像受信装置とを備えた映像送受信システムを提供することができる。
<第8態様>
本態様の画像処理方法は、第1態様乃至第5態様の何れか1つに記載の撮像装置による画像処理方法であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出ステップ(S7)と、エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出ステップ(S7)と、を実行し、露光条件算出ステップ(S7)は、エリア露光条件を撮像部12、及びDSP部13(信号処理部)に設定することを特徴とする。
本態様によれば、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部12、及びDSP部13に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
<第9態様>
本態様のプログラムは、第8態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
1…TV会議システム、9…モニタ、10…カメラ部、11…広角レンズ、12…撮像部、13…DSP部、14…端末装置、15…画処理部、16…エンコーダ部、17…NW処理部、18…デコーダ、20…ネットワーク状態検知部、22…相手局デコード機能判別部、24…音声判別部、29…操作部、28…全体制御部、30…サーバ、40…ネットワーク、50…PTZ制御部、51…撮像エリア抜き取り部、52…ブロック測光演算部、53…シーンチェンジ検出部、54…第1抜取エリア露出制御部、55…第2抜取エリア露出制御部、56…データスイッチ、71…全体映像、73…一部エリア
特開2003−107555公報

Claims (5)

  1. 撮像部と、
    前記撮像部から取得した映像データを解析して、前記映像データの全エリアでの最適な露光条件を算出して前記撮像部に設定するとともに、前記最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、
    前記最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、
    前記エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、
    記憶手段と、
    前記信号処理部から取得した前記最適映像データを複数の映像ブロックに分割して、前記映像ブロック毎に最適なブロック露光条件を算出して、前記記憶手段に記憶するブロック測光演算手段と、
    パン操作又はチルト操作の入力があるか否かを判断する操作判断手段と、を備え、
    前記露光条件算出手段は、前記エリア露光条件を前記撮像部、及び前記信号処理部に設定し、
    前記パン操作又は前記チルト操作の入力がある場合に、前記ブロック測光演算手段は、前記記憶手段から取得した前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、前記一部のエリアに係る最適なエリア露光条件を算出して、前記撮像部、及び前記信号処理部に設定することを特徴とする撮像装置。
  2. 前記ブロック測光演算手段は、
    前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することを特徴とする請求項記載の撮像装置。
  3. 前記ブロック測光演算手段は、
    前記一部のエリアを含む映像ブロックが1つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することを特徴とする請求項記載の撮像装置。
  4. 請求項1乃至の何れか1つ記載の撮像装置と、
    前記一部切出手段により切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成する拡大処理部と、
    前記拡大映像データをネットワークを介して相手側の映像受信装置に送信する送信手段と、を備えることを特徴とする映像送信装置。
  5. 請求項記載の映像送信装置と、
    前記映像送信装置から前記拡大映像データを受信して表示する映像受信装置と、を備えることを特徴とする映像送受信システム。
JP2015000799A 2015-01-06 2015-01-06 撮像装置、映像送信装置、及び映像送受信システム Active JP6459517B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015000799A JP6459517B2 (ja) 2015-01-06 2015-01-06 撮像装置、映像送信装置、及び映像送受信システム
US14/984,572 US9807311B2 (en) 2015-01-06 2015-12-30 Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program
EP16150138.2A EP3043547B1 (en) 2015-01-06 2016-01-05 Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015000799A JP6459517B2 (ja) 2015-01-06 2015-01-06 撮像装置、映像送信装置、及び映像送受信システム

Publications (2)

Publication Number Publication Date
JP2016127478A JP2016127478A (ja) 2016-07-11
JP6459517B2 true JP6459517B2 (ja) 2019-01-30

Family

ID=55085548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015000799A Active JP6459517B2 (ja) 2015-01-06 2015-01-06 撮像装置、映像送信装置、及び映像送受信システム

Country Status (3)

Country Link
US (1) US9807311B2 (ja)
EP (1) EP3043547B1 (ja)
JP (1) JP6459517B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152799A (ja) * 2017-03-14 2018-09-27 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび映像送受信システム
TWI681366B (zh) * 2018-05-31 2020-01-01 廣達電腦股份有限公司 非線性延展裁切影像之方法及系統

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812189A (en) * 1992-06-23 1998-09-22 Canon Kabushiki Kaisha Video camera apparatus
JP3548465B2 (ja) * 1999-09-08 2004-07-28 キヤノン株式会社 撮像装置及び撮像方法
JP4228180B2 (ja) * 2001-08-24 2009-02-25 富士フイルム株式会社 デジタルカメラ及びプリンタ
JP4794786B2 (ja) 2001-09-28 2011-10-19 株式会社リコー 撮像装置、自動露出方法、およびその方法をコンピュータが実行するためのプログラム
US7298412B2 (en) 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP3917506B2 (ja) * 2002-11-28 2007-05-23 株式会社日立製作所 映像信号記録送信装置および監視システムならびに監視装置
JP3730630B2 (ja) 2003-03-31 2006-01-05 株式会社東芝 撮像装置及び撮像方法
JP2007306284A (ja) * 2006-05-11 2007-11-22 Konica Minolta Holdings Inc 撮像システム及び撮像装置
JP5107671B2 (ja) * 2007-10-31 2012-12-26 アイホン株式会社 インターホン装置
JP4869270B2 (ja) * 2008-03-10 2012-02-08 三洋電機株式会社 撮像装置及び画像再生装置
US8189070B1 (en) * 2009-06-05 2012-05-29 Apple Inc. Image capturing devices using Sunny f/16 rule to override metered exposure settings
US8325890B2 (en) * 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
US8836851B2 (en) 2011-06-01 2014-09-16 Apple Inc. Automatic exposure control based on multiple regions
JP6221489B2 (ja) 2013-08-09 2017-11-01 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6303324B2 (ja) 2013-08-09 2018-04-04 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6326750B2 (ja) 2013-09-11 2018-05-23 株式会社リコー 通信端末、通信管理システム、通信システム、発信履歴の管理方法、及びプログラム
JP2015082149A (ja) 2013-10-21 2015-04-27 株式会社リコー 通信システム、通信方法及び通信プログラム
JP6432127B2 (ja) 2013-11-12 2018-12-05 株式会社リコー 通信装置、通信システム、通信方法及び通信プログラム
JP2015103105A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、通信システム、及び通信プログラム
JP2015103106A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、及び通信プログラム

Also Published As

Publication number Publication date
EP3043547A1 (en) 2016-07-13
JP2016127478A (ja) 2016-07-11
US9807311B2 (en) 2017-10-31
US20160198077A1 (en) 2016-07-07
EP3043547B1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
US8553099B2 (en) Imaging terminal, display terminal, display method, and imaging system
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
JP2016066978A (ja) 撮像装置、その制御方法とプログラム
JP6659162B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JPWO2004066632A1 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
JP7197981B2 (ja) カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム
JP2009021880A (ja) 遠隔撮影システム
CN111246080B (zh) 控制设备、控制方法、摄像设备以及存储介质
JP2007267184A (ja) 撮像装置
US20100007766A1 (en) Camera device and image processing method
JP6459517B2 (ja) 撮像装置、映像送信装置、及び映像送受信システム
JP2013031010A (ja) 撮像装置、撮像方法およびプログラム
JP2015106851A (ja) デジタルカメラ
US10944899B2 (en) Image processing device and image processing method
JP2004228711A (ja) 監視装置及び方法、プログラム並びに監視システム
JP2021100238A (ja) 画像処理装置、撮像装置および画像処理方法
JP2021136671A (ja) 情報処理装置、撮像装置、方法、プログラム及び記憶媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP2007306284A (ja) 撮像システム及び撮像装置
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
US10070056B2 (en) Omnidirectional camera system
JP2016134886A (ja) 撮像装置およびその制御方法
JP7353864B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム
JP6551496B2 (ja) 撮像装置、その制御方法とプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R151 Written notification of patent or utility model registration

Ref document number: 6459517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151