JP6999296B2 - Focus assist system device - Google Patents
Focus assist system device Download PDFInfo
- Publication number
- JP6999296B2 JP6999296B2 JP2017120801A JP2017120801A JP6999296B2 JP 6999296 B2 JP6999296 B2 JP 6999296B2 JP 2017120801 A JP2017120801 A JP 2017120801A JP 2017120801 A JP2017120801 A JP 2017120801A JP 6999296 B2 JP6999296 B2 JP 6999296B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- frequency signal
- video
- signal
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ビューファインダーなどの表示装置において、その解像度や、大きさにかかわらず、高解像度の撮像における被写体へのフォーカス合わせのための視認が容易に行えるフォーカス補助システム装置に関するものである。 The present invention relates to a focus assisting system device that can easily visually recognize a display device such as a viewfinder for focusing on a subject in high-resolution imaging regardless of its resolution and size.
従来から、カメラなどの撮像装置は、撮像素子の技術的進歩もあり、高解像度化が進んでいる。特に、放送用カメラは、ＳＤＴＶからＨＤＴＶへと映像解像度が上がり、さらに、最近では、４Ｋや８Ｋといった、さらに高解像度の撮像装置が使用され始めている。 Conventionally, image pickup devices such as cameras have been increasing in resolution due to technological advances in image pickup elements. In particular, for broadcast cameras, the video resolution has increased from SDTV to HDTV, and more recently, higher resolution image pickup devices such as 4K and 8K have begun to be used.
このように、映像が高解像度になれば、従来の解像度では表現ができなかった被写体の細かい部分が表現可能となり、臨場感とリアリティ感が増す。さらに、今まではモニタなどの表示装置を大画面にすると、画素の粗さが目立っていたところ、滑らかできめ細かい表示が可能となる。 In this way, if the image becomes high resolution, it becomes possible to express the fine parts of the subject that could not be expressed by the conventional resolution, and the sense of reality and the sense of reality increase. Furthermore, until now, when a display device such as a monitor has a large screen, the roughness of pixels is conspicuous, but smooth and detailed display becomes possible.
しかしながら、超高解像度化で高精細な画像が得られる一方、被写体のより細かい部分が見えるため、少しでもフォーカスがずれると、そのずれが明確に分かってしまう。そのため、撮像する被写体へのフォーカス合わせが、今まで以上の精度で求められてくる。 However, while high-definition images can be obtained with ultra-high resolution, finer parts of the subject can be seen, so if the focus shifts even a little, the shift can be clearly seen. Therefore, focusing on the subject to be imaged is required with higher accuracy than ever before.
通常、放送用カメラなどの撮像装置で撮影を行う際、映像のフォーカス合わせは、ビューファインダーと呼ばれるモニタに表示される映像を撮影者が確認し、フォーカスが合うポイントを探している。しかし、映像の解像度が高いと、被写体の細かい部分、いわゆる空間周波数の高い部分にフォーカスが合っているのかについて、ビューファインダーで認識することが難しいとされる。 Normally, when shooting with an image pickup device such as a broadcasting camera, the photographer confirms the image displayed on a monitor called a viewfinder to focus the image, and searches for a point to be in focus. However, when the resolution of the image is high, it is difficult for the viewfinder to recognize whether the fine part of the subject, that is, the part having a high spatial frequency is in focus.
特に、４Ｋや８Ｋといった超高解像度の撮像装置においては、ビューファインダーの解像度が撮像装置から出力される映像解像度より低いものを用いているのが一般的であるため、フォーカスが合っているポイントを見つけることが一層困難なものとなってしまっている。 In particular, in an ultra-high resolution image pickup device such as 4K or 8K, it is common to use a viewfinder whose resolution is lower than the image resolution output from the image pickup device. It has become even more difficult to find.
また、４Ｋや８Ｋといった撮像装置と同等の解像度をビューファインダーに求める場合、現状では高価なものとなってしまう上、ビューファインダーの位置付けとして、撮像装置と一体もしくは、取り付け可能とする場合が多く、ある程度のサイズ小型化が必要となる。その結果、映像表示サイズが小さくなることで、フォーカスを合わせることの困難さが残ってしまう。 In addition, when the viewfinder is required to have the same resolution as the image pickup device such as 4K or 8K, it is expensive at present, and in many cases, the viewfinder is positioned so as to be integrated with or attached to the image pickup device. It is necessary to reduce the size to some extent. As a result, the image display size becomes smaller, which leaves the difficulty of focusing.
以上のような背景より、従来からフォーカスが合っているポイントを見つけ易くするための手段が、いくつか考えられてきている。その一つに、フォーカス合わせの補助信号として、ビューファインダーで表示する映像信号に、その映像信号から抽出した高域周波数成分の信号を付加し、映像の輪郭を強調することで、フォーカスポイントを分かり易くするというものがある。また、フォーカスを合わせたいエリアに色を付け、確認し易くするといった手段も用いられている。 Based on the above background, some means for making it easier to find the point in focus have been considered. One of them is to understand the focus point by adding the signal of the high frequency component extracted from the video signal to the video signal displayed in the viewfinder as an auxiliary signal for focusing and emphasizing the outline of the video. There is something to make it easier. In addition, a means of coloring the area to be focused to make it easier to check is also used.
また、例えば、特許文献１には、レンズユニットと、前記レンズユニット内のフォーカスレンズを移動させるためのフォーカスリングとを有し、マニュアル操作でフォーカス調整を行う撮像装置であって、前ピン、後ピン状態の合焦レベルをそれぞれ評価値として出力する合焦評価部と、前記合焦評価部の出力から前記フォーカスリングの回転方向を示す合焦状態マーカを発生するマーカ発生部と、前記合焦状態マーカを表示する表示部とを備え、前記合焦状態マーカは互いに回転対称の位置関係に配置された複数のマーカからなることを特徴とする撮像装置が開示されている。そして、この技術によれば、マニュアルフォーカス動作において、フォーカスリングの合焦方向への回転方向をカメラマンに確実に伝え、合焦ポイントの判断が確実かつ容易にできるとしている。
Further, for example,
さらに、特許文献２には、画像を撮像する画像取得手段と、前記画像取得手段により取得された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記画像取得手段により撮像された前記画像と前記インジケータとを合成し、表示部への出力と表示を制御する合成手段とを備える撮像装置が開示されている。そして、この技術により、撮影者が合焦具合を把握しやすくなるとしている。
Further,
またさらに、映像信号から抽出した高域周波数成分を利用し、撮影レンズの焦点調節状態を報知するフォーカスアシスト装置として、例えば、特許文献３には、撮影レンズの焦点調節状態を報知するフォーカスアシスト装置において、被写界に少なくとも２つの焦点検出エリアを設定する設定手段と、前記焦点検出エリアの被写体を基準とする前記焦点調節状態を報知する報知手段とを備え、前記撮影レンズで結像された被写体像を撮像する撮像手段と、前記焦点検出エリアの被写体に関する撮像信号から高周波数成分を抽出して、焦点評価値を生成する生成手段とを備え、前記報知手段は、フォーカスレンズの移動に伴う前記焦点評価値の変化に基づいて前記焦点調節状態を報知することを特徴とするフォーカスアシスト装置が開示されている。
Further, as a focus assist device for notifying the focus adjustment state of the photographing lens by using the high frequency component extracted from the video signal, for example,
また、特許文献４には、画面内の複数の焦点検出エリアごとに焦点調節状態を検出する焦点検出部と、前記焦点検出部による検出結果に基づいて、前記複数の焦点検出エリアのうち略合焦している焦点検出エリアを示す表示を行う表示部と、手動操作に応じてフォーカス光学系を移動させる第１の焦点調節が終了すると、前記手動操作による移動後の前記フォーカス光学系の位置を起点に、前記焦点検出部による検出結果に基づいて自動で前記フォーカス光学系を移動させる第２の焦点調節を開始させる制御部とを備えることを特徴とするカメラが開示されており、この技術では、高周波数成分から焦点評価値を生成する手段が採用されている。
Further,
しかしながら、上記従来技術や、特許文献に記載されている技術のように、フォーカス合わせを補助するための方法や手段が幾つか採用されているが、やはり、４Ｋや８Ｋといった超高解像度の撮像装置に対しては、依然として十分な対策が取られていないのが実情である。 However, although some methods and means for assisting focusing are adopted as in the above-mentioned conventional technique and the technique described in the patent document, an ultra-high resolution image pickup device such as 4K or 8K is still used. The reality is that sufficient measures have not yet been taken against this.
例えば、映像の輪郭を強調するという手段においては、表示装置が撮像装置の解像度より低解像度のものを用いた際、表示装置の解像度に合わせるため、撮像装置の高解像度映像から抽出した高帯域成分を表示装置の低解像度の帯域まで落とすか、高解像度映像をダウンスケーリングし、映像に含まれる高解像度帯域の高域成分を除去した映像から残っている高域成分を抽出し、それをフォーカス補助信号とする必要がある。 For example, in the means of emphasizing the outline of an image, when a display device having a resolution lower than the resolution of the image pickup device is used, a high band component extracted from the high resolution image of the image pickup device in order to match the resolution of the display device. Is reduced to the low resolution band of the display device, or the high resolution video is downscaled, and the remaining high frequency component is extracted from the video from which the high frequency component of the high resolution band contained in the video is removed, and the focus is assisted. Must be a signal.
このような問題が残る一方、業務用、民生用問わず、４Ｋや８Ｋといった高精細な解像度へと撮像装置が進んでいる中、フォーカス合わせをより容易に、且つ、精度高く行う必要がある。 While such problems remain, as image pickup devices are advancing to high-definition resolutions such as 4K and 8K for both commercial and consumer use, it is necessary to perform focusing more easily and with high accuracy.
本発明は、上述の課題を解決するためのもので、ビューファインダーなどの表示装置において、その解像度や、大きさにかかわらず、フォーカス合わせのための視認が容易に行え、また、高域周波数成分の信号を映像信号に付加することをせずに、フォーカス合わせを可能とするフォーカス補助システム装置を提供することにある。 The present invention is for solving the above-mentioned problems, and in a display device such as a viewfinder, visual recognition for focusing can be easily performed regardless of its resolution and size, and high frequency components can be easily recognized. It is an object of the present invention to provide a focus assisting system apparatus capable of focusing without adding the signal of the above to a video signal.
上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、撮像装置による被写体の撮影時における前記被写体に対するフォーカス状態を表示装置にて視認可能にするフォーカス補助システム装置であって、前記撮像装置による前記被写体の映像信号の入力を受け、当該映像信号の映像処理を行う映像信号処理部と、前記撮像装置による前記被写体の映像信号の入力を受け、当該映像信号の画郭のうち、前記表示装置にて、フォーカス状態を視認したい映像エリアを設定するフォーカスエリア設定部と、前記フォーカスエリア設定部において設定された映像エリアにおける高域信号を抽出し、当該高域信号のレベルを正規化することで正規化値を算出する高域信号抽出部と、前記高域信号抽出部において算出された正規化値を用い、フォーカス状態を示すインジケータを前記表示装置に表示可能なキャラクタ信号を生成するインジケータ生成部と、前記映像信号処理部により映像処理が行われた映像信号と、前記インジケータ生成部により生成されたキャラクタ信号を合成し、当該合成した信号を合成映像として前記表示装置にて表示させる合成部と、前記高域信号抽出部により抽出した高域信号のレベルから、偽高域信号成分を軽減し、前記表示装置においてインジケータの強弱を連続的に表示させるためのパラメータ値を生成する高域信号パラメータ生成部とを備え、前記高域信号パラメータ生成部は、前記高域信号抽出部から得られる高域信号のレベルの正規化値において、最大値から順にｎ個のレベルを取得し、当該ｎ個のレベル平均値を算出し、続いて、当該算出したレベル平均値を前記インジケータの振り幅に割り付けるビット幅で正規化した値を前記インジケータの強弱を付けるパラメータ値とする処理を行うものであることを特徴とするフォーカス補助システム装置である。
In order to cope with the above-mentioned problems, the present invention takes the following technical measures.
That is, the invention according to
次に、請求項２記載の発明は、請求項１記載のフォーカス補助システム装置であって、前記フォーカスエリア設定部は、前記映像信号の画郭のうち、フォーカス状態を前記表示装置にて視認したい映像エリアを複数設定可能となっており、前記高域信号抽出部は、設定された各映像エリアそれぞれにおける高域信号を抽出し、前記インジケータ生成部は、設定された各映像エリアのうちから、任意の映像エリアに対応する前記キャラクタ信号を生成することを特徴としている。
Next, the invention according to
また、請求項３記載の発明は、請求項１又は２記載のフォーカス補助システム装置であって、前記高域信号抽出部は、抽出した高域信号のレベルを、前記映像エリア内の映像平均輝度値により正規化する機能と、抽出した高域信号のレベルを、当該高域信号に対応する映像画素の映像最大輝度値により正規化する機能と、をそれぞれ備えていることを特徴としている。
The invention according to
そして、請求項４記載の発明は、請求項１～３何れか１項記載のフォーカス補助システム装置であって、前記高域信号抽出部は、撮像者によるマニュアル設定により、前記正規化された高域信号のレベルを調整可能とする機能を備えていることを特徴としている。
The invention according to
そして、請求項５記載の発明は、請求項１～４何れか１項記載のフォーカス補助システム装置であって、前記高域信号パラメータ生成部は、前記パラメータ値を生成するにあたり、前記高域信号のレベルを正規化することにより算出した正規化値から、前記インジケータの強弱の反応精度を調整することが可能となっていることを特徴としている。
The invention according to claim 5 is the focus assisting system apparatus according to any one of
さらに、請求項７記載の発明は、請求項２記載のフォーカス補助システム装置であって、前記任意の映像エリアに対応する前記キャラクタ信号に基づいて前記表示装置に表示されたインジケータにより示されるフォーカス状態と、撮影者による前記撮像装置の操作により最適焦点距離を探る際に、フォーカス状態を前記表示装置にて視認したい映像エリア以外の映像エリアをぼかすために、そのぼかし具合を前記インジケータによって定量的に確認することができることを特徴としている。
Further, the invention according to claim 7 is the focus assisting system apparatus according to
またさらに、請求項７記載の発明は、請求項１～６何れか１項記載のフォーカス補助システム装置であって、前記合成部により、前記映像信号と、前記キャラクタ信号を合成するにあたり、前記表示装置において、前記インジケータを非表示とする設定が可能となっていることを特徴としている。
Further, the invention according to claim 7 is the focus assisting system apparatus according to any one of
そして、請求項８記載の発明は、請求項１～７何れか１項記載のフォーカス補助システム装置であって、前記表示装置は、その解像度が、前記撮像装置の映像信号解像度と異なる場合であっても、前記被写体に対するフォーカス状態を前記表示装置にて視認可能であることを特徴としている。
The invention according to
さらに、請求項９記載の発明は、請求項８記載のフォーカス補助システム装置であって、前記撮像装置の映像信号解像度と、前記表示装置の解像度が、以下の（１）～（３）何れか１つの組み合わせであることを特徴としている。
（１）撮像装置の映像信号解像度：４Ｋ／表示装置の解像度：ＨＤＴＶ
（２）撮像装置の映像信号解像度：８Ｋ／表示装置の解像度：ＨＤＴＶ
（３）撮像装置の映像信号解像度：８Ｋ／表示装置の解像度：４Ｋ
Further, the invention according to
(1) Video signal resolution of the image pickup device: 4K / resolution of the display device: HDTV
(2) Video signal resolution of the image pickup device: 8K / resolution of the display device: HDTV
(3) Video signal resolution of the image pickup device: 8K / resolution of the display device: 4K
本発明によれば、撮像装置が４Ｋや８Ｋといった超高精細の装置であっても、撮像装置の解像度に依らず、さらに、被写体に対するフォーカスが合っているかを確認するビューファインダーなどの表示装置の解像度や、大きさにも依らず、フォーカス合わせを容易に行うことが可能となる。 According to the present invention, even if the image pickup device is an ultra-high definition device such as 4K or 8K, a display device such as a viewfinder that confirms whether the subject is in focus regardless of the resolution of the image pickup device. Focusing can be easily performed regardless of the resolution and size.
本発明に係るフォーカス補助システム装置の実施形態について図面を参照しながら説明する。図１は、本発明に係るフォーカス補助システム装置の実施形態を示したブロック図、図２は、本発明に係るフォーカス補助システム装置の実施形態における回路構成を示すブロック図、そして、図３は、本発明に係るフォーカス補助システム装置の実施形態における映像信号処理部の回路構成の一例を示すブロック図である。 An embodiment of the focus assisting system apparatus according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the focus assisting system apparatus according to the present invention, FIG. 2 is a block diagram showing a circuit configuration in the embodiment of the focus assisting system apparatus according to the present invention, and FIG. 3 is a block diagram. It is a block diagram which shows an example of the circuit structure of the video signal processing part in embodiment of the focus assist system apparatus which concerns on this invention.
なお、符号については、１０がフォーカス補助システム装置、１２が撮像装置、１４が表示装置、１６が映像信号処理部、１８がフォーカスエリア設定部、２０が高域信号抽出部、２２が高域信号パラメータ生成部、２４がインジケータ生成部、２６がエリアマーカ生成部、２８が合成部、３０が第１遅延ライン、３２が低精細映像変換部、３４が映像信号選択部、３６が第２遅延ライン、３８が高域信号検出部、４０が信号合成部を示している。 Regarding the reference numerals, 10 is a focus assisting system device, 12 is an image pickup device, 14 is a display device, 16 is a video signal processing unit, 18 is a focus area setting unit, 20 is a high frequency signal extraction unit, and 22 is a high frequency signal. Parameter generation unit, 24 is an indicator generation unit, 26 is an area marker generation unit, 28 is a synthesis unit, 30 is a first delay line, 32 is a low-definition video conversion unit, 34 is a video signal selection unit, and 36 is a second delay line. , 38 indicate a high frequency signal detection unit, and 40 indicates a signal synthesis unit.
まず、本実施形態におけるフォーカス補助システム装置１０は、図１及び２に示すように、撮像装置１２による被写体の撮影時における被写体に対するフォーカス状態を撮像装置１２に接続されている表示装置１４にて視認可能にするものであって、撮像装置１２による被写体の映像信号の入力を受け、その映像信号の映像処理を行う映像信号処理部１６と、撮像装置１２による被写体の映像信号の入力を受け、その映像信号の画郭のうち、表示装置１４にてフォーカス状態を視認したい映像エリアを設定するフォーカスエリア設定部１８を備えている。
First, as shown in FIGS. 1 and 2, the focus assisting system device 10 in the present embodiment visually recognizes the focus state of the subject at the time of shooting the subject by the image pickup device 12 on the display device 14 connected to the image pickup device 12. It enables the video
さらに、フォーカスエリア設定部１８において設定された映像エリアにおける高域信号を抽出し、その高域信号のレベルを正規化することで正規化値を算出する高域信号抽出部２０と、高域信号抽出部２０において算出された正規化値を用いてフォーカス状態を示すインジケータを表示装置１４に表示可能なキャラクタ信号を生成するインジケータ生成部２４と、映像信号処理部１６により映像処理が行われた映像信号と、インジケータ生成部２４により生成されたキャラクタ信号を合成し、その信号を合成映像として表示装置１４にて表示させる合成部２８を備えている。
Further, the high frequency
また、本実施形態では、フォーカス補助システム装置１０は、高域信号抽出部２０により抽出した高域信号のレベルから、偽高域信号成分を軽減し、表示装置１４においてインジケータの強弱を連続的に表示させるためのパラメータ値、即ち、表示装置１４においてインジケータの強弱を連続的に表示させるためのキャラクタ信号をインジケータ生成部２４に生成させるために渡すパラメータ値を生成する高域信号パラメータ生成部２２が備えられている。
Further, in the present embodiment, the focus assist system device 10 reduces the false high frequency signal component from the level of the high frequency signal extracted by the high frequency
続いて、本発明に係るフォーカス補助システム装置の実施形態について、より詳細に説明していく。まず、撮像装置１２は、いわゆるカメラなどの撮像素子を有している装置であり、映像信号が、撮像装置１２から、フォーカス補助システム装置１０へと送られる。 Subsequently, an embodiment of the focus assisting system device according to the present invention will be described in more detail. First, the image pickup device 12 is a device having an image pickup element such as a so-called camera, and a video signal is transmitted from the image pickup device 12 to the focus assist system device 10.
そして、本実施形態におけるフォーカス補助システム装置１０では、映像信号の指定エリアから抽出した高域信号成分を基に、フォーカスが合っているかの指標となるフォーカス状態を示すインジケータを表示装置１４に表示させるキャラクタ信号を生成し、これを映像信号と合成した信号を表示装置１４へと出力するというものである。 Then, in the focus assist system device 10 of the present embodiment, the display device 14 displays an indicator indicating a focus state as an index of whether or not the focus is on, based on the high-frequency signal component extracted from the designated area of the video signal. A character signal is generated, and a signal obtained by synthesizing the character signal with a video signal is output to the display device 14.
さらに、表示装置１４では、フォーカス状態を示すインジケータを表示させるキャラクタ信号と合成された合成信号を合成映像として表示することで、撮影者がインジケータの状態を視認することができ、その結果、被写体に対するフォーカスを合わせやすくなるわけである。なお、表示装置１４は、一般的にビューファインダーと呼ばれるカメラ取り付け型の小型モニタが多く用いられるが、フォーカス合わせを確認するための表示装置としては、ビューファインダーに限定されるものではない。 Further, in the display device 14, the photographer can visually recognize the state of the indicator by displaying the combined signal and the character signal for displaying the indicator indicating the focus state as a composite image, and as a result, the subject can be viewed. It makes it easier to focus. As the display device 14, a camera-mounted small monitor generally called a viewfinder is often used, but the display device for confirming focusing is not limited to the viewfinder.
次に、図２に示すように、本実施形態における映像信号処理部１６は、被写体の映像信号の処理として、撮像装置１２から入力された映像信号の処理を行い、合成部２８へと出力する。ここでの処理は、撮像装置１２と、表示装置１４の解像度により、いくつかの処理方法に分かれるが、最終的に、表示装置１４で表示可能な解像度の映像信号となれば、特に処理方法を限定するものではない。
Next, as shown in FIG. 2, the video
ここで、一例として、映像信号処理部１６の回路構成ブロックについて図３を参照しながら説明する。図３において、撮像装置１２（カメラ）と表示装置１４（モニタ）が、同じＨＤＴＶの解像度である場合、映像信号処理部１６は、被写体の撮像映像信号を、第１遅延ライン３０→映像信号選択部３４→第２遅延ライン３６→信号合成部４０の経路で出力する。
Here, as an example, the circuit configuration block of the video
一方、一般的なフォーカス補助の手法である映像の輪郭強調として、第１遅延ライン３０→映像信号選択部３４→高域信号検出部３８の経路で処理され、信号合成部４０で、映像信号と輪郭強調信号を合成し、表示装置１４（モニタ）へ出力する。
On the other hand, as the outline enhancement of the image, which is a general focus assisting method, the process is processed by the route of the first delay line 30 → the video signal selection unit 34 → the high frequency
また、別例では、撮像装置１２（カメラ）が４Ｋで、表示装置１４（モニタ）がＨＤＴＶの解像度である場合、映像信号処理部１６は、被写体の撮像映像信号を、低精細映像変換部３２→映像信号選択部３４→第２遅延ライン３６→信号合成部４０の経路で出力する。
In another example, when the image pickup device 12 (camera) is 4K and the display device 14 (monitor) has the resolution of HDTV, the video
一方、映像の輪郭強調として、低精細映像変換部３２→映像信号選択部３４→高域信号検出部３８の経路で処理され、信号合成部４０で映像信号と輪郭強調信号を合成し、表示装置１４（モニタ）へ出力する。なお、撮像装置１２（カメラ）と、表示装置１４（モニタ）の解像度例としては、それぞれ８Ｋ、４Ｋ、ＨＤＴＶの解像度組み合わせが考えられる。
On the other hand, as the contour enhancement of the video, it is processed by the route of the low-definition video conversion unit 32 → the video signal selection unit 34 → the high frequency
続いて、図２におけるフォーカスエリア設定部１８においては、撮像した映像信号の画郭のうち、フォーカスを合わせたい映像範囲を設定するものである。範囲の設定は、図４に示すように、映像画郭の左上角の画素を座標原点（０，０）とした（水平位置、垂直位置）を指し示す座標指標を用い、始点（ｘ，ｙ）、終点（ｘ＋ｘ１，ｙ＋ｙ１）とした横幅ｘ１、縦幅ｙ１となる四角形エリアをフォーカスエリアと位置づける。 Subsequently, in the focus area setting unit 18 in FIG. 2, the image range to be focused is set in the image frame of the captured image signal. As shown in FIG. 4, the range is set using a coordinate index indicating (horizontal position, vertical position) with the pixel at the upper left corner of the image frame as the coordinate origin (0,0), and the start point (x, y). , The quadrangular area having the horizontal width x1 and the vertical width y1 as the end points (x + x1, y + y1) is positioned as the focus area.
仮に、ｘ１を水平有効全画素数、ｙ１を垂直有効全ライン数として、始点を（０，０）、終点を（ｘ１，ｙ１）とすれば、撮像映像の全画郭を対象エリアとすることも可能である。 Assuming that x1 is the total number of horizontally effective pixels and y1 is the total number of vertically effective lines, the start point is (0,0), and the end point is (x1, y1), the entire image frame of the captured image is set as the target area. Is also possible.
また、上記エリア座標を複数保持することにより、フォーカスを合わせたいエリアを複数設定することも可能となる。例えば、図５に示しているように、映像信号の画郭内に、Ａエリア、Ｂエリア、Ｃエリア、Ｄエリア、Ｅエリアの５つのフォーカスエリアを設ける場合、次表（表１）に示すように、５組の座標を設けることにより、５つのフォーカスエリアを設定可能とする。 Further, by holding a plurality of the area coordinates, it is possible to set a plurality of areas to be focused on. For example, as shown in FIG. 5, when five focus areas of A area, B area, C area, D area, and E area are provided in the image frame of the video signal, they are shown in the following table (Table 1). As described above, by providing 5 sets of coordinates, 5 focus areas can be set.
ただし、後述するフォーカスの状態を示すインジケータとの表示関係で、視認性を考慮すると、可能なエリア設定数は、最大９の映像画郭を均等９等分したエリア範囲での設定が最適と考えられる。また、フォーカスエリアを均等位置に割り振るだけでなく、図６に示すように、不均等な位置として設定することも可能である。 However, considering the visibility with the indicator that shows the focus state, which will be described later, it is considered optimal to set the number of possible area settings in the area range in which a maximum of 9 video images are evenly divided into 9 equal parts. Be done. In addition to allocating the focus area to even positions, it is also possible to set the focus areas as uneven positions as shown in FIG.
次に、エリアを設定するにあたり、エリア範囲の視覚的認識をする必要がある。そこで、図２のエリアマーカ生成部２６では、上記座標位置の情報を基に、マーカ用キャラクタを作成して映像信号に重畳し、それを表示装置１４で表示させる。そして、このエリアマーカを確認することにより、エリア範囲の視覚的認識が行える。
Next, when setting the area, it is necessary to visually recognize the area range. Therefore, the area
続いて、図２における高域信号抽出部２０では、エリア設定した座標を基に、エリア範囲内の映像信号データのみを処理対象データとし、高域信号成分を抽出する。成分の抽出は、高域通過帯域フィルタにより信号レベルを取得するが、通常、輝度平均値が低いと、映像コントラストも下がり、抽出する高域信号成分のレベルも下がる。
Subsequently, the high-frequency
一方、輝度平均値が高いと映像コントラストも上がり、抽出する高域信号成分のレベルも上がる。このような輝度による高域信号レベルの差異を調整するため、フォーカスエリア内の平均輝度値を算出し、算出値で高域信号レベルを除算することで、高域信号レベルの正規化を行う。 On the other hand, when the average luminance value is high, the image contrast also increases and the level of the high frequency signal component to be extracted also increases. In order to adjust the difference in the high frequency signal level due to such brightness, the high frequency signal level is normalized by calculating the average luminance value in the focus area and dividing the high frequency signal level by the calculated value.
このように、エリア内の輝度平均値を用いた場合、エリア全体で一様な正規化となる。しかしながら、被写体によっては、同じような細かい周波数成分を持ったものでも、反射率の違いによりコントラスト差が大きくなる被写体と、小さくなる被写体が存在する。 In this way, when the brightness average value in the area is used, the normalization is uniform in the entire area. However, depending on the subject, even if the subject has a similar fine frequency component, there are a subject in which the contrast difference becomes large and a subject in which the contrast difference becomes small due to the difference in reflectance.
このような被写体がフォーカスエリア内に同時に存在した場合、輝度平均値では、一様な除算であるため、高域周波数レベルの差異が埋まらない。そこで、高域信号に対応する映像画素の最大輝度値で除算することにより高域信号レベルを正規化し、被写体反射率の違いによる高域信号レベルの差異を埋める。 When such a subject exists in the focus area at the same time, the difference in the high frequency level is not filled in because the luminance average value is a uniform division. Therefore, the high-frequency signal level is normalized by dividing by the maximum luminance value of the video pixel corresponding to the high-frequency signal, and the difference in the high-frequency signal level due to the difference in the subject reflectance is filled.
以下、具体的な方法について説明する。図７は、図３における高域信号検出部３８の内部回路構成を示したものである。図７における高域通過帯域フィルタが、図８に示すような、高域通過特性とした場合に、図９のようなフィルタ係数値で構成される。
Hereinafter, a specific method will be described. FIG. 7 shows the internal circuit configuration of the high frequency
なお、ここでのフィルタ特性は、説明のために用いる一例であり、実際の運用では、撮像装置の特性や表示装置での見やすさを考慮し、フィルタの係数値を決めるものとするが、高域通過帯域フィルタの係数構成は、対象画素と、その両隣画素に対する比率が大きくなるため、この３画素を代表輝度値として問題がない。 The filter characteristics here are an example used for explanation, and in actual operation, the coefficient value of the filter is determined in consideration of the characteristics of the image pickup device and the visibility on the display device. Since the coefficient configuration of the region pass band filter has a large ratio to the target pixel and the pixels on both sides thereof, there is no problem with these three pixels as the representative luminance value.
図９に示す係数値においても、高域成分対象画素の係数が１６、両隣の画素の係数が－９となり、ほぼこの３画素のレベル差合計を高域レベルとしていることが分かる。そこで、この３画素のうちの、最大輝度値で高域レベルを除算することにより、対象画素でのレベル正規化が行える。 Also in the coefficient values shown in FIG. 9, the coefficient of the pixel targeted for the high frequency component is 16, and the coefficient of the pixels on both sides is -9, and it can be seen that the total level difference of these three pixels is set as the high frequency level. Therefore, by dividing the high frequency level by the maximum luminance value of these three pixels, the level can be normalized in the target pixel.
また、図１０に示すように、単純に２画素間の差で高域信号を求めた場合、差をとる２つの画素の大きい輝度値で高域信号を除算することでレベル正規化を行うことができる。以上の映像輝度値による高域信号レベルの正規化とは別に、撮影者が撮影環境や、被写体の状況により、マニュアル設定で、正規化した高域信号レベルのゲイン調整ができるようにすることで、視認の微調整を可能としておくのが好ましい。 Further, as shown in FIG. 10, when the high frequency signal is simply obtained by the difference between two pixels, the level normalization is performed by dividing the high frequency signal by the large luminance value of the two pixels taking the difference. Can be done. In addition to the normalization of the high-frequency signal level based on the above video brightness values, the photographer can manually adjust the gain of the normalized high-frequency signal level according to the shooting environment and the condition of the subject. , It is preferable to enable fine adjustment of visual recognition.
次に、図２における高域信号パラメータ生成部２２では、正規化された高域信号レベルから、インジケータ生成のためのパラメータを作成する。なお、インジケータは、撮影者がフォーカスポイントを探る指標となるものである。
Next, the high frequency signal
以下、インジケータの振り幅をｂビット（０～２ｂ－１）として、インジケータ生成の方法を説明する。高域信号抽出部２０から得られた高域信号レベルの正規化値において、最大値から順にｎ個のレベルを取得し、このｎ個のレベル平均値を算出する。そして、算出された平均値をｂビットで正規化した値を、インジケータの強弱を付けるパラメータとする。
Hereinafter, a method of generating an indicator will be described with the swing width of the indicator being b bits (0 to 2 -1). In the normalized value of the high frequency signal level obtained from the high frequency
具体的には、高域信号抽出部２０から得られた高域信号正規化値の最大値をＬｈ（１）、次のレベルをＬｈ（２）と表した場合、ｎ個目のレベルはＬｈ（ｎ）となり、インジケータのパラメータを表す一般式が、次式（数１）のようになる。
Specifically, when the maximum value of the high frequency signal normalization value obtained from the high frequency
ここで、ｎの値は、偽高域信号成分の影響を軽減するもので、ｎの値が大きければ、平均値を算出するための要素数が多くなり、偽高域信号があったとしても、影響が小さくなる。さらに、平均値の要素を過去映像フレームに渡った演算とすれば、一層の偽高域信号の影響を抑えることが可能となる。 Here, the value of n reduces the influence of the false high frequency signal component, and if the value of n is large, the number of elements for calculating the average value increases, and even if there is a false high frequency signal. , The effect is small. Further, if the element of the average value is calculated over the past video frames, it is possible to further suppress the influence of the false high frequency signal.
ただし、平均値をとる要素フレームが過去の時間に遡るほど、過去の映像情報が含まれる割合が大きくなるため、撮像映像信号に対して、インジケータが反応する時間が遅くなる。さらに、信号をフレームに渡り保持するメモリが必要となるため、実際の運用において、最適な要素数を映像信号の特性と回路規模に照らし合わせて決定する必要がある。以下、上記数１に平均値をとるフレーム数ｆを加えた式を示す（数２）。
However, as the element frame for which the average value is taken goes back to the past time, the ratio of including the past video information increases, so that the time for the indicator to react to the captured video signal becomes slower. Further, since a memory for holding the signal over the frame is required, it is necessary to determine the optimum number of elements in the actual operation in light of the characteristics of the video signal and the circuit scale. Hereinafter, an equation obtained by adding the number of frames f to take an average value to the
次に、図２におけるインジケータ生成部２４では、高域信号パラメータ生成部２２で算出されたインジケータパラメータを基に、映像信号に合成するためのフォーカスインジケータ用キャラクタ信号を生成する。図１１にインジケータの振り幅を８ビットとしたときの、フォーカスインジケータのイメージ図を示す。
Next, the
インジケータの振り幅に割り付けるビット幅においては、上述した映像信号から抽出した高域信号成分の影響が、どれ程の精度でインジケータの強弱に反映するかを決める値となるため、映像信号のＳＮや、撮影環境の明るさなどにより、フォーカスが合っているかを視認しやすいインジケータの動きとなるようビット幅を決定する。 The bit width assigned to the swing width of the indicator is a value that determines how accurately the influence of the high-frequency signal component extracted from the above-mentioned video signal is reflected in the strength of the indicator. The bit width is determined so that the movement of the indicator makes it easy to visually recognize whether the subject is in focus, depending on the brightness of the shooting environment and the like.
以上のように、高域信号レベルからインジケータ用パラメータ値を算出し、算出値を基に、インジケータに強弱を付けるキャラクタを生成することで、撮像した映像信号に対し、フォーカスが合っているかを判断できるインジケータとする。 As described above, the parameter value for the indicator is calculated from the high-frequency signal level, and based on the calculated value, a character that adds strength to the indicator is generated to determine whether the captured video signal is in focus. It is an indicator that can be used.
続いて、図２における合成部２８では、上述の映像信号処理部１６からの出力映像信号に、インジケータ生成部２４で得られたキャラクタ信号と、エリアマーカ生成部２６で得られたキャラクタ信号を合成し、合成信号として、表示装置１４（モニタ）へと出力する。
Subsequently, in the synthesis unit 28 in FIG. 2, the character signal obtained by the
ここで、図１３に、映像画郭の中心を単一フォーカスエリア設定とした場合の、表示装置１４（モニタ）での表示状態一例を示す。この一例では、図の一番左側がフォーカスの合っている状態、真ん中は、フォーカスが少しずれている状態、右側は、フォーカスがほとんど合っていない状態を示している。なお、映像下部にインジケータを表示しているが、特に、インジケータの場所や形を特定するものではない。 Here, FIG. 13 shows an example of the display state on the display device 14 (monitor) when the center of the video image frame is set as a single focus area. In this example, the leftmost side of the figure is in focus, the center is slightly out of focus, and the right side is almost out of focus. Although the indicator is displayed at the bottom of the image, it does not specify the location or shape of the indicator.
次に、図１４は、Ａ～Ｅの５つのフォーカスエリア設定を行った際、表示装置１４（モニタ）での表示状態例を示したものである。フォーカスインジケータの表示は、５つのエリア全てに対し表示することも可能であり、また、任意の複数エリア、または、単一エリアに対する表示も可能とする。さらに、図１５には、不均等に設定した９つのフォーカスエリアに対し、インジケータを表示した一例である。 Next, FIG. 14 shows an example of the display state on the display device 14 (monitor) when the five focus areas A to E are set. The display of the focus indicator can be displayed for all five areas, and can also be displayed for any plurality of areas or a single area. Further, FIG. 15 is an example in which indicators are displayed for nine focus areas set unevenly.
なお、合成部２８において、映像信号と、キャラクタ信号を合成するにあたり、表示装置１４において、映像を確認しやすくするために、インジケータを非表示とする設定を行うことができる構成としても良い。 When synthesizing the video signal and the character signal in the synthesizing unit 28, the display device 14 may be configured to hide the indicator in order to make it easier to check the video.
このように、複数フォーカスエリアに対してのフォーカスインジケータの情報を表示することで、フォーカスが合っているエリアと、合っていないエリアの絶対的評価が容易となる。また、インジケータにより示されるフォーカス状態と、撮影者による撮像装置１２の操作により最適焦点距離を探る際に、フォーカスが合っている箇所に対してフォーカスが合っていない箇所を意図的に作る、いわゆる、ぼかし効果を作成する上で、インジケータによる表示をすることにより、ぼかし具合の定量的な確認が可能となる。 By displaying the information of the focus indicator for the plurality of focus areas in this way, the absolute evaluation of the in-focus area and the out-of-focus area becomes easy. Further, when the focus state indicated by the indicator and the optimum focal length are searched for by the photographer's operation of the image pickup apparatus 12, a so-called out-of-focus portion is intentionally created with respect to the in-focus portion. When creating a blur effect, it is possible to quantitatively confirm the degree of blur by displaying it with an indicator.
本発明に係るフォーカス補助システム装置は、撮像装置の解像度や、ビューファインダーなどの表示装置の解像度や、大きさにも依らず、フォーカス合わせを容易に行う必要がある撮影現場などにおいて、好適に用いることができる。 The focus assisting system device according to the present invention is suitably used in a shooting site where focusing needs to be easily performed regardless of the resolution of the image pickup device, the resolution of a display device such as a viewfinder, and the size. be able to.
１０ フォーカス補助システム装置
１２ 撮像装置
１４ 表示装置
１６ 映像信号処理部
１８ フォーカスエリア設定部
２０ 高域信号抽出部
２２ 高域信号パラメータ生成部
２４ インジケータ生成部
２６ エリアマーカ生成部
２８ 合成部
３０ 第１遅延ライン
３２ 低精細映像変換部
３４ 映像信号選択部
３６ 第２遅延ライン
３８ 高域信号検出部
４０ 信号合成部
10 Focus assist system device 12 Imaging device 14
Claims (9)
前記撮像装置による前記被写体の映像信号の入力を受け、当該映像信号の映像処理を行う映像信号処理部と、
前記撮像装置による前記被写体の映像信号の入力を受け、当該映像信号の画郭のうち、前記表示装置にて、フォーカス状態を視認したい映像エリアを設定するフォーカスエリア設定部と、
前記フォーカスエリア設定部において設定された映像エリアにおける高域信号を抽出し、当該高域信号のレベルを正規化することで正規化値を算出する高域信号抽出部と、
前記高域信号抽出部において算出された正規化値を用い、フォーカス状態を示すインジケータを前記表示装置に表示可能なキャラクタ信号を生成するインジケータ生成部と、
前記映像信号処理部により映像処理が行われた映像信号と、前記インジケータ生成部により生成されたキャラクタ信号を合成し、当該合成した信号を合成映像として前記表示装置にて表示させる合成部と、
前記高域信号抽出部により抽出した高域信号のレベルから、偽高域信号成分を軽減し、前記表示装置においてインジケータの強弱を連続的に表示させるためのパラメータ値を生成する高域信号パラメータ生成部と、
を備え、
前記高域信号パラメータ生成部は、前記高域信号抽出部から得られる高域信号のレベルの正規化値において、最大値から順にｎ個のレベルを取得し、当該ｎ個のレベル平均値を算出し、続いて、当該算出したレベル平均値を前記インジケータの振り幅に割り付けるビット幅で正規化した値を前記インジケータの強弱を付けるパラメータ値とする処理を行うものであること
を特徴とするフォーカス補助システム装置。 It is a focus assisting system device that makes it possible to visually recognize the focus state of the subject on the display device when the subject is photographed by the image pickup device.
A video signal processing unit that receives an input of a video signal of the subject by the image pickup device and performs video processing of the video signal.
A focus area setting unit that receives an input of a video signal of the subject by the image pickup device and sets a video area in which the focus state is to be visually recognized on the display device in the image frame of the video signal.
A high-frequency signal extraction unit that extracts a high-frequency signal in the video area set in the focus area setting unit and calculates a normalized value by normalizing the level of the high-frequency signal, and a high-frequency signal extraction unit.
Using the normalized value calculated in the high frequency signal extraction unit, an indicator generation unit that generates a character signal that can display an indicator indicating a focus state on the display device, and an indicator generation unit.
A compositing unit that synthesizes a video signal processed by the video signal processing unit and a character signal generated by the indicator generation unit and displays the synthesized signal as a composite video on the display device.
High-frequency signal parameter generation that reduces pseudo-high-frequency signal components from the level of the high-frequency signal extracted by the high-frequency signal extraction unit and generates parameter values for continuously displaying the intensity of the indicator in the display device. Department and
Equipped with
The high- frequency signal parameter generation unit acquires n levels in order from the maximum value in the normalized value of the high-frequency signal level obtained from the high-frequency signal extraction unit, and calculates the n-level average value. Then, the focus assist is characterized in that the value normalized by the bit width that allocates the calculated level average value to the swing width of the indicator is used as the parameter value for adding the strength of the indicator. System equipment.
（１）撮像装置の映像信号解像度：４Ｋ／表示装置の解像度：ＨＤＴＶ
（２）撮像装置の映像信号解像度：８Ｋ／表示装置の解像度：ＨＤＴＶ
（３）撮像装置の映像信号解像度：８Ｋ／表示装置の解像度：４Ｋ The focus assist system device according to claim 8, wherein the image signal resolution of the image pickup device and the resolution of the display device are a combination of any one of the following (1) to (3).
(1) Video signal resolution of the image pickup device: 4K / resolution of the display device: HDTV
(2) Video signal resolution of the image pickup device: 8K / resolution of the display device: HDTV
(3) Video signal resolution of the image pickup device: 8K / resolution of the display device: 4K
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120801A JP6999296B2 (en) | 2017-06-20 | 2017-06-20 | Focus assist system device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120801A JP6999296B2 (en) | 2017-06-20 | 2017-06-20 | Focus assist system device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019009506A JP2019009506A (en) | 2019-01-17 |
| JP6999296B2 true JP6999296B2 (en) | 2022-01-18 |
Family
ID=65029821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017120801A Active JP6999296B2 (en) | 2017-06-20 | 2017-06-20 | Focus assist system device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6999296B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022098947A (en) * | 2020-12-22 | 2022-07-04 | ソニーグループ株式会社 | Image processing device, image processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007127948A (en) | 2005-11-07 | 2007-05-24 | Fujinon Corp | Automatic focus system |
| JP2007279677A (en) | 2006-03-14 | 2007-10-25 | Olympus Imaging Corp | Focus state display device for camera |
| JP2012145840A (en) | 2011-01-13 | 2012-08-02 | Olympus Corp | Image pickup apparatus |
| JP2014077820A (en) | 2012-10-09 | 2014-05-01 | Seiko Epson Corp | Photographing device, focusing state display method, and focusing state display program |
| JP2016100883A (en) | 2014-11-26 | 2016-05-30 | 日本放送協会 | Focus assist device and program therefor |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3131971B2 (en) * | 1990-03-05 | 2001-02-05 | ソニー株式会社 | Auto focus device |
| JP3478649B2 (en) * | 1995-12-28 | 2003-12-15 | キヤノン株式会社 | Imaging device |
-
2017
- 2017-06-20 JP JP2017120801A patent/JP6999296B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007127948A (en) | 2005-11-07 | 2007-05-24 | Fujinon Corp | Automatic focus system |
| JP2007279677A (en) | 2006-03-14 | 2007-10-25 | Olympus Imaging Corp | Focus state display device for camera |
| JP2012145840A (en) | 2011-01-13 | 2012-08-02 | Olympus Corp | Image pickup apparatus |
| JP2014077820A (en) | 2012-10-09 | 2014-05-01 | Seiko Epson Corp | Photographing device, focusing state display method, and focusing state display program |
| JP2016100883A (en) | 2014-11-26 | 2016-05-30 | 日本放送協会 | Focus assist device and program therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019009506A (en) | 2019-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7036176B2 (en) | Display control device, display control method and display control program | |
| JP2010141653A (en) | Image processing device and imaging apparatus | |
| JP2011041089A (en) | Method, device and program for processing image, and imaging device | |
| WO2018129692A1 (en) | Image refocusing | |
| US9781343B2 (en) | Image processing apparatus and method for operating image processing apparatus | |
| US8731327B2 (en) | Image processing system and image processing method | |
| JP2011237713A (en) | Imaging device and imaging method | |
| JP6604908B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP6999296B2 (en) | Focus assist system device | |
| JP5211589B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP4089675B2 (en) | Imaging device | |
| JP2011176788A (en) | Viewfinder video generation device | |
| US10728440B2 (en) | Apparatus for generating and displaying a focus assist image indicating a degree of focus for a plurality of blocks obtained by dividing a frame of image signal | |
| JP2017143504A5 (en) | ||
| CN107979715B (en) | Image pickup apparatus | |
| JP2010213105A (en) | Imaging apparatus | |
| JP5055571B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP5014277B2 (en) | Focus auxiliary signal processing device | |
| WO2019093090A1 (en) | Image processing device, image capturing device, image processing method and program | |
| JP4459789B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing program | |
| WO2018030386A1 (en) | Position designation device and position designation method | |
| JP6478711B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP7409604B2 (en) | Image processing device, imaging device, image processing method, program and recording medium | |
| JP6929185B2 (en) | Image processing equipment and image processing methods, programs, storage media | |
| JP6833772B2 (en) | Image processing equipment, imaging equipment, image processing methods and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6999296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |