JP7105754B2 - 撮像装置、及び、撮像装置の制御方法 - Google Patents
撮像装置、及び、撮像装置の制御方法 Download PDFInfo
- Publication number
- JP7105754B2 JP7105754B2 JP2019223950A JP2019223950A JP7105754B2 JP 7105754 B2 JP7105754 B2 JP 7105754B2 JP 2019223950 A JP2019223950 A JP 2019223950A JP 2019223950 A JP2019223950 A JP 2019223950A JP 7105754 B2 JP7105754 B2 JP 7105754B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- image
- processing
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 438
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 claims description 480
- 238000007906 compression Methods 0.000 claims description 113
- 230000006835 compression Effects 0.000 claims description 100
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/917—Television signal processing therefor for bandwidth reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Description
図1は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
図2は、図1の撮像装置2の構成例を示すブロック図である。
図4、図5、及び、図6は、DSP32の信号処理として認識処理が行われる場合の、撮像装置2の処理の例の概要を説明する図である。
図11、図12、及び、図13は、DSP32の信号処理としてフュージョン処理が行われる場合の、撮像装置2の処理の例の概要を説明する図である。
図16、図17、及び、図18は、DSP32の信号処理としてSLAM処理が行われる場合の、撮像装置2の処理の例の概要を説明する図である。
図22は、図1の撮像装置2の他の構成例を示すブロック図である。
図23は、図1の撮像装置2を使用する使用例を示す図である。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される電子機器
・内視鏡や、電子顕微鏡、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される電子機器
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
複数の画素が2次元に並んだ、画像を撮像する撮像部と、
前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
を備える1チップの撮像装置。
<2>
複数のダイが積層された積層構造を有する
<1>に記載の撮像装置。
<3>
前記撮像画像を圧縮し、前記撮像画像よりもデータ量が少ない圧縮画像を生成する画像圧縮部をさらに備える
<1>又は<2>に記載の撮像装置。
<4>
前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って、前記撮像画像の撮像を制御する撮像制御部と、
前記信号処理結果を用いて、前記撮像情報を算出する撮像情報算出部と
をさらに備え、
前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
<1>ないし<3>のいずれかに記載の撮像装置。
<5>
前記レジスタは、前記出力制御に関する出力制御情報をも記憶し、
前記出力制御部は、前記レジスタに記憶された前記出力制御情報に従って、前記出力制御を行う
<4>に記載の撮像装置。
<6>
前記レジスタに読み書きする情報を外部との間でやりとりする第1の通信I/Fをさらに備える
<4>又は<5>に記載の撮像装置。
<7>
前記信号処理部は、プログラムを実行するプロセッサであり、
前記プロセッサが実行するプログラムを外部からダウンロードする第2の通信I/Fをさらに備える
<1>ないし<6>のいずれかに記載の撮像装置。
<8>
前記信号処理部は、前記信号処理として、前記撮像画像から、所定の認識対象を認識する認識処理を行う
<1>ないし<7>のいずれかに記載の撮像装置。
<9>
外部のセンサから外部センサ出力を受け取る入力I/Fをさらに備え、
前記信号処理部は、前記撮像画像及び前記外部センサ出力を用いた信号処理を行う
<1>ないし<7>のいずれかに記載の撮像装置。
<10>
前記外部センサ出力は、距離に関する情報をセンシングする距離センサの出力、又は、光をセンシングし、前記光に対応する画像を出力するイメージセンサの出力である
<9>に記載の撮像装置。
<11>
前記信号処理部は、前記信号処理として、前記撮像画像と前記距離センサの出力とを用いて距離を求めるフュージョン処理、又は、前記イメージセンサの出力としての画像と前記撮像画像とを用いた自己位置推定処理を行う
<10>に記載の撮像装置。
<12>
光を集光する光学系と、
光を受光し、前記光の受光量に対応する画像を出力する1チップの撮像装置と
を備え、
前記撮像装置は、
複数の画素が2次元に並んだ、画像を撮像する撮像部と、
前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
を有する
電子機器。
符号の説明
Claims (12)
- 複数の画素が2次元に並んだ撮像画像を出力する撮像部と、
前記撮像画像に基づく画像を用いた所定の処理を実行する処理部と、
前記処理部による処理結果又は前記処理の途中で得られる中間データと、前記撮像画像とを外部へ出力可能な出力部と、
前記処理結果又は前記中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させる出力制御部と、
前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って前記撮像画像の撮像を制御する撮像制御部と、
前記所定の処理の結果を用いて前記撮像情報を算出する撮像情報算出部と
を備え、
前記撮像部と前記処理部とは、単一のチップ内に配置され、
前記単一のチップは、第1のダイと、当該第1のダイに積層された第2のダイとから構成され、
前記撮像部は、1フレーム周期の一部である所定期間内に1フレーム分の前記撮像画像を出力し、
前記処理部は、前記撮像部が前記撮像画像の出力を開始した後、前記所定期間の終了前に、前記撮像画像に基づく画像を用いた前記所定の処理を開始し、
前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
撮像装置。 - 前記撮像部から出力された前記撮像画像を圧縮して圧縮画像を前記撮像画像に基づく画像として生成する圧縮部をさらに備え、
前記圧縮部は、前記撮像部及び前記処理部と同一の前記チップ内に配置され、
前記圧縮部は、前記撮像部が前記撮像画像の出力を開始した後、前記所定期間の終了前に、前記撮像画像の圧縮を開始し、
前記処理部は、前記圧縮部が前記撮像画像の圧縮を開始した後、当該撮像画像の圧縮を完了する前に、前記圧縮画像を用いた前記所定の処理を開始する
請求項1に記載の撮像装置。 - 複数の画素が2次元に並んだ撮像画像を出力する撮像部と、
前記撮像部から出力された前記撮像画像を圧縮して圧縮画像を生成する圧縮部と、
前記圧縮画像を用いた所定の処理として前記撮像画像に基づく画像に対する認識処理の少なくとも一部を実行する処理部と、
前記処理部による処理結果又は前記処理の途中で得られる中間データと、前記撮像画像とを外部へ出力可能な出力部と、
前記処理結果又は前記中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させる出力制御部と
を備え、
前記撮像部と前記圧縮部と前記処理部とは、単一のチップ内に配置され、
前記単一のチップは、第1のダイと、当該第1のダイに積層された第2のダイとから構成され、
前記撮像部は、1フレーム周期の一部である所定期間内に1フレーム分の前記撮像画像を出力し、
前記圧縮部は、前記撮像部が前記撮像画像の出力を開始した後、前記所定期間の終了前に、前記撮像画像の圧縮を開始し、
前記処理部は、前記圧縮部が前記撮像画像の圧縮を開始した後、当該撮像画像の圧縮を完了する前に、前記圧縮画像を用いた前記所定の処理を開始する
撮像装置。 - 前記圧縮部は、前記撮像画像の解像度を下げるスケールダウン、及び、前記撮像画像をカラー画像から白黒画像に変換する色変換のうちの少なくとも1つを含む
請求項2又は3に記載の撮像装置。 - 前記所定の処理は、前記撮像画像に基づく画像に対する認識処理の少なくとも一部である
請求項1又は2に記載の撮像装置。 - 前記出力部及び前記出力制御部は、前記撮像部及び前記処理部と同一の前記チップ内に配置されている
請求項1~5の何れか1項に記載の撮像装置。 - 前記第1のダイは、前記撮像部を備え、
前記第2のダイは、前記処理部を備える
請求項1~6の何れか1項に記載の撮像装置。 - 前記撮像画像は、前記撮像部の出力に階調処理を行い生成された画像である
請求項1~7の何れか1項に記載の撮像装置。 - 前記所定の処理は、ディープラーニングの手法を用いた認識処理である
請求項1~8の何れか1項に記載の撮像装置。 - 前記ディープラーニングの手法は、コンボリューショナルニューラルネットワーク(Convolutional Neural Network)である
請求項9に記載の撮像装置。 - 前記所定の処理を行うプログラムは、外部からダウンロードされる
請求項1~10の何れか1項に記載の撮像装置。 - 複数の画素が2次元に並んだ撮像画像を出力する撮像部と、前記撮像画像に基づく画像を用いた所定の処理を実行する処理部と、前記処理部による処理結果又は前記処理の途中で得られる中間データと、前記撮像画像とを外部へ出力可能な出力部と、前記処理結果又は前記中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させる出力制御部と、前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って前記撮像画像の撮像を制御する撮像制御部と、前記所定の処理の結果を用いて前記撮像情報を算出する撮像情報算出部とを備え、前記撮像部と前記処理部とは、単一のチップ内に配置され、前記単一のチップは、第1のダイと、当該第1のダイに積層された第2のダイとから構成され、前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続された撮像装置の制御方法であって、
前記撮像部が、1フレーム周期の一部である所定期間内に1フレーム分の前記撮像画像を出力し、
前記処理部が、前記撮像部が前記撮像画像の出力を開始した後、前記所定期間の終了前に、前記撮像画像に基づく画像を用いた前記所定の処理を開始し、
前記撮像情報算出部が、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031510A JP6937443B2 (ja) | 2016-09-16 | 2021-03-01 | 撮像装置及び撮像装置の制御方法 |
JP2022085048A JP7342197B2 (ja) | 2016-09-16 | 2022-05-25 | 撮像装置及び撮像装置の制御方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016181194 | 2016-09-16 | ||
JP2016181194 | 2016-09-16 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539628A Division JP6633216B2 (ja) | 2016-09-16 | 2017-09-01 | 撮像装置、及び、電子機器 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021031510A Division JP6937443B2 (ja) | 2016-09-16 | 2021-03-01 | 撮像装置及び撮像装置の制御方法 |
JP2022085048A Division JP7342197B2 (ja) | 2016-09-16 | 2022-05-25 | 撮像装置及び撮像装置の制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020061755A JP2020061755A (ja) | 2020-04-16 |
JP2020061755A5 JP2020061755A5 (ja) | 2020-10-08 |
JP7105754B2 true JP7105754B2 (ja) | 2022-07-25 |
Family
ID=61619417
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539628A Active JP6633216B2 (ja) | 2016-09-16 | 2017-09-01 | 撮像装置、及び、電子機器 |
JP2019223950A Active JP7105754B2 (ja) | 2016-09-16 | 2019-12-11 | 撮像装置、及び、撮像装置の制御方法 |
JP2021031510A Active JP6937443B2 (ja) | 2016-09-16 | 2021-03-01 | 撮像装置及び撮像装置の制御方法 |
JP2022085048A Active JP7342197B2 (ja) | 2016-09-16 | 2022-05-25 | 撮像装置及び撮像装置の制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539628A Active JP6633216B2 (ja) | 2016-09-16 | 2017-09-01 | 撮像装置、及び、電子機器 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021031510A Active JP6937443B2 (ja) | 2016-09-16 | 2021-03-01 | 撮像装置及び撮像装置の制御方法 |
JP2022085048A Active JP7342197B2 (ja) | 2016-09-16 | 2022-05-25 | 撮像装置及び撮像装置の制御方法 |
Country Status (6)
Country | Link |
---|---|
US (5) | US10795024B2 (ja) |
EP (3) | EP4064680A1 (ja) |
JP (4) | JP6633216B2 (ja) |
KR (5) | KR102647268B1 (ja) |
CN (2) | CN109691079B (ja) |
WO (1) | WO2018051809A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020027229A1 (ja) * | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
WO2020027074A1 (ja) * | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
WO2020027230A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 積層型受光センサ及び車載撮像装置 |
US11820289B2 (en) * | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
JP7423491B2 (ja) | 2018-07-31 | 2024-01-29 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び車両制御システム |
CN112470462A (zh) | 2018-07-31 | 2021-03-09 | 索尼半导体解决方案公司 | 层叠式光接收传感器和电子装置 |
JP6646347B2 (ja) * | 2018-07-31 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
WO2020027233A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び車両制御システム |
WO2020027161A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 積層型受光センサ及び電子機器 |
JP6697042B2 (ja) * | 2018-08-31 | 2020-05-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像システム、固体撮像方法及びプログラム |
JP6638852B1 (ja) * | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
JP6925474B2 (ja) * | 2018-08-31 | 2021-08-25 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
JP6695947B2 (ja) * | 2018-09-21 | 2020-05-20 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像システム、画像処理方法及びプログラム |
JP7402606B2 (ja) | 2018-10-31 | 2023-12-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
JP2020113809A (ja) * | 2019-01-08 | 2020-07-27 | ソニー株式会社 | 固体撮像素子およびその信号処理方法、並びに電子機器 |
JP2020136903A (ja) | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および電子機器 |
WO2020170729A1 (ja) * | 2019-02-20 | 2020-08-27 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
JP6996025B2 (ja) * | 2019-02-20 | 2022-02-04 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム |
JP2021064860A (ja) * | 2019-10-11 | 2021-04-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
JP2021068952A (ja) * | 2019-10-18 | 2021-04-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
JP2021068954A (ja) * | 2019-10-18 | 2021-04-30 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置及び電子機器 |
JP7388131B2 (ja) | 2019-10-31 | 2023-11-29 | ソニーグループ株式会社 | 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション |
CN114902648A (zh) * | 2020-01-30 | 2022-08-12 | 索尼半导体解决方案公司 | 固态成像装置、电子设备和成像系统 |
EP4105340A4 (en) | 2020-02-14 | 2023-08-09 | Sony Group Corporation | ANALYTICAL METHOD, ANALYTICAL SYSTEM AND INTERFACE FOR ANALYSIS |
CN115280760A (zh) * | 2020-03-19 | 2022-11-01 | 索尼半导体解决方案公司 | 固态成像装置 |
JP7105976B2 (ja) * | 2020-04-23 | 2022-07-25 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、固体撮像装置の動作方法及びプログラム |
EP4177353A4 (en) | 2020-07-06 | 2024-01-17 | Sony Group Corp | SYSTEM AND METHOD FOR BIOPARTICLE ANALYSIS |
JP2022017705A (ja) | 2020-07-14 | 2022-01-26 | ソニーグループ株式会社 | 微小粒子分取装置、微小粒子分取方法、プログラム、及び微小粒子分取システム |
US11706546B2 (en) * | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
US20230039592A1 (en) * | 2021-08-04 | 2023-02-09 | Sony Semiconductor Solutions Corporation | Image sensor with integrated efficient multiresolution hierarchical deep neural network (dnn) |
US11763417B2 (en) * | 2021-11-19 | 2023-09-19 | Renesas Electronics Corporation | Semiconductor device and image processing system for processing regions of interest images |
JP2023119701A (ja) * | 2022-02-17 | 2023-08-29 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および信号処理方法 |
WO2023182049A1 (ja) * | 2022-03-23 | 2023-09-28 | ソニーセミコンダクタソリューションズ株式会社 | イメージセンサ、データ構造 |
WO2023218936A1 (ja) * | 2022-05-10 | 2023-11-16 | ソニーセミコンダクタソリューションズ株式会社 | イメージセンサ、情報処理方法、プログラム |
WO2024014278A1 (ja) * | 2022-07-11 | 2024-01-18 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置およびデータ出力方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004146816A (ja) | 2002-09-30 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 固体撮像装置およびこれを用いた機器 |
JP2009246803A (ja) | 2008-03-31 | 2009-10-22 | Aisin Seiki Co Ltd | 画像認識装置及びコンピュータプログラム |
JP2010283787A (ja) | 2009-06-08 | 2010-12-16 | Panasonic Corp | 撮像装置 |
JP2011508293A (ja) | 2007-11-30 | 2011-03-10 | コグネックス・コーポレイション | ビジョンセンサ、システムおよび方法 |
JP2014143667A (ja) | 2012-12-28 | 2014-08-07 | Canon Inc | 撮像素子、撮像装置、その制御方法、および制御プログラム |
JP2016010125A (ja) | 2014-06-26 | 2016-01-18 | ソニー株式会社 | 信号処理装置、制御方法、撮像素子、並びに、電子機器 |
US20160165100A1 (en) | 2005-01-13 | 2016-06-09 | Sony Corporation | Image pickup apparatus and processing method for result of image pickup |
JP2016110232A (ja) | 2014-12-02 | 2016-06-20 | エヌ・ティ・ティ・コムウェア株式会社 | 対象認識装置、対象認識方法、およびプログラム |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10336519A (ja) * | 1997-06-02 | 1998-12-18 | Sony Corp | 撮像素子及び撮像装置 |
JP2000241131A (ja) * | 1998-12-22 | 2000-09-08 | Matsushita Electric Ind Co Ltd | レンジファインダ装置および撮像装置 |
JP2001036793A (ja) * | 1999-07-21 | 2001-02-09 | Sharp Corp | ビデオカメラ |
JP5108172B2 (ja) | 2000-09-06 | 2012-12-26 | 株式会社ニコン | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 |
US6617565B2 (en) | 2001-11-06 | 2003-09-09 | Omnivision Technologies, Inc. | CMOS image sensor with on-chip pattern recognition |
JP3778114B2 (ja) * | 2002-03-27 | 2006-05-24 | ソニー株式会社 | 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体 |
JP2004048455A (ja) | 2002-07-12 | 2004-02-12 | Niles Co Ltd | 撮像システム |
JP4574249B2 (ja) | 2004-06-29 | 2010-11-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、撮像装置 |
JP4244218B2 (ja) * | 2004-07-09 | 2009-03-25 | パナソニック株式会社 | 撮像信号処理回路およびカメラシステム |
JP2006067291A (ja) * | 2004-08-27 | 2006-03-09 | Canon Inc | 撮像装置 |
US20090094570A1 (en) | 2005-09-13 | 2009-04-09 | Evgeny Artyomov | Configurable Asic-based Sensing Circuit |
JP2007082059A (ja) * | 2005-09-16 | 2007-03-29 | Fujifilm Corp | 電子カメラ |
JP2007174160A (ja) * | 2005-12-21 | 2007-07-05 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP4827611B2 (ja) * | 2006-05-23 | 2011-11-30 | ローム株式会社 | シリアルインタフェイス装置、画像形成装置 |
JP4289377B2 (ja) | 2006-08-21 | 2009-07-01 | ソニー株式会社 | 物理量検出装置及び撮像装置 |
JP4957134B2 (ja) * | 2006-09-12 | 2012-06-20 | 株式会社日立製作所 | 距離計測装置 |
JP2008124742A (ja) * | 2006-11-10 | 2008-05-29 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4301308B2 (ja) * | 2007-03-02 | 2009-07-22 | ソニー株式会社 | 撮像装置および画像処理方法 |
US7676146B2 (en) * | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
JP2009081818A (ja) * | 2007-09-27 | 2009-04-16 | Mitsubishi Electric Corp | 無線通信基地局装置 |
JP2009081808A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 |
JP2009145598A (ja) | 2007-12-13 | 2009-07-02 | Sharp Corp | 固体撮像装置およびそれを備えた電子機器 |
JP5082973B2 (ja) * | 2008-03-26 | 2012-11-28 | 株式会社日立製作所 | 映像記録システム、及び撮像装置 |
JP5266864B2 (ja) * | 2008-05-13 | 2013-08-21 | ソニー株式会社 | イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ |
JP2011023898A (ja) * | 2009-07-14 | 2011-02-03 | Panasonic Corp | 表示装置、表示方法および集積回路 |
JP5625298B2 (ja) * | 2009-09-28 | 2014-11-19 | ソニー株式会社 | 撮像装置 |
JP5700963B2 (ja) * | 2010-06-29 | 2015-04-15 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP5631108B2 (ja) * | 2010-08-19 | 2014-11-26 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
KR101706093B1 (ko) * | 2010-11-30 | 2017-02-14 | 삼성전자주식회사 | 3차원 좌표 추출 시스템 및 그 방법 |
JP6066658B2 (ja) * | 2012-10-17 | 2017-01-25 | キヤノン株式会社 | 半導体装置 |
US9568985B2 (en) * | 2012-11-23 | 2017-02-14 | Mediatek Inc. | Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method |
JP6091216B2 (ja) * | 2013-01-08 | 2017-03-08 | キヤノン株式会社 | 画像信号処理装置およびその制御方法、並びに撮像装置 |
US9465484B1 (en) * | 2013-03-11 | 2016-10-11 | Amazon Technologies, Inc. | Forward and backward looking vision system |
JP5900393B2 (ja) * | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
JP6141084B2 (ja) * | 2013-04-19 | 2017-06-07 | キヤノン株式会社 | 撮像装置 |
WO2015017868A1 (en) * | 2013-08-02 | 2015-02-05 | Emotient | Filter and shutter based on image emotion content |
EP3035667A4 (en) * | 2013-08-12 | 2017-03-22 | Nikon Corporation | Electronic device, electronic device control method, and control program |
JP2015056700A (ja) * | 2013-09-10 | 2015-03-23 | 株式会社東芝 | 撮像素子、撮像装置および半導体装置 |
JP2015091005A (ja) * | 2013-11-05 | 2015-05-11 | オリンパス株式会社 | 撮像装置 |
US20160286203A1 (en) * | 2015-03-27 | 2016-09-29 | Osterhout Group, Inc. | See-through computer display systems |
JP2015185927A (ja) | 2014-03-20 | 2015-10-22 | ソニー株式会社 | 撮像素子、制御方法、並びに、撮像装置 |
EP3151552A4 (en) * | 2014-05-30 | 2018-02-21 | Hitachi Kokusai Electric Inc. | Monitoring system and camera device |
JP2017535279A (ja) * | 2014-09-23 | 2017-11-30 | 宝時得科技(中国)有限公司Positec Technology (China) Co.,Ltd. | 自動移動ロボット |
EP3203725B1 (en) | 2014-09-30 | 2022-01-26 | Hitachi Astemo, Ltd. | Vehicle-mounted image recognition device |
US9940533B2 (en) * | 2014-09-30 | 2018-04-10 | Qualcomm Incorporated | Scanning window for isolating pixel values in hardware for computer vision operations |
EP3213288B8 (en) * | 2014-10-30 | 2019-11-06 | Verizon Patent and Licensing Inc. | Parking and traffic analysis |
JP6537608B2 (ja) * | 2015-06-26 | 2019-07-03 | マクセル株式会社 | 撮像装置及び画像処理方法 |
JP2017017624A (ja) | 2015-07-03 | 2017-01-19 | ソニー株式会社 | 撮像素子、画像処理方法、および電子機器 |
US20170041540A1 (en) * | 2015-08-04 | 2017-02-09 | Ronald B Foster | Energy-efficient secure vision processing applying object detection algorithms |
KR102460838B1 (ko) * | 2015-08-28 | 2022-10-28 | 삼성전자주식회사 | 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치 |
WO2017159082A1 (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リコー | 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム |
KR102462644B1 (ko) * | 2016-04-01 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
WO2017206066A1 (en) * | 2016-05-31 | 2017-12-07 | Nokia Technologies Oy | Method and apparatus for detecting small objects with an enhanced deep neural network |
-
2017
- 2017-09-01 JP JP2018539628A patent/JP6633216B2/ja active Active
- 2017-09-01 EP EP22172135.0A patent/EP4064680A1/en active Pending
- 2017-09-01 KR KR1020237013656A patent/KR102647268B1/ko active IP Right Grant
- 2017-09-01 EP EP22172106.1A patent/EP4064679A1/en active Pending
- 2017-09-01 WO PCT/JP2017/031539 patent/WO2018051809A1/ja unknown
- 2017-09-01 KR KR1020227014481A patent/KR20220058975A/ko not_active Application Discontinuation
- 2017-09-01 CN CN201780055363.7A patent/CN109691079B/zh active Active
- 2017-09-01 CN CN202110539020.6A patent/CN113271400B/zh active Active
- 2017-09-01 KR KR1020197006833A patent/KR102374013B1/ko active IP Right Grant
- 2017-09-01 EP EP17850712.5A patent/EP3515057B1/en active Active
- 2017-09-01 KR KR1020227015678A patent/KR102526559B1/ko active IP Right Grant
- 2017-09-01 KR KR1020227002597A patent/KR102490799B1/ko active IP Right Grant
- 2017-09-01 US US16/330,468 patent/US10795024B2/en active Active
-
2019
- 2019-12-11 JP JP2019223950A patent/JP7105754B2/ja active Active
-
2020
- 2020-08-05 US US16/986,049 patent/US20200363534A1/en active Pending
-
2021
- 2021-03-01 JP JP2021031510A patent/JP6937443B2/ja active Active
-
2022
- 2022-03-23 US US17/702,172 patent/US20220214458A1/en active Pending
- 2022-04-12 US US17/718,504 patent/US20220244387A1/en active Pending
- 2022-04-15 US US17/722,117 patent/US20220244388A1/en active Pending
- 2022-05-25 JP JP2022085048A patent/JP7342197B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004146816A (ja) | 2002-09-30 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 固体撮像装置およびこれを用いた機器 |
US20160165100A1 (en) | 2005-01-13 | 2016-06-09 | Sony Corporation | Image pickup apparatus and processing method for result of image pickup |
JP2011508293A (ja) | 2007-11-30 | 2011-03-10 | コグネックス・コーポレイション | ビジョンセンサ、システムおよび方法 |
JP2009246803A (ja) | 2008-03-31 | 2009-10-22 | Aisin Seiki Co Ltd | 画像認識装置及びコンピュータプログラム |
JP2010283787A (ja) | 2009-06-08 | 2010-12-16 | Panasonic Corp | 撮像装置 |
JP2014143667A (ja) | 2012-12-28 | 2014-08-07 | Canon Inc | 撮像素子、撮像装置、その制御方法、および制御プログラム |
JP2016010125A (ja) | 2014-06-26 | 2016-01-18 | ソニー株式会社 | 信号処理装置、制御方法、撮像素子、並びに、電子機器 |
JP2016110232A (ja) | 2014-12-02 | 2016-06-20 | エヌ・ティ・ティ・コムウェア株式会社 | 対象認識装置、対象認識方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN113271400B (zh) | 2023-12-19 |
EP3515057A1 (en) | 2019-07-24 |
KR20190051968A (ko) | 2019-05-15 |
JP6633216B2 (ja) | 2020-01-22 |
US10795024B2 (en) | 2020-10-06 |
KR20230058190A (ko) | 2023-05-02 |
JP6937443B2 (ja) | 2021-09-22 |
KR102374013B1 (ko) | 2022-03-11 |
JPWO2018051809A1 (ja) | 2019-07-04 |
JP2020061755A (ja) | 2020-04-16 |
US20220214458A1 (en) | 2022-07-07 |
US20200363534A1 (en) | 2020-11-19 |
JP7342197B2 (ja) | 2023-09-11 |
CN109691079B (zh) | 2021-05-14 |
EP3515057A4 (en) | 2019-10-02 |
JP2021093759A (ja) | 2021-06-17 |
US20190204448A1 (en) | 2019-07-04 |
KR20220058975A (ko) | 2022-05-10 |
KR102490799B1 (ko) | 2023-01-20 |
EP4064679A1 (en) | 2022-09-28 |
US20220244387A1 (en) | 2022-08-04 |
WO2018051809A1 (ja) | 2018-03-22 |
JP2022111151A (ja) | 2022-07-29 |
KR102647268B1 (ko) | 2024-03-12 |
US20220244388A1 (en) | 2022-08-04 |
EP3515057B1 (en) | 2024-02-21 |
EP4064680A1 (en) | 2022-09-28 |
KR20220018071A (ko) | 2022-02-14 |
KR102526559B1 (ko) | 2023-04-27 |
KR20220066986A (ko) | 2022-05-24 |
CN113271400A (zh) | 2021-08-17 |
CN109691079A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7105754B2 (ja) | 撮像装置、及び、撮像装置の制御方法 | |
WO2017175492A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
KR102493027B1 (ko) | 촬상 소자 및 그 구동 방법, 그리고 전자 기기 | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
JP7144926B2 (ja) | 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 | |
WO2018139187A1 (ja) | 固体撮像装置およびその駆動方法、並びに電子機器 | |
WO2019167363A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
US10873732B2 (en) | Imaging device, imaging system, and method of controlling imaging device | |
WO2017199487A1 (ja) | 制御装置、制御方法、およびプログラム | |
WO2022219874A1 (ja) | 信号処理装置および方法、並びにプログラム | |
US20240078803A1 (en) | Information processing apparatus, information processing method, computer program, and sensor apparatus | |
WO2022019025A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220525 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220602 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7105754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |