JPWO2019187502A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents
画像処理装置と画像処理方法およびプログラム Download PDFInfo
- Publication number
- JPWO2019187502A1 JPWO2019187502A1 JP2020509691A JP2020509691A JPWO2019187502A1 JP WO2019187502 A1 JPWO2019187502 A1 JP WO2019187502A1 JP 2020509691 A JP2020509691 A JP 2020509691A JP 2020509691 A JP2020509691 A JP 2020509691A JP WO2019187502 A1 JPWO2019187502 A1 JP WO2019187502A1
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- unit
- area
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 317
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 98
- 230000008569 process Effects 0.000 claims abstract description 76
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000001914 filtration Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 38
- 238000003708 edge detection Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 30
- 230000003287 optical effect Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 19
- 238000002674 endoscopic surgery Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000001356 surgical procedure Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 241000110058 Candidatus Phytoplasma pini Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910052745 lead Inorganic materials 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Computer Hardware Design (AREA)
- Studio Devices (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Analysis (AREA)
Abstract
Description
画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う表示処理部と、 前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部と
を有する画像処理装置にある。
画像信号を用いて検出したエッジ成分に基づいて強調表示処理を表示処理部で行うことと、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を処理領域設定部で行うこと
を含む画像処理方法にある。
画像信号を用いた処理をコンピュータで実行させるプログラムであって、
前記画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う手順と、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う手順と
を前記コンピュータで実行させるプログラムにある。
1.撮像装置の構成
2.ピーキング処理について
2−1.ピーキング処理動作
2−2.ピーキングエリア設定処理
2−3.ピーキング処理の表示
3.応用例
図1は、本開示に係る技術を適用した撮像装置の構成を例示している。撮像装置10は、撮像光学系ブロック11、撮像部12、カメラ処理部13、記録再生部14、表示処理部15、表示部16、出力部17、操作部18、および制御部20を用いて構成されている。
<2−1.ピーキング処理動作>
次に、撮像装置10で行うピーキング処理動作について説明する。図2は、ピーキング処理動作を示すフローチャートである。また、図3はピーキングエリアを例示している。
E(i,j)=P(i,j)−(P(i-1,j)+2P(i,j)+P(i+1,j))/4 ・・・(1)
制御部20は、ユーザ操作等に基づきピーキングエリアを設定する。ピーキングエリア設定処理の第1実施例では、ユーザ操作に基づいてピーキングエリアのサイズと位置を個々に設定する場合について説明する。図4は、ピーキングエリア設定処理の第1実施例を示すフローチャートである。また、図5は撮像装置に設けられた表示部と操作部を示している。操作部18は、例えば複数の選択キー181と確定キー182を有している。図6は、ピーキングエリア設定処理の第1実施例の動作を説明するための図である。
次に、ピーキング処理の表示について説明する。ピーキングエリアの設定処理において、上述の実施の形態ではエリア枠を用いてピーキングエリアを示しているが、ピーキングエリア内またはピーキングエリア外の領域について信号レベルを変更することでピーキングエリアのサイズと位置を判別可能としてもよい。例えば制御部20は、表示処理部15を制御してピーキングエリア内の画像の置き換えを行い、白黒画像あるいはコントラストを高めた強調画像とする。また、制御部20は、表示処理部15を制御してピーキングエリア外の画像の置き換えを行い、白黒画像あるいはコントラストを低下させたフェード画像とする。このように、ピーキングエリアの設定処理において、ピーキングエリア内の画像あるいはピーキングエリア外の画像の置き換えることによっても、ピーキングエリアのサイズと位置を容易に把握できる。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図12に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図14では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
図15を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図15は、図14に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
(1) 画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う表示処理部と、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部とを有する画像処理装置。
(2) ユーザ操作に応じた操作信号を生成する操作部をさらに備え、
前記処理領域設定部は、前記ユーザ操作に応じて前記処理対象領域を設定する(1)に記載の画像処理装置。
(3) 前記操作部は操作キーを有し、
前記処理領域設定部は、前記操作キーを用いたサイズ設定操作に応じて前記処理対象領域のサイズを設定して、前記操作キーを用いた位置設定操作に応じて前記処理対象領域の位置を設定する(2)に記載の画像処理装置。
(4) 前記操作部は、前記画像信号に基づく画像を表示する表示部の表示面に設けられるタッチパネルを有し、
前記処理領域設定部は、前記タッチパネルに対するユーザ操作の開始位置と終了位置に基づき前記処理対象領域のサイズと位置を設定する(2)に記載の画像処理装置。
(5) 前記処理領域設定部は、前記開始位置を前記処理対象領域の位置の基準として前記終了位置に基づき前記処理対象領域のサイズを設定する(4)に記載の画像処理装置。
(6) 前記処理領域設定部は、前記画像信号を用いた被写体認識によって検出された所定の被写体に基づいて前記処理対象領域に設定する(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記処理領域設定部は、前記検出された所定の被写体全体を包含する領域を前記処理対象領域に設定する(6)に記載の画像処理装置。
(8) 前記処理領域設定部は、前記処理対象領域の位置を、前記検出された所定の被写体の姿勢に基づいて設定する(6)に記載の画像処理装置。
(9) 前記処理領域設定部は、前記画像信号を生成する際の撮像シーンモードに応じて前記所定の被写体を設定する(6)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記表示処理部は、前記エッジ成分に基づく値が所定値以上の場合に前記強調表示処理を行い、
前記所定値は前記処理対象領域に基づいて設定される(1)乃至(9)の何れかに記載の画像処理装置。
(11) 前記表示処理部は、フィルタ処理により前記エッジ成分を検出し、
前記フィルタ処理に用いるフィルタは、前記処理対象領域に基づいて設定される(1)乃至(9)の何れかに記載の画像処理装置。
(12) 前記表示処理部は、前記処理対象領域の領域内または領域外の信号レベルを変更する(1)乃至(11)のいずれかに記載の画像処理装置。
(13) 前記表示処理部は、合焦位置に対する現在の焦点位置に応じて、前記強調表示処理で置き換えに用いる信号を変更する(1)乃至(12)のいずれかに記載の画像処理装置。
(14) 前記表示処理部は、前記エッジ成分に応じて、前記強調表示処理で置き換えに用いる信号を変更する(1)乃至(12)のいずれかに記載の画像処理装置。
(15) 前記表示処理部は、前記処理対象領域内の色に応じて、前記強調表示処理で置き換えに用いる信号の色を変更する(1)乃至(12)のいずれかに記載の画像処理装。
(16) 前記表示処理部は、前記強調表示処理を所定の周期で行う(1)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記表示処理部で前記強調表示処理が行われた画像信号を外部機器へ出力する出力部をさらに備える(1)乃至(16)のいずれかに記載の画像処理装置。
11・・・撮像光学系ブロック
12・・・撮像部
13・・・カメラ処理部
14・・・記録再生部
15・・・表示処理部
16・・・表示部
17・・・出力部
18・・・操作部
20・・・制御部
151・・・エッジ検出部
152・・・強調表示処理部
181・・・選択キー
182・・・確定キー
Claims (19)
- 画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う表示処理部と、 前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部と
を有する画像処理装置。 - ユーザ操作に応じた操作信号を生成する操作部をさらに備え、
前記処理領域設定部は、前記ユーザ操作に応じて前記処理対象領域を設定する
請求項1に記載の画像処理装置。 - 前記操作部は操作キーを有し、
前記処理領域設定部は、前記操作キーを用いたサイズ設定操作に応じて前記処理対象領域のサイズを設定して、前記操作キーを用いた位置設定操作に応じて前記処理対象領域の位置を設定する
請求項2に記載の画像処理装置。 - 前記操作部は、前記画像信号に基づく画像を表示する表示部の表示面に設けられるタッチパネルを有し、
前記処理領域設定部は、前記タッチパネルに対するユーザ操作の開始位置と終了位置に基づき前記処理対象領域のサイズと位置を設定する
請求項2に記載の画像処理装置。 - 前記処理領域設定部は、前記開始位置を前記処理対象領域の位置の基準として前記終了位置に基づき前記処理対象領域のサイズを設定する
請求項4に記載の画像処理装置。 - 前記処理領域設定部は、前記画像信号を用いた被写体認識によって検出された所定の被写体に基づいて前記処理対象領域に設定する
請求項1に記載の画像処理装置。 - 前記処理領域設定部は、前記検出された所定の被写体全体を包含する領域を前記処理対象領域に設定する
請求項6に記載の画像処理装置。 - 前記処理領域設定部は、前記処理対象領域の位置を、前記検出された所定の被写体の姿勢に基づいて設定する
請求項6に記載の画像処理装置。 - 前記処理領域設定部は、前記画像信号を生成する際の撮像シーンモードに応じて前記所定の被写体を設定する
請求項6に記載の画像処理装置。 - 前記表示処理部は、前記エッジ成分に基づく値が所定値以上の場合に前記強調表示処理を行い、
前記所定値は前記処理対象領域に基づいて設定される
請求項1に記載の画像処理装置。 - 前記表示処理部は、フィルタ処理により前記エッジ成分を検出し、
前記フィルタ処理に用いるフィルタは、前記処理対象領域に基づいて設定される
請求項1に記載の画像処理装置。 - 前記表示処理部は、前記処理対象領域の領域内または領域外の信号レベルを変更する
請求項1に記載の画像処理装置。 - 前記表示処理部は、合焦位置に対する現在の焦点位置に応じて、前記強調表示処理で置き換えに用いる信号を変更する
請求項1に記載の画像処理装置。 - 前記表示処理部は、前記エッジ成分に応じて、前記強調表示処理で置き換えに用いる信号を変更する
請求項1に記載の画像処理装置。 - 前記表示処理部は、前記処理対象領域内の色に応じて、前記強調表示処理で置き換えに用いる信号の色を変更する
請求項1に記載の画像処理装置。 - 前記表示処理部は、前記強調表示処理を所定の周期で行う
請求項1に記載の画像処理装置。 - 前記表示処理部で前記強調表示処理が行われた画像信号を外部機器へ出力する出力部をさらに備える
請求項1に記載の画像処理装置。 - 画像信号を用いて検出したエッジ成分に基づいて強調表示処理を表示処理部で行うことと、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を処理領域設定部で行うこと
を含む画像処理方法。 - 画像信号を用いた処理をコンピュータで実行させるプログラムであって、
前記画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う手順と、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う手順と
を前記コンピュータで実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064068 | 2018-03-29 | ||
JP2018064068 | 2018-03-29 | ||
PCT/JP2019/000859 WO2019187502A1 (ja) | 2018-03-29 | 2019-01-15 | 画像処理装置と画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019187502A1 true JPWO2019187502A1 (ja) | 2021-04-15 |
JP7363767B2 JP7363767B2 (ja) | 2023-10-18 |
Family
ID=68059660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020509691A Active JP7363767B2 (ja) | 2018-03-29 | 2019-01-15 | 画像処理装置と画像処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210019921A1 (ja) |
JP (1) | JP7363767B2 (ja) |
WO (1) | WO2019187502A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3705018A4 (en) * | 2017-11-01 | 2020-10-14 | Sony Corporation | SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM |
US11567341B2 (en) | 2019-09-03 | 2023-01-31 | Raytheon Company | System and method for correcting for atmospheric jitter and high energy laser broadband interference using fast steering mirrors |
US11900562B2 (en) * | 2019-11-05 | 2024-02-13 | Raytheon Company | Super-resolution automatic target aimpoint recognition and tracking |
JP2021111117A (ja) * | 2020-01-10 | 2021-08-02 | コニカミノルタ株式会社 | 画像検査装置、画像形成装置及びプログラム |
US20220015622A1 (en) * | 2020-07-15 | 2022-01-20 | Tectus Corporation | On-eye image processing |
KR20230085413A (ko) * | 2021-12-07 | 2023-06-14 | 엘지디스플레이 주식회사 | 표시장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006094030A (ja) * | 2004-09-22 | 2006-04-06 | Casio Comput Co Ltd | 撮像装置、合成画像作成方法及びプログラム |
JP2009231918A (ja) * | 2008-03-19 | 2009-10-08 | Sony Corp | 映像信号処理装置、撮像装置及び映像信号処理方法 |
WO2012099175A1 (ja) * | 2011-01-18 | 2012-07-26 | 富士フイルム株式会社 | オートフォーカスシステム |
WO2013038872A1 (ja) * | 2011-09-16 | 2013-03-21 | Necカシオモバイルコミュニケーションズ株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2013085200A (ja) * | 2011-10-12 | 2013-05-09 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2014216715A (ja) * | 2013-04-23 | 2014-11-17 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
WO2017130698A1 (ja) * | 2016-01-28 | 2017-08-03 | 日立マクセル株式会社 | 撮像装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5977976A (en) * | 1995-04-19 | 1999-11-02 | Canon Kabushiki Kaisha | Function setting apparatus |
JP2009003003A (ja) * | 2007-06-19 | 2009-01-08 | Hoya Corp | 自動焦点調節装置を備えたカメラ |
US8406482B1 (en) * | 2008-08-28 | 2013-03-26 | Adobe Systems Incorporated | System and method for automatic skin tone detection in images |
JP2010074549A (ja) * | 2008-09-18 | 2010-04-02 | Sony Corp | 映像信号処理装置、撮像装置、表示装置及び映像信号処理方法 |
JP2014103450A (ja) * | 2012-11-16 | 2014-06-05 | Canon Inc | 画像処理装置、方法及びプログラム |
WO2014141404A1 (ja) * | 2013-03-13 | 2014-09-18 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
KR102353766B1 (ko) * | 2014-04-15 | 2022-01-20 | 삼성전자 주식회사 | 디스플레이를 제어하는 장치 및 방법 |
JP6323184B2 (ja) * | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
JP6604760B2 (ja) * | 2015-07-10 | 2019-11-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
KR102429427B1 (ko) * | 2015-07-20 | 2022-08-04 | 삼성전자주식회사 | 촬영 장치 및 그 동작 방법 |
US11062176B2 (en) * | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
-
2019
- 2019-01-15 JP JP2020509691A patent/JP7363767B2/ja active Active
- 2019-01-15 US US17/040,034 patent/US20210019921A1/en active Pending
- 2019-01-15 WO PCT/JP2019/000859 patent/WO2019187502A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006094030A (ja) * | 2004-09-22 | 2006-04-06 | Casio Comput Co Ltd | 撮像装置、合成画像作成方法及びプログラム |
JP2009231918A (ja) * | 2008-03-19 | 2009-10-08 | Sony Corp | 映像信号処理装置、撮像装置及び映像信号処理方法 |
WO2012099175A1 (ja) * | 2011-01-18 | 2012-07-26 | 富士フイルム株式会社 | オートフォーカスシステム |
WO2013038872A1 (ja) * | 2011-09-16 | 2013-03-21 | Necカシオモバイルコミュニケーションズ株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2013085200A (ja) * | 2011-10-12 | 2013-05-09 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2014216715A (ja) * | 2013-04-23 | 2014-11-17 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
WO2017130698A1 (ja) * | 2016-01-28 | 2017-08-03 | 日立マクセル株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7363767B2 (ja) | 2023-10-18 |
WO2019187502A1 (ja) | 2019-10-03 |
US20210019921A1 (en) | 2021-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7363767B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP7095693B2 (ja) | 医療用観察システム | |
WO2020179485A1 (ja) | 撮像装置、およびスイッチ | |
WO2018221068A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2020202904A1 (ja) | 信号処理装置、撮像装置、信号処理方法 | |
CN108353144B (zh) | 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 | |
JPWO2019031000A1 (ja) | 信号処理装置、撮像装置、信号処理方法及びプログラム | |
US11022859B2 (en) | Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus | |
WO2018230510A1 (ja) | 画像処理装置、画像処理方法および撮像システム | |
JP7472795B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11729493B2 (en) | Image capture apparatus and image capture method | |
JP7092111B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
JP7063321B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
JPWO2019167555A1 (ja) | 映像信号処理装置、映像信号処理方法および撮像装置 | |
JPWO2019235049A1 (ja) | 撮像装置、ゲイン設定方法及びプログラム | |
WO2018216538A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7444074B2 (ja) | 撮像装置、撮像制御装置、撮像方法 | |
WO2020203265A1 (ja) | 映像信号処理装置、映像信号処理方法および撮像装置 | |
US11902692B2 (en) | Video processing apparatus and video processing method | |
WO2018179875A1 (ja) | 撮像装置とフォーカス制御方法およびフォーカス判定方法 | |
JPWO2019049595A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JPWO2020084999A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2021181937A1 (ja) | 撮像装置と撮像制御方法およびプログラム | |
WO2020246181A1 (ja) | 画像処理装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7363767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |