JP7459927B2 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP7459927B2
JP7459927B2 JP2022507961A JP2022507961A JP7459927B2 JP 7459927 B2 JP7459927 B2 JP 7459927B2 JP 2022507961 A JP2022507961 A JP 2022507961A JP 2022507961 A JP2022507961 A JP 2022507961A JP 7459927 B2 JP7459927 B2 JP 7459927B2
Authority
JP
Japan
Prior art keywords
image
candidate
processing device
images
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022507961A
Other languages
English (en)
Other versions
JPWO2021186672A5 (ja
JPWO2021186672A1 (ja
Inventor
あずさ 澤田
剛志 柴田
一人 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021186672A1 publication Critical patent/JPWO2021186672A1/ja
Publication of JPWO2021186672A5 publication Critical patent/JPWO2021186672A5/ja
Application granted granted Critical
Publication of JP7459927B2 publication Critical patent/JP7459927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9027—Pattern recognition for feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理方法、画像処理システム、プログラムに関する。
衛星画像などの撮影画像を有効活用するために、種々の方法による撮影画像の自動解析が求められている。例えば、特許文献１に開示の技術では、上空から地表を撮影した合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像と光学画像とを組み合わせた画像を生成し、かかる画像から地表の物体の種類を判別することを行っている。
一方で、画像内から物体を抽出したり判別するなどの解析方法の開発や性能評価のためには、まずは求める正解が用意されたデータが必要となる。つまり、既存の画像内に存在する物体に対する正解付けであるアノテーションを行い、かかるアノテーションが行われたデータを学習することで、解析方法の開発や性能評価を行う。
特許５２４６３９１号公報
しかしながら、合成開口レーダによる衛星画像などの画像内の対象物に対するアノテーションを行う際には、画像自体の内容の判別が困難であり、アノテーションを人物によって手作業で行う際に、誤りが多く含まれることがある。例えば、画像内の物体を矩形の実線で囲うといったアノテーションを行う場合に、図１Ａに示すアノテーションが正しいとしても、図１Ｂに示すように、同種の対象物間の境界を誤ったり（領域ａ参照）、小さい物体を見逃す（領域ｂ参照）、といった誤りが生じうる。このように、画像に対して手作業でアノテーションを行う場合には、アノテーションの精度が低下する、という問題が生じる。
このため、本発明の目的は、上述した課題である、画像に対して手作業でアノテーションを行う場合には、アノテーションの精度が低下する、ことを解決することができる画像処理方法、画像処理システム、プログラムを提供することにある。
本発明の一形態である画像処理方法は、
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出し、
前記候補画像と前記対応画像とを対比可能なよう表示し、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける、
という構成をとる。
また、本発明の一形態である画像処理装置は、
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
前記候補画像と前記対応画像とを対比可能なよう表示する表示手段と、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
を備えた、
という構成をとる。
また、本発明の一形態であるプログラムは、
情報処理装置に、
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
前記候補画像と前記対応画像とを対比可能なよう表示する表示手段と、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
を実現させる、
という構成をとる。
本発明は、以上のように構成されることにより、画像に対して手作業でアノテーションを行う場合に、アノテーションの精度の低下を抑制することができる。
画像中に物体に対するアノテーションを行った時の一例を示す図である。 画像中に物体に対するアノテーションを行った時の一例を示す図である。 本発明の実施形態１における画像処理装置の構成を示すブロック図である。 図２に開示した画像処理装置により処理される画像の一例を示す図である。 図２に開示した画像処理装置により処理される画像の一例を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置による画像の処理の様子を示す図である。 図２に開示した画像処理装置の動作を示すフローチャートである。 本発明の実施形態２における画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における画像処理装置の構成を示すブロック図である。 本発明の実施形態２における画像処理装置の動作を示すフローチャートである。
＜実施形態１＞
本発明の第１の実施形態を、図２乃至図８を参照して説明する。図２は、画像処理装置の構成を説明するための図であり、図３乃至図８は、画像処理装置の処理動作を説明するための図である。
［構成］
本実施形態における画像処理装置１０は、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）による衛星画像などの画像に対して、作業者が物体のアノテーションを行うことを支援するためのものである。例えば、画像処理装置１０は、図１Ａに示すような衛星画像である画像を作業者に対して表示し、かかる作業者が画像から見つけた船などの物体に対して矩形の実線で囲うといったアノテーション情報の入力を受け付けて、アノテーションが行われた画像を蓄積する機能を有する。そして、アノテーションが行われた画像は、例えば、機械学習の学習データとして用いられる。
なお、画像処理装置１０が処理する画像は、合成開口レーダによる衛星画像に限定されず、いかなる画像であってもよい。例えば、画像処理装置１０は、内視鏡カメラによる画像を処理対象とし、画像中の特定の病状箇所に対するアノテーションを行うために利用されてもよく、いかなる用途に利用されてもよい。
上記画像処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像処理装置１０は、図２に示すように、領域設定部１１、領域抽出部１２、画像表示部１３、アノテーション処理部１４、を備える。領域設定部１１、領域抽出部１２、画像表示部１３、アノテーション処理部１４、のそれぞれの機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、画像処理装置１０は、ターゲット画像記憶部１５、参照画像記憶部１６、領域情報記憶部１７、アノテーション画像記憶部１８、を備える。ターゲット画像記憶部１５、参照画像記憶部１６、領域情報記憶部１７、アノテーション画像記憶部１８は、記憶装置により構成される。また、画像処理装置１０には、キーボードやマウスといった入力装置１と、ディスプレイといった表示装置２と、が接続されている。以下、各構成について詳述する。
上記ターゲット画像記憶部１５は、アノテーション処理を行う対象となるターゲット画像（対象画像）を記憶している。ターゲット画像は、例えば、図３Ａに示すような合成開口レーダによる衛星画像であり、海上を含む地球表面を撮影した画像である。このように、ターゲット画像は海上を含むよう撮影した画像であるため、かかる画像に映る船舶がアノテーションを行う対象物である物体となりうる。
上記参照画像記憶部１６は、上記ターゲット画像と同様に合成開口レーダによる衛星画像であり、図３Ｂに示すように、ターゲット画像と同じ領域を撮影した画像である参照画像を１つ又は複数記憶している。なお、本実施形態では、１つのターゲット画像に対して、２つの参照画像を記憶していることとする。また、参照画像は、例えば、ターゲット画像を撮影した時刻とは異なる時刻に撮影された画像であり、一例としては、ターゲット画像を撮影する前から１日おきに順次撮影された複数の画像である。なお、参照画像は、ターゲット画像とほぼ同一の領域を撮影した画像であるが、完全に同一の領域であることに限定されず、略同一であってもよく、あるいは、略同一ではなく、ターゲット画像の領域と対応する領域の画像であってもよい。
上記領域設定部１１（抽出手段）は、ターゲット画像及び参照画像のうち、アノテーションを行う物体（例えば、船舶）が含まれうる領域である候補領域群を設定する。本実施形態では、アノテーションを行う物体が船舶であるため、図４の斜線で示すように、ターゲット画像から、画像の輝度値などから対象物体である可能性のある領域をすべて候補領域群として設定して、当該候補領域群のターゲット画像上の座標を領域情報記憶部１７に記憶する。但し、領域設定部１１は、別の方法で候補領域群を設定してもよく、例えば、地図情報を用いて、ターゲット画像を撮影した領域の位置情報から海上である領域を候補領域群として設定してもよい。
さらに、領域設定部１１は、設定した候補領域群に基づいて、ターゲット画像上のアノテーションを行う際に拡大表示する領域とする候補領域を設定して、そのターゲット画像上の座標を領域情報記憶部１７に記憶する。具体的に、領域設定部１１は、図５Ａの点線で示すように、ターゲット画像内で候補領域群として設定された領域の少なくとも一部を含むターゲット画像全体よりも小さい矩形の領域を、候補領域ｗとして設定する。このとき、領域設定部１１は、ターゲット画像の候補領域群の全領域をカバーできるよう、複数の候補領域ｗを設定して、各候補領域ｗのターゲット画像上の座標を領域情報記憶部１７に記憶する。例えば、領域設定部１１は、図５Ｂに示すように、はじめにターゲット画像の右上の角の領域に設定した候補領域ｗを横方向に順次スライドさせて別の候補領域ｗを複数設定し、また、図５Ｃに示すように、縦方向にも候補領域ｗをスライドさせ、それをさらに横方向に順次スライドさせることで、別の候補領域ｗを複数設定する。このとき、各候補領域ｗは、相互に重なっていてもよく、重なっていなくてもよい。
上記領域抽出部１２（抽出手段）は、ターゲット画像と参照画像とからそれぞれ、上述したように設定した候補領域ｗに対応する画像を抽出する。このとき、領域抽出部１２は、複数設定した候補領域ｗから１つの候補領域ｗを特定して、その候補領域のターゲット画像上の座標を領域情報記憶部１７から読み出す。そして、領域抽出部１２は、読み出した座標から、特定した候補領域ｗ内に位置するターゲット画像上の画像を候補画像Ｇ１として抽出し、特定した候補領域ｗ内に位置する参照画像上の画像を対応画像Ｇ２，Ｇ３として抽出する。一例として、領域抽出部１２は、図５Ｄに示す候補領域ｗを特定した場合には、かかる候補領域ｗと同一領域のターゲット画像上の画像を候補画像Ｇ１として抽出すると共に、候補領域ｗと同一領域の２枚の参照画像上それぞれの画像を対応画像Ｇ２，Ｇ３として抽出する。このようにして、領域抽出部１２は、ターゲット画像と参照画像とから、それぞれほぼ同一領域の画像である候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを抽出する。
なお、領域抽出部１２は、ターゲット画像と参照画像とから、特定した１つの候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを抽出した後には、後述するように、かかる候補画像Ｇ１に対するアノテーションが完了した後に、候補領域ｗを変更してさらに別の１つの候補領域ｗを特定し、かかる候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３との抽出を行う。例えば、領域抽出部１２は、ターゲット画像と参照画像上で候補領域ｗを順次スライドさせて特定し、それぞれ特定した候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３との抽出を順次行う。
上記画像表示部１３（表示手段）は、上述したように抽出された、１つの候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを対比可能なように、表示装置２に表示するよう出力する。特に、本実施形態では、画像表示部１３は、図６Ａに示すように、候補画像Ｇ１と２つの対応画像Ｇ２，Ｇ３とを拡大して、一画面上に同時に並べて表示する。このように候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを対比可能なよう表示することで、図６Ｂの点線に示すように、対象物体ごとに同じ位置に存在する場合と実際に存在しない場合があるため、作業者は、３枚の画像を比較することで、３つの物体が存在することを認識することができる。
なお、図６Ａの例では、画像表示部１３は、ターゲット画像１枚に対応して参照画像が２枚あるため、３枚の画像を同時に表示しているが、まず候補画像Ｇ１と１枚の対応画像Ｇ２とを同時に表示し、その後、候補画像Ｇ１と他の１枚の対応画像Ｇ３とを同時に表示してもよい。但し、画像表示部１３は、必ずしも候補画像と対応画像とを同時に表示することに限定されず、候補画像と対応画像とを交互に表示することで、候補画像と対応画像とを対比可能なよう表示してもよい。このとき、候補画像に対応する対応画像が複数存在する場合には、候補画像を表示した後にスライドショー形式で複数の対応画像を順次表示してもよく、候補画像と対応画像とを繰り返し交互に表示する際に対応画像を別のものに順次変更して表示してもよい。また、画像表示部１３は、候補画像と対応画像とを表示する際に、必ずしも拡大しなくてもよい。
上記アノテーション処理部１４（入力受付部）は、表示装置２に表示された候補画像Ｇ１に対して、作業者から入力装置１を用いて入力されたアノテーション処理用の入力情報であるアノテーション情報を受け付ける。例えば、作業者によって入力されるアノテーション情報は、候補画像Ｇ１上に存在する物体を特定する情報であり、一例として、物体を囲う矩形の線図である。なお、アノテーション処理部１４は、上述した図６Ａに示すように、対応画像Ｇ２，Ｇ３と対比表示された状態の候補画像Ｇ１に対して入力されたアノテーション情報を受け付けてもよく、候補画像Ｇ１のみを別途表示して、かかる表示上で入力されたアノテーション情報を受け付けてもよい。
そして、アノテーション処理部１４は、候補画像Ｇ１上に、作業者から入力されたアノテーション情報を表示する。本実施形態では、作業者によるアノテーション情報は、候補画像Ｇ１上に存在する物体を特定する情報であり、一例として、物体を囲う矩形の線図である。このため、アノテーション処理部１４は、図７Ａに示すように、候補画像Ｇ１上の３つの物体を囲うように入力された矩形の線図を表示する。このとき、アノテーション処理部１４は、候補画像Ｇ１上に表示した矩形の線図に対応する情報（対応入力情報）を、対応画像Ｇ２，Ｇ３上にも表示する。例えば、アノテーション処理部１４は、図７Ｂに示すように、対応画像Ｇ２，Ｇ３上の、候補画像Ｇ１上に表示した３つの矩形の線図と同じ位置に、同一形状の３つの矩形の線図を表示する。
アノテーション処理部１４は、上述したように候補画像Ｇ１上に入力された物体を特定するアノテーション情報を当該候補画像Ｇ１に関連付けて、アノテーション画像として生成して、アノテーション画像記憶部１８に記憶する。このように生成され記憶されたアノテーション画像は、例えば、機械学習の学習データとして用いられる。
そして、画像処理装置１０は、上述したようにターゲット画像上の１つの候補領域の候補画像Ｇ１に対してアノテーション画像の生成を行った後に、候補領域を変更して、変更後の候補領域に対応する候補画像Ｇ１に対して、上述同様にアノテーション画像の生成を行う。具体的に、まず領域設定部１１は、図５Ｂ，図５Ｃに示すように候補領域ｗをスライドさせて次の候補領域ｗを設定しする。そして、領域抽出部１２が、ターゲット画像と参照画像とからそれぞれ、次の候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを抽出する。その後は、上述同様に、画像表示部１３が、候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを対比可能なよう表示装置２に表示し、アノテーション処理部１４が、作業者により行われた候補画像Ｇ１に対するアノテーション情報を受け付けて、かかるアノテーション情報を候補画像Ｇ１上に表示すると共に、アノテーション画像を生成して記憶する。以上のようにして、画像処理装置１０は、アノテーション画像を生成して記憶する。なお、アノテーション画像は、各候補画像Ｇ１上で受け付けたアノテーション情報をターゲット画像に対して関連付けたものであってもよい。
［動作］
次に、上述した画像処理装置１０の動作を、主に図８のフローチャートを参照して説明する。まず、画像処理装置１０は、ターゲット画像及び参照画像のうち、アノテーションを行う物体が含まれうる領域である候補領域群を設定する。本実施形態では、アノテーションを行う物体が船舶であるため、画像処理装置１０は、図４の斜線で示すように、ターゲット画像から海上である領域を候補領域群として設定する。そして、画像処理装置１０は、設定した候補領域群に基づいて、ターゲット画像上のアノテーションを行う際に拡大表示する領域とする候補領域を設定する。例えば、画像処理装置１０は、図５Ａの点線で示すように、ターゲット画像内で候補領域群として設定された領域の少なくとも一部を含むターゲット画像全体よりも小さい矩形の領域を、候補領域ｗとして設定する。このとき、画像処理装置１０は、図５Ｂ、図５Ｃに示すように、候補領域ｗを横方向及び縦方向に順次スライドさせて複数の候補領域ｗを設定する（ステップＳ１）。
続いて、画像処理装置１０は、複数設定した候補領域ｗから１つの候補領域ｗを選択する（ステップＳ２）。そして、画像処理装置１０は、ターゲット画像と参照画像とからそれぞれ、選択した１つの候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを抽出する（ステップＳ３）。
続いて、画像処理装置１０は、上述したように抽出された、１つの候補領域ｗに対応する候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを対比可能なように、表示装置２に表示するよう出力する。例えば、画像処理装置１０は、図６Ａに示すように、候補画像Ｇ１と２つの対応画像Ｇ２，Ｇ３とを拡大して、一画面上に同時に並べて表示する（ステップＳ４）。これにより、アノテーションを行う作業者は、候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを比較することができる。このため、作業者は、例えば、図６Ｂの点線に示すように、対象物体ごとに同じ位置に存在する場合と実際に存在しない場合があることを考慮することができ、候補画像Ｇ１内の物体を容易かつ精度よく認識することができる。
続いて、画像処理装置１０は、表示装置２に表示された候補画像Ｇ１に対して、作業者から入力装置１を用いて入力されたアノテーション処理用のアノテーション情報を受け付ける（ステップＳ５）。そして、画像処理装置１０は、図７Ａに示すように、受け付けたアノテーション情報を候補画像Ｇ１に表示したり、場合によっては、図７Ｂに示すように、対応画像Ｇ２，Ｇ３にも表示する。その後、画像処理装置１０は、入力されたアノテーション情報を候補画像Ｇ１に関連付けて、アノテーション画像として記憶する。
その後、画像処理装置１０は、ターゲット画像に対して設定した全ての候補領域ｗに対する上述したアノテーション処理が完了するまで、候補領域ｗを変更して、上述同様のアノテーション処理を行う（ステップＳ６）。そして、記憶されたアノテーション画像は、例えば、機械学習の学習データとして用いられる。
以上のように、本実施形態では、アノテーション処理を行うターゲット画像上の一部である候補画像Ｇ１と、ターゲット画像と同一領域で異なる時刻に取得した参照画像上の一部であり、上記候補画像に対応する対応画像Ｇ２，Ｇ３と、を対比可能なよう表示している。これにより、作業者は、候補画像Ｇ１上の物体を容易かつ精度よく認識することができる。その結果、作業者は、候補画像Ｇ１上の物体に対するアノテーションを容易かつ精度よく行うことができる。特に、本実施形態では、候補画像Ｇ１と対応画像Ｇ２，Ｇ３とを、拡大表示したり、同一画面上に並べて同時に表示することで、作業者は、さらに容易かつ精度よくアノテーションを行うことができる。
＜実施形態２＞
次に、本発明の第２の実施形態を、図９乃至図１１を参照して説明する。図９乃至図１０は、実施形態２における画像処理装置の構成を示すブロック図であり、図１１は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した画像処理装置及び画像処理方法の構成の概略を示している。
まず、図９を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１０に示す抽出手段１２１と表示手段１２２と入力受付手段１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した抽出手段１２１と表示手段１２２と入力受付手段１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
なお、図９は、画像処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
そして、画像処理装置１００は、上述したようにプログラムによって構築された抽出手段１２１と表示手段１２２と入力受付手段１２３との機能により、図１１のフローチャートに示す画像処理方法を実行する。
図１１に示すように、画像処理装置１００は、
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出し（ステップＳ１０１）、
前記候補画像と前記対応画像とを対比可能なよう表示し（ステップＳ１０２）、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける（ステップＳ１０３）、
という処理を実行する。
本発明は、以上のように構成されることにより、アノテーション処理を行う対象画像上の一部である候補画像と、対象画像に対応する参照画像上の一部であり、上記候補画像に対応する対応画像と、を対比可能なよう表示している。これにより、アノテーション処理を行う作業者は、候補画像上の物体を容易かつ精度よく認識することができる。その結果、作業者は、候補画像上の物体に対するアノテーション処理を容易かつ精度よく行うことができる。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した抽出手段と表示手段と入力受付手段との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法、画像処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出し、
前記候補画像と前記対応画像とを対比可能なよう表示し、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける、
画像処理方法。
（付記２）
付記１に記載の画像処理方法であって、
前記候補画像と前記対応画像とをそれぞれ拡大して対比可能なよう表示する、
画像処理方法。
（付記３）
付記１又は２に記載の画像処理方法であって、
前記対象画像と略同一領域の画像である前記参照画像から前記対応画像を抽出する、
画像処理方法。
（付記４）
付記１乃至３のいずれかに記載の画像処理方法であって、
前記対象画像を撮影した時刻とは異なる時刻に撮影された前記参照画像から前記対応画像を抽出する、
画像処理方法。
（付記５）
付記１乃至４のいずれかに記載の画像処理方法であって、
前記候補画像と前記対応画像とを同時に表示する、
画像処理方法。
（付記６）
付記１乃至５のいずれかに記載の画像処理方法であって、
１つの前記候補画像に対応する複数の前記参照画像からそれぞれ前記対応画像を抽出し、
１つの前記候補画像と対比可能なよう、複数の前記対応画像を表示する、
画像処理方法。
（付記７）
付記１乃至６のいずれかに記載の画像処理方法であって、
前記対象画像から複数の前記候補画像を抽出すると共に、前記参照画像から複数の前記候補画像にそれぞれ対応する複数の前記対応画像を抽出し、
相互に対応する前記候補画像と前記対応画像とを対比可能なよう順次表示する、
画像処理方法。
（付記８）
付記７に記載の画像処理方法であって、
前記対象画像から予め設定された基準に基づいてアノテーション処理を行う物体が含まれうる領域を設定し、当該設定した領域に基づいて複数の前記候補画像を抽出する、
画像処理方法。
（付記９）
付記１乃至８のいずれかに記載の画像処理方法であって、
前記候補画像に対して入力された前記入力情報を当該候補画像上に表示すると共に、前記候補画像上に表示させた前記入力情報に対応する対応入力情報を前記対応画像上に表示する、
画像処理方法。
（付記１０）
付記１乃至９のいずれかに記載の画像処理方法であって、
前記入力情報として、前記候補画像上に存在する物体を特定する情報の入力を受け付ける、
画像処理方法。
（付記１１）
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
前記候補画像と前記対応画像とを対比可能なよう表示する表示手段と、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
を備えた画像処理装置。
（付記１２）
付記１１に記載の画像処理装置であって、
前記表示手段は、前記候補画像と前記対応画像とをそれぞれ拡大して対比可能なよう表示する、
画像処理装置。
（付記１３）
付記１１又は１２に記載の画像処理装置であって、
前記抽出手段は、前記対象画像と略同一領域の画像である前記参照画像から前記対応画像を抽出する、
画像処理装置。
（付記１４）
付記１１乃至１３のいずれかに記載の画像処理装置であって、
前記抽出手段は、前記対象画像を撮影した時刻とは異なる時刻に撮影された前記参照画像から前記対応画像を抽出する、
画像処理装置。
（付記１５）
付記１１乃至１４のいずれかに記載の画像処理装置であって、
前記表示手段は、前記候補画像と前記対応画像とを同時に表示する、
画像処理装置。
（付記１６）
付記１１乃至１５のいずれかに記載の画像処理装置であって、
前記抽出手段は、１つの前記候補画像に対応する複数の前記参照画像からそれぞれ前記対応画像を抽出し、
前記表示手段は、１つの前記候補画像と対比可能なよう、複数の前記対応画像を表示する、
画像処理装置。
（付記１７）
付記１１乃至１６のいずれかに記載の画像処理装置であって、
前記抽出手段は、前記対象画像から複数の前記候補画像を抽出すると共に、前記参照画像から複数の前記候補画像にそれぞれ対応する複数の前記対応画像を抽出し、
前記表示手段は、相互に対応する前記候補画像と前記対応画像とを対比可能なよう順次表示する、
画像処理装置。
（付記１８）
付記１７に記載の画像処理装置であって、
前記抽出手段は、前記対象画像から予め設定された基準に基づいてアノテーション処理を行う物体が含まれうる領域を設定し、当該設定した領域に基づいて複数の前記候補画像を抽出する、
画像処理装置。
（付記１９）
付記１１乃至１８のいずれかに記載の画像処理装置であって、
前記入力受付手段は、前記候補画像に対して入力された前記入力情報を当該候補画像上に表示すると共に、前記候補画像上に表示させた前記入力情報に対応する対応入力情報を前記対応画像上に表示する、
画像処理装置。
（付記２０）
付記１１乃至１９のいずれかに記載の画像処理装置であって、
前記入力受付手段は、前記入力情報として、前記候補画像上に存在する物体を特定する情報の入力を受け付ける、
画像処理装置。
（付記２１）
情報処理装置に、
アノテーション処理の対象となる対象画像から予め設定された基準によって特定される候補領域の画像である候補画像を抽出すると共に、前記対象画像に対応する画像である参照画像から前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
前記候補画像と前記対応画像とを対比可能なよう表示する表示手段と、
前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
を実現させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
１ 入力装置
２ 表示装置
１０ 画像処理装置
１１ 領域設定部
１２ 領域抽出部
１３ 画像表示部
１４ アノテーション処理部
１５ ターゲット画像記憶部
１６ 参照画像記憶部
１７ 領域情報記憶部
１８ アノテーション画像記憶部
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 抽出手段
１２２ 表示手段
１２３ 入力受付手段

Claims (9)

  1. アノテーション処理の対象となる１つの対象画像から予め設定された基準によって特定される前記対象画像全体よりも小さい候補領域の画像である１つの候補画像を抽出すると共に、１つの前記対象画像に対応して当該対象画像と同じ領域を撮影した画像であり、当該対象画像とは異なる画像である複数の参照画像からそれぞれ、前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
    １つの前記候補画像と対比可能なよう、複数の前記対応画像を表示する表示手段と、
    前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
    を備えた画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記表示手段は、前記候補画像と前記対応画像とをそれぞれ拡大して対比可能なよう表示する、
    画像処理装置。
  3. 請求項１又は２に記載の画像処理装置であって、
    前記抽出手段は、前記対象画像と略同一領域の画像である前記参照画像から前記対応画像を抽出する、
    画像処理装置。
  4. 請求項１乃至３のいずれかに記載の画像処理装置であって、
    前記抽出手段は、前記対象画像を撮影した時刻とは異なる時刻に撮影された前記参照画像から前記対応画像を抽出する、
    画像処理装置。
  5. 請求項１乃至４のいずれかに記載の画像処理装置であって、
    前記表示手段は、前記候補画像と前記対応画像とを同時に表示する、
    画像処理装置。
  6. 請求項１乃至５のいずれかに記載の画像処理装置であって、
    前記抽出手段は、前記対象画像から複数の前記候補画像を抽出すると共に、前記参照画像から複数の前記候補画像にそれぞれ対応する複数の前記対応画像を抽出し、
    前記表示手段は、相互に対応する前記候補画像と前記対応画像とを対比可能なよう順次表示する、
    画像処理装置。
  7. 請求項６に記載の画像処理装置であって、
    前記抽出手段は、前記対象画像から予め設定された基準に基づいてアノテーション処理を行う物体が含まれうる領域を設定し、当該設定した領域に基づいて複数の前記候補画像を抽出する、
    画像処理装置。
  8. 情報処理装置に、
    アノテーション処理の対象となる１つの対象画像から予め設定された基準によって特定される前記対象画像全体よりも小さい候補領域の画像である１つの候補画像を抽出すると共に、１つの前記対象画像に対応して当該対象画像と同じ領域を撮影した画像であり、当該対象画像とは異なる画像である複数の参照画像からそれぞれ、前記候補領域に対応する対応領域の画像である対応画像を抽出する抽出手段と、
    １つの前記候補画像と対比可能なよう、複数の前記対応画像を表示する表示手段と、
    前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける入力受付手段と、
    を実現させるためのプログラム。
  9. アノテーション処理の対象となる１つの対象画像から予め設定された基準によって特定される前記対象画像全体よりも小さい候補領域の画像である１つの候補画像を抽出すると共に、１つの前記対象画像に対応して当該対象画像と同じ領域を撮影した画像であり、当該対象画像とは異なる画像である複数の参照画像からそれぞれ、前記候補領域に対応する対応領域の画像である対応画像を抽出し、
    １つの前記候補画像と対比可能なよう、複数の前記対応画像を表示し、
    前記候補画像に対するアノテーション処理用の入力情報の入力を受け付ける、
    画像処理方法。
JP2022507961A 2020-03-19 2020-03-19 画像処理方法 Active JP7459927B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012305 WO2021186672A1 (ja) 2020-03-19 2020-03-19 画像処理方法

Publications (3)

Publication Number Publication Date
JPWO2021186672A1 JPWO2021186672A1 (ja) 2021-09-23
JPWO2021186672A5 JPWO2021186672A5 (ja) 2022-10-14
JP7459927B2 true JP7459927B2 (ja) 2024-04-02

Family

ID=77771963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507961A Active JP7459927B2 (ja) 2020-03-19 2020-03-19 画像処理方法

Country Status (3)

Country Link
US (1) US12056216B2 (ja)
JP (1) JP7459927B2 (ja)
WO (1) WO2021186672A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220012518A1 (en) * 2020-07-08 2022-01-13 Here Global B.V. Method and apparatus for presenting object annotation tasks
WO2023053830A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 画像処理装置、画像処理方法および記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038244A (ja) 2010-08-11 2012-02-23 Fuji Xerox Co Ltd 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置
JP2013117860A (ja) 2011-12-02 2013-06-13 Canon Inc 画像処理方法、画像処理装置、撮像装置およびプログラム
JP2018026104A (ja) 2016-08-04 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ アノテーション付与方法、アノテーション付与システム及びプログラム
JP2018101910A (ja) 2016-12-20 2018-06-28 日本電信電話株式会社 画像処理方法、画像処理装置及びプログラム
JP2019220073A (ja) 2018-06-22 2019-12-26 株式会社 日立産業制御ソリューションズ 物体追跡装置、物体追跡システム、および物体追跡方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
JP5246391B2 (ja) 2007-08-17 2013-07-24 株式会社パスコ 地物情報判読用画像生成方法およびプログラム
US9087401B1 (en) * 2012-07-16 2015-07-21 Google Inc. Method of annotation across different locations
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
US10997466B2 (en) * 2019-06-21 2021-05-04 Straxciro Pty. Ltd. Method and system for image segmentation and identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038244A (ja) 2010-08-11 2012-02-23 Fuji Xerox Co Ltd 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置
JP2013117860A (ja) 2011-12-02 2013-06-13 Canon Inc 画像処理方法、画像処理装置、撮像装置およびプログラム
JP2018026104A (ja) 2016-08-04 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ アノテーション付与方法、アノテーション付与システム及びプログラム
JP2018101910A (ja) 2016-12-20 2018-06-28 日本電信電話株式会社 画像処理方法、画像処理装置及びプログラム
JP2019220073A (ja) 2018-06-22 2019-12-26 株式会社 日立産業制御ソリューションズ 物体追跡装置、物体追跡システム、および物体追跡方法

Also Published As

Publication number Publication date
US12056216B2 (en) 2024-08-06
WO2021186672A1 (ja) 2021-09-23
JPWO2021186672A1 (ja) 2021-09-23
US20230081660A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
JP5704363B2 (ja) デジタル病理画像のための自動同期ナビゲーションシステム
KR101349699B1 (ko) 영상 추출 및 합성 장치, 이의 방법
JP7459927B2 (ja) 画像処理方法
US11790583B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP6579727B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム
US20180068477A1 (en) Display method, display device, and non-transitory computer-readable recording medium
US20240331418A1 (en) Image processing device, image processing method, and recording medium
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2016090906A (ja) 画像処理装置、画像処理方法及びプログラム
US11074670B2 (en) Image processing apparatus, control method thereof, recording medium, and information processing system
JP7340434B2 (ja) 配筋検査システム、配筋検査方法、及び配筋検査プログラム
US20230103768A1 (en) Placement method
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
KR101954711B1 (ko) 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법
JP2005182098A (ja) 合成画像を生成・表示する装置及び方法
US10783390B2 (en) Recording medium recording character area extraction program, information processing apparatus and character area extraction method
US20190065914A1 (en) Image processing device, setting support method, and non-transitory computer-readable media
JP7537518B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3879492A1 (en) Image processing apparatus and control method of the same, orientation adjustment system and program
JP2018085093A (ja) 情報処理装置、制御方法、プログラム
US10567632B2 (en) Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
US20220327760A1 (en) Inspection data management system for structural objects
JP2011124955A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7459927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150