JP7132643B2 - 撮影装置、画像の生産方法、およびプログラム - Google Patents

撮影装置、画像の生産方法、およびプログラム Download PDF

Info

Publication number
JP7132643B2
JP7132643B2 JP2020190764A JP2020190764A JP7132643B2 JP 7132643 B2 JP7132643 B2 JP 7132643B2 JP 2020190764 A JP2020190764 A JP 2020190764A JP 2020190764 A JP2020190764 A JP 2020190764A JP 7132643 B2 JP7132643 B2 JP 7132643B2
Authority
JP
Japan
Prior art keywords
image
unit
output
original
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020190764A
Other languages
English (en)
Other versions
JP2022079898A (ja
Inventor
隆義 長谷川
由紀貞 深谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TANAKA ENGINEERING INC.
Original Assignee
TANAKA ENGINEERING INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2020190764A priority Critical patent/JP7132643B2/ja
Application filed by TANAKA ENGINEERING INC. filed Critical TANAKA ENGINEERING INC.
Priority to US18/253,149 priority patent/US20240013360A1/en
Priority to CA3202213A priority patent/CA3202213A1/en
Priority to PCT/JP2021/041080 priority patent/WO2022107635A1/ja
Priority to KR1020237018469A priority patent/KR20230107272A/ko
Priority to EP21894509.5A priority patent/EP4250714A4/en
Priority to JP2021193879A priority patent/JP2022080309A/ja
Publication of JP2022079898A publication Critical patent/JP2022079898A/ja
Application granted granted Critical
Publication of JP7132643B2 publication Critical patent/JP7132643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/04—Colour photography, other than mere exposure or projection of a colour film by four or more separation records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Description

本発明は、画像を取得し、出力する撮影装置等に関するものである。
従来技術において、分光画像を取得する種々の技術が存在した（例えば、特許文献１、特許文献２、特許文献３参照）。
特開２０２０－１１８４９４号公報 特開２０２０－９４９８５号公報 特開２０２０－８６９８２号公報
しかしながら、従来技術においては、予め決められた分光画像を取得するだけであるので、必要な画像を得ることが困難であった。
本第一の発明の撮影装置は、撮影し、光信号を取得する光信号取得部と、光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、元画像取得部が取得した２以上の元画像を含む候補画像のうち、一の出力画像を取得する選択部と、選択部が取得した出力画像を出力する画像出力部とを具備する撮影装置である。
かかる構成により、必要な画像が得られる。
また、本第二の発明の撮影装置は、第一の発明に対して、２以上の元画像を合成し、合成画像を取得する合成画像取得部をさらに具備し、選択部は、２以上の元画像と合成画像を含む３以上の候補画像のうち、一の出力画像を取得する、撮影装置である。
かかる構成により、より適切な画像が容易に得られる。
また、本第三の発明の撮影装置は、第一または第二の発明に対して、選択部は、２以上の候補画像のうち、予め決められた条件を満たす一の出力画像を自動的に選択する、撮影装置である。
かかる構成により、必要な画像が容易に得られる。
また、本第四の発明の撮影装置は、第三の発明に対して、選択部は、２以上の元画像と１以上の合成画像、および選択された画像を特定する画像識別情報を有する２以上の教師データを用いて、学習処理を行い取得された学習器と、２以上の候補画像とを用いて、機械学習の予測処理を行い、一の出力画像を特定する画像識別情報を取得し、画像識別情報により特定される一の出力画像を取得する、撮影装置である。
かかる構成により、必要な画像が得られる。
また、本第五の発明の撮影装置は、第一または第二の発明に対して、ユーザの指示を受け付ける受付部と、選択部は、２以上の候補画像から、指示に応じた一の出力画像を選択する、撮影装置である。
かかる構成により、ユーザの指示に応じた画像が得られる。
また、本第六の発明の撮影装置は、第二の発明に対して、合成画像取得部は、２以上の元画像のうちのいずれか１以上の元画像の一部の領域の部分元画像を、一部の領域に対応する領域に採用した合成画像を取得する、撮影装置である。
かかる構成により、必要な画像が得られる。
また、本第七の発明の撮影装置は、第六の発明に対して、合成画像取得部は、２以上の元画像のうちの第一の元画像の第一の領域の第一の部分元画像を、第一の領域に対応する領域に採用した合成画像であり、２以上の元画像のうちの第二の元画像の第二の領域の第二の部分元画像を、第二の領域に対応する領域に採用した合成画像を取得する、撮影装置である。
かかる構成により、必要な画像が得られる。
また、本第八の発明の撮影装置は、第一から第七いずれか１つの発明に対して、選択部は、少なくとも撮影装置が取得した出力画像であることを特定する識別情報を、出力画像に埋め込み、識別情報が埋め込まれた出力画像を取得し、画像出力部は、識別情報が埋め込まれた出力画像を出力する、撮影装置である。
かかる構成により、本撮影装置で取得された画像であることが判別可能となる。
また、本第九の発明の学習システムは、画像蓄積装置と学習装置とを具備する学習システムであって、画像蓄積装置は、撮影し、光信号を取得する光信号取得部と、光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、元画像取得部が取得した２以上の元画像を含む候補画像のセットを蓄積するセット蓄積部と、蓄積部が蓄積したセットを出力するセット出力部と、セットに含まれる２以上候補画像のうち、一の候補画像の選択を受け付ける選択受付部と、選択受付部が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった１以上の候補画像を負例として、区別する処理を行う区別部とを具備し、学習装置は、正例の一の候補画像と負例の１以上の候補画像とを含む２以上のセットを用いて、学習処理を行い、学習器を取得する学習部と、学習器を蓄積する学習器蓄積部とを具備する、学習システムである。
かかる構成により、必要な画像を取得するための学習器が得られる。
また、本第十の発明の学習システムは、第九の発明に対して、２以上の元画像を合成し、合成画像を取得する合成画像取得部をさらに具備し、セット蓄積部は、元画像取得部が取得した２以上の元画像と合成画像取得部が取得した合成画像とを含む候補画像のセットを蓄積する、学習システムである。
かかる構成により、必要な画像を取得するための学習器が得られる。
本発明による撮影装置によれば、必要な画像が得られる。
実施の形態１における撮影装置Ａのブロック図 同撮影装置Ａの動作例について説明するフローチャート 同元画像取得処理の例について説明するフローチャート 同合成画像取得処理の例について説明するフローチャート 同選択処理の第一の例について説明するフローチャート 同選択処理の第二の例について説明するフローチャート 同候補画像の例を示す図 実施の形態２における学習システムＢの概念図 同学習システムＢのブロック図 同画像蓄積装置５の動作例について説明するフローチャート 同学習装置６の動作例について説明するフローチャート 同教師データ管理表を示す図 上記実施の形態におけるコンピュータシステムのブロック図
以下、撮影装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、撮影により光信号を取得し、当該光信号を用いて、２以上の元画像を取得し、当該２以上の元画像を含む２以上の候補画像から、一の画像を選択し、出力する撮影装置Ａについて説明する。
また、本実施の形態において、合成画像を取得し、２以上の元画像と当該合成画像を含む３以上の候補画像から、一の画像を選択し、出力する撮影装置Ａについて説明する。
なお、本実施の形態において、一の画像の選択は、自動的に行われることは好適であるが、ユーザの指示に基づいて行われても良い。また、本実施の形態において、特に、機械学習により一の画像を自動選択ことは好適である。
また、本実施の形態において、使用する合成画像は、一部に一の元画像そのままの領域を含む画像であることは好適である。また、合成画像は、一部に一の元画像の領域、一部に他の元画像の領域を含むことは好適である。
さらに、本実施の形態において、出力画像に識別情報を埋め込むことは好適である。
図１は、本実施の形態における撮影装置Ａのブロック図である。撮影装置Ａは、格納部１、受付部２、処理部３、および出力部４を備える。
処理部３は、光信号取得部３１、元画像取得部３２、合成画像取得部３３、選択部３４、および埋込部３５を備える。出力部４は、画像出力部４１を備える。
格納部１には、各種の情報が格納される。各種の情報は、例えば、後述する学習器、２以上の元画像識別情報、１以上の合成画像識別情報、合成画像フラグである。
元画像識別情報とは、取得する元画像の種類を識別する情報である。元画像識別情報は、例えば、「ＲＧＢ画像」「ＩＲ画像」「ＮＩＲ画像」である。元画像識別情報は、例えば、元画像を取得するためのプログラムの識別子（例えば、実行モジュール名、関数名、メソッド名）である。元画像識別情報は、例えば、元画像を取得するために行う画像処理識別子である。画像処理識別子は、画像処理を識別する情報であり、例えば、ＩＤ、１以上の画像処理を行うプログラムの識別子（例えば、実行モジュール名、関数名、メソッド名）である。
元画像とは、光信号を用いて取得される画像である。元画像は、合成されていない画像である。元画像は、例えば、光信号を分光して得られる分光画像である。元画像は、例えば、一の分光画像に対して、所定の１以上の画像処理を施した画像である。元画像は、候補画像になり得る画像である。
合成画像識別情報とは、取得する合成画像の種類を識別する情報である。合成画像識別情報は、例えば、合成画像を取得するためのプログラムの識別子（例えば、実行モジュール名、関数名、メソッド名）である。合成画像識別情報は、例えば、合成画像を取得する場合に使用する元画像の元画像識別情報を含む。かかる場合の元画像識別情報は、例えば、「ＲＧＢ画像」「ＩＲ画像」「ＮＩＲ画像」である。
合成画像とは、２以上の画像を合成した画像である。なお、合成方法は問わない。合成画像とは、２以上の画像から取得される画像である。
合成画像フラグとは、合成画像を取得するか否かを示す情報である。
受付部２は、ユーザの指示を受け付ける。ユーザの指示は、例えば、設定情報、選択指示である。設定情報は、選択部３４が取得する一の画像を特定するための情報である。選択指示は、２以上の候補画像から一の候補画像を選択する指示である。選択された一の候補画像は、出力画像である。なお、ユーザの指示は、情報でも良い。
ここで、受け付けとは、通常、タッチパネルやキーボードやマウスなどの入力デバイスから入力された情報の受け付けである。ただし、受け付けは、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であっても良い。
ユーザの指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
処理部３は、各種の処理を行う。各種の処理は、光信号取得部３１、元画像取得部３２、合成画像取得部３３、選択部３４が行う処理である。
光信号取得部３１は、撮影し、光信号を取得する。光信号取得部３１は、公知技術であるので詳細な説明を省略する。
元画像取得部３２は、光信号取得部３１が取得した光信号を用いて、２以上の異なる元画像を取得する。２以上の異なる各元画像の元になる光信号は同じ光信号である。
また、２以上の異なる元画像の中に含まれる対象は、通常、同じであるが、異なっていても良い。つまり、例えば、一の元画像が光信号と同じ領域の画像であり、他の元画像が当該画像の一部の領域の画像（いわゆるズームした画像）でも良い。例えば、元画像取得部３２は、光信号取得部３１が取得した光信号を分光し、近距離の「ＲＧＢ画像」と遠距離の「ＩＲ画像」とを取得しても良い。かかる場合、遠距離の「ＩＲ画像」の領域は、近距離の「ＲＧＢ画像」の領域より狭い。また、例えば、元画像取得部３２はビームスプリッターを具備し、当該ビームスプリッターにより、単レンズからの光を２分割し、当該２分割した同じ分光特性を持つ光を、それぞれ焦点距離の違うセンサーに入力し、焦点距離が違う２つの画像（例えば、「近ＲＧＢ画像」と「遠ＲＧＢ画像」）を取得する。
元画像取得部３２は、例えば、光信号取得部３１が取得した光信号をから一部の波長を抽出した２以上の分光画像を取得する。かかる場合、元画像は、分光画像である。２以上の分光画像は、例えば、ＲＧＢ画像（カラー画像）とＩＲ画像（赤外線画像）とＮＩＲ画像（近赤外線）のうちの２以上の画像である。
元画像取得部３２は、例えば、ＲＧＢとＮＩＲを同時撮影できるセンサー（例えば、「http://www.optronics-media.com/news/20160606/42937/」参照（令和２年１１月１日検索）を用いて実現できる。
元画像取得部３２は、例えば、光信号取得部３１が取得した光信号からＲＧＢ画像を取得し、当該ＲＧＢ画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、ＲＧＢ画像と所定の画像処理が施された画像である。所定の画像処理は、例えば、シャープネス処理、ノイズ低減処理、明度向上の処理等であり、種々の公知の画像処理が該当し得る。
元画像取得部３２は、例えば、光信号取得部３１が取得した光信号からＩＲ画像を取得し、当該ＩＲ画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、ＩＲ画像と所定の画像処理が施された画像である。所定の画像処理は、例えば、シャープネス処理、ノイズ低減処理、明度向上の処理等であり、種々の公知の画像処理が該当し得る。
元画像取得部３２は、例えば、光信号取得部３１が取得した光信号を分光し、ＲＧＢ画像とＩＲ画像とを取得する。そして、元画像取得部３２は、例えば、当該ＲＧＢ画像に対して所定の画像処理が施された画像と、当該ＩＲ画像に対して所定の画像処理が施された画像を取得する。かかる場合、元画像は、例えば、ＲＧＢ画像とＩＲ画像とＲＧＢ画像に対して所定の画像処理が施された画像とＩＲ画像に対して所定の画像処理が施された画像である。
なお、元画像取得部３２が取得する２以上の異なる元画像の撮影対象は同一である。
合成画像取得部３３は、２以上の元画像を合成し、合成画像を取得する。合成画像取得部３３は、元画像と合成画像とを合成し、新たな合成画像を取得しても良い。元画像の合成方法は問わない。
合成画像取得部３３は、例えば、２以上の元画像のうちのいずれか１以上の元画像の一部の領域の部分元画像を、一部の領域に対応する領域に採用した合成画像を取得する。
合成画像取得部３３は、例えば、２以上の元画像のうちの第一の元画像の第一の領域の第一の部分元画像を、第一の領域に対応する領域に採用した合成画像であり、２以上の元画像のうちの第二の元画像の第二の領域の第二の部分元画像を、第二の領域に対応する領域に採用した合成画像を取得する。
合成画像取得部３３は、例えば、２以上の各元画像から信号強度の強い画素を選択し、一の合成画像を取得する。例えば、合成画像取得部３３は、２以上の異なる元画像（例えば、ＲＧＢ画像とＩＲ画像）をＮＡＭ回路で合成する。つまり、合成画像取得部３３は、例えば、ＮＡＭ回路を用いて、二つの元画像の同じ位置の各画素のうち、レベルの高い画素値を優先して出力し、合成画像を取得する。
合成画像取得部３３は、例えば、２以上の各元画像を予め決められた領域に区切り、同じ位置の領域ごとに、信号強度の強い方の領域を決定し、当該決定した領域の画素集合を組み合わせて、合成画像を取得する。なお、領域は、２以上の画素を有する。
合成画像取得部３３は、例えば、２以上の元画像と学習器とを、機械学習の予測処理のモジュールに与え、２以上の元画像が合成された合成画像を取得しても良い。かかる場合の学習器は、２以上の元画像と合成画像とからなる２以上の教師データを、機械学習の学習処理のモジュールに与え、当該モジュールが実行され、取得された学習器である。なお、機械学習のアルゴリズムは問わないことは、上述した通りである。また、かかる学習器は、２以上の元画像を入力し、合成画像を出力する予測処理で使用される。
なお、合成画像と２以上の元画像の中のオブジェクトは、通常、同じオブジェクトであるが異なっていても良い。
選択部３４は、元画像取得部３２が取得した２以上の元画像を含む候補画像のうち、一の出力画像を取得する。
選択部３４は、２以上の元画像と合成画像を含む３以上の候補画像のうち、一の出力画像を取得することは好適である。
選択部３４は、２以上の候補画像のうち、予め決められた条件を満たす一の出力画像を自動的に選択する。
予め決められた条件は、例えば、後述する機械学習の予測処理により選択されることである。予め決められた条件は、例えば、後述する機械学習の予測処理により取得されたスコアが最大であることである。予め決められた条件は、例えば、候補画像が有する各画素の代表値（例えば、平均値、中央値）が最大であることである。予め決められた条件は、例えば、候補画像が有する各画素の属性値（例えば、輝度，明度）の代表値（例えば、平均値、中央値）が最大であることである。
選択部３４は、例えば、学習器と２以上の候補画像とを用いて、機械学習の予測処理を行い、一の出力画像を特定する画像識別情報を取得し、画像識別情報により特定される一の出力画像を取得する。なお、機械学習のアルゴリズムは、例えば、ランダムフォレスト、決定木、深層学習、ＳＶＭ等であり、機械学習のアルゴリズムは問わない。また、機械学習の予測処理には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、ｔｉｎｙＳＶＭ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。また、学習器は、例えば、後述する実施の形態２における学習装置６が取得した学習器である。なお、学習器は、分類器、モデルと言っても良い。
また、ここでの学習器は、例えば、２以上の候補画像を入力し、一の候補画像または一の候補画像の識別子を出力するための情報である。学習器は、例えば、２以上の候補画像のうちのいずれかの候補画像を入力し、当該候補画像を出力する画像として選択されるか否かを示すフラグ（真または偽）を出力するめの情報である。学習器は、例えば、２以上の候補画像のうちのいずれかの候補画像を入力し、当該候補画像を出力する画像として選択されるか否かを示すフラグ（真または偽）およびスコアを出力するめの情報である。
つまり、選択部３４は、例えば、学習器を格納部１から取得し、当該学習器と２以上の候補画像とを、機械学習の予測処理のモジュールに与え、当該モジュールを実行し、一の候補画像を、出力画像として決定する。
また、選択部３４は、例えば、学習器を格納部１から取得する。そして選択部３４は、例えば、２以上の候補画像のうちの一の候補画像と学習器との組を、順に、機械学習の予測処理のモジュールに与え、選択されるか否かを示すフラグと、スコアとを取得する。そして、選択部３４は、例えば、選択されることを示すフラグが得られた候補画像であり、スコアが最大の候補画像を、出力画像として決定する。
選択部３４は、例えば、２以上の候補画像から、ユーザの指示に応じた一の候補画像を、出力画像として選択する。例えば、ユーザの指示が設定情報である場合、選択部３４は、２以上の候補画像から、格納部１の設定情報に対応する候補画像を出力画像として選択する。設定情報は、例えば、２以上の候補画像の種類のうち、一の候補画像の種類を示す種類識別子である。種類識別子は、例えば、「ＲＧＢ画像」「ＩＲ画像」「合成画像」である。
また、ユーザの指示とは、例えば、出力されている２以上の候補画像から一の候補画像を選択する指示である。かかる場合、選択部３４は、ユーザの指示に対応する一の候補画像を、出力画像として選択する。
選択部３４は、少なくとも撮影装置Ａが取得した出力画像であることを特定する識別情報が埋め込まれた出力画像を取得しても良い。なお、識別情報は、後述する埋込部３５により埋め込まれる。
埋込部３５は、少なくとも当該撮影装置Ａが取得した出力画像であることを特定する識別情報を、前記出力画像に埋め込む。埋込部３５は、選択部３４が取得した出力画像に対して識別情報を埋め込むことは好適である。ただし、埋込部３５は、２以上のすべての候補画像に識別情報を埋め込んでも良い。
なお、識別情報を埋め込むことは、出力画像のファイルのヘッダー部に識別情報を書き込むこと、出力画像のファイルのフッター部に識別情報を書き込むこと、「電子透かし」の情報として、出力画像のファイルに識別情報を書き込むこと等である。識別情報を埋め込むことは、出力画像のデータ群（例えば、ファイル）の中から識別情報を取得可能であれば良い。
識別情報は、例えば、撮影装置Ａが取得した画像であることを特定する情報である。識別情報は、例えば、ユニークなＩＤであり、当該画像を識別する情報である。識別情報は、例えば、カメラ（撮影装置Ａ）の識別子、タイムスタンプの情報（例えば、年月日時分秒、時分秒）、選択部３４が使用した予測処理に使用したモジュールの識別子、撮影対象のオブジェクトを識別する情報、撮影環境（例えば、屋内または屋外、天気）、暗号化キーのちの１以上の情報を含む情報である。なお、かかる場合、埋込部３５または図示しない手段は、カメラの識別子を格納部１から取得したり、図示しない時計からタイムスタンプの情報を取得したり、選択部３４からモジュールの識別子を取得したり、撮影対象を画像認識しオブジェクトを識別する情報を取得したり、撮影対象を画像認識し撮影環境を取得したり、図示しないサーバから天気の情報を取得したり、暗号化キーを格納部１から取得したりする。
出力部４は、各種の情報を出力する。各種の情報は、例えば、候補画像、出力画像である。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
出力部４は、例えば、元画像取得部３２が取得した２以上の元画像を出力する。出力部４は、例えば、元画像取得部３２が取得した２以上の元画像と、合成画像取得部３３が取得した１以上の合成画像とを出力する。かかる元画像等の出力は、ユーザにより選択されるための出力である。
画像出力部４１は、選択部３４が取得した出力画像を出力する。画像出力部４１は、識別情報が埋め込まれた出力画像を出力することは好適である。選択部３４が取得した出力画像は、２以上の候補画像のうちのいずれかである。なお、ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
また、画像出力部４１は、選択部３４が選択しなかった１以上の候補画像をも出力しないことが好適であるが、選択部３４が選択しなかった１以上の候補画像をも出力しても良い。ただし、選択部３４が選択しなかった１以上の候補画像をも出力する場合、画像出力部４１は、選択部３４が取得した出力画像を最も目立つ態様で出力する。最も目立つ態様とは、例えば、２以上の画像をソートして出力する場合に、最上位の位置に選択部３４が取得した出力画像を出力することである。最も目立つ態様とは、例えば、選択部３４が取得した出力画像に、他の候補画像には付加されない目印を付加して、出力することである。その他、出力画像を最も目立つ態様で出力する態様は問わない。
格納部１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１で記憶されるようになってもよい。
処理部３、元画像取得部３２、合成画像取得部３３、および選択部３４は、通常、プロセッサやメモリ等から実現され得る。処理部３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
光信号取得部３１は、例えば、いわゆるカメラの光学部品と撮像素子とにより実現される。
出力部４、および画像出力部４１は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部４等は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、撮影装置Ａの動作例について、図２のフローチャートを用いて説明する。
（ステップＳ２０１）処理部３は、撮影を行うか否かを判断する。撮影を行う場合はステップＳ２０２に行き、撮影を行わない場合はステップＳ２０１に戻る。なお、処理部３は、例えば、受付部２が撮影指示を受け付けた場合に、撮影を行うと判断する。また、処理部３は、例えば、受付部２が撮影指示を受け付けた後、撮影終了の指示を受け付けるまで、撮影を行うと判断する。処理部３が撮影を行うと判断する条件は問わない。
（ステップＳ２０２）光信号取得部３１は、光信号を取得する。
（ステップＳ２０３）元画像取得部３２は、光信号取得部３１が取得した光信号を用いて、２以上の異なる元画像を取得する。かかる元画像取得処理の例について、図３のフローチャートを用いて説明する。
（ステップＳ２０４）合成画像取得部３３は、合成画像を取得するか否かを判断する。合成画像を取得する場合はステップＳ２０５に行き、合成画像を取得しない場合はステップＳ２０６に行く。なお、合成画像取得部３３は、常に、合成画像を取得しても良い。また、合成画像取得部３３は、例えば、格納部１の合成画像フラグが合成画像を取得する旨を示す情報である場合に、合成画像を取得すると判断しても良い。ただし、合成画像を取得すると判断するための条件は問わない。
（ステップＳ２０５）合成画像取得部３３は、合成画像を取得する。かかる合成画像取得処理の例について、図４のフローチャートを用いて説明する。
（ステップＳ２０６）選択部３４は、元画像取得部３２が取得した２以上の元画像を含む候補画像のうち、一の出力画像を取得する。なお、選択部３４は、２以上の元画像と合成画像を含む３以上の候補画像のうち、一の出力画像を取得することは好適である。かかる選択処理の例について、図５、図６のフローチャートを用いて説明する。
（ステップＳ２０７）埋込部３５は、識別情報を取得する。
（ステップＳ２０８）埋込部３５は、ステップＳ２０６で取得された出力画像に、ステップＳ２０６で取得した識別情報を埋め込む。
（ステップＳ２０９）画像出力部４１は、ステップＳ２０８で取得された出力画像を取得する。ステップＳ２０１に戻る。なお、かかる出力画像は、識別情報が埋め込まれた出力画像である。
なお、図２のフローチャートにおいて、ステップＳ２０８、ステップＳ２０９は実行されなくても良い。かかる場合、出力画像は、識別情報が埋め込まれていない。
また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップＳ２０３の元画像取得処理の例について、図３のフローチャートを用いて説明する。
（ステップＳ３０１）元画像取得部３２は、カウンタｉに１を代入する。
（ステップＳ３０２）元画像取得部３２は、元画像を取得するためのｉ番目の元画像識別情報が格納部１に存在するか否かを判断する。
（ステップＳ３０３）元画像取得部３２は、ｉ番目の元画像識別情報に対応するｉ番目の元画像を取得し、図示しないバッファに一時蓄積する。
（ステップＳ３０４）元画像取得部３２は、カウンタｉを１、インクリメントする。ステップＳ３０２に戻る。
次に、ステップＳ２０５の合成画像取得処理の例について、図４のフローチャートを用いて説明する。
（ステップＳ４０１）合成画像取得部３３は、カウンタｉに１を代入する。
（ステップＳ４０２）合成画像取得部３３は、ｉ番目の合成画像を取得するか否かを判断する。ｉ番目の合成画像を取得する場合はステップＳ４０３に行き、ｉ番目の合成画像を取得しない場合は上位処理にリターンする。なお、例えば、合成画像取得部３３は、格納部１にｉ番目の合成画像識別情報が存在するか否かにより、ｉ番目の合成画像を取得するか否かを判断する。
（ステップＳ４０３）合成画像取得部３３は、ｉ番目の合成画像を取得するために使用する２以上の元画像を図示しないバッファから取得する。
（ステップＳ４０４）合成画像取得部３３は、ステップＳ４０３で取得した２以上の元画像を用いて、ｉ番目の合成画像を取得し、当該合成画像を図示しないバッファに一時蓄積する。
（ステップＳ４０５）合成画像取得部３３は、カウンタｉを１、インクリメントする。ステップＳ４０２に戻る。
次に、ステップＳ２０６の選択処理の第一の例について、図５のフローチャートを用いて説明する。
（ステップＳ５０１）選択部３４は、格納部１から学習器を取得する。
（ステップＳ５０２）選択部３４は、カウンタｉに１を代入する。
（ステップＳ５０３）選択部３４は、図示しないバッファにｉ番目の候補画像が存在するか否かを判断する。ｉ番目の候補画像が存在する場合はステップＳ５０４に行き、ｉ番目の候補画像が存在しない場合はステップＳ５０８に行く。
（ステップＳ５０４）選択部３４は、図示しないバッファからｉ番目の候補画像を取得する。
（ステップＳ５０５）選択部３４は、学習器とｉ番目の候補画像とを機械学習の予測モジュールに与え、当該予測モジュールを実行し、予測結果を取得する。なお、予測結果は、ここでは、選択されるか否かを示すフラグ（予測値）とスコアである。スコアは高いほど、選択される尤度が大きい、とする。
（ステップＳ５０６）選択部３４は、ｉ番目の候補画像に対応付けて、予測値とスコアとを図示しないバッファに一時蓄積する。
（ステップＳ５０７）選択部３４は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
（ステップＳ５０８）選択部３４は、選択されることを示す予測値であり、最大のスコアと対になる候補画像を、出力画像に決定する。上位処理にリターンする。
次に、ステップＳ２０６の選択処理の第二の例について、図６のフローチャートを用いて説明する。図６のフローチャートにおいて、図５のフローチャートと同一のステップについて説明を省略する。
（ステップＳ６０１）選択部３４は、２以上の候補画像を図示しないバッファから取得する。
（ステップＳ６０２）選択部３４は、学習器と２以上の候補画像とを機械学習の予測モジュールに与え、当該予測モジュールを実行し、予測結果を取得する。なお、予測結果は、ここでは、出力画像を特定する情報である。出力画像を特定する情報は、出力画像でも良いし、出力画像の識別子（例えば、ファイル名）等でも良い。
（ステップＳ６０３）選択部３４は、予測結果に対応する候補画像を出力画像に決定する。
以下、本実施の形態における撮影装置Ａの具体的な動作について説明する。撮影装置Ａの外観は、例えば、カメラである。
今、格納部１には、「ＲＧＢ画像」「ＩＲ画像」の２つの元画像識別情報が格納されている、とする。また、格納部１には、合成画像を取得する一のプログラムのモジュール名である合成画像識別情報が格納されている、とする。当該一のプログラムは、「ＲＧＢ画像」「ＩＲ画像」のうちの輝度の平均値が高い方の元画像をベースとして採用し、ナンバープレートの領域を検知し、ナンバープレートの領域のシャープネスが大きい方の元画像のナンバープレートの領域を採用するプログラムである、とする。
また、格納部１には、３つの候補画像から一の候補画像を選択する学習器が格納されている。この学習器は、例えば、撮影対象が自動車である場合は合成画像を取得するように教師データが構成され、学習処理により取得されたデータである。
かかる場合、ユーザは、撮影指示を撮影装置Ａに入力した、とする。すると、処理部３は、撮影を行う、と判断する。次に、光信号取得部３１は、撮影し、光信号を取得する。
次に、元画像取得部３２は、光信号取得部３１が取得した光信号を用いて、「ＲＧＢ画像」「ＩＲ画像」の２つの元画像を取得する。「ＲＧＢ画像」は、図７の７１である。「ＩＲ画像」は、図７の７２である。
また、合成画像取得部３３は、合成画像識別情報が示すモジュール名で識別されるモジュールを実行し、合成画像を取得する。かかる合成画像は、図７の７３である。かかるモジュールは、光信号により表れる対象（撮影対象）が自動車であるか否かを判断し、自動車である場合、「ＩＲ画像」からナンバープレートの領域を切り出し、「ＲＧＢ画像」のナンバープレートの領域に、「ＩＲ画像」から切り出したナンバープレートの領域の画像を貼り付けた合成画像を取得するモジュールである。また、かかるモジュールは、光信号により表れる対象（撮影対象）が自動車でない場合は、「ＲＧＢ画像」と「ＩＲ画像」とをＮＡＭ回路で合成するモジュールである。
次に、選択部３４は、格納部１の学習器を取得する。選択部３４は、３つの候補画像（「ＲＧＢ画像７１」「ＩＲ画像７２」「合成画像７３」）と学習器とを、機械学習の予測モジュールに与え、当該予測モジュールを実行し、一の画像（ここでは、合成画像７３）を取得した、とする。
次に、埋込部３５は、識別情報を取得する。そして、埋込部３５は、合成画像７３に識別情報を埋め込む。
次に、画像出力部４１は、出力画像を取得する。なお、出力画像は、識別情報が埋め込まれた合成画像７３である。
以上、本実施の形態によれば、より適切な画像が容易に得られる。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における撮影装置Ａを実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、光信号を取得する光信号取得部と、前記光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、前記元画像取得部が取得した２以上の元画像を含む候補画像のうち、一の出力画像を取得する選択部と、前記選択部が取得した出力画像を出力する画像出力部として機能させるためのプログラムである。
（実施の形態２）
本実施の形態において、撮影装置Ａが使用し得る学習器を取得する学習システムについて説明する。
図８は、本実施の形態における学習システムＢの概念図である。学習システムＢは、画像蓄積装置５、および学習装置６を備える。なお、学習システムＢは、一の装置で実現されても良いし、３以上の装置で実現されても良い。
画像蓄積装置５は、画像を撮影し、当該画像を用いて、２以上の候補画像のセットを取得し、当該セットから一の選択を受け付ける。そして、画像蓄積装置５は、セットの中で、選択された候補画像と選択されなかった候補画像とを区別可能な状態で、セットを蓄積する。画像蓄積装置５は、例えば、カメラ、またはカメラ付きのコンピュータである。カメラは、静止画を撮影できるものでも、動画を撮影できるものでも良い。
学習装置６は、２以上のセットを用いて学習処理を行い、２以上の候補画像から一の画像を選択するための学習器を構成する装置である。
図９は、本実施の形態における学習システムＢのブロック図である。学習システムＢを構成する画像蓄積装置５は、格納部５１、受付部５２、処理部５３、および出力部５４を備える。
受付部５２は、選択受付部５２１を備える。処理部５３は、光信号取得部３１、元画像取得部３２、合成画像取得部３３、セット蓄積部５３１、および区別部５３２を備える。出力部５４は、セット出力部５４１を備える。
学習装置６は、学習格納部６１、学習部６２、および学習器蓄積部６３を備える。
画像蓄積装置５を構成する格納部５１には、各種の情報が格納される。各種の情報は、例えば、２以上の候補画像のセットである。
受付部５２は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、撮影指示、選択指示である。選択指示は、画像の選択の指示である。選択指示は、単に、選択と言っても良い。
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
選択受付部５２１は、セットに含まれる２以上候補画像のうち、一の候補画像の選択を受け付ける。
処理部５３は、各種の処理を行う。各種の処理は、例えば、光信号取得部３１、元画像取得部３２、合成画像取得部３３、セット蓄積部５３１、区別部５３２が行う処理である。
セット蓄積部５３１は、元画像取得部３２が取得した２以上の元画像を含む候補画像のセットを蓄積する。
セット蓄積部５３１は、元画像取得部３２が取得した２以上の元画像と合成画像取得部３３が取得した合成画像とを含む候補画像のセットを蓄積することは好適である。
区別部５３２は、選択受付部５２１が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった１以上の候補画像を負例として、区別する処理を行う。区別する処理とは、例えば、選択された一の候補画像に、正例フラグを対応付ける処理である。区別する処理とは、例えば、選択されなかった１以上の各候補画像に、負例フラグを対応付ける処理である。区別する処理とは、例えば、選択された一の候補画像に、正例フラグを対応付け、選択されなかった１以上の各候補画像に、負例フラグを対応付ける処理である。区別する処理とは、例えば、選択された一の候補画像と、選択されなかった１以上の候補画像とを、異なるフォルダに蓄積する処理である。選択された一の候補画像と、選択されなかった１以上の候補画像とを区別できれば良く、区別する処理、方法は問わない。
出力部５４は、各種の情報を出力する。各種の情報は、２以上の候補画像のセットである。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
セット出力部５４１は、蓄積部が蓄積したセットを出力する。
学習装置６を構成する学習格納部６１には、各種の情報が格納される。各種の情報は、２以上のセットである。セットは、正例の一の候補画像と負例の１以上の候補画像とを含む。正例の候補画像は、ユーザにより選択された画像である。負例の１以上の候補画像は、ユーザにより選択されなかった画像である。セット内の２以上の候補画像が取得される元の光信号は同じ信号である。
学習部６２は、正例の一の候補画像と負例の１以上の候補画像とを含む２以上のセットを用いて、学習処理を行い、学習器を取得する。
学習処理は、機械学習のアルゴリズムを用いた学習処理である。なお、機械学習のアルゴリズムは、例えば、ランダムフォレスト、決定木、深層学習、ＳＶＭ等であり、機械学習のアルゴリズムは問わない。また、機械学習の学習処理には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、ｔｉｎｙＳＶＭ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
学習部６２は、２以上の教師データを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、学習器を取得する。
学習部６２は、例えば、正例の一の候補画像と負例の１以上の候補画像とを含む２以上のセットを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、学習器を取得する。つまり、ここでの一の教師データは、正例の一の候補画像と負例の１以上の候補画像とを含むセットである。
学習部６２は、例えば、正例の一の候補画像と、当該一の候補画像と同じ撮影対象の負例の一の画像の組を、２以上のセットから構成する。学習部６２は、構成した２以上の画像の組を、機械学習の学習モジュールに与え、当該学習モジュールを実行し、学習器を取得する。つまり、ここでの一の教師データは、正例の一の候補画像と負例の一の画像の組である。
学習器蓄積部６３は、学習部６２が取得した学習器を蓄積する。学習器の蓄積先は問わない。学習器の蓄積先は、例えば、学習格納部６１であるが、外部の装置（例えば、撮影装置Ａ）でも良い。
格納部５１、および学習格納部６１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
格納部５１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部５１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部５１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部５１等で記憶されるようになってもよい。
受付部５２、および選択受付部５２１は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
処理部５３、光信号取得部３１、元画像取得部３２、合成画像取得部３３、セット蓄積部５３１、区別部５３２、学習部６２、および学習器蓄積部６３は、通常、プロセッサやメモリ等から実現され得る。処理部５３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
出力部５４、およびセット出力部５４１は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部５４等は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、学習システムＢの動作例について説明する。まず、画像蓄積装置５の動作例について、図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
（ステップＳ１００１）出力部５４は、取得された２以上の候補画像を出力する。なお、２以上の候補画像は、例えば、２以上の元画像である。２以上の候補画像は、例えば、２以上の元画像と１以上の合成画像である。なお、かかる出力は、通常、ディスプレイへの出力である。
（ステップＳ１００２）選択受付部５２１は、ユーザからの選択を受け付けたか否かを判断する。選択を受け付けた場合はステップＳ１００３に行き、選択を受け付けなかった場合はステップＳ１００２に戻る。
（ステップＳ１００３）区別部５３２は、ステップＳ１００２で選択された候補画像に、正例フラグを対応付ける。
（ステップＳ１００４）セット蓄積部５３１は、正例画像と負例画像が区別された２以上の候補画像を有するセットを蓄積する。ステップＳ２０１に戻る。なお、正例画像は、選択された候補画像である。また、負例画像は、選択されなかった候補画像である。
なお、図１０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、学習装置６の動作例について、図１１のフローチャートを用いて説明する。なお、学習格納部６１には、２以上のセットが格納されている、とする。
（ステップＳ１１０１）学習装置６は、学習を開始するか否かを判断する。学習を開始する場合はステップＳ１１０２に行き、学習を開始しない場合はステップＳ１１０１に戻る。なお、学習を開始する条件は問わない。例えば、ユーザの指示により、学習装置６は、学習を開始すると判断する。
（ステップＳ１１０２）学習部６２は、カウンタｉに１を代入する。
（ステップＳ１１０３）学習部６２は、学習格納部６１に、ｉ番目のセットが存在するか否かを判断する。セットとは、正例画像と負例画像が区別された２以上の候補画像を有するセットである。
（ステップＳ１１０４）学習部６２は、ｉ番目のセットが有する一の正例画像を取得する。なお、正例画像とは、正例フラグに対応付く候補画像である。
（ステップＳ１１０５）学習部６２は、カウンタｊに１を代入する。
（ステップＳ１１０６）学習部６２は、ｉ番目のセットが有するｊ番目の負例画像を取得する。
（ステップＳ１１０７）学習部６２は、ステップＳ１１０４で取得した正例画像とステップＳ１１０６で取得したｊ番目の負例画像との組を取得し、図示しないバッファに一時蓄積する。
（ステップＳ１１０８）学習部６２は、カウンタｊを１、インクリメントする。ステップＳ１１０６に戻る。
（ステップＳ１１０９）学習部６２は、カウンタｉを１、インクリメントする。ステップＳ１１０３に戻る。
（ステップＳ１１１０）学習部６２は、図示しないバッファに一時蓄積した２以上の正例画像と負例画像との組を学習モジュールに与え、当該モジュールを実行し、学習器を取得する。
（ステップＳ１１１１）学習器蓄積部６３は、ステップＳ１１１０で取得された学習器を蓄積する。ステップＳ１１０１に戻る。
なお、図１１のフローチャートにおいて、学習部６２は、２以上のセットを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、学習器を取得しても良い。
また、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における学習システムＢの具体的な動作について説明する。
画像蓄積装置５の出力部５４は、上述した処理により、格納部５１の中の各セットの４つ候補画像を出力する。なお、４つ候補画像は、２つの元画像と２つの合成画像である、とする。また、２つの元画像は、「ＲＧＢ画像」と「ＩＲ画像」である、とする。
そして、ユーザは、セットごとに、一の候補画像を選択する。すると、選択受付部５２１は、かかる選択を受け付ける。次に、区別部５３２は、選択された候補画像に対応付けて、正例フラグを蓄積する。
かかる処理により、格納部５１に、図１２に示す教師データ管理表が蓄積された、とする。教師データ管理表は「ＩＤ」「元画像１」「元画像２」「合成画像１」「合成画像２」を有する２以上の教師データを有する。「ＩＤ」は、セットを識別する情報である。「元画像１」はＲＧＢ画像、「元画像２」はＩＲ画像である。「合成画像１」「合成画像２」は、各々、異なるアルゴリズムにより合成された画像であり、元画像１と元画像２とを用いて合成された画像である、とする。
そして、ユーザにより選択された候補画像には、正例であることを示す「○」が付与され、ユーザにより選択されなかった候補画像には、負例であることを示す「×」が付与されている。
そして、かかる教師データ管理表は、学習装置６の学習格納部６１にも蓄積された、する。
次に、学習装置６は、学習を開始する、と判断した、とする。
次に、学習装置６は、例えば、図１１のフローチャートに従って、教師データ管理表の多数の教師データを、機械学習の学習モジュールに与え、当該学習モジュールを実行し、学習器を取得し、当該学習器を学習格納部６１に蓄積する。なお、かかる学習器は、上述した撮影装置Ａが利用することは好適である。
以上、本実施の形態によれば、必要な画像を取得するための学習器が得られる。
なお、本実施の形態における画像蓄積装置５を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、撮影し、光信号を取得する光信号取得部と、前記光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、前記元画像取得部が取得した２以上の元画像を含む２以上の候補画像を出力する出力部と、ユーザからの一の候補画像の選択を受け付ける選択受付部と、前記選択受付部が受け付けた選択に対応する一の候補画像を正例とし、選択されなかった１以上の候補画像を負例として、区別する処理を行う区別部として機能させるためのプログラムである。
また、学習装置６は、を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、正例の一の候補画像と負例の１以上の候補画像とを含む２以上のセットが格納される学習格納部にアクセス可能なコンピュータを、前記２以上のセットを用いて、学習処理を行い、学習器を取得する学習部と、当該学習部が取得した学習器を蓄積する学習器蓄積部として機能させるためのプログラムである。
また、上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１３は、撮影装置Ａ、画像蓄積装置５、学習装置６を実現し得るコンピュータシステム３００のブロック図である。
図１３において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
図１３において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３００に、上述した実施の形態の撮影装置Ａ等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３０１に、上述した実施の形態の撮影装置Ａの機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。つまり、画像蓄積装置５等は、スタンドアロンの装置であっても良く、２以上の装置から構成されても良い。
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる撮影装置は、必要な画像が得られるという効果を有し、撮影装置等として有用である。
Ａ 撮影装置
Ｂ 学習システム
１、５１ 格納部
２、５２ 受付部
３、５３ 処理部
４、５４ 出力部
５ 画像蓄積装置
６ 学習装置
３１ 光信号取得部
３２ 元画像取得部
３３ 合成画像取得部
３４ 選択部
３５ 埋込部
４１ 画像出力部
６１ 学習格納部
６２ 学習部
６３ 学習器蓄積部
５３２ 区別部
５４１ セット出力部

Claims (10)

  1. 撮影し、光信号を取得する光信号取得部と、
    前記光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、
    前記２以上の元画像を合成し、合成画像を取得する合成画像取得部と、
    前記合成画像取得部が前記合成画像を取得した後、当該合成画像と前記元画像取得部が取得した２以上の元画像とを含む３以上の候補画像のうち、一の出力画像を取得する選択部と、
    前記選択部が取得した出力画像を出力する画像出力部とを具備し、
    前記出力画像の前記出力とは、前記出力画像のディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、または記録媒体への蓄積である、撮影装置。
  2. 合成画像を取得するか否かを示す合成画像フラグが格納される格納部をさらに具備し、
    前記合成画像取得部は、
    前記合成画像フラグが合成画像を取得する旨を示す情報である場合に、前記２以上の元画像を合成し、合成画像を取得する、請求項１記載の撮影装置。
  3. 前記選択部は、
    前記３以上の候補画像のうち、予め決められた条件を満たす前記一の出力画像を自動的に選択する、請求項１または請求項２記載の撮影装置。
  4. 前記選択部は、
    ２以上の元画像と１以上の合成画像、および選択された画像を特定する画像識別情報を有する２以上の教師データを用いて、学習処理を行い取得された学習器と、前記３以上の候補画像とを用いて、機械学習の予測処理を行い、前記一の出力画像を特定する画像識別情報を取得し、当該画像識別情報により特定される一の出力画像を取得する、請求項１から請求項３いずれか一項に記載の撮影装置。
  5. 前記３以上の候補画像を出力する出力部と、
    前記３以上の候補画像から一の画像を選択するユーザの指示を受け付ける受付部とをさらに具備し、
    前記選択部は、
    前記３以上の候補画像から、前記指示に応じた前記一の出力画像を選択する、請求項１から請求項３いずれか一項に記載の撮影装置。
  6. 前記合成画像取得部は、
    前記２以上の元画像のうちのいずれか１以上の元画像の一部の領域の部分元画像を、前記一部の領域に対応する領域に採用した合成画像を取得する、請求項１から請求項５いずれか一項に記載の撮影装置。
  7. 前記合成画像取得部は、
    前記２以上の元画像のうちの第一の元画像の第一の領域の第一の部分元画像を、前記第一の領域に対応する領域に採用した合成画像であり、前記２以上の元画像のうちの第二の元画像の第二の領域の第二の部分元画像を、前記第二の領域に対応する領域に採用した合成画像を取得する、請求項６記載の撮影装置。
  8. 前記選択部は、
    少なくとも当該撮影装置が取得した出力画像であることを特定する識別情報を、前記出力画像に埋め込み、当該識別情報が埋め込まれた出力画像を取得し、
    前記画像出力部は、
    前記識別情報が埋め込まれた出力画像を出力する、請求項１から請求項７いずれか一項に記載の撮影装置。
  9. 光信号取得部と、元画像取得部と、合成画像取得部と、選択部と、画像出力部とにより実現される画像の生産方法であって、
    前記光信号取得部が、撮影し、光信号を取得する光信号取得ステップと、
    前記元画像取得部が、前記光信号を用いて、２以上の異なる元画像を取得する元画像取得ステップと、
    前記合成画像取得部が、前記２以上の元画像を合成し、合成画像を取得する合成画像取得ステップと、
    前記選択部が、前記合成画像取得ステップで前記合成画像が取得された後、当該合成画像と前記元画像取得ステップで取得された２以上の元画像とを含む３以上の候補画像のうち、一の出力画像を取得する選択ステップと、
    前記画像出力部が、前記選択ステップで取得された出力画像を出力する画像出力ステップとを具備し、
    前記出力画像の前記出力とは、前記出力画像のディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、または記録媒体への蓄積である、画像の生産方法。
  10. コンピュータを、
    光信号を取得する光信号取得部と、
    前記光信号を用いて、２以上の異なる元画像を取得する元画像取得部と、
    前記２以上の元画像を合成し、合成画像を取得する合成画像取得部と、
    前記合成画像取得部が前記合成画像を取得した後、当該合成画像と前記元画像取得部が取得した２以上の元画像とを含む３以上の候補画像のうち、一の出力画像を取得する選択部と、
    前記選択部が取得した出力画像を出力する画像出力部として機能させるためのプログラムであって、
    前記出力画像の前記出力とは、前記出力画像のディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、または記録媒体への蓄積である、プログラム。
JP2020190764A 2020-11-17 2020-11-17 撮影装置、画像の生産方法、およびプログラム Active JP7132643B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020190764A JP7132643B2 (ja) 2020-11-17 2020-11-17 撮影装置、画像の生産方法、およびプログラム
CA3202213A CA3202213A1 (en) 2020-11-17 2021-11-09 Imaging device, image generation method, and recording medium
PCT/JP2021/041080 WO2022107635A1 (ja) 2020-11-17 2021-11-09 撮影装置、画像の生産方法、および記録媒体
KR1020237018469A KR20230107272A (ko) 2020-11-17 2021-11-09 촬영장치, 화상의 생산 방법 및 기록 매체
US18/253,149 US20240013360A1 (en) 2020-11-17 2021-11-09 Imaging device, image generation method, and recording medium
EP21894509.5A EP4250714A4 (en) 2020-11-17 2021-11-09 IMAGING DEVICE, IMAGING PRODUCTION METHOD, AND RECORDING MEDIUM
JP2021193879A JP2022080309A (ja) 2020-11-17 2021-11-30 撮影装置、画像の生産方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020190764A JP7132643B2 (ja) 2020-11-17 2020-11-17 撮影装置、画像の生産方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021193879A Division JP2022080309A (ja) 2020-11-17 2021-11-30 撮影装置、画像の生産方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022079898A JP2022079898A (ja) 2022-05-27
JP7132643B2 true JP7132643B2 (ja) 2022-09-07

Family

ID=81708810

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020190764A Active JP7132643B2 (ja) 2020-11-17 2020-11-17 撮影装置、画像の生産方法、およびプログラム
JP2021193879A Pending JP2022080309A (ja) 2020-11-17 2021-11-30 撮影装置、画像の生産方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021193879A Pending JP2022080309A (ja) 2020-11-17 2021-11-30 撮影装置、画像の生産方法、およびプログラム

Country Status (6)

Country Link
US (1) US20240013360A1 (ja)
EP (1) EP4250714A4 (ja)
JP (2) JP7132643B2 (ja)
KR (1) KR20230107272A (ja)
CA (1) CA3202213A1 (ja)
WO (1) WO2022107635A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020150331A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP2020170966A (ja) 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置、撮像装置の制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
EP3606033A1 (en) * 2018-07-31 2020-02-05 Honda Research Institute Europe GmbH Method and system for assisting a user in producing and selecting images
JP7166837B2 (ja) * 2018-08-09 2022-11-08 オリンパス株式会社 教師データ作成装置、教師データ作成方法、教師データ作成プログラム、学習装置及び撮像装置
JP2020086982A (ja) 2018-11-27 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102198337B1 (ko) * 2018-12-07 2021-01-04 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 매체.
JP7206878B2 (ja) 2018-12-14 2023-01-18 凸版印刷株式会社 分光画像推定システム、分光画像推定方法、及びプログラム
JP7312083B2 (ja) 2018-12-26 2023-07-20 株式会社リコー 画像形成装置
JP2020118494A (ja) 2019-01-22 2020-08-06 キヤノン株式会社 撮像システムおよび解析システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020150331A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP2020170966A (ja) 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置、撮像装置の制御方法

Also Published As

Publication number Publication date
CA3202213A1 (en) 2022-05-27
US20240013360A1 (en) 2024-01-11
EP4250714A1 (en) 2023-09-27
WO2022107635A1 (ja) 2022-05-27
JP2022079898A (ja) 2022-05-27
KR20230107272A (ko) 2023-07-14
EP4250714A4 (en) 2024-10-23
JP2022080309A (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
CN101325658A (zh) 成像设备、成像方法和计算机程序
WO2007004520A1 (ja) 検索システム及び検索方法
US9258458B2 (en) Displaying an image with an available effect applied
US20130251253A1 (en) Image processing device that displays retrieved image similar to target image
JP6374849B2 (ja) ユーザ端末、色彩補正システム及び色彩補正方法
US11729324B2 (en) Imaging apparatus
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP4403937B2 (ja) カメラ装置、情報処理装置、被写体識別方法
JP2005065048A (ja) 画像処理方法および装置、並びに画像処理プログラム
JP5402026B2 (ja) 電子カメラおよび画像処理プログラム
JP7132643B2 (ja) 撮影装置、画像の生産方法、およびプログラム
JP2010224666A (ja) 文書表示制御装置及びプログラム
JP2019032654A (ja) 画像処理装置、及び、画像処理方法、コンピュータプログラム
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
WO2022107636A1 (ja) 画像認識装置、学習システム、画像蓄積装置、画像認識方法、画像蓄積方法、および記録媒体
JP2005175839A (ja) 画像表示装置、画像表示方法、プログラムおよび記憶媒体
JP7333027B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2008090570A (ja) 情報処理装置及び情報処理方法
JP2014175733A (ja) 画像再生装置および画像再生プログラム
JP7537518B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2022158201A1 (ja) 画像処理装置、画像処理方法、プログラム
JP5218687B2 (ja) 画像変換装置、画像提供システム、撮影編集装置、画像変換方法、画像変換プログラム、および該プログラムを記録した記録媒体
KR20130104483A (ko) 객체를 분할하여 사진을 촬영하는 방법 및 장치
JP2017122975A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210113

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211220

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220304

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220308

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220517

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220705

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220802

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220819

R150 Certificate of patent or registration of utility model

Ref document number: 7132643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150