JP7424471B2 - 配置方法 - Google Patents

配置方法 Download PDF

Info

Publication number
JP7424471B2
JP7424471B2 JP2022510292A JP2022510292A JP7424471B2 JP 7424471 B2 JP7424471 B2 JP 7424471B2 JP 2022510292 A JP2022510292 A JP 2022510292A JP 2022510292 A JP2022510292 A JP 2022510292A JP 7424471 B2 JP7424471 B2 JP 7424471B2
Authority
JP
Japan
Prior art keywords
person
proportion
image
array
placement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022510292A
Other languages
English (en)
Other versions
JPWO2021192183A1 (ja
JPWO2021192183A5 (ja
Inventor
一馬 箕浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021192183A1 publication Critical patent/JPWO2021192183A1/ja
Publication of JPWO2021192183A5 publication Critical patent/JPWO2021192183A5/ja
Application granted granted Critical
Publication of JP7424471B2 publication Critical patent/JP7424471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、所定の領域に対する人物の配置を決定する配置方法、配置装置、プログラムに関する。
駅や空港、商店街、イベント会場など、多くの人物が訪れる場所においては、かかる人物によって群衆が形成される。このような群衆が形成される場所においては、安全の確保や警備などの対応を検討するために、混雑状況を把握する必要がある。例えば、人物による混雑状況を把握する方法として、特許文献１に記載の方法が開示されている。
特許文献１に記載の方法では、駅などを撮影した動画から混雑状況を解析している。具体的に、特許文献１では、動画から人物の特徴点を抽出し、かかる特徴点の軌跡から人物の移動軌跡を検出している。さらに、特許文献１では、人物が撮影されていない背景画像上に、人物を示すアイコンを配置している。これにより、人物を撮影した画像を表示することなく、被撮影者のプライバシーを守っている。
国際公開第２０１７／１４１４５４号
しかしながら、上述した特許文献１の方法では、背景画像上の人物を示すアイコンを配置する際の配置方法については不明である。このため、混雑状況を示す画像において、背景画像上に実際に人物が存在しているようにアイコンを配置できるか不明であり、実際の状況に対して不自然な人物配置となるおそれがある。このため、所定の領域を表す画像上に人物を配置する際に、実際の状況に応じて適切に人物を配置することができない、という問題がある。
このため、本発明の目的は、上述した課題である、所定の領域を表す画像上に人物を配置する際に、実際の状況に応じて適切に人物を配置することができない、という問題を解決することができる、配置方法、配置装置、プログラム、を提供することにある。
本発明の一形態である配置方法は、
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出し、
前記区分け領域毎の人物の割合を表す情報を、配列に変換し、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
という構成をとる。
また、本発明の一形態である配置装置は、
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
を備えた、
という構成をとる。
また、本発明の一形態であるプログラムは、
情報処理装置に、
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
を実現させる、
という構成をとる。
本発明は、以上のように構成されることにより、所定の領域を表す画像上に人物を配置する際に、実際の状況に応じて適切に人物を配置することができる。
本発明の実施形態１における情報処理システムの全体構成を示す図である。 本発明の実施形態１における画像生成装置の構成を示すブロック図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理の様子を示す図である。 図１に開示した画像生成装置による処理動作を示すフローチャートである。 本発明の実施形態１における配置装置のハードウェア構成を示すブロック図である。 本発明の実施形態４における配置装置の構成を示すブロック図である。 本発明の実施形態４における配置装置の動作を示すフローチャートである。
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１０を参照して説明する。図１乃至図２は、情報処理システムの構成を説明するための図であり、図３乃至図１０は、情報処理システムの処理動作を説明するための図である。
［構成］
本発明における情報処理システムは、室内や屋外などに設定された対象領域Ｒに存在する人物Ｐを検出し、かかる人物Ｐに相当する人物画像を配置した群衆画像を生成するものである。対象領域Ｒは、例えば、駅や空港、商店街、イベント会場など、多くの人物が訪れる場所である。このため、情報処理システムは、対象領域Ｒにおける人物の混雑状況を把握するために群衆画像を生成する。特に、本実施形態における情報処理システムでは、人物が撮影されていない背景画像上に、人物Ｐに相当する抽象化された人物画像を配置して群衆画像を生成することで、人物Ｐのプライバシーを守ることとしている。但し、対象領域Ｒは、上述した場所に限定されず、いかなる場所であってもよい。
図１に示すように、本実施形態における情報処理システムは、対象領域Ｒを撮影するためのカメラＣと、群衆画像を生成する画像生成装置１０と、生成した群衆画像を表示するよう出力する出力装置２０と、を備えている。
上記カメラＣは、対象領域Ｒの画像である領域画像を撮影するためのものであり、対象領域Ｒを斜め上方から撮影するよう設置されている。例えば、カメラＣは、後述するように、その撮影方向が水平面に対して所定の角度θを成すよう配置されている。そして、カメラＣは、例えば、予め設定された時刻など任意のタイミングで対象領域Ｒの画像を撮影し、領域画像として画像生成装置１０に送信する。
上記出力装置２０は、例えば、ディスプレイと言った表示装置からなる。出力装置２０は、後述するように画像生成装置１０にて生成された群衆画像を、当該画像生成装置１０からの表示指令に応じて表示するよう出力する。但し、出力装置２０は、必ずしも表示装置であることに限定されず、例えば、群衆画像を印刷する印刷装置というように、いかなる出力方法で群衆画像を出力するものであってもよい。
上記画像生成装置１０（配置装置）は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像生成装置１０は、図２に示すように、検出部１１、変換部１２、決定部１３、表示部１４、を備える。検出部１１、変換部１２、決定部１３、表示部１４、の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、画像生成装置１０は、人物情報記憶部１５、画像情報記憶部１６、を備える。人物情報記憶部１５及び画像情報記憶部１６は、記憶装置により構成される。以下、各構成について詳述する。
上記検出部１１（検出手段）は、まず、カメラＣにて撮影された対象領域Ｒの領域画像を受け付ける。このとき、検出部１１は、例えば、人物Ｐが存在しないときに撮影された領域画像を、背景画像として画像情報記憶部１６に記憶しておく。なお、画像情報記憶部１６に記憶される背景画像は、必ずしも実際にカメラＣにて撮影された対象領域Ｒの領域画像であることに限定されず、コンピュータグラフィックスなどにより作成された画像であってもよい。
また、検出部１１は、対象領域Ｒに人物Ｐが存在している領域画像から、人物Ｐを検出する処理を行う。具体的に、検出部１１は、まず図３に示すように、領域画像上における対象領域Ｒをさらに高さ方向及び水平方向にそれぞれ複数の領域に区分けした複数の区分け領域ｒを設定する。このとき、検出部１１は、領域画像における遠近状況を考慮し、当該領域画像上の手前側に位置する区分け領域ｒは広く設定し、奥側に位置する区分け領域ｒは狭く設定する。これにより、検出部１１は、図４の点線で示すようにカメラＣによる撮影範囲となる対象領域Ｒに対して、実線の矩形で示す複数の区分け領域ｒを設定することとなる。
そして、検出部１１は、区分け領域ｒ毎に、当該区分け領域ｒ内に存在する人物の割合を検出する。このとき、検出部１１は、区分け領域ｒ内に映る人物Ｐの体全体の割合に応じて、区分け領域ｒに存在する人物Ｐの割合を検出する。つまり、検出部１１は、区分け領域ｒ内に存在する人物Ｐの一人に対する割合を検出することで、区分け領域ｒ内に存在する人物Ｐの数を小数で検出することとなる。具体的に、検出部１１は、まず、対象画像内に存在する人物Ｐの体全体を検出する。一例として、人物Ｐの体全体は、対象画像に映る物体の形状や色から判別するが、いかなる方法で検出してもよい。そして、検出部１１は、検出した１人の人物Ｐの体全体が、どの程度の割合で各区分け領域ｒに映っているかを調べ、その割合を区分け領域ｒに存在する人物Ｐの割合として検出する。図３の例では、カメラＣに対して最も手前に位置する各区分け領域ｒにおいてはいずれも０．０人、次に奥側に位置する区分け領域ｒには、０．５人、０．７人、０．９人、０．１人、さらに奥側に位置する区分け領域ｒには、１．２人、０．８人、０．７人、０．９人、０．８人、というように検出する。なお、検出部１１による各区分け領域ｒにおける人物Ｐの割合の検出方法は、上述した方法に限定されない。
なお、検出部１１は、上述したように人物Ｐを検出した際に、かかる人物Ｐの高さつまり身長を検出する。このとき、検出部１１は、対象画像内において人物Ｐを検出した位置応じて、カメラＣに対する人物Ｐの遠近方向の位置を考慮し、人物Ｐの身長を検出する。そして、人物Ｐの身長は、かかる人物Ｐを検出した区分け領域ｒに対応付けて記憶しておく。また、検出部１１は、人物Ｐの性別、年齢などの属性を検出してもよく、かかる人物Ｐを検出した区分け領域ｒに対応付けて記憶する。例えば、検出部１１は、人物Ｐの身長や顔の特徴点間の位置関係などに基づいて、人物Ｐの属性を検出する。
上記変換部１２（変換手段）は、上述したように検出した区分け領域ｒ毎の人物Ｐの割合を表す数の情報を、配列に変換する。具体的に、変換部１２は、図５の上図に示すように、区分け領域ｒ毎の人物Ｐの割合を表す数を、当該数に応じた大きさの矩形の図形である割合図形に変換して、さらに、当該割合図形を一列に連結して配置した配列を生成する。つまり、変換部１２は、区分け領域ｒ毎の人物Ｐの割合を表す数を、その値が大きいほど横方向の長さが長い矩形の割合図形に変換し、各割合図形を横方向に一列に連結して配列を生成する。例えば、図５の上図の例においては、左側から１番目の割合図形は、０．６人に相当する長さの矩形で表し、左側から２番目の割合図形は、０．５人に相当する長さの矩形で表すこととする。
上記決定部１３（決定手段）は、上述したように生成した配列に基づいて、区分け領域ｒに対する個々の人物Ｐの配置を決定する。つまり決定部１３は、一人一人の人物Ｐが、どの区分け領域ｒに位置するかを決定する。具体的に、決定部１３は、図５の上図に示す配列から、当該配列内において一列に連結された割合図形を、図５の中央図に示すように横方向に一人ずつの人物の大きさに応じた個別人物図形に区切った個別人物図形配列を生成する。つまり、決定部１３は、個別人物図形配列においては、区分け領域ｒに関係なく、人物一人分の長さの個別人物図形に順次区切ることで、当該個別人物図形が横方向に一列に配置された個別人物図形配列を生成することとなる。
そして、決定部１３は、図５の上図に示す配列と、図５の中央図に示す個別人物図形配列と、に基づいて、区分け領域ｒに対する一人一人の人物Ｐの配置を決定する。このとき、決定部１３は、図５の中央図に示す個別人物図形配列における一人一人の人物Ｐに区切った個別人物図形の区切り位置が、図５の下図に示す配列内におけるどの割合図形に対応して位置するかを調べる。そして、決定部１３は、図５の中央図から下図への矢印及び図５の下図の斜線で示すように、個別人物図形配列における個別人物図形の区切り位置に対応する、図５の下図の斜線に示す配列内の割合図形を特定し、特定した割合図形に対応する区分け領域ｒに一人一人の人物Ｐを配置することを決定する。
これにより、決定部１３は、図５の例においては、配列の左側から２番目の０．６人の割合図形に対応する区分け領域ｒ２、左側から４番目の０．１人の割合図形に対応する区分け領域ｒ４、などに、それぞれ一人の人物Ｐを配置することを決定する。なお、図５の例における配列の左から９番目の２．１人の割合図形に対応する区分け領域ｒ９に対しては、２人の人物Ｐを配置することを決定する。
以上のようにして、決定部１３は、全ての区分け領域ｒについて、配置する人物Ｐの人数を決定する。例えば、決定部１３は、図６に示すように、対象領域Ｒ内の全ての区分け領域Ｒに対応する位置に、それぞれ決定された人物Ｐの人数を関連付けて記憶する。なお、決定部１３は、さらに、区分け領域ｒに位置すると決定された人物Ｐの当該区分け領域ｒ内の詳細な位置をランダムに決定して記憶しておく。
但し、上述した決定部１３による区分け領域ｒに人物Ｐの配列を決定する方法は一例であって、他の方法で決定してもよい。例えば、決定部１３は、図５の中央図に示す個別人物図形配列における個別人物図形のいずれかの位置に対応する配列内の割合図形を特定し、特定した割合図形に対応する区分け領域ｒに一人一人の人物Ｐを配置することを決定してもよい。一例として、図５では、個別人物図形配列の左側から１番目の個別人物図形は、そのいずれかの位置が、配列の左側から１番目と２番目の２つの割合図形に対応して位置することとなる。この場合、２つの割合図形のうち１つのみを特定し、特定した割合図形に対応する区分け領域ｒに一人の人物Ｐを配置することを決定する。なお、１つの個別人物図形に対して３つ以上の割合図形が対応する場合には、そのうち１つのみを特定し、特定した割合図形に対応する区分け領域ｒに一人の人物Ｐを配置することを決定する。
上記表示部１４（表示手段）は、画像情報記憶部１６に記憶されている対象領域Ｒに対応する背景画像に、人物Ｐに相当する人物画像を配置した群衆画像を生成し、出力装置２０に表示するよう出力する。このとき、背景画像に配置する人物画像は、予め用意されたものであり、画像情報記憶部１６に記憶されている。例えば、人物画像は、予め複数用意されており、図７に示すように、左から、男性、女性、子供、というように、３種類用意されている。このため、表示部１４は、区分け領域ｒに対応付けられた人物Ｐの属性（性別や年齢）に応じた種類の人物画像を選択して、背景画像に配置する。
ここで、３種類の人物画像は、図７に示すように、画像自体の高さが同一に形成されており、画像内に描画されている人物部分の高さが異なるよう構成されている。具体的には、図７に示すように、全ての人物画像は符号Ｈに示す高さに形成されているが、人物画像内に描かれている人物の高さは、男性はほぼ人物画像と同一の高さＨであることに対して、女性は人物画像の高さＨよりも低い高さｈ１であり、子供は高さＨよりも低い高さｈ２である。つまり、女性と子供については、女性部分の高さｈ１と子供部分の高さｈ２の上方にそれぞれ余白ｂ１，ｂ２を設けて、人物画像の高さＨを統一している。
そして、表示部１４は、区分け領域ｒに対応付けられた人物Ｐの身長、区分け領域ｒ内の位置を、カメラＣによる撮影状況である撮影角度に応じて補正して、背景画像に人物画像を配置する。例えば、図８に示すように、カメラＣは、その撮影方向が水平面に対して所定の角度θを成すよう配置されていることとする。この場合、検出された人物Ｐの身長ｔと角度θを用いて、（ｔ×tanθ）を人物Ｐの区分け領域ｒ内の位置の補正値とする。このため、人物Ｐの位置ｆを、図６の符号Ｆに示す位置に補正する。併せて、表示部１４は、人物Ｐの身長ｔを、当該人物の補正した位置Ｆから頭頂部までの距離を身長Ｔとなるよう補正する。
以上のようにして、表示部１４は、図９に示すように、対象領域Ｒに対応する背景画像に、人物Ｐに相当する人物画像を配置した群衆画像を生成し、出力装置２０に表示するよう出力する。特に、表示部１４は、各区分け領域ｒ内において、上述したように補正した位置Ｆに人物画像を配置すると共に、人物画像の人物部分が上述したように補正した身長Ｔに対応する高さとなるよう当該人物画像を拡大あるいは縮小させて配置する。
なお、表示部１４は、例えば、背景画像に人物画像を配置して群衆画像を生成する際に、以下のような処理を施す。例えば、表示部１４は、人物部分と背景とのボーダー色を白とし、人物画像の人物部分を複数の色で描画してもよい。また、表示部１４は、人物画像と背景画像との間でアンチエイリアス処理を行うことで、シャギーが目立たないよう自然な画像とすることができる。なお、背景画像の手前側と奥側とで同様のアンチエイリアス処理を行うと、奥側の人物画像のボーダーが消失することとなるが、表示部１４は、人物画像の配置位置に対するカメラＣからの距離や、人物画像の縮小率などに応じて、描画色に計数を乗じて補正することで、自然な画像とすることができる。
また、表示部１４は、群衆画像に遠近感を表現するために、以下のような処理を行ってもよい。例えば、表示部１４は、背景画像の手前側から奥側に向かって、人物画像の透明度を徐々に高くしてもよい。透明度を変えることで、遠いほど色が淡くなるといった空気遠近法に類似した効果を得ることができる。なお、透明度の変化のために画素値に乗じる透過係数は、カメラＣからの人物画像までの距離や人物画像のサイズなどに応じて、線形に変化させてもよく、イメージング関数などを使用して非線形に変化させてもよい。
また、表示部１４は、人物画像を重畳表示する際に、以下のように各画素の描画色を設定してもよい。例えば、8bit深度の人物画像を仮定し、各画素について、画素値(0～255)を s, 描画したい体色を Cb, ボーダー色を Ce, アンチエイリアスの補正係数を ta とすると、人物画像のある画素における描画色 Ci を、以下の数１式のように決定する。
また、人物画像のある画素における透明度(0～255)を α, 遠近感の表現のための透過係数を tb, 背景画像の画素値を Cs とすると、人物画像の描画色 Ci を重畳したあとの新しい画素値 Cdを、以下の数２式のように決定する。
また、表示部１４は、立体感を表現するために、カメラから遠い位置に描画される人物画像から、距離の遠い順に描画したり、地面に楕円形の影を描画し、その上に人物画像を重畳することとしてもよい。また、表示部１４は、タイル状の群衆密度マップをヒートマップとして人物画像の足元に描画してもよい。また、表示部１４は、群衆の密度に限らず、群衆の動きの大きさ、移動方向、性別や年齢の割合などを数値化したものを、マップ情報として重畳してもよい。
［動作］
次に、上述した情報処理システムの動作、特に、画像生成装置１０の動作を、主に図１０のフローチャートを参照して説明する。画像生成装置１０は、カメラＣにて撮影された対象領域Ｒの領域画像を受け付ける。はじめに、画像生成装置１０は、人物Ｐが存在しないときに撮影された領域画像を背景画像として記憶しておく。
その後、画像生成装置１０は、カメラＣにて撮影された対象領域Ｒの領域画像を受け付けると（ステップＳ１）、当該領域画像から、人物Ｐを検出する処理を行う。このとき、画像生成装置１０は、図３及び図４に示すように、領域画像上における対象領域Ｒをさらに高さ方向及び水平方向にそれぞれ複数の領域に区分けした複数の区分け領域ｒを設定し、当該区分け領域ｒ毎に、存在する人物Ｐの割合を検出する（ステップＳ２）。例えば、画像生成装置１０は、図３に示すように、区分け領域ｒ毎に存在する人物Ｐの一人に対する割合を検出することで、区分け領域ｒ内に存在する人物Ｐの数を小数で検出することとなる。
続いて、画像生成装置１０は、検出した区分け領域ｒ毎の人物Ｐの割合を表す数の情報を、配列に変換する（ステップＳ３）。例えば、画像生成装置１０は、図５の上図に示すように、区分け領域ｒ毎の人物Ｐの割合を表す数を、当該数に応じた大きさの矩形の図形である割合図形に変換して、さらに、当該割合図形を一列に連結して配置した配列を生成する。そして、画像生成装置１０は、生成した配列に基づいて、区分け領域ｒに対する個々の人物Ｐの配置を決定する（ステップＳ４）。例えば、画像生成装置１０は、図５の上図に示す配列から、当該配列内において一列に連結された割合図形を、図５の中央図に示すように横方向に一人ずつの人物の大きさに応じた個別人物図形に区切った個別人物図形配列を生成する。そして、画像生成装置１０は、図５の上図に示す配列と、図５の中央図に示す個別人物図形配列と、に基づいて、区分け領域ｒに対する一人一人の人物Ｐの配置を決定する。一例として、画像生成装置１０は、図５の中央図に示す個別人物図形配列における一人一人の人物Ｐに区切った個別人物図形の区切り位置が、図５の下図に示す配列内におけるどの割合図形に対応して位置するかを調べる。そして、画像生成装置１０は、図５の中央図から下図への矢印及び図５の下図の斜線で示すように、個別人物図形配列における個別人物図形の区切り位置に対応する配列内の割合図形を特定し、特定した割合図形に対応する区分け領域ｒに一人一人の人物Ｐを配置することを決定する。
以上のようにして、画像生成装置１０は、全ての区分け領域ｒについて、配置する人物Ｐの人数を決定する。例えば、画像生成装置１０は、図６に示すように、対象領域Ｒ内の全ての区分け領域Ｒに対応する位置に、それぞれ決定された人物Ｐの人数を関連付けて記憶する。なお、画像生成装置１０は、さらに、区分け領域ｒに位置すると決定された人物Ｐの当該区分け領域ｒ内の詳細な位置をランダムに決定して記憶しておく。
続いて、画像生成装置１０は、記憶されている対象領域Ｒに対応する背景画像に、人物Ｐに相当する人物画像を配置した群衆画像を生成する前に、人物画像の配置位置や大きさを補正する（ステップＳ５）。例えば、画像生成装置１０は、区分け領域ｒに対応付けられた人物Ｐの身長や、区分け領域ｒ内の位置を、カメラＣによる撮影状況である撮影角度に応じて補正する。そして、画像生成装置１０は、補正した情報に応じて、人物画像の位置や大きさを変換して背景画像に配置した群衆画像を生成し、出力装置２０に表示するよう出力する（ステップＳ６）。
以上のように、本実施形態によると、まず、対象領域を区分けした区分け領域毎に存在する人物の割合を検出し、かかる人物の割合を配列に変換し、当該配列に基づいて、区分け領域に対する個々の人物の配置を決定している。このため、対象領域の実際の状況に応じた適切な位置に人物を配置することができ、自然な群衆画像を生成することができる。
なお、上記では、対象領域ＲをカメラＣで撮影した画像から、対象領域Ｒを区分けした区分け領域ｒ毎に存在する人物の割合を検出しているが、区分け領域ｒ毎に存在する人物の割合を必ずしも画像から検出することに限定されない。例えば、対象領域Ｒ上の空間を計測対象とするよう設置された赤外線センサなどの検出装置や、対象領域Ｒの地面に設置された感圧センサなどの検出装置を用いて、区分け領域ｒ毎に存在する人物の割合を検出してもよい。
＜実施形態２＞
次に、本発明の第２の実施形態を、図１１乃至図１３を参照して説明する。図１１乃至図１２は、実施形態２における配置装置の構成を示すブロック図であり、図１３は、配置装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した配置装置及び配置方法の構成の概略を示している。
まず、図１１を参照して、本実施形態における配置装置１００のハードウェア構成を説明する。配置装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
そして、配置装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１２に示す検出手段１２１と変換手段１２２と決定手段１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した検出手段１２１と変換手段１２２と決定手段１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
なお、図１１は、配置装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
そして、配置装置１００は、上述したようにプログラムによって構築された検出手段１２１と変換手段１２２と決定手段１２３との機能により、図１３のフローチャートに示す配置方法を実行する。
図１３に示すように、配置装置１００は、
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出し（ステップＳ１０１）、
前記区分け領域毎の人物の割合を表す情報を、配列に変換し（ステップＳ１０２）、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する（ステップＳ１０３）、
という処理を実行する。
本発明は、以上のように構成されることにより、まず、対象領域を区分けした区分け領域毎に存在する人物の割合を検出し、かかる人物の割合を配列に変換し、当該配列に基づいて、区分け領域に対する個々の人物の配置を決定している。このため、対象領域の実際の状況に応じた適切な位置に人物を配置することができる。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した検出手段１２１と変換手段１２２と決定手段１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における配置方法、配置装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出し、
前記区分け領域毎の人物の割合を表す情報を、配列に変換し、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
配置方法。
（付記２）
付記１に記載の配置方法であって、
前記区分け領域毎の人物の割合を表す情報を、当該割合に応じた大きさの割合図形に変換すると共に、当該割合図形を一列に連結して配置した前記配列に変換し、
前記配列から当該配列内において連結された前記割合図形を個々の人物に応じた大きさの個別人物図形に区切った個別人物図形配列を生成し、当該個別人物図形配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
配置方法。
（付記３）
付記２に記載の配置方法であって、
前記個別人物図形配列内における前記個別人物図形の位置と、前記配列内における前記割合図形の位置と、に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
配置方法。
（付記４）
付記３に記載の配置方法であって、
前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形に対応する前記区分け領域に、人物を配置するよう決定する、
配置方法。
（付記５）
付記４に記載の配置方法であって、
前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形が複数存在する場合に、当該複数の前記割合図形のうちの１つに対応する前記区分け領域に、人物を配置するよう決定する、
配置方法。
（付記６）
付記１乃至５のいずれかに記載の配置方法であって、
決定された個々の人物の配置に基づいて、前記対象領域に対応する画像である領域画像上に、人物を表す画像である人物画像を表示する、
配置方法。
（付記７）
付記６に記載の配置方法であって、
前記対象領域を撮影装置にて撮影することで、前記区分け領域毎に存在する人物の割合を検出し、
前記撮影装置による撮影状況に応じて、前記人物画像の大きさ及び／又は表示位置を補正して当該人物画像を前記領域画像上に表示する、
配置方法。
（付記８）
付記６又は７に記載の配置方法であって、
予め用意された複数種類の前記人物画像を前記領域画像上に表示する、
配置方法。
（付記９）
付記８に記載の配置方法であって、
複数種類の前記人物画像は、画像の高さ方向の大きさが同一であり、当該画像内に描画された人物部分の高さが異なるよう構成されている、
配置方法。
（付記１０）
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
を備えた配置装置。
（付記１１）
付記１０に記載の配置装置であって、
前記変換手段は、前記区分け領域毎の人物の割合を表す情報を、当該割合に応じた大きさの割合図形に変換すると共に、当該割合図形を一列に連結して配置した前記配列に変換し、
前記決定手段は、前記配列から当該配列内において連結された前記割合図形を個々の人物に応じた大きさの個別人物図形に区切った個別人物図形配列を生成し、当該個別人物図形配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
配置装置。
（付記１２）
付記１１に記載の配置装置であって、
前記決定手段は、前記個別人物図形配列内における前記個別人物図形の位置と、前記配列内における前記割合図形の位置と、に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
配置装置。
（付記１３）
付記１２に記載の配置装置であって、
前記決定手段は、前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形に対応する前記区分け領域に、人物を配置するよう決定する、
配置装置。
（付記１４）
付記１３に記載の配置装置であって、
前記決定手段は、前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形が複数存在する場合に、当該複数の前記割合図形のうちの１つに対応する前記区分け領域に、人物を配置するよう決定する、
配置装置。
（付記１５）
付記１０乃至１４のいずれかに記載の配置装置であって、
決定された個々の人物の配置に基づいて、前記対象領域に対応する画像である領域画像上に、人物を表す画像である人物画像を表示する表示手段を備えた、
配置装置。
（付記１６）
付記１５に記載の配置装置であって、
前記検出手段は、前記対象領域を撮影装置にて撮影することで、前記区分け領域毎に存在する人物の割合を検出し、
前記表示手段は、前記撮影装置による撮影状況に応じて、前記人物画像の大きさ及び／又は表示位置を補正して当該人物画像を前記領域画像上に表示する、
配置装置。
（付記１７）
付記１５又は１６に記載の配置装置であって、
前記表示手段は、予め用意された複数種類の前記人物画像を前記領域画像上に表示する、
配置装置。
（付記１８）
情報処理装置に、
対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
を実現させるためのプログラム。
（付記１９）
付記１８に記載のプログラムであって、
情報処理装置に、さらに、
決定された個々の人物の配置に基づいて、前記対象領域に対応する画像である領域画像上に、人物を表す画像である人物画像を表示する表示手段、
を実現させるためのプログラム。
１０ 画像生成装置
１１ 検出部
１２ 変換部
１３ 決定部
１４ 表示部
１５ 人物情報記憶部
１６ 画像情報記憶部
２０ 出力装置
Ｃ カメラ
Ｐ 人物
Ｒ 対象領域
ｒ 区分け領域
１００ 配置装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 検出手段
１２２ 変換手段
１２３ 決定手段

Claims (10)

  1. 情報処理装置が、
    対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出し、
    前記区分け領域毎の人物の割合を表す情報を、配列に変換し、
    前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
    配置方法。
  2. 請求項１に記載の配置方法であって、
    前記情報処理装置が、
    前記区分け領域毎の人物の割合を表す情報を、当該割合に応じた大きさの割合図形に変換すると共に、当該割合図形を一列に連結して配置した前記配列に変換し、
    前記配列から当該配列内において連結された前記割合図形を個々の人物に応じた大きさの個別人物図形に区切った個別人物図形配列を生成し、当該個別人物図形配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
    配置方法。
  3. 請求項２に記載の配置方法であって、
    前記情報処理装置が、
    前記個別人物図形配列内における前記個別人物図形の位置と、前記配列内における前記割合図形の位置と、に基づいて、前記区分け領域に対する個々の人物の配置を決定する、
    配置方法。
  4. 請求項３に記載の配置方法であって、
    前記情報処理装置が、
    前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形に対応する前記区分け領域に、人物を配置するよう決定する、
    配置方法。
  5. 請求項４に記載の配置方法であって、
    前記情報処理装置が、
    前記個別人物図形配列内における前記個別人物図形の位置に対応して位置する前記配列内における前記割合図形が複数存在する場合に、当該複数の前記割合図形のうちの１つに対応する前記区分け領域に、人物を配置するよう決定する、
    配置方法。
  6. 請求項１乃至５のいずれかに記載の配置方法であって、
    前記情報処理装置が、
    決定された個々の人物の配置に基づいて、前記対象領域に対応する画像である領域画像上に、人物を表す画像である人物画像を表示する、
    配置方法。
  7. 請求項６に記載の配置方法であって、
    前記情報処理装置が、
    前記対象領域を撮影装置にて撮影することで、前記区分け領域毎に存在する人物の割合を検出し、
    前記撮影装置による撮影状況に応じて、前記人物画像の大きさ及び／又は表示位置を補正して当該人物画像を前記領域画像上に表示する、
    配置方法。
  8. 請求項６又は７に記載の配置方法であって、
    前記情報処理装置が、
    予め用意された複数種類の前記人物画像を前記領域画像上に表示する、
    配置方法。
  9. 対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
    前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
    前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
    を備えた配置装置。
  10. 情報処理装置に、
    対象領域を複数の領域に区分けした区分け領域毎に存在する人物の割合を検出する検出手段と、
    前記区分け領域毎の人物の割合を表す情報を、配列に変換する変換手段と、
    前記配列に基づいて、前記区分け領域に対する個々の人物の配置を決定する決定手段と、
    を実現させるためのプログラム。
JP2022510292A 2020-03-26 2020-03-26 配置方法 Active JP7424471B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013811 WO2021192183A1 (ja) 2020-03-26 2020-03-26 配置方法

Publications (3)

Publication Number Publication Date
JPWO2021192183A1 JPWO2021192183A1 (ja) 2021-09-30
JPWO2021192183A5 JPWO2021192183A5 (ja) 2022-10-14
JP7424471B2 true JP7424471B2 (ja) 2024-01-30

Family

ID=77889932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510292A Active JP7424471B2 (ja) 2020-03-26 2020-03-26 配置方法

Country Status (3)

Country Link
US (1) US20230103768A1 (ja)
JP (1) JP7424471B2 (ja)
WO (1) WO2021192183A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015222881A (ja) 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2019009752A (ja) 2017-06-20 2019-01-17 一般社団法人 日本画像認識協会 画像処理装置
JP2019071050A (ja) 2017-10-06 2019-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015222881A (ja) 2014-05-23 2015-12-10 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2019009752A (ja) 2017-06-20 2019-01-17 一般社団法人 日本画像認識協会 画像処理装置
JP2019071050A (ja) 2017-10-06 2019-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230103768A1 (en) 2023-04-06
WO2021192183A1 (ja) 2021-09-30
JPWO2021192183A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102271527B1 (ko) 화상처리장치, 화상처리방법 및 기억매체
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
JP3684017B2 (ja) 画像処理装置及び方法
US9342738B2 (en) Image processing to improve physique of imaged subject
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
US9256793B2 (en) Apparatus and method for extracting object image
JP2009194644A (ja) 画像処理装置，画像処理方法及び撮像装置
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
WO2022160592A1 (zh) 一种信息处理方法、装置、电子设备及存储介质
CN107480615A (zh) 美颜处理方法、装置及移动设备
BR102022015085A2 (pt) Aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento
JP5787644B2 (ja) 画像処理装置および画像処理装置の制御方法
JP2011002882A (ja) 撮像装置、画像処理プログラム、および撮像方法
JP7424471B2 (ja) 配置方法
US20170186223A1 (en) Detection of shadow regions in image depth data caused by multiple image sensors
KR102220917B1 (ko) 재난영상을 송출하는 기능을 갖는 led전광판 시스템, 방법 및 컴퓨터-판독가능 매체
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
JP5419773B2 (ja) 顔画像合成装置
JP2016224930A (ja) ビデオ内のオブジェクトを境界設定するための方法およびデバイス
JP2005149145A (ja) 物体検出装置、物体検出方法、およびコンピュータプログラム
JP7392850B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20210012459A1 (en) Image processing method and apparatus
CN116940964A (zh) 信息处理设备、信息处理方法和程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151