Yleiskatsaus Eräkäsittelyyn Java EE 7.0

tutkii JSR 352: n tarjoamaa uutta eräkäsittelykykyä Java EE 7: lle.

eräkäsittelyä käytetään monilla toimialoilla tehtäviin, jotka vaihtelevat palkanlaskennasta, statement generationista, end-of-day-töistä, kuten korkojen laskemisesta ja ETL: stä (Pura, lataa ja muuta) tietovarastoon; ja paljon muuta. Tyypillisesti eräkäsittely on irtotavarapainotteista, ei—vuorovaikutteista ja pitkäkestoista – ja saattaa olla data-tai laskentaintensiivistä. Erätyöt voidaan suorittaa aikataulussa tai aloittaa pyynnöstä. Myös, koska erätyöt ovat tyypillisesti pitkäkestoisia töitä, check-pointing ja uudelleenkäynnistys ovat yhteisiä piirteitä löytyy erätöitä.

JSR 352 (Batch Processing for Java Platform), joka on osa äskettäin esitettyä Java EE 7-alustaa, määrittelee ohjelmointimallin eräsovelluksille sekä ajoajan erätöiden suorittamiseen ja hallintaan. Tässä artikkelissa käsitellään joitakin keskeisiä käsitteitä, kuten ominaisuus kohokohtia, katsaus valittujen API, rakenne työn määritys kieli, ja näyte erän sovellus. Artikkelissa kuvataan myös, miten voit suorittaa erän sovelluksia käyttäen GlassFish Server Open Source Edition 4.0.

Eräajoarkkitehtuuri

tässä jaksossa ja Kuvassa 1 kuvataan eräajoarkkitehtuurin peruskomponentit.

kuva 1

• a työ kiteyttää koko eräprosessin. Työ sisältää yhden tai useamman vaiheen. Työ kootaan käyttämällä Job Specification Language (JSL), joka määrittää järjestyksessä, jossa vaiheet on suoritettava. JSR 352: ssa JSL määritellään XML-tiedostossa, jota kutsutaan job XML-tiedostoksi. Lyhyesti sanottuna työ (JSR 352: n kanssa) on periaatteessa säiliö askelille.
• askel on toimialueen olio, joka kiteyttää työn itsenäisen, peräkkäisen vaiheen. Vaihe sisältää kaikki tarvittavat logiikka ja tiedot suorittaa todellinen käsittely. Eräspesifikaatio jättää tarkoituksella askeleen määritelmän epämääräiseksi, koska vaiheen sisältö on puhtaasti sovelluskohtainen ja voi olla niin monimutkainen tai yksinkertainen kuin kehittäjä haluaa. Askelia on kahdenlaisia: kimpale ja batchlet.
  • lohkotyylinen vaihe sisältää tasan yhden ItemReader, yhden ItemProcessor ja yhden ItemWriter. Tässä kuviossa ItemReader lukee yhden kohteen kerrallaan, ItemProcessor käsittelee kohteen liiketoimintalogiikan perusteella (kuten” laske tilin saldo”) ja luovuttaa sen eräajolle aggregoitavaksi. Kun ”chunk-size” – kappalemäärä on luettu ja käsitelty, ne annetaan ItemWriter, joka kirjoittaa tiedot (esimerkiksi tietokantataulukkoon tai litteään tiedostoon). Tämän jälkeen kauppa tehdään.
  • JSR 352 määrittelee myös roll-your-omanlaisensa askeleen, jota kutsutaan lepakoksi. Batchlet on vapaa käyttämään mitä tahansa suorittaa askeleen, kuten lähettämällä sähköpostia.
• JobOperator tarjoaa käyttöliittymän, jolla voi hallita kaikkia työn käsittelyn osa-alueita, mukaan lukien toimintakomennot, kuten käynnistys -, uudelleenkäynnistys-ja pysäytyskomennot, sekä työvaraston komennot, kuten työn ja askelteloitusten nouto. Lisätietoja JobOperator, KS.JSR 352-eritelmän kohta 10.4.
• JobRepository sisältää tietoa nykyisin käynnissä olevista ja aiemmin jatkuneista työpaikoista. JobOperator tarjoaa sovellusliittymiä tämän arkiston käyttöön. JobRepository voitiin toteuttaa vaikkapa tietokantaa tai tiedostojärjestelmää käyttäen.

yksinkertaisen Palkanlaskentasovelluksen kehittäminen

tässä artikkelissa esitellään joitakin JSR 352: n keskeisiä ominaisuuksia yksinkertaisen palkanlaskentasovelluksen avulla. Sovellus on tarkoituksella pidetty melko yksinkertaisena, jotta voidaan keskittyä JSR 352: n keskeisiin käsitteisiin.

SimplePayrollJob erätyössä luetaan palkanlaskennan syöttötiedot pilkulla erotellusta arvoista (CSV)-tiedostosta. Jokainen rivi tiedoston sisältää työntekijän tunnus ja peruspalkka (kuukaudessa) yhden työntekijän. Tämän jälkeen erätyö laskee ennakonpidätettävän veron, bonuksen ja nettopalkan. Työ tarvitsee lopulta kirjoittaa käsitellyt palkkatiedot tietokantataulukkoon.

käytämme CSV-tiedostoa tässä esimerkissä vain osoittaaksemme, että JSR 352 mahdollistaa eräsovellusten lukemisen ja kirjoittamisen mistä tahansa mielivaltaisesta lähteestä.

työn Määrittelykieli palkkahallinnon Käsittelysovellukselle

keskustelimme siitä, että askel on toimialueen objekti, joka kiteyttää itsenäisen, peräkkäisen vaiheen työstä, ja työ on periaatteessa säiliö yhdelle tai useammalle vaiheelle.

JSR 352: ssa JSL periaatteessa määrittää, missä järjestyksessä vaiheet on suoritettava tehtävän suorittamiseksi. JSL on tarpeeksi tehokas mahdollistamaan ehdollisen suorittamisen vaiheet, ja se mahdollistaa myös jokaisen vaiheen on omat ominaisuudet, kuuntelijat, ja niin edelleen.

eräsovelluksessa voi olla niin monta JSLs: ää kuin haluaa, jolloin se voi aloittaa niin monta erätyötä kuin tarvitaan. Esimerkiksi hakemuksessa voi olla kaksi JSLs: ää, toinen palkanlaskentaan ja toinen raportin laatimiseen. Jokainen JSL on nimettävä yksikäsitteisesti ja se on sijoitettava META-INF/batch-jobs hakemistoon. Alihakemistoja META-INF/batch-jobs ei oteta huomioon.

meidän JSL palkanlaskentaa varten on sijoitettu tiedostoon SimplePayrollJob.xml ja näyttää Listaukselta 1:

 <job xmlns=http://xmlns.jcp.org/xml/ns/javaee version="1.0"> <step> <chunk item-count="2"> <reader ref="simpleItemReader/> <processor ref="simpleItemProcessor/> <writer ref="simpleItemWriter/> </chunk> </step></job>

listaus 1

meidän SimplePayrollJob erätyössä on vain yksi vaihe (ns. Se on lohkotyylinen askel ja siinä on (lohkotyylisen askeleen vaatimana) ItemReaderItemProcessor ja ItemWriterItemReaderItemProcessor ja ItemWriter tämän vaiheen toteutukset on määritelty käyttämällä ref attribuuttia <reader><processor>, ja <writer> Elements.

kun työ on lähetetty (näemme myöhemmin, miten lähetät erätöitä), eräajo alkaa JSL: n ensimmäisestä vaiheesta ja kulkee tiensä läpi, kunnes koko työ on valmis tai yksi vaihe epäonnistuu. JSL on tarpeeksi tehokas mahdollistamaan sekä ehdolliset vaiheet että rinnakkaiset vaiheet, mutta emme kata näitä yksityiskohtia tässä artikkelissa.

item-count attribuutti, joka on määritelty 2 listauksessa 1, määrittelee lohkon koon.

tässä on korkean tason katsaus siihen, miten chunk-tyyliset askeleet toteutetaan. Lisätietoja on JSR 352-eritelmän kohdassa 11.6 (”säännöllinen Kappaleenkäsittely”).

1. Aloita kauppa.
2. kutsuu ItemReader ja siirtää ItemReader lukemansa kohteen ItemProcessorItemProcessor käsittelee kohteen ja palauttaa käsitellyn kohteen eräajoon.
3. eräajo toistaa vaiheen 2 item-count kertaa ja ylläpitää luetteloa käsitellyistä eristä.
4. erän juoksuaika laskee ItemWriter, joka kirjoittaa item-count käsiteltyjen erien määrän.
5. Jos poikkeuksia heitetään ItemReaderItemProcessor tai ItemWriter, tapahtuma epäonnistuu ja vaihe merkitään ”epäonnistui.”KS.JSR 352-eritelmän 5.2.1.2.1 kohta (poikkeusten ohittaminen).
6. Jos poikkeuksia ei ole, erän suoritusaika saa tarkastuspistetiedot ItemReader ja ItemWriter (lisätietoja JSR 352-spesifikaation kohdassa 2.5). Erän suoritusaika toimittaa tapahtuman.
7. vaiheet 1-6 toistetaan, jos ItemReader on enemmän tietoa luettavana.

tämä tarkoittaa, että esimerkissämme eräajoaika lukee ja käsittelee kaksi tietuetta ja ItemWriter kirjoittaa kaksi tietuetta per tapahtuma.

kirjoittaa ItemReaderItemProcessor, ja ItemWriter

kirjoittaa ItemReader

palkkakäsittelyn erän JSL määrittelee yhden kimpaleen tyylinen vaihe ja määrittää, että askel käyttää ItemReader nimettyä simpleItemReader. Sovelluksessamme on toteutus ItemReader input CSV-tietojen lukemiseksi. Listaus 2 näyttää pätkän meidän ItemReader:

 @Namedpublic class SimpleItemReader extends AbstractItemReader { @Inject private JobContext jobContext; ...}

listaus 2

huomaa, että luokkaan on liitetty huomautus @Named huomautus. Koska @Named annotation käyttää oletusarvoa, tämän pavun Contexts and dependence Injection (CDI) – nimi on simpleItemReader. JSL määrittää ItemReader<reader> – elementin CDI-nimen. Näin eräajoaika voi instantioida (CDI: n kautta) meidän ItemReader kun vaihe suoritetaan.

meidän ItemReader myös JobContextJobContext antaa eräesineen (ItemReader, tässä tapauksessa) lukea arvoja, jotka on ohitettu työn jättämisen aikana.

palkanlaskentamme SimpleItemReader ohittaa open() menetelmän avata syöttö, josta palkanlaskentatiedot luetaan. Kuten myöhemmin nähdään, parametri prevCheckpointInfo ei ole nolla, jos työ aloitetaan uudelleen.

esimerkissämme open() menetelmä, joka näkyy listauksessa 3, Avaa palkanlaskentatiedoston (joka on paketoitu hakemuksen mukana).

public void open(Serializable prevCheckpointInfo) throws Exception { JobOperator jobOperator = BatchRuntime.getJobOperator(); Properties jobParameters = jobOperator.getParameters(jobContext.getExecutionId()); String resourceName = (String) jobParameters.get("payrollInputDataFileName"); inputStream = new FileInputStream(resourceName); br = new BufferedReader(new InputStreamReader(inputStream)); if (prevCheckpointInfo != null) recordNumber = (Integer) prevCheckpointInfo; for (int i=1; i<recordNumber; i++) { //Skip upto recordNumber br.readLine(); } System.out.println(" Opened Payroll file for reading from record number: " + recordNumber); }

listaus 3

readItem() menetelmä käytännössä lukee yhden rivin tietoja syöttötiedostosta ja määrittää, sisältääkö rivi kaksi kokonaislukua (yksi työntekijän ID: lle ja yksi peruspalkalle). Jos kokonaislukuja on kaksi, se luo ja palauttaa uuden esiintymän PayrollInputRecord ja palaa eräajoon (joka sitten siirtyy ItemWriter).

public Object readItem() throws Exception { Object record = null; if (line != null) { String fields = line.split("+"); PayrollInputRecord payrollInputRecord = new PayrollInputRecord(); payrollInputRecord.setId(Integer.parseInt(fields)); payrollInputRecord.setBaseSalary(Integer.parseInt(fields)); record = payrollInputRecord; //Now that we could successfully read, Increment the record number recordNumber++; } return record;}

listaus 4

menetelmää checkpointInfo() kutsutaan erän suoritusajan mukaan jokaisen onnistuneen kimpaletapahtuman lopussa. Näin lukija voi tarkistaa pisteen viimeisen onnistuneen lukuasennon.

esimerkissämme checkpointInfo() palauttaa recordNumber osoittaen onnistuneesti luettujen tietueiden määrän, kuten listaus 5 osoittaa.

@Overridepublic Serializable checkpointInfo() throws Exception { return recordNumber;}

listaus 5

kirjoittaminen ItemProcessor

meidän SimpleItemProcessor noudattaa samanlaista kaavaa kuin SimpleItemReader.

processItem() menetelmä saa (eräajosta) PayrollInputRecord. Sen jälkeen se laskee veron ja nettoarvon ja palauttaa PayrollRecord tuotokseksi. Huomaa listauksessa 6, että ItemProcessor palauttama objektityyppi voi olla hyvin erilainen kuin ItemReader.

 @Namedpublic class SimpleItemProcessor implements ItemProcessor { @Inject private JobContext jobContext; public Object processItem(Object obj) throws Exception { PayrollInputRecord inputRecord = (PayrollInputRecord) obj; PayrollRecord payrollRecord = new PayrollRecord(); int base = inputRecord.getBaseSalary(); float tax = base * 27 / 100.0f; float bonus = base * 15 / 100.0f; payrollRecord.setEmpID(inputRecord.getId()); payrollRecord.setBase(base); payrollRecord.setTax(tax); payrollRecord.setBonus(bonus); payrollRecord.setNet(base + bonus - tax); return payrollRecord; } }

listaus 6

kirjoittaminen ItemWriter

tähän mennessä, SimpleItemWriter on noudatettava sinulle ennustettavia rivejä.

ainoa ero on se, että se pistää EntityManager niin, että se voi säilyttää PayrollRecord esiintymät (jotka ovat yhteisen parlamentaarisen edustajakokouksen yhteisöjä) tietokantaan, kuten listaus 7 osoittaa.

 @Namedpublic class SimpleItemWriter extends AbstractItemWriter { @PersistenceContext EntityManager em; public void writeItems(List list) throws Exception { for (Object obj : list) { System.out.println("PayrollRecord: " + obj); em.persist(obj); } }}

listaamalla 7

writeItems()menetelmä säilyttää kaikkiPayrollRecordesiintymät TIETOKANTATAULUKKOON yhteisen parlamentaarisen edustajakokouksen avulla. Luettelossa on korkeintaanitem-countmerkinnät (kimpaleen koko).

nyt kun meillä on JSL, ItemReaderItemProcessor, ja ItemWriter valmiina, katsotaan miten erätyö saadaan lähetettyä.

erätyön aloittaminen Servletistä

huomaa, että pelkkä työn XML-tiedoston tai muiden eräesineiden (kuten ItemReader) läsnäolo ei tarkoita, että erätyö käynnistyy automaattisesti, kun sovellus otetaan käyttöön. Erätyö on käynnistettävä nimenomaisesti esimerkiksi servletistä tai Enterprise JavaBeans (EJB) – ajastimesta tai EJB-liiketoimintamenetelmästä.

palkkahakemuksessamme käytämme erätyön lähettämiseen servletiä (nimeltään PayrollJobSubmitterServlet). Servlet näyttää HTML-sivun, joka esittää käyttäjälle lomakkeen, joka sisältää kaksi painiketta. Kun ensimmäistä painiketta, jonka nimi on Calculate Payroll, napsautetaan, servlet käyttää startNewBatchJob – menetelmää, joka on esitetty listauksessa 8, joka aloittaa uuden erätyön.

 private long startNewBatchJob()throws Exception { JobOperator jobOperator = BatchRuntime.getJobOperator(); Properties props = new Properties(); props.setProperty("payrollInputDataFileName", payrollInputDataFileName); return jobOperator.start(JOB_NAME, props);}

listaus 8

ensimmäinen askel on saada esiintymä JobOperator. Tämä voidaan tehdä soittamalla seuraavat:

JobOperator jobOperator = BatchRuntime.getJobOperator();

servlet luo sitten Properties objektin ja tallentaa syötetiedoston nimen siihen. Lopuksi aloitetaan uusi erätyö kutsumalla:

jobOperator.start(jobName, properties)

jobname ei ole muuta kuin työn JSL XML-tiedostonimi (miinus .xml laajennus). properties parametri välittää kaikki syötetiedot työhön. Properties objekti (joka sisältää palkanlaskutiedoston nimen) annetaan muiden eräesineiden (kuten ItemReaderItemProcessor ja niin edelleen) käyttöön JobContext – rajapinnan kautta.

erän suoritusaika antaa yksilöllisen tunnisteen, jota kutsutaan suoritustunnisteeksi, joka tunnistaa jokaisen suorituksen, onko kyseessä juuri lähetetty vai uudelleen käynnistetty työ. Monet JobOperator menetelmät ottavat suoritustunnuksen parametrina. Suoritustunnuksen avulla ohjelma voi saada nykyisen (ja menneen) suoritustilan ja muita tilastoja työstä. JobOperator.start() menetelmä palauttaa aloitetun työn suoritustunnuksen.

noudetaan tietoja Erätöistä

kun erätyö lähetetään, eräajoaika Luo JobExecution sen seuraamiseksi. JobExecution on menetelmiä, joilla saadaan erilaisia yksityiskohtia, kuten työn alkamisaika, työn valmistumisaika, työn poistumistila ja niin edelleen. JobExecution suoritustunnuksen saamiseksi voi käyttää JobOperator.getJobExecution(executionId) – menetelmää. Listaus 9 osoittaa JobExecution:

 package javax.batch.runtime;public interface JobExecution { long getExecutionId(); java.lang.String getJobName(); javax.batch.runtime.BatchStatus getBatchStatus(); java.util.Date getStartTime(); java.util.Date getEndTime(); java.lang.String getExitStatus(); java.util.Date getCreateTime(); java.util.Date getLastUpdatedTime(); java.util.Properties getJobParameters();}

 Opened Payroll File. Will start reading from record number: 0]] checkpointInfo() called. Returning current recordNumber: 2]] checkpointInfo() called. Returning current recordNumber: 4]] checkpointInfo() called. Returning current recordNumber: 6]] checkpointInfo() called. Returning current recordNumber: 8]] checkpointInfo() called. Returning current recordNumber: 9]] close called.]]

1, 81002, 82003, 83004, 84005, 85006, 86007, 87008, 88009, 8900

1, 81002, 82003, 83004, 84005, 85006, 86007, 87008, abc88009, 8900

Caught exception executing step: com.ibm.jbatch.container.exception.BatchContainerRuntimeException: Failure in Read-Process-Write Loop......Caused by: java.lang.NumberFormatException: For input string: "abc8800" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:492) at java.lang.Integer.parseInt(Integer.java:527) at com.oracle.javaee7.samples.batch.hello.SimpleItemReader.readItem(SimpleItemReader.java:100) 

private long restartBatchJob(long lastExecutionId) throws Exception { JobOperator jobOperator = BatchRuntime.getJobOperator(); Properties props = new Properties(); props.setProperty("payrollInputDataFileName", payrollInputDataFileName); return jobOperator.restart(lastExecutionId, props);}

 Opened Payroll File. Will start reading from record number: 7]] checkpointInfo() called. Returning current recordNumber: 9]] checkpointInfo() called. Returning current recordNumber: 10]] close called.]]