11. Antilope: Verwerken van binnenkomende gegevens

Auteur Alain Descamps
Aanmaak 09 jul 2002 12:35
Aangepast door Luc Bastiaenssen
Aangepast op 16 okt 2007 16:43
Oud BVV nr 2028

11.1. Abstract

Dit document beschrijft welke procedures er precies dienen uitgevoerd te worden om de binnenkomende Antilope data te verwerken.

11.2. Afspraken

De verwerkingssoftware gaat uit van een aantal veronderstellingen:

  • De aangeleverde xml/csv bestanden moeten voldoen aan de structuur zoals vastgelegd in Antilope download/upload.
  • Van een zelfde origine dienen steeds ALLE gegevens aangeleverd te worden. Wel is het mogelijk om in uitzonderlijke gevallen bvb. de gegevens van KBR te verwerken, zonder dat deze van UCL beschikbaar zijn.
  • Verwerking in delen vergt uiteraard meer tijd dan de verwerking van alle dingen tegelijk.

11.3. De origine

De verwerking van de Antilope gegevens gebeurt steeds in zijn geheel per zogenaamde origine. Een origine bepaalt welke selectie van catalografische instellingen wordt verwerkt.

De praktijk spreekt over de ‘grote’ leveranciers en de ‘kleine’ leveranciers, en daarom bestaan er ook twee categorieën origines:

  • De ‘gekende groten’ : (voorbeelden : KBR, UG, AUL, ULB, ULG, VUB, HG, ..) In de Antilope software wordt vastgelegd welke origines dit zijn en welke catalografische instellingen deze origines omvatten. Het meest actuele overzicht hiervan bekom je door uit te voeren : antilopin -info

  • De ‘ongekende kleinen’ : (voorbeeld : ins.FARO). Bij kleinere bibliotheken kan je de gegevens verwerken per catalografische instelling. Je maakt dan gebruik van de triviale origine ins.instelling, die enkel deze ene instelling omvat.

    Voorbeeld : origine ins.FARO behelst de ene catalografische instelling FARO.

In het verdere verloop van dit document mag je beide vormen als origine gebruiken.

11.4. Parsing van binnenkomende bestanden

Voer uit:

antilopin -check xxx.xml type=xml21 source=YYY of antilopin -check xxx.csv type=csv source=YYY naargelang het type van het aangeleverde bestand. Deze parsing mag geen enkele fout geven. Indien wel, dan dient men met de leverancier van de data contact op te nemen, om een nieuw bestand te sturen.

11.5. Opmaak cat.xml bestand voor import in Brocade

Voer per origine uit:

antilopin -toxml xxx.xml type=xml21 source=YYY of antilopin -toxml xxx.csv type=csv source=YYY. Na een goede verwerking hiervan (check output en stderror) dient file xxx.cat.xml te zijn gemaakt.

11.6. Verwijder bestaande plaatskenmerken

Antilope updating houdt in dat alle bestaande plaatskenmerken eerst worden geschrapt, alvorens de nieuwe gegevens worden toegevoegd. Om Antilope plaatskenmerken te schrappen kan je per origine het volgende uitvoeren:

  • In de M omgeving : d %Clean^bcasanti("origine"). Dit schrapt alle plaatskenmerken die verbonden zijn aan een instelling, waarvan de gegevens worden beheerd door origine. Voorwaarde is ook dat het record behoort tot het lidmaatschap antilope.
  • Voorbeelden van origines : KBR, RUG, AUL, ULB, ULG, VUB, HG, ins.FARO
  • Als je alle bestanden van alle grote Antilope instellingen verwerkt, kan je ook alle Antilope plaatsinformatie van de ‘grote instellingen’ in één beweging schrappen : d %Clean^bcasanti("")

Het kan zijn dat door deze operatie bestaande catalografische acroniemen geschrapt kunnen worden. Hou er wel rekening mee dat deze acroniemen ook in andere databanken zoals CCB gebruikt kunnen worden. Volgende toepassingen kunnen helpen:

  • d %UndIns^zcadirt("lvd"): zoekt ongeldige acroniemen op in regelwerk lvd
  • d %UndIns^zcadirt("ccb"): zoekt ongeldige acroniemen op in regelwerk ccb
  • Gebruik manueel proces %MoveIns^bcasupk om acroniemen om te zetten.

11.7. Importeer het cat.xml bestand in Brocade

Bij het importeren heb je twee opties:

  • Zonder aanmaak van nieuwe records : antilopin -update xxx.cat.xml mode=upd
  • Met aanmaak van nieuwe records : antilopin -update xxx.cat.xml mode=all

Lijsten van de aangepaste/toegevoegde records zijn vervolgens beschikbaar via Lijstbeheer - Globaal overzicht lijsten - Antilope.

11.8. Lijsten

De lijsten met verwerkte records staan onder Globaal overzicht lijsten onder gebruiker antilope in de folder conversion en dan verder per datum en naam van verwerkte bestand. Er wordt een lijst gemaakt van geraakte records (geleverd record bestond al in de databank) en van nieuw aangemaakte records (geleverd record kon niet worden gematcht op basis van issn of c-loi).

11.9. Omzetten corporatieve auteurs naar authority codes

Bij het verwerken van bestanden worden ook nieuwe records aangemaakt (records die niet konden worden gematcht op basis van c-loi of issn). In deze nieuwe records staan de corporatieve auteurs vermeld zonder hun authority code. Maak gebruik van het manueel proces %List^pcasauto om de namen om te zetten naar authority codes en dit op basis van de list-loi van de lijst van nieuw aangemaakte records (/antilope/conversion).

11.10. Postprocessing

  • d %NoPk^bcasanti("userid") maakt een lijst aan voor lege beschrijvingen.
  • Zorg dat de batch verwerking van transacties in werking treedt : (zie procman proces standard.background).
  • De verwerking van de indices kan je volgen door : background -count uit te voeren.