8. Opladen van documenten in een catalografische beschrijving

8.1. Inleiding

Upload mechanisme voor de catalografie is een toolcat-applicatie die bestanden die zich op het lokale filesysteem van de Brocade server bevinden, oplaadt in de passende catalografische beschrijving. Deze tekst documenteert werking en gebruik.

Bij het opladen van een bestand in een catalografische beschrijving, moeten er vanzelfsprekend een aantal attributen worden meegegeven: zaken zoals c-loi, URL lokalisatie, access-code, enz. catupload werkt met behulp van een :file:`manifest.csv` bestand. Dit bestand levert dan de nodige informatie aan.

8.2. Terminologie

Om de werking van de manifest bestanden goed te kunnen begrijpen is het gemakkelijk wat terminologie af te spreken.

  • Een filesystem is een boomstructuur die bestaat uit files en directories.
  • Het startpunt van het filesystem is de root directory.
  • Files kunnen worden aangeduid via hun dirname en de basename. De dirname staat voor de directory waartoe de file behoort. vb. file: C:\UsersrphilipsDocumentsstreuvels.jpg heeft als basename streuvels.jpg en als dirname c:UsersrphilipsDocuments. De root is C:\
  • De ext van een bestand is het gedeelte na het laatste punt uit de basename (het punt incluis). De ext kan dus ook leeg zijn.
  • De antecedents van een file is de geordende rij van directories: zijn dirname, de dirname van de dirname, de dirname van de dirname van de dirname,...,root. vb.: C:UsersrphilipsDocumentsstreuvels.jpg heeft als antecedents: [C:UsersrphilipsDocuments, C:Usersrphilips, C:Users, C:\]

8.3. Manifest files

Een manifest file is een CSV-file met basename manifest.csv (delimiter is ‘,’ of ‘;’).

De volgende velden kunnen worden gedefinieerd:

path
Duidt aan welke bestanden worden beschouwd. Het ‘path’ mag wildcard informatie bevatten (vb. *.jpg). De UNIX conventies worden in acht genomen.
cloi
Bevat de c-loi. Is dit een zuiver nummer en is het catsys veld gedefinieerd, dan wordt dit nummer passend aangevuld. Is de c-loi leeg, dan wordt als c-loi het startend numeriek gedeelte van de basename gebruikt.
nt
Een annotatie. Is dit veld leeg, en heeft de file als ext jpg, dan wordt het Caption veld uit de IPTC informatie gehaald.
loc
URL lokalisatie (URL type). In de meta-informatie moet dit veld een DOCMAN-dienst hebben
access
Access gegevens gescheiden door spaties
inline
0/1 (1: inline, 0: niet)
ty
type full-textveld - full: full-text; ill: illustratie; abstract: abstract
ta
N | E | D | F | U Taal van het ‘nt’ veld. Default: U
pr
Processing informatie. Dit is een string bestaande uit maximaal 3 karakters. o: wordt online getoond; i: wordt geindexeerd; p: wordt offline getoond; r: wordt onderdukt
so
Bibliografische bron
catsys
Catalografisch systeem
randomise
0/1 (1: naam van de basename wordt aangepast, 0: naam van de basename wordt niet aangepast)
embargo
De embargo datum. Deze wordt steeds in ISO formaat gespecificeert (YYYY-MM-DD). Is deze waarde niet ingevuld, dan wordt er gekeken of de basename eindigt op .YYYY-MM-DD.ext.

Een manifest file kan verschillende rijen bevatten (de eerste rij is steeds de rij met de veldnamen).

8.4. Welke manifest file wordt er gebruikt ?

Gegeven een file, hoe worden de gegevens nu opgespoord ?

  1. De directories uit de antecedents worden achtereenvolgens onderzocht of ze een manifest.csv bevatten.
  2. Van dit manifest wordt dan onderzocht of het een rij bevat waarmee de basename matched met het path veld. De gegevens van deze rij worden dan overgenomen.
  3. Ontbreken er nog gegevens, dan worden de volgende antecedenten aangesproken om te zien of er een manifest matched en de ontbrekende gegevens worden dan aangevuld.

Deze techniek laat zowel toe om met heel gedetailleerde manifest gegevens te werken als met zeer algemene gegevens.

8.5. catupload

Hoe de toolcat-applicatie catupload gebruiken ?

8.5.1. Creatie van een manifest

Ga naar de ‘strategische’ plaatsen in het filesystem (daar waar we bestanden gaan plaatsen die moeten worden opgeladen) en voer het commando catupload -create uit. Hierdoor wordt in betreffende directory een manifest file aangemaakt. Eventueel moet dit bestand nog manueel (met behulp van een spreadsheet) worden aangevuld. Het kan wenselijk zijn verschillende manifest files aan te maken: zeer gedetailleerde (met bvb. c-lois bij elke file)

8.5.2. Plaatsen van de files

Bestanden worden met externe instrumenten in het filesysteem gebracht: WebDAV clients, ssh, ... De instructie catupload -list filename laat toe om na te gaan welke informatie er met het bestand wordt geassocieerd.

8.5.3. Upload naar de catalografische beschrijvingen

Met behulp van de instructie catupload -import directory list=listname delete=yes|no recurse=yes|no kunnen dan de bestanden uit de directory (waarmee er een loi kan worden geassocieerd) worden opgeladen. Met recurse=yes worden ook de bestanden uit de subdirectories onderzocht. Met delete=yes worden de bestanden die succesvol opgeladen zijn, verwijderd uit het filesystem. Met het aangeven van een list kan logging informatie worden weggeschreven naar de betreffende lijst.

Een paar opmerkingen:

  • Bestanden kunnen slechts 1x worden weggeschreven naar een zelfde c-loi.
  • Enkel bestanden die langer dan 900 sec. ongewijzigd zijn, komen in aanmerking
  • Bestanden moeten meer dan 1 byte bevatten
  • Bestanden worden in alfabetische volgorde verwerkt

8.5.4. Logging informatie

Logging informatie wordt eventueel weggeschreven in een lijst: specificeer daartoe de list modifier. Het error attribuut toont de reden wat er eventueel is misgelopen.

8.5.5. Gebruik

De instructie catupload -import directory list=listname delete=yes|no recurse=yes|no kan ofwel vanaf de commandolijn worden ingegeven of er kan een automatisch proces worden gecreeerd om dit vanzelf te laten gebeuren. Daar de directories die moeten worden gescanned specifiek zijn voor de installatie, moet dit automatisch proces ook installatie specifiek zijn.

8.6. Scenario, uitgewerkt voor STCV

Het STCV project verwerkt in de catalografische beschrijvingen JPEG bestanden. Deze worden ingevoerd met de volgende parameters:

path
[1-9]*.jpg
cloi
Het numeriek gedeelte van de c-loi wordt bepaald door het beginnend numeriek gedeelte van de basename.
nt
De inhoud van het Caption veld van de IPTC informatie. Deze informatie kan worden bewerkt met behulp van een eenvoudige, vrije software zoals Irfanview
loc
stcv
access
anet
inline
1
ty
ill
ta
U
pr
oip
so
Wordt blank gelaten
catsys
lvd
randomise
1

Door middel van een WebDAV client wordt de afbeeldingen opgeslagen in de directory (of een sub-directory) van /library/database/webdav/stcv/upload.

Voer éénmalig uit: catupload -create /library/database/webdav/stcv path=[1-9]*.jpg cloi=- nt=- loc=stcv access=anet inline=1 ty=ill ta=U pr=oip so=- catsys=lvd randomise=1

Er kunnen nu JPEGs worden geplaatst in /library/database/webdav/stcv

8.7. Scenario, uitgewerkt voor het Letterenhuis

Uitgangspunt: Beeldmateriaal wordt opgeladen in Webdav en daarna verder verwerkt met catupload.

  • /webdav/sinc: Generiek qtech project voor het synchroniseren van bestanden met de Webdav server.
  • /lh/sinc: Specifiek qtech project ontwikkeld voor het Letterenhuis.

/webdav/sinc automatiseert de installatie van /webdav/sinc op de verschillende PC’s in het letterenhuis. Hiervoor is een setup programma ontwikkeld mbv. Inno Setup.

  • Aanmaak van folder c:lhbin: bevat software, batchbestanden en configuratiebestanden.
  • Aanmaak van folders c:lhmedia en c:lhtemp.
  • Aanmaak van batchbestanden en shortcuts.
  • Indien gewenst, aanmaak van een automatisch verwerkingsproces in de Windows Taak Planner (Task Scheduler).
  • Configuratie van het sychronisatie process voor folders c:lhmedia en c:lhtemp door middel van het commando davsinc.exe -config.

In het letterenhuis wordt het beeldmateriaal ingescand en nabewerkt (voorzien van een tekst mbv. photoshop).

  • Inscannen kan vanaf verschillende scan PC’s:
  • De nabewerking gebeurd op een aparte PC: PC-A

Op de scan PC’s:

  • Beeldmateriaal wordt ingescand en geplaatst op de lokale schijf in folder c:lhtemp.
  • Met een batch programma (via een shortcut op de desktop of automatisch via de Windows Taak Planner (Task Scheduler)) worden de bestanden doorgestuurd naar de webdav server in folder /lh/temp.
  • De lokale bestanden in lhtemp worden hierbij verwijderd.

Op PC-A: nabewerking:

  • Met een batch programma (via een shortcut op de desktop) worden de bestanden die zich op de webdav server bevinden in /lh/temp, overgehaald naar de lokale schijf in folder c:lhtemp.
  • Met photoshop worden de bestanden van een tekst voorzien. De bestandsnamen worden gewijzigd afhankelijk van het type. vb. 123_001_ph.gif
  • Met een batch programma (via een shortcut op de desktop) worden de bestanden in folder c:/lh/temp, verplaatst naar de juiste subfolder in c:lhmedia afhankelijk van het type. vb. 123_001_ph.gif komt in c:lhmediafotoslowres. De relatie tussen type en subfolder is vastgelegd in bestand c:lhbinlh-rules.txt.
  • Met een batch programma (via een shortcut op de desktop) worden de bestanden in folder c:/lh/media doorgestuurd naar de webdav server in folder /lh/media.

Op de server: nabewerking

De bestanden op webdav in folder /lh/media worden naverwerkt:

  • de image bestanden worden omgevormd naar lowres gif images en thumbnail jpg
  • De bestanden worden opgeslagen als docstore items in de docstore lh
  • De docstore loi’s wordt weggeschreven in de stukbeschrijvingen (tg-loi)
  • De verwerkte bestanden worden geschrapt op webdav in folder /lh/media*

8.8. Scenario, uitgewerkt voor de Universiteit Antwerpen - IRUA

Uitgangspunt: Bestanden worden opgeladen in Webdav en daarna verder verwerkt met catupload.

  • digidav.exe: Toepassing voor het opladen van bestanden met de Webdav server.
    • Behoort tot het qtech project /digiplat/digidav
    • Maakt het bestand manifest.csv aan op basis van bestanden aanwezig in een opgegeven folder.
    • Stokkeert de bestanden samen met het manifest bestand op de Webdav server.
    • Verplaatst de bestanden naar een lokale backup folder.

8.8.1. Installatie digidav.exe

  • De installatie software bevind zich in Brocade ‣ Software archief [link]

  • Start setup.exe

    Notitie

    aktiveer checkbox `Create desktop shortcut`
    aktiveer checkbox `Add digidav to PATH environment`

8.8.2. Configuratie digidav.exe

  • Maak een folderstructuur aan waarin de bestanden zullen geplaatst worden.

    upload -- preprint        -- openacces
           |               |
           |                  __ closedaccess
           -- auteursversie   -- openaccess
           |               |
           |                  __ closedaccess
           -- uitgeversversie -- openacces
                           |
                              __ closedaccess
    
  • Start de command prompt

    cd upload
    digidav --config
    
    • digidav.exe -config maakt een configuratie bestand registry.edn aan.

    • Dit moet maar 1 x uitgevoerd worden per folder.

      Notitie

      Kies voor parameter csvfile manifest.csv !

    • De volgende parameters worden gedefinieerd:

      • csvfile : convert.csv (default); geef de naam van het csv bestand dat een bundel karakteriseert als afgewerkt
      • backup : geef het pad in van de folder naar waar de bestanden na transport verschoven moeten worden
      • age : Geef hier aan hoe oud de bestanden minimaal dienen te zijn voor transport (uitgedrukt in seconden). Via deze parameter kan vermeden worden dat bundels niet getransporteerd worden op het ogenblik dat nog scans worden genomen
      • username : Uw Brocade UserID
      • password : Uw Brocade paswoord
      • method : vul hier het webdav commando in. Is standaard “put”
      • recurse : true (= default; hier geef je de toestemming om te gaan zoeken in de subfolders van de source)
      • source : geef het pad in van de folder waarin moet gezocht worden. Leeg = zoek in de folder waarin registry.edn staat
      • id : Geef hier een identifier in de aangeeft waar de bestanden vandaan komen. Wanneer leeg wordt de naam van het lokale werkstation gekozen.
      • uri : Geef hier het webdav path naar dewelke de bestanden dienen getransporteerd te worden.
      • pattern : Geef aan welke bestanden getransporteerd dienen te worden vb. “*.tif”
    • Door ter hoogte van de snelkoppeling vervolgens te verwijzen naar de folder waarin moet gezocht worden naar afgewerkte bundels, kan het transport steeds geïnitialiseerd worden via de snelkoppeling.

8.8.3. Handleiding voor de catalograaf

Na installatie van digidav en aanmaak van de gewenste folderstructuur op de lokale pc kan een bestand op volgende manier aan een bibliografische beschrijving worden gekoppeld:

  1. Selecteer de juiste folder om het bestand op te slaan

  2. Geef het bestand een correcte naam

    • Zonder embargo : sla op als cijfergedeelte van de cloi bv. 126993.pdf
    • Met embargo : sla op als cijfergedeelte van de cloi . datum dat het embargo afloopt bv. 125679.2016-03-01.pdf
  3. Sluit de PDF

  4. Start digidav

    • Het bestand wordt vanuit een lokale map verplaatst naar de juiste uploadmap op de webdrive. Het bestand wordt ook bewaard in de backup folder op je eigen PC.
  5. Een automatisch proces voegt de files toe aan de records en de bestanden worden verwijderd uit de mappen op de webdrive.