13. Conversietraject van Caché naar GT.M

13.1. Inleiding

Deze tekst documenteert de werkzaamheden die moeten gebeuren te Anet bij de overgang van Caché naar GT.M. Tegelijkertijd wordt ook het serverpark gehernieuwd en de backupsituatie herbekeken.

13.2. Installatie backup eenheid

De server backup.anet.ua.ac.be (largo.cde.ua.ac.be) is gemigreerd van een Solaris machine naar een Linux machine.

Hardware: Dell PowerEdge R610 + 2 x PowerVault MD1200 Storage Arrays (in totaal 24 2TB SAS 6Gbps 7.2k 3.5” HD)

De volgende operaties zijn uitgevoerd:

  1. Synchroniseer m.b.v rsync al de data naar een tijdelijke opslagruimte op een andere server. (in totaal 7.2 TB)

  2. Disable al de backup operaties in beheer van automatische processen op servers moto, dolce, legato, allegro, oba en piano.

  3. Herhaal stap 1 om de meest recente wijzigingen over te zetten naar de tijdelijke opslagruimte.

  4. Installeer RHEL 6.3 op de backup server. Zie: https://dev.anet.ua.ac.be/doc/brocade/html/3070_installatie.html

  5. Configureer de Dell MD1200 Storage Array. Doe dit tijdens het opbooten van de server in de setup van de PERC P800 RAID Controllor.

    • Verdeel de pool met een totale capaciteit van 40TB op in 3 diskgroepen van telkens 14TB. (maxsize ext4 == 16TB)
    • RAID level: RAID5
    • RAID chunk size: 64KiB (standaard)
  6. Partitionneer de 3 disk groepen /dev/sda, /dev/sdb, /dev/sdc m.b.v. de tool parted:

    parted -o optimal -s -- /dev/sda mklabel gpt
    parted -o optimal -s -- /dev/sdb mklabel gpt
    parted -o optimal -s -- /dev/sdc mklabel gpt
    parted -o optimal -s -- /dev/sda mkpart primary ext4 1 -1
    parted -o optimal -s -- /dev/sdb mkpart primary ext4 1 -1
    parted -o optimal -s -- /dev/sdc mkpart primary ext4 1 -1
    
  7. Plaats evt. de 3 disk groepen onder beheer van LVM2:

    pvcreate /dev/sda1
    pvcreate /dev/sdb1
    pvcreate /dev/sdc1
    vgcreate vg_storage1 /dev/sda1
    vgcreate vg_storage2 /dev/sdb1
    vgcreate vg_storage3 /dev/sdc1
    lvcreate -n lv_storage1 -l 100%FREE vg_storage1
    lvcreate -n lv_storage2 -l 100%FREE vg_storage2
    lvcreate -n lv_storage3 -l 100%FREE vg_storage3
    
  8. Maak ext4 filesystems: Zie: http://busybox.net/~aldot/mkfs_stride.html

    mkfs.ext4 -m 0.1 -E stride=16,stripe-width=112 /dev/mapper/vg_storage1-lv_storage1
    mkfs.ext4 -m 0.1 -E stride=16,stripe-width=112 /dev/mapper/vg_storage2-lv_storage2
    mkfs.ext4 -m 0.1 -E stride=16,stripe-width=112 /dev/mapper/vg_storage3-lv_storage3
    
  9. Inhoud /etc/fstab:

    /dev/mapper/vg_largo-lv_root              /         ext4    defaults,noatime,nodiratime,nobarrier 1 1
    UUID=b5c71559-a77c-4904-b7d7-e547cfdd232b /boot     ext4    defaults 1 2
    /dev/mapper/vg_largo-lv_home              /library  ext4    defaults,noatime,nodiratime,nobarrier 1 2
    /dev/mapper/vg_largo-lv_swap              swap      swap    defaults        0 0
    /dev/mapper/vg_storage1-lv_storage1       /storage1 ext4    defaults,noatime,nodiratime,nobarrier 1 2
    /dev/mapper/vg_storage2-lv_storage2       /storage2 ext4    defaults,noatime,nodiratime,nobarrier 1 2
    /dev/mapper/vg_storage3-lv_storage3       /storage3 ext4    defaults,noatime,nodiratime,nobarrier 1 2
    none /library/tmp                                   tmpfs   defaults,noatime,nodiratime,size=8G   0 0
    
  10. Resultaat df -hP:

    Filesystem                           Size  Used Avail Use% Mounted on
    /dev/mapper/vg_largo-lv_root         31G  5.5G   26G   18% /
    tmpfs                                24G     0   24G    0% /dev/shm
    /dev/sdd1                            485M   58M  402M  13% /boot
    /dev/mapper/vg_largo-lv_home         88G  1.3G   87G    2% /library
    /dev/mapper/vg_storage1-lv_storage1  13T  3.8T  8.8T   31% /storage1
    /dev/mapper/vg_storage2-lv_storage2  13T  4.1T  8.5T   33% /storage2
    /dev/mapper/vg_storage3-lv_storage3  13T  148M   13T    1% /storage3
    none                                 8.0G   96K  8.0G   1% /library/tmp
    
  11. Resultaat ls -ls /:

    lrwxrwxrwx    1 root root    17 Nov 12 15:59 agrippa -> /storage1/agrippa
    lrwxrwxrwx    1 root root    17 Nov 12 15:59 allegro -> /storage1/allegro
    lrwxrwxrwx    1 root root    16 Nov 12 16:00 backup -> /storage1/backup
    lrwxrwxrwx    1 root root    15 Nov 12 15:55 dolce -> /storage2/dolce
    lrwxrwxrwx    1 root root    15 Nov 12 16:00 fabre -> /storage1/fabre
    lrwxrwxrwx    1 root root    13 Nov 12 16:00 iso -> /storage1/iso
    lrwxrwxrwx    1 root root    16 Nov 12 15:56 legato -> /storage2/legato
    lrwxrwxrwx    1 root root    14 Nov 12 16:00 moto -> /storage1/moto
    lrwxrwxrwx    1 root root    13 Nov 12 16:00 oba -> /storage1/oba
    lrwxrwxrwx    1 root root    14 Nov 12 16:00 obib -> /storage1/obib
    lrwxrwxrwx    1 root root    15 Nov 12 16:01 piano -> /storage1/piano
    drwxr-xr-x   13 root root  4096 Nov 12 15:58 storage1
    drwxr-xr-x    5 root root  4096 Nov 12 15:55 storage2
    drwxr-xr-x    3 root root  4096 Nov 13 14:19 storage3
    lrwxrwxrwx    1 root root    17 Nov 12 16:01 vandale -> /storage1/vandale
    
  12. Synchroniseer m.b.v rsync al de data van de tijdelijke opslagruimte naar de backup server.

  13. Aktiveer al de backup operaties in beheer van automatische processen op servers moto, dolce, legato, allegro, oba en piano.

13.3. Installatie documentserver

Hardware:

  • Dell PowerEdge R720 + 4x 350GB PCIe SSD
  • PowerVault MD3620i (24 x 900GB SAS 6Gbps 10k 2.5” HD)
  1. Installeer RHEL 6.3 op de server. Zie: https://dev.anet.ua.ac.be/doc/brocade/html/3070_installatie.html

  2. Installeer de Dell PCIe SSD drivers kmod-mtip32xx-1.3.7-1.el6.x86_64

  3. Realiseer een RAID10 stripe over de 4 PCIe SSD drives:

    mdadm --create --verbose /dev/md0 --level=10 --raid-devices=4 /dev/rssd{a,b,c,d}
    mdadm --examine --scan > /etc/mdadm.conf
    mdadm --detail /dev/md0
    
  4. Installeer de meest recente Dell MD Storage Software.

  5. Configureer de PowerVault MD3620i:

    • Start /opt/dell/mdstoragesoftware/mdconfigurationutility/Modular Disk Configuration Utility.

    • Configuratie iSCSi poorten:

      Port ID Controller 0 Controller 1 NIC
      iSCSi port 0 192.169.130.101   p7p1
      iSCSi port 1   192.168.131.102 p7p2
    • Configuratie Management poorten:

      Port ID   NIC
      Management port 0 192.169.128.101 p6p1
      Management port 1 192.168.129.101 p6p1
    • netstat -rn

      Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
      192.168.131.0   0.0.0.0         255.255.255.0   U         0 0          0 p7p2
      192.168.130.0   0.0.0.0         255.255.255.0   U         0 0          0 p7p1
      192.168.129.0   0.0.0.0         255.255.255.0   U         0 0          0 p6p2
      192.168.128.0   0.0.0.0         255.255.255.0   U         0 0          0 p6p1
      
  6. Manage de PowerVault MD3620i:

    • Start /opt/dell/mdstoragesoftware/mdstoragemanager/client/SMclient.
    • Verdeel de pool met een totale capaciteit van 19TB op in 2 diskgroepen van resp. 14 disks (11TB) en 10 disks (8TB).
    • RAID level: RAID5
    • RAID chunk size: dg1 = 256KiB (multimedia) en dg2 = 128KiB (filesystems)
  7. Multipath

    • rescan_dm_devs
    • multipath -ll
    • ls /dev/mapper
  8. Multipath 2: Plaats de lokale disk /dev/sda in de multipath blacklist.

    • Bepaal wwid van /dev/sda: /sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/sda

    • Editeer /etc/multipath.conf.

      ...
      blacklist {
      wwid "3690b11c0020d93001806ce16415c65a9"
      ...
      
    • service multipathd reload

    • Creeer preload ramdisk: dracut --force --add multipath --include /etc/multipath /etc/multipath

    • reboot

    • check /dev/mapper

  9. Partitionneer de 2 disk groepen /dev/mapper/mpathc en /dev/mapper/mpathd m.b.v. de tool parted:

    parted -o optimal -s -- /dev/mapper/mpathc mklabel gpt
    parted -o optimal -s -- /dev/mapper/mpathd mklabel gpt
    parted -o optimal -s -- /dev/mapper/mpathc mkpart primary ext4 1 -1
    parted -o optimal -s -- /dev/mapper/mpathd mkpart primary ext4 1 -1
    
  10. Maak ext4 filesystems: Zie: http://busybox.net/~aldot/mkfs_stride.html

    mkfs.ext4 -m 0.1 -b 4096 -E stride=64,stripe-width=832 /dev/mapper/mpathcp1
    mkfs.ext4 -m 0.1 -b 4096 -E stride=32,stripe-width=288 /dev/mapper/mpathdp1
    
  11. Resultaat /etc/fstab:

    /dev/mapper/vg_db-lv_root                 /                            ext4    defaults,noatime,nodiratime,nobarrier  1 1
    UUID=0a00975c-1f3c-4ca4-84c3-eb9995a25029 /boot                        ext4    defaults        1 2
    /dev/mapper/vg_db-lv_library              /library                     ext4    defaults,noatime,nodiratime,nobarrier  1 2
    /dev/mapper/vg_db-lv_swap                 swap                         swap    defaults        0 0
    none                                      /library/tmp                 tmpfs   defaults,noatime,nodiratime,size=8G    0 0
    UUID=6d2f02c9-f965-4ce8-ad2d-091f66092fd6 /library/mumps               ext4    defaults,noatime,nodiratime,discard 1 2
    none                                      /library/mumps/brocade/tmpfs tmpfs   defaults,noatime,nodiratime,size=8G 0 0
    /dev/mapper/mpathcp1                      /dg1                         ext4    defaults,noatime,nodiratime,nobarrier 1 0 (geen fsck !)
    /dev/mapper/mpathdp1 /                    /dg2                         ext4    defaults,noatime,nodiratime,nobarrier 1 0 (geen fsck !)
    
  12. Resultaat df -hP:

    Filesystem                     Size  Used Avail Use% Mounted on
    /dev/mapper/vg_db-lv_root      32G   19G   14G   58% /
    tmpfs                          95G     0   95G    0% /dev/shm
    /dev/sda3                      485M   80M  381M  18% /boot
    /dev/mapper/vg_db-lv_library   774G  865M  773G   1% /library
    none                           8.0G   52K  8.0G   1% /library/tmp
    /dev/md0                       642G  1.6G  640G   1% /library/mumps
    none                           8.0G     0  8.0G   0% /library/mumps/brocade/tmpfs
    /dev/mapper/mpathcp1           11T   2.2T  8.3T  21% /dg1
    /dev/mapper/mpathdp1           7.3T  2.0T  5.3T  27% /dg2
    
  13. Enable NFS server:

    • Connecteer een UTP kabel op interface em2 tussen deze server en server MAIN.

    • Configureer em2 met ipnummer 10.2.2.2 (Zie /etc/sysconfig/network-scripts/ifcfg-em2)

    • Editeer /etc/init.d/nfs

    • chkconfig --add nfs

    • service nfs start

    • Editeer /etc/exports

      /dg2 10.2.2.0/255.255.255.0(rw,sync,no_root_squash,mp) 10.3.3.0/255.255.255.0(rw,sync,no_root_squash,mp)
      /dg1 10.2.2.0/255.255.255.0(rw,sync,no_root_squash,mp) 10.3.3.0/255.255.255.0(rw,sync,no_root_squash,mp)
      
    • Editeer /etc/netconfig en disable udp and tcp settings voor IPv6.

    • Editeer /etc/init.d/nfs en verander lock file nfsd naar nfs.

    • exportfs -ra

    • showmount -e

13.4. Definitieve conversie : stilleggen ‘oude’ DOC machine

  • Voer uit op de ‘oude’ DOC machine:
chkconfig --del procman
procman -forbid
web -minimal
background -stop
delphi -add system-name olddoc
  • Vervang de ip/Dns naam door 143.169.239.22/olddoc:

    • Disable NFS:

      • Editeer /etc/dfs/sharetab en verwijder de mountpoints.
      exportfs -au
      showmount -e (controle)
      svcadm disable nfs/server
      svcadm disable nfs/rquota
      uname -S olddoc
      
    • Editeer de volgende bestanden:

      /etc/hosts
      /etc/netmasks
      /etc/resolv.conf
      /etc/hostname.aggr1
      /etc/hostname.bnx0
      /etc/nodename
      
  • Aanpassingen op MOTO:

    • In /etc/hosts

      ...
      10.2.2.2 doc
      143.169.239.1 main.cde.ua.ac.be main
      143.169.239.2 db.cde.ua.ac.be db
      10.3.3.2 newdoc
      

      aanpassen naar:

      10.3.3.2 doc
      
    • Delphi:

      delphi -add docman-db /net/doc/dg2/docman
      delphi -add webdav-path-dir /net/doc/dg2/webdav
      
    • Automatische processen aanpassen:

      moto.flandrica
      moto.rbupload
      moto.stcvupload
      moto.storeobjecthighres
      moto.storeobjectimages
      moto.storeprentimages
      
    • Test de NFS connectie als de nieuwe docserver online is:

      svcadm disable autofs
      df -h (hopelijk is hierbij **/net/doc** verdwenen)
      svcadm enable autofs
      cd /net/doc
      ls (als dit blijft hangen vrees ik dat MOTO herstart moet worden ... )
      

13.5. Definitieve conversie : stilleggen ‘oude’ productiemachine

Zie script /tools/to-oldmoto.sh

Zie script /tools/to-main.sh

Kijk uit: Na een sweep wordt procman altijd enabled ! Dus als je de server boot, is procman aktief ! Om dit te vermijden voer uit:

chkconfig --del procman

Vergeet niet docman te aktiveren nadat de nieuwe server in orde is !

chkconfig --add procman
chkconfig --list procman (test)
service procman start
  • Voer uit op de ‘oude’ productiemachine:
procman -forbid
service procman stop
background -stop
service web stop
service ldap stop
service explorator stop
service soffice stop
service handleserver stop
service tomcat stop
chkconfig --del explorator
chkconfig --del procman
chkconfig --del soffice
chkconfig --del handleserver
chkconfig --del tomcat
delphi -add system-name oldmoto
mutil -exe 's ^TBACKUP(0)=$H s ^TBACKUP(+$h,$p($h,",",2))=""'
mutil -stop
  • Dit :

    • legt procman (voor eeuwig) stil
    • beperkt de toegang via het web
    • legt de background stil
    • plaatst een timestamp in de databank
    • herstart M
  • Vervang de ip/Dns naam door 143.169.239.11/oldmoto:

    uname -S oldmoto
    
    • Editeer de volgende bestanden:

      /etc/hosts
      /etc/hostname.e1000g0
      /etc/nodename
      

13.6. Definitieve conversie : Voorbereiding productiemachine

  • Controleer of global ^XSORT(“~”)=(2**59) :

    Opmerking : laatste controle was ok.

  • Vervang de ip/Dns naam door 143.169.239.17/moto:

    • Editeer /etc/hosts, /etc/resolv.conf en /etc/sysconfig/network

    • Editeer /etc/sysconfig/network-scripts/ifcfg-em1

    • In directory /etc/sysconfig/network-scripts

      ./ifdown ifcfg-em1
      ./ifup ifcfg-em1
      ifconfig -a (controle)
      hostname (controle)
      
    • Aanpassing Apache conf file op newmoto

      cp /etc/httpd/conf.d/brocade.conf.newmoto /etc/httpd/conf.d/brocade.conf
      httpd -t
      service web stop; service web start
      
    • Aanpassingen in de automatische processen op oldmoto

      • moto.brocadefull

        r4_bindir/mutil -exe 's ^TBACKUP(0)=$H s ^TBACKUP(+$h,$p($h,",",2))=""'
        r4_bindir/background -forbid -quit
        r4_bindir/background -stop -quit
        r4_bindir/mutil -backup 'DEFAULT' cwd=/brocadefull
        r4_bindir/mutil -backup 'X' cwd=/brocadefull
        r4_bindir/mutil -backup 'XS' cwd=/brocadefull
        r4_bindir/background -allow -quit
        
    • Test SSH

      op oldmoto

      rsync -rupogtlW -e “ssh -c arcfour” /etc/ssh/ssh_host* 143.169.239.1:/etc/ssh
      rsync -rupogtlW -e “ssh -c arcfour” /.ssh/id_rsa* 143.169.239.1:/root/.ssh
      rsync -rupogtlW -e “ssh -c arcfour” /.ssh/identity* 143.169.239.1:/root/.ssh
      rsync -rupogtlW -e “ssh -c arcfour” /.ssh/known_hosts 143.169.239.1:/root/.ssh
      rsync -rupogtlW -e “ssh -c arcfour” /.ssh/ua@dnsstud.uhasselt.be 143.169.239.1:/root/.ssh

      op newmoto

      service sshd restart
      ssh backup.anet.ua.ac.be hostname
      ssh backup hostname
      ssh moto hostname
      ssh moto.cde.ua.ac.be hostname
      ssh anet.ua.ac.be hostname
      ssh dist.anet.ua.ac.be hostname
      ssh mew.cipal.be hostname
      ssh geapbib003.cipal.be hostname
      ssh geapbib001.cipal.be hostname
      ssh oba.anet.ua.ac.be hostname
      ssh obib.antwerpen.be hostname
      ssh geapbibvlacc.cipal.be hostname

      ssh -l usystem dist.anet.ua.ac.be hostname

      op legato

      ssh moto.cde.ua.ac.be hostname
      ssh moto hostname
      ssh anet.ua.ac.be hostname

13.7. Vervang Caché door GT.M

13.7.1. Definitieve conversie : Caché data naar main

  • Controleer of de ip/dns van ‘oude’ moto en ‘nieuwe’ moto de juiste definitieve zijn.
  • Voer uit op newmoto:
ccontrol stop cache
  • Voer uit op oldmoto:
mutil -stop
/usr/bin/priocntl -e -c RT rsync -rupogtlWhh --stats -e "ssh -c arcfour" /library/mumps/brocade/db/CACHE.DAT moto:/library/mumps/moto
mutil -start
mutil -exe 'd %DisAll^uprwp'
  • Voer uit op newmoto, en verifieer de Timestamp.
ccontrol start cache
mutil -exe 'w ^TBACKUP(0)' uci=moto
  • Start dan de export/import op newmoto op :
/usr/local/bin/pzwr.sh
  • Dit is hetzelfde als:
#!/bin/bash
mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -gout {} uci=moto cwd=/library/zwr format=zwr safe=y
mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -kill glo {}
sleep 60
mupip rundown -reg '*'
sleep 60
mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -import {}.zwr cwd=/library/zwr safe=y
  • Breng ook nog enkele extra unsafe globals over :
/usr/local/bin/puzwr.sh
  • Dit is hetzelfde als:
#!/bin/bash
rm -rf /library/zwr/unsafe/*.zwr
mutil -exe 'i $d(^USENR("session",0)) k ^MUSENR s ^MUSENR("session",0)=^USENR("session",0) s ^MUSENR("pagecnt")=^USENR("pagecnt")' uci=moto
mutil -exe 'i $d(^MUSENR("session",0)) k ^USENR("session",0) k ^USENR("pagecnt")' uci=moto
mutil -gout SIMPA SPRE UHIST URE UPROCESS UERR MUSENR UJOB UMENU uci=moto cwd=/library/zwr/unsafe format=zwr
mutil -kill glo UERR UPROCESS UHIST SIMPA SPRE UHIST URE MUSENR UJOB UMENU
mutil -import '*.zwr' cwd=/library/zwr/unsafe
mutil -exe 's:$g(^USENR("session",0))<^MUSENR("session",0) ^USENR("session",0)=^MUSENR("session",0)'
mutil -exe 's:$g(^USENR("pagecnt"))<^MUSENR("pagecnt") ^USENR("pagecnt")=^MUSENR("pagecnt")'
echo `date`
echo 'It is safe to login, now'
mutil -gout USENR uci=moto cwd=/library/zwr/unsafe format=zwr
mutil -import USENR.zwr cwd=/library/zwr/unsafe

De eerste manche van dit script is binnen de 15 min geeindigd, de tweede is merkbaar langer. Vanaf dat je het bericht It is safe to login, now ziet, kan in weze de web server worden opengesteld.

13.7.2. Dagelijkse transfer van Caché data naar main

Dit deel is een dagelijks (test-)alternatief voor voorgaande rubriek. Skip deze rubriek bij de definitieve conversie.

  1. Cache 2010.2.8 geinstalleerd in /library/mumps/cachesys en verder afgewerkt volgens de procedures beschreven in https://dev.anet.ua.ac.be/doc/brocade/html/3070_installatie.html.

  2. De databank is geinstalleerd in directory /library/mumps/moto.

  3. UCI MOTO en UCI MGR toegevoegd aan /library/mumps/brocade/db/mutil.ini.

    [uci_MOTO]
    mdir = /library/mumps/moto
    mostype = cache
    stat = False
    active = True
    instance =
    instname =
    logdir = /library/mumps/moto
    
    [uci_MGR]
    mdir = /library/mumps/cachesys/mgr
    mostype = cache
    stat = False
    active = True
    instance =
    instname =
    logdir = /library/mumps/moto
    
  4. mutil -config refresh.

  5. De full backup van server MOTO wordt elke nacht gecopieerd naar directory /library/brocadefull/db.

  6. Er is een automatisch process main.restore gedefineerd op deze server die een full restore uitvoert en de globals naar buiten brengt in ZWR formaat in directory /library/zwr en daarna deze inleest in GT.M.

    mutil -restore /library/brocadefull/db/cache_library_mumps_brocade_db.full source=/library/mumps/brocade/db target=/library/mumps/moto/CACHE.DAT confirm=yes uci=MGR
    # met GNU parallel
    mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -gout {} uci=moto cwd=/library/zwr format=zwr safe=y
    mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -kill glo {}
    sleep 60
    mupip rundown -reg '*'
    sleep 60
    mutil -list glo '*' '~X*' '~Z*' uci=moto safe=y | parallel mutil -import {}.zwr cwd=/library/zwr safe=y
    

Resultaten:

  • MOTO: Cache full backup : 2u30 min
  • MOTO: transfer naar MAIN: 30 min
  • MAIN: Cache restore : 4 min
  • MAIN: ZWR out : 5 uur (sequentieel duurt dit 20 uur !)
  • MAIN: ZWR in : 2 uur

13.7.3. Vergelijk diverse gegevens nieuw systeem/oud systeem

Voer uit op de ‘oude’ productiemachine en op de nieuwe, en vergelijk :

mutil -exe '%All^wosrcnt'

13.7.4. Aanmaken van de indexen onder GT.M

  • Een eerste faze herindexeert alle nodige objecten, behalve de catalografische records ; dit schrapt ook o.m. de wachtrij van indexen, indexeert de menustructuur, start de indexering voor alle (oude) authority records, wacht tot deze indexering is afgewerkt, herindexeert de instellingen, acquisitiedata,.. Voer uit : index.sh : dit is hetzelfde als :

    mutil -exe 'k ^UBG("todo")'
    mutil -exe '%UpdAll^umnsix'
    mutil -exe '%UpdAll^uussix'
    mutil -exe 'd %UpdAll^baasix(1)'
    mutil -exe 'd %UpdAll^bacsbuix'
    mutil -exe 'd %UpdAll^bdosix'
    mutil -exe 'd %UpdAll^bacssuix'
    mutil -exe 'd %UpdAll^gbname'
    mutil -exe 'd %UpdAll^gbermi'
    mutil -exe 'd %UpdAll^gberme'
    mutil -exe 'd %UpdAll^gberml'
    mutil -exe 'd %UpdAll^gbmold'
    mutil -exe 'd %Upd^bausix("","indexf","","","B")'
    catindex -run process=24
    background -wait
    mutil -exe 'd All^blnsix'
    catindex -run process=24
    background -wait
    mutil -exe 'd %UpdAll^ulislix'
    mutil -exe 'd %UpdAll^bacsorix(1)'
    mutil -exe 'd %UpdAll^bacssbix(1)'
    
  • In een tweede faze worden alle catalografische records geherindexeerd. Voer uit : cataindex.sh . Dit is hetzelfde als :

    background -wait
    mutil -exe 's lvd="" f  s lvd=$o(^BCAT(lvd)) q:lvd=""  w !,lvd d %BGR^bcasix(lvd,"",0,1)'
    service background start
    

13.8. Afwerking van de productiemachine

13.8.1. Automatische processen

De volgende automatische processen moeten aangepast worden zodra de nieuwe doc server in bedrijf gaat:

  • moto.flandrica
  • moto.rbupload
  • moto.stcvupload
  • moto.storeobjecthighres
  • moto.storeobjectimages
  • moto.storeprentimages

13.8.2. Controle goede werking

13.8.2.1. Procman

  • Betrokken processen :
    • standard.procmanprobe : Test procman werking

13.8.2.2. Mail

  • Betrokken processen :
    • moto.mailprobe : mailprobe send
    • moto.mailprobe2 : mailprobe test
    • standard.mailscan : Mailscan
    • standard.mailscanclean : Clean data voor mailscan na te kijken
    • standard.gabriel : Opstarten van Gabriël
    • standard.tasks : Verwittigingen takenkalender
    • standard.helpdesk : Helpdesk
    • standard.monitor : Monitor
    • standard.sdi : SDI

13.8.2.3. Impala/IBL

  • Betrokken processen :
    • moto.impalagateway : Impala gateway
    • moto.impalagatewaymurder : Opkuisen van binnengekomen Impala mails
    • moto.impalanightjob : Nachtprocedures voor Impala
    • moto.impstat :
    • moto.impwarning : Waarschuwingsmails naar Impala leveranciers
    • standard.eusercostnje : Afrekening IBL naar eindgebruikers

13.8.2.4. Systeem- en databank updates

  • Betrokken processen :
    • moto.timesinc : Synchronisatie van tijd met UA timeserver
    • moto.webalizer : webalizer
    • standard.qtechsync : Synchronisatie van brocade projecten met development systeem
    • standard.upython : Verwerk meta info naar python code
    • standard.namespaces : benaming (lgcode)
    • standard.setnow : Zet de registry waarde voor ‘now’
    • standard.webservices : Maak de webservices aan

-Voer uit en controleer het resultaat:

/usr/sbin/ntpdate -bus ntp.ua.ac.be
qtech -sync

13.8.2.5. Wiki

  • Betrokken processen :
    • moto.wiki : Wiki toegangsbeheer

13.8.2.6. Shipper

  • Betrokken processen :
    • standard.shipper : Shipper
    • standard.shipperclean : Clean data voor shipper

13.8.2.7. Stylist

  • Betrokken processen :
    • standard.stylist : Stylist

13.8.2.8. Watchdir

  • Betrokken processen :
    • standard.watchdir : Monitor directories

13.8.2.9. Virlib

  • Betrokken processen :
    • moto.virlib : VirLib verwerking binnenkomende documenten
    • moto.virlibmurder : Opkuisen van binnengekomen VirLib mails

13.8.2.10. Documentbeheer

  • Betrokken processen :
    • standard.docmanstat : Maak de statistieken voor docman aan
    • standard.docstore : Document Store

13.8.2.11. Permanentie

  • Betrokken processen :
    • moto.probesdivert : Probes - Omleiding GSM en SMS op basis van permanentie

13.8.2.12. Backup

  • Betrokken processen :
    • moto.backup : Backup van moto naar schijf + reboot
    • moto.backupos : Backup OS system files
    • moto.backuptoremote : Overbrengen van backup schijf naar remote systeem
    • moto.brocadefull : Full backup Brocade and AB

13.8.2.13. Software repository

  • Betrokken processen :
    • standard.softwareonweb : Archiveer de software paketten op het web

13.8.2.14. Systeem- en databank onderhoud

  • Betrokken processen :
    • standard.clean%Zz : Clean %Zz global
    • standard.cleandigcat : Opruimen van overtollige afbeeldingen
    • standard.cleandir : Kuis bepaalde directories op
    • standard.cleanmerrors : Kuis error logging op in M
    • standard.docmanmurder : Vernietig de vervallen documenten binnen docman
    • standard.globaldead : Kill de nodes in global ^DEAD, die mogen gekilled worden
    • standard.blindpw : Opruimen van de blinde paswoorden
    • standard.checkusers : Controleer gebruikers op hun laatste login
    • standard.killists : Schrap vervallen lijsten
    • standard.killzc : Schrap de tijdelijke global op gecontroleerde wijze
    • standard.killzglobals : Kill de globals, die beginnen met de letter Z en K
    • standard.users : Plaats gebruikers op non-actief

13.8.2.15. Export data t.b.v. Academische Bibliografie

  • Betrokken processen :
    • moto.abartir : Academische bibliografie voor Artesis ex IR
    • moto.abkdgir : Academische bibliografie voor KDG ex IR
    • moto.abplir : Academische bibliografie voor Plantijn ex IR
    • moto.abuair : Academische bibliografie voor de UA ex IR
    • moto.abuairzip : Academische bibliografie voor de UA zipfile
    • moto.irua : Export van Academische bibliografie in VABB-MODS formaat

13.8.2.16. Export t.b.v Antilope

  • Betrokken processen :
    • moto.antilope : Export antilope gegevens

13.8.2.17. Unicat

  • Betrokken processen :
    • moto.unicat : Maandelijkse levering UniCat updates

13.8.2.18. Depot

  • Betrokken processen :
    • moto.depotbiomed : Aanmaken van de Biomed bestanden
    • moto.depoteco : Aanmaken van de eco bestanden
    • moto.depotmed : Aanmaken van de med bestanden

13.8.2.19. Cheetah

  • Hoe controleren ?
    • Ga in Brocade naar Systeembeheer > Styles > Styldefinities
    • Kies cst_order
    • Maak testbestanden aan

13.8.2.20. Cherrypy

13.8.2.21. Dspace

  • Betrokken processen :
    • moto.dspace : DSpace cron utilities
    • moto.irsync : Synchroniseer brocade met dspace

13.8.2.22. Import Eindgebruikers

  • Betrokken processen :
    • moto.euserpl : Ophalen en verwerking gegevens eindgebruikers Plantijn
    • moto.euserua : Ophalen en verwerking gegevens studenten en personeel
    • moto.euseruawk : Ophalen en verwerking gegevens studenten en personeel - wekelijkse batch
    • moto.euseruh : Ophalen en verwerking gegevens eindgebruikers UHasselt

13.8.2.23. Import gebruikersaantallen

  • Betrokken processen :
    • standard.euserzone : Import gebruikersaantallen

13.8.2.24. Digitaal platform

  • Betrokken processen :
    • moto.flandrica : Verwerking tif bestanden in het digitaal platform
    • moto.rbupload : Opladen van afbeeldingen in een regelwerk
    • moto.stcvupload : uploadimages
    • moto.storeobjecthighres : Opladen en verwerken van de highres afbeeldingen voor objecten
    • moto.storeobjectimages : Opladen en verwerken van de afbeeldingen en objecten voor afbeeldingen
    • moto.storeprentimages : Prentencabinet
    • moto.thumbnail : Maak thumbnails aan voor objectbeschrijvingen

13.8.2.25. Background/Index verwerking

  • Betrokken processen :
    • standard.background : Background verwerking (indexeringen,..)
    • moto.background : Background verwerking (indexeringen,..) Detached
    • moto.backgroundallow : Resume background proces
    • moto.backgroundstop : Stop background proces
    • moto.backgroundstop2 : Stop background proces - just before office time
    • standard.indexloose : Opruimen van overtollige Zoekvorm-Hoofdvorm linken in de indexstructuur
    • standard.indexmime : indexmime
    • standard.indexwork : Laden van het werkplan voor de indexen
    • standard.thingindex : Indexeren van archiefobjecten
    • moto.indexeuser : Indexeer eindgebruikers

13.8.2.26. Lucene

  • Betrokken processen :

    • moto.authlucene : Lucene index authorities
    • moto.bnclucene : Lucene index bnc
    • moto.lhlucene : Lucene index letterenhuis
    • moto.lvdlucene : Lucene index lvd
    • moto.stcvlucene : Lucene index stcv
    • moto.vabbglucene : Lucene index vabbg
    • moto.vabblucene : Lucene index vabb
    • moto.vlblucene : Lucene index vlb
    • standard.explorator : Herstart explorator daemon
    • standard.exploratorprocman : Indexering en facetberekening
  • Controleer de werking van pylucene

13.8.2.27. Zebra

  • Betrokken processen :
    • moto.lvdzebra : Zebra index lvd
    • moto.stcvzebra : Zebra index lvd
    • moto.zebrasrv : Start Zebra server antilope

13.8.2.28. Logging

  • Betrokken processen :
    • moto.errorlogcollect : Verzamel fouten voor errorlog
    • moto.errorlogretrieve : Lees errorlog-mailbox leeg
    • moto.globalstat : Verzamel statistieken over globals
    • moto.pagecounter : Page counter
    • standard.mfreecnt : Tel en check de beschikbare ruimte binnen de M databases
    • standard.mstatus : Schrijf actuele toestand weg van het M systeem

13.8.2.29. Vlacc

  • Betrokken processen :

    • moto.vlaccds : VLACC distributie
    • moto.vlaccget : VLACC ophalen updates bij VCOB (via ftp)
    • moto.vlaccprep : VLACC verwerking updates tot cat xml
    • moto.vlaccwarning : VLACC verwerking stuur warning email bij inhoudelijke verwerkingsproblemen
  • Voer volgende connecties minstens een maal op voorhand uit op de ‘nieuwe’ machine, nadat het nieuwe Ip adres/DNS is toegekend :

    ssh mew.cipal.be
    ssh geapbib003.cipal.be
    ssh geapbib001.cipal.be
    ssh oba.anet.ua.ac.be
    ssh obib.antwerpen.be
    ssh geapbibvlacc.cipal.be
    

13.8.2.30. Leen

  • Betrokken processen :
    • standard.bdatum : Zet de codes voor datum aanduiding
    • standard.loanmonth : Maandelijkse procedures voor de leen
    • standard.loannight : Nachtprocedures voor de leen
    • standard.checkloanparameters : Check de leenparameters
  • Tracht een boek uit te lenen, en opnieuw in te nemen
  • Controleer de werking van jodconvertor

13.8.2.31. Acquisitie

  • Betrokken processen :
    • standard.acquisitienight : Nachtprocedures voor acquisitie
    • standard.awlijst : Aanmaak aanwinsten lijsten

13.8.2.32. Catalografie

  • Betrokken processen :
    • standard.catnje : Wekelijkse catalografische acties
    • standard.barcodecreate : Aanmaak van barcode images
    • standard.barcodedelete : Opruimen van oude barcodes
    • standard.delivery : (Her)bereken de leveringsplaatsen voor alle plaatskenmerk genres
    • standard.libcheck : Check op inconsistenties in instellingsgegevens
    • moto.addanetpk : Voeg Anet plaatskenmerken toe aan electronisch beschikbare catalografische records

13.8.2.33. Authority Controle

  • Betrokken processen :
    • standard.authoritynight : Nachtprocedures voor authority controle
    • moto.logauthrel : Wekelijks verslag logging relaties

13.8.2.34. ERM

  • Betrokken processen :
    • standard.ermreport : Uitvoering ERM rapporten

13.8.2.35. Statistieken

  • Betrokken processen :

    • moto.st1, moto.st10, moto.st11, moto.st12, moto.st13, moto.st14, moto.st15, moto.st17, moto.st18, moto.st2, moto.st22, moto.st23, moto.st24, moto.st25, moto.st26, moto.st27, moto.st28, moto.st29, moto.st3, moto.st30, moto.st31, moto.st32, moto.st33, moto.st34, moto.st35, moto.st36, moto.st37, moto.st38, moto.st4, moto.st5, moto.st6, moto.st7, moto.st8, moto.st9, standard.st39, standard.st40, standard.st41, standard.st42, standard.st43, standard.st44, standard.st45, standard.st46 : Aanmaak diverse statistieken.
  • roep via de Brocade interface verschillende statistieken op : indien je nergens data te zien krijgt, of de verkeerde data ziet, controleer dan volgende waarden (deze moeten allemaal moto opleveren) :

    delphi -sea system-name
    mutil -exe 'w !,^UDELPHI("delphi","system-name")'
    

    Indien nodig, voer uit : upython .

13.8.2.36. Varia

  • Betrokken processen :
    • moto.awcheck : Check AW authority codes
    • standard.emailstaff : Controleert E-mail voor personeelsleden
    • standard.metacheck : Controleer meta info van een Brocade systeem
    • standard.gcal : Google calendars integreren in nieuwsbrief

13.8.3. Synchronisatie tussen oude en nieuwe server

Zie script /tools/to-main.sh

wikitool -clean
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/wiki 143.169.239.1:/library/database
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/roundup 143.169.239.1:/library/database
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/explorator 143.169.239.1:/library/database
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/httpd/htdocs 143.169.239.1:/library/httpd
rsync -rupogtlW -e "ssh -c arcfour" --delete --exclude webdav /library/process 143.169.239.1:/library
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/archive 143.169.239.1:/library

Er is een shellscript /library/moto/todo.sh aangemaakt die kan uitgevoerd worden na het overzetten van /library/process van de oude naar de nieuwe machine. Volgende taken worden uitgevoerd:

  • Python shelves, aangemaakt op de ‘oude’ moto zijn niet leesbaar op de nieuwe machine. Mailscan maakt hiervan gebruik, evenals process, dat nog door procman gebruikt wordt. De script overschrijft de administratiegegevens van mailscan met een nieuw aangemaakte shelve, en verwijdert de shelve van process.
  • de Lucene index voor lvd is al aangemaakt op de nieuwe machine zodat de sorteercodes daar al correct zijn. De script schrapt de overgehaalde lvd-Lucene index en plaatst de nieuwe.
sh /library/moto/todo.sh

13.8.4. SSL

  • De keys in /etc/httpd/conf zijn overgezet.
  • brocade.conf en ssl.conf zijn aangepast om met deze keys te werken.

13.9. Afwerking van de documentserver

13.9.1. Synchronisatie tussen oude en nieuwe doc server

rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/docman 143.169.239.2:/dg2
rsync -rupogtlW -e "ssh -c arcfour" /library/database/webdav/uapreciosa/originals/ 143.169.239.2:/dg1/digcat/originals
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/artesis/ 143.169.239.2:/dg2/webdav/artesis/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/etnografisch/ 143.169.239.2:/dg2/webdav/etnografisch/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/flandrica/ 143.169.239.2:/dg2/webdav/flandrica/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/lh/ 143.169.239.2:/dg2/webdav/lh/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/rb/ 143.169.239.2:/dg2/webdav/rb/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/rubenianum/ 143.169.239.2:/dg2/webdav/rubenianum/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/sba/ 143.169.239.2:/dg2/webdav/sba/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/stcv/ 143.169.239.2:/dg2/webdav/stcv/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/uapr/ 143.169.239.2:/dg2/webdav/uapr/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/vabb/ 143.169.239.2:/dg2/webdav/vabb/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/vabbshw/ 143.169.239.2:/dg2/webdav/vabbshw/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/web/ 143.169.239.2:/dg2/webdav/web/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/wiki/ 143.169.239.2:/dg2/webdav/wiki/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/uahome/ 143.169.239.2:/dg2/webdav/uahome/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/uaoffice/ 143.169.239.2:/dg2/webdav/uaoffice/data
rsync -rupogtlW -e "ssh -c arcfour" --delete /library/database/webdav/ua/ 143.169.239.2:/dg2/webdav/ua/data
rsync -rupogtlW -e "ssh -c arcfour" --delete --exclude "originals" /library/database/webdav/uapreciosa/ 143.169.239.2:/dg2/webdav/uapreciosa/data

13.9.2. Automatische processen

De volgende automatische processen moeten aangepast worden op moto zodra de nieuwe doc server in bedrijf gaat:

  • moto.flandrica
  • moto.rbupload
  • moto.stcvupload
  • moto.storeobjecthighres
  • moto.storeobjectimages
  • moto.storeprentimages

13.9.3. Versie controle

  • Installatie van mercurial (hg)
  • Installatie van hgweb

13.9.4. SSL

  • De keys in /etc/httpd/conf zijn overgezet.
  • brocade.conf en ssl.conf zijn aangepast om met deze keys te werken.

13.9.5. Verander ipnummer naar 143.169.239.15

  • Editeer /etc/hosts, /etc/resolv.conf en /etc/sysconfig/network

  • Editeer /etc/sysconfig/network-scripts/ifcfg-em1

  • In directory /etc/sysconfig/network-scripts

    ./ifdown ifcfg-em1
    ./ifup ifcfg-em1
    ifconfig -a (controle)
    hostname (controle)
    

13.10. Afwerking van MOTO

  • De volgende toolcat applicaties moeten zeker gechecked worden:

    /catalografie/catman           :
    /catalografie/centaur          :
    /docman/application            :
    /explorator/zebra              :
    /universe/meta                 :
    /libguide/application          :
    /qtech/pygments                :
    /lijstbeheer/naga              :
    
  • Bekijk en test de syncronisatie procedure van dspace. (dit kan wachten tot na de kerstvakantie)

  • Voor mailman moet een delphi-waarde aangepast worden op de mailserver mail.anet.ua.ac.be.

    delphi -add mailman-scp-exe: scp -p -q <host>:/usr/lib/python2.7/site-packages/anet/brocade/mailman.py /usr/lib/python2.5/site-packages/anet/brocade/mailman.py
    

13.11. Fysiek transport van machines

Beide servers MAIN en DB kunnen reeds verplaatst worden naar campus CDE.

  • Bekabeling MAIN:

    Local Remote
    em1: 143.169.239.1 switch
    em2: 10.2.2.1 (NFS) em2 op DB (10.2.2.2)
  • Bekabeling DB:

    Local Remote
    em1: 143.169.239.2 switch
    em2: 10.2.2.2 em2 op MAIN (10.2.2.1)
    em3: 10.3.3.2 e100g2 op MOTO (10.3.3.1)
    p6p1: 192.168.128.100 Management port 0 (192.168.128.101
    p6p2: 192.168.129.100 Management port 1 (192.168.129.101
    p7p1: 192.168.130.100 Controller port 0 (192.168.130.101
    p7p2: 192.168.131.100 Controller port 1 (192.168.131.102

13.11.1. Bekabeling

Hostname

13.12. Test nieuwe DOC machine

13.12.1. Op MOTO:

  • Test NFS service

    cd /net/doc/dg2/docman
    date >test.txt
    rm test.txt
    cd /net/doc/dg2/webdav
    date >test.txt
    rm test.txt
    
  • Test procman service

    qtech -project check /docman/application
    

13.12.2. Op DOC:

  • Test procman service

    qtech -project check /docman/application
    

13.12.4. Test toegang tot webdav met webdrive

13.13. Test nieuwe MOTO machine

13.13.1. Test werking explorator

  • test of daemon al draait

    ps -ef | grep explorator
    
  • moet teruggeven:

    /usr/bin/py -O /usr/local/bin/explorator -daemon run port=11111 threads=10 reset=0 indexers=False searchers=True debug=False
    
  • indien niet, start daemon op

    explorator -daemon start
    
  • test of daemon reageert (indien start noodzakelijk was, wacht ongeveer 30 sec)

    explorator -daemon status
    
  • moet teruggeven

    Explorator daemon running - pid ...
    
  • voer een zoekactie uit

    explorator -search dummy lvd
    tail /library/process/explorator/daemon/explorator_log
    
  • laatste 3 lijnen moeten zijn:

    @SEARCH exploratordaemon [tijdsaanduiding]
    [u'dummy', u'lvd']
    {}
    

13.13.2. Test shipper en mailscan

Script /library/moto/mail.sh voert volgende commando’s uit. Er zit een sleep in van 60 sec, dus even geduld...

shipping -f marc.jeurissen@ua.ac.be -t 'helpdesk@lib.ua.ac.be' -s 'Test ignore' -b '/library/moto/testmail.txt' -e
sleep 60
mailscan -retrieve helpdesk
mailscan -parse
ls -ls /library/process/mailscan/messages/helpdesk/messages

Voer dus uit:

sh /library/moto/mail.sh

De laatste file in de listing moet een mail zijn met de inhoud van het verzonden bestand (Ignore).

cat /library/process/mailscan/messages/helpdesk/messages/1000..