bin/pfa-genindex

   1 #!/usr/bin/env python
   2 # vi: encoding=utf-8 ts=8 sts=4 sw=4 et
   3
   4 import getopt
   5 import sys, os
   6 sys.path.insert(0, os.environ['HOME']+'/tld-ftp-admin/modules')
   7 from common import checkdir
   8 from config import ftp_dir,all_ftp_archs
   9 import config
  10 import ftpio
  11
  12 try:
  13     opts, args = getopt.getopt(sys.argv[1:], 'q',
  14         [
  15             "quiet", "index=",
  16             "nopoldek", "noyum", "norpmrepo",
  17             "poldek", "yum", "rpmrepo"
  18         ]
  19     )
  20 except getopt.GetoptError:
  21     print >>sys.stderr, "ERR: not enough parameters given"
  22     print >>sys.stderr, "gen-indexes.py [--quiet] [--[no]poldek] [--[no]yum] [--[no]rpmrepo] tree [tree2...]"
  23     sys.exit(1)
  24
  25 do_poldek = True
  26 do_yum = False
  27 do_rpmrepo = False
  28 quiet = False
  29 # update only if changed (applicable to yum)
  30 freshen = True
  31
  32 for o, a in opts:
  33     if o == "--nopoldek":
  34         do_poldek = False
  35     if o == "--noyum":
  36         do_yum = False
  37     if o == "--norpmrepo":
  38         do_rpmrepo = False
  39
  40     if o == "--poldek":
  41         do_poldek = True
  42     if o == "--yum":
  43         do_yum = True
  44     if o == "--rpmrepo":
  45         do_rpmrepo = True
  46
  47     if o == "-q" or o == "--quiet":
  48         quiet = True
  49
  50     if o == "--index":
  51         do_poldek = do_yum = do_rpmrepo = False
  52         for v in a.split(','):
  53             if v == 'poldek':
  54                 do_poldek = True
  55             if v == 'yum':
  56                 do_yum = True
  57             if v == 'rpmrepo':
  58                 do_rpmrepo = True
  59
  60 if not quiet:
  61     print "poldek: %s; yum: %s; rpmrepo: %s" % (do_poldek, do_yum, do_rpmrepo)
  62
  63 if not do_poldek and not do_yum and not do_rpmrepo:
  64     print >>sys.stderr, "ERR: speciy at least one action"
  65     sys.exit(1)
  66
  67 trees = args
  68
  69 for tree in trees:
  70     checkdir(tree)
  71
  72 ftpio.connect('gen-indexes')
  73
  74 locked = []
  75
  76 for tree in trees:
  77     if ftpio.lock(tree, True):
  78         locked.append(tree)
  79     else:
  80         if not quiet:
  81             print >>sys.stderr, "ERR: %s tree already locked" % tree
  82         for i in locked:
  83             ftpio.unlock(i)
  84         sys.exit(1)
  85
  86 home = os.environ['HOME']
  87
  88 os.umask(022)
  89 os.nice(19)
  90
  91 if do_poldek:
  92     poldek = '%s.stat/bin/poldek-new --cachedir=%s/tmp/poldek --conf %s.stat/etc/poldek.conf --mkidxz' % (ftp_dir, home, ftp_dir)
  93
  94     for tree in trees:
  95         print '\n-------------------------- %s --------------------------' % tree
  96         for arch in all_ftp_archs:
  97             print '\ngenerate poldek index for %s' % arch
  98             print '%s -s %s%s/%s/RPMS/ --mkidxz --mkidx-type pndir' % (poldek, ftp_dir, tree, arch)
  99             os.system('%s -s %s%s/%s/RPMS/ --mkidxz --mkidx-type pndir' % (poldek, ftp_dir, tree, arch))
 100             if arch != 'noarch' and config.separate_debuginfo:
 101                 os.system('%s -s %s%s/%s/debuginfo/ --mkidxz --mkidx-type pndir' % (poldek, ftp_dir, tree, arch))
 102
 103 if do_yum:
 104     os.system('%s cd %s.stat/repodata && cvs %s up comps.xml' % ("" if quiet else "set -x;", ftp_dir, "" if quiet else "-Q"))
 105     yum = '%s.stat/bin/createrepo -d -v --update --checkts --skip-stat --workers=12 -g %s.stat/repodata/comps.xml' % (ftp_dir, ftp_dir)
 106     comps_file = '%s.stat/repodata/comps.xml' % ftp_dir
 107     for tree in trees:
 108         print '\n-------------------------- %s --------------------------' % tree
 109         cachedir = '%s/tmp/createrepo/%s' % (home, tree)
 110         treedir = "%s%s" % (ftp_dir, tree)
 111         for arch in all_ftp_archs:
 112             print '\ngenerate repodata for %s using createrepo' % arch
 113             archdir = "%s/%s" % (treedir, arch)
 114             poldek_idx = "%s/RPMS/packages.ndir.md" % archdir
 115             repodata_idx = "%s/RPMS/repodata/repomd.xml" % archdir
 116             if freshen and os.path.exists(poldek_idx) and os.path.exists(repodata_idx) \
 117                 and not os.path.getmtime(comps_file) > os.path.getmtime(repodata_idx) \
 118                 and not os.path.getmtime(poldek_idx) > os.path.getmtime(repodata_idx):
 119                 print "repodata indexes already fresh"
 120                 continue
 121             print ('%s %s --cache %s-%s %s/RPMS' % ("" if quiet else "time", yum, cachedir, arch, archdir))
 122             os.system('%s %s --cache %s-%s %s/RPMS' % ("" if quiet else "time", yum, cachedir, arch, archdir))
 123             if arch != 'noarch' and config.separate_debuginfo:
 124                 os.system('%s %s --cache %s-%s %s/debuginfo' % ("" if quiet else "time", yum, cachedir, arch, archdir))
 125
 126 if do_rpmrepo:
 127     os.system('%s cd %s.stat/repodata && cvs %s up comps.xml' % ("" if quiet else "set -x;", ftp_dir, "" if quiet else "-Q"))
 128     for tree in trees:
 129         print '\n-------------------------- %s --------------------------' % tree
 130         for arch in all_ftp_archs:
 131             dir = '%s/%s/%s/RPMS' % (ftp_dir, tree, arch)
 132             if not quiet:
 133                 print '\ngenerate repodata for %s using rpmrepo (in %s)' % (arch, dir)
 134             os.system('%s rpmrepo %s -o %s' % ("" if quiet else "set -x;", dir, dir))
 135             if not quiet:
 136                 print 'copy comps.xml'
 137             comps = '%s.stat/repodata/comps.xml' % ftp_dir
 138             os.system('%s cp -p %s %s/repodata' % ("" if quiet else "set -x;", comps, dir))
 139
 140 for tree in trees:
 141     ftpio.unlock(tree)