Moved files from nova_slovnica and data_admin repositories

MANIFEST.in

@@ -1 +1,3 @@
-include conversion_utils/resources/jos_specifications.pickle
+include conversion_utils/resources/jos_specifications.pickle
+include conversion_utils/resources/dict.xml
+include conversion_utils/resources/structure_conversions.csv

conversion_utils/conllu_to_tei.py

@@ -0,0 +1,291 @@
+import argparse
+import re
+import sys
+
+from lxml import etree
+
+class Sentence:
+    def __init__(self, _id, no_ud=False):
+        self._id = _id
+        self.items = []
+        self.links = []
+        self.no_ud = no_ud
+
+    def add_item(self, token, lemma, upos, upos_other, xpos, misc):
+        self.items.append([token, lemma, upos, upos_other, xpos, misc == "SpaceAfter=No"])
+
+    def add_link(self, link_ref, link_type):
+        self.links.append([link_ref, link_type])
+
+    def as_xml(self, id_prefix=None):
+        if id_prefix:
+            xml_id = id_prefix + '.' + self._id
+        else:
+            xml_id = self._id
+        base = etree.Element('s')
+        set_xml_attr(base, 'id', xml_id)
+        id_counter = 1
+
+        for item in self.items:
+            token, lemma, upos, upos_other, xpos, no_space_after = item
+
+            if xpos in {'U', 'Z'}: # hmm, safe only as long as U is unused in English tagset and Z in Slovenian one
+                to_add = etree.Element('pc')
+            else:
+                to_add = etree.Element('w')
+                to_add.set('lemma', lemma)
+
+            to_add.set('ana', 'mte:' + xpos)
+            if not self.no_ud:
+                if upos_other != '_':
+                    to_add.set('msd', f'UposTag={upos}|{upos_other}')
+                else:
+                    to_add.set('msd', f'UposTag={upos}')
+
+            set_xml_attr(to_add, 'id', "{}.{}".format(xml_id, id_counter))
+            to_add.text = token
+
+            id_counter += 1
+
+            if no_space_after:
+                to_add.set('join', 'right')
+
+            base.append(to_add)
+
+        link_grp = etree.Element('linkGrp')
+        link_grp.set('corresp', '#'+xml_id)
+        link_grp.set('targFunc', 'head argument')
+        link_grp.set('type', 'JOS-SYN')
+        for link_id, item in enumerate(self.links):
+            link_ref, link_type = item
+            link = etree.Element('link')
+            link.set('ana', 'jos-syn:' + link_type)
+            if link_ref == u'0':
+                link.set('target', '#' + xml_id + ' #' + xml_id + '.' + str(link_id + 1))
+            else:
+                link.set('target', '#' + xml_id + '.' + link_ref + ' #' + xml_id + '.' + str(link_id + 1))
+            link_grp.append(link)
+        base.append(link_grp)
+        return base
+
+
+class Paragraph:
+    def __init__(self, _id):
+        self._id = _id
+        self.sentences = []
+
+    def add_sentence(self, sentence):
+        self.sentences.append(sentence)
+
+    def as_xml(self, id_prefix=None):
+        if id_prefix:
+            xml_id = id_prefix + '.' + self._id
+        else:
+            xml_id = self._id
+
+        p = etree.Element('p')
+        set_xml_attr(p, 'id', xml_id)
+
+        for sent in self.sentences:
+            p.append(sent.as_xml(id_prefix=id_prefix))
+        return p
+
+
+class TeiDocument:
+    def __init__(self, _id, paragraphs=list()):
+        self._id = _id
+        self.paragraphs = paragraphs
+
+    def as_xml(self):
+        root = etree.Element('TEI')
+        root.set('xmlns', 'http://www.tei-c.org/ns/1.0')
+        set_xml_attr(root, 'lang', 'sl')
+
+        xml_id = self._id
+        if xml_id is not None:
+            set_xml_attr(root, 'id', xml_id)
+        
+        tei_header = etree.SubElement(root, 'teiHeader')
+
+        text = etree.SubElement(root, 'text')
+        body = etree.SubElement(text, 'body')
+        for para in self.paragraphs:
+            body.append(para.as_xml(id_prefix=xml_id))
+
+        encoding_desc = etree.SubElement(tei_header, 'encodingDesc')
+        tags_decl = etree.SubElement(encoding_desc, 'tagsDecl')
+        namespace = etree.SubElement(tags_decl, 'namespace')
+        namespace.set('name', 'http://www.tei-c.org/ns/1.0')
+        for tag in ['p', 's', 'pc', 'w']:
+            count = int(text.xpath('count(.//{})'.format(tag)))
+            tag_usage = etree.SubElement(namespace, 'tagUsage')
+            tag_usage.set('gi', tag)
+            tag_usage.set('occurs', str(count))
+        return root
+
+    def add_paragraph(self, paragraph):
+        self.paragraphs.append(paragraph)
+        
+
+def build_tei_etrees(documents):
+    elements = []
+    for document in documents:
+        elements.append(document.as_xml())
+    return elements
+
+
+def set_xml_attr(node, attribute, value):
+    node.attrib['{http://www.w3.org/XML/1998/namespace}' + attribute] = value
+
+
+def parse_metaline(line):
+    tokens = line.split('=', 1)
+    key = tokens[0].replace('#', '').strip()
+    if len(tokens) > 1 and not tokens[1].isspace():
+        val = tokens[1].strip()
+    else:
+        val = None
+    return (key, val)
+
+
+def is_metaline(line):
+    if re.match('# .+ =.*', line):
+        return True
+    return False
+
+
+def construct_tei_documents(conllu_lines):
+    documents = []
+
+    doc_id = None
+    document_paragraphs  = []
+
+    para_id = None
+    para_buffer = []
+
+    for line in conllu_lines:
+        if is_metaline(line):
+            key, val = parse_metaline(line)
+            if key == 'newdoc id':
+                if len(para_buffer) > 0:
+                    document_paragraphs.append(construct_paragraph(para_id, para_buffer))
+                if len(document_paragraphs) > 0:
+                    documents.append(
+                        TeiDocument(doc_id, document_paragraphs))
+                    document_paragraphs = []
+                doc_id = val
+            elif key == 'newpar id':
+                if len(para_buffer) > 0:
+                    document_paragraphs.append(construct_paragraph(para_id, para_buffer))
+                    para_buffer = []
+                para_id = val
+            elif key == 'sent_id':
+                para_buffer.append(line)
+        else:
+            if not line.isspace():
+                para_buffer.append(line)
+
+    if len(para_buffer) > 0:
+        document_paragraphs.append(construct_paragraph(para_id, para_buffer))
+
+    if len(document_paragraphs) > 0:
+        documents.append(
+            TeiDocument(doc_id, document_paragraphs))
+
+    return documents
+
+
+def construct_paragraph(para_id, conllu_lines):
+    para = Paragraph(para_id)
+
+    sent_id = None
+    sent_buffer = []
+
+    for line in conllu_lines:
+        if is_metaline(line):
+            key, val = parse_metaline(line)
+            if key == 'sent_id':
+                if len(sent_buffer) > 0:
+                    para.add_sentence(construct_sentence(sent_id, sent_buffer))
+                    sent_buffer = []
+                sent_id = val
+        elif not line.isspace():
+           sent_buffer.append(line) 
+
+    if len(sent_buffer) > 0:
+        para.add_sentence(construct_sentence(sent_id, sent_buffer))
+
+    return para
+
+
+def construct_sentence(sent_id, lines):
+    sentence = Sentence(sent_id)
+    for line in lines:
+        if line.startswith('#') or line.isspace():
+            continue
+        line = line.replace('\n', '')
+        tokens = line.split('\t')
+        word_id = tokens[0]
+        token = tokens[1]
+        lemma = tokens[2]
+        upos = tokens[3]
+        xpos = tokens[4]
+        upos_other = tokens[5]
+        depparse_link = tokens[6]
+        depparse_link_name = tokens[7]
+        misc = tokens[9]
+
+        sentence.add_item(
+                token,
+                lemma,
+                upos,
+                upos_other,
+                xpos,
+                misc)
+
+        sentence.add_link(
+            depparse_link,
+            depparse_link_name)
+    return sentence
+
+
+def construct_tei_etrees(conllu_lines):
+    documents = construct_tei_documents(conllu_lines)
+    return build_tei_etrees(documents)
+
+
+def convert_file(input_file_name, output_file_name):
+    input_file = open(input_file_name, 'r')
+    root = construct_tei_etrees(input_file)[0]
+    tree = etree.ElementTree(root)
+    tree.write(output_file_name, encoding='UTF-8', pretty_print=True)
+    input_file.close()
+
+    tree = etree.ElementTree(root)
+    tree.write(output_file_name, pretty_print=True, encoding='utf-8')
+
+
+if __name__ == '__main__':
+    import argparse
+    from glob import glob
+
+    parser = argparse.ArgumentParser(description='Convert CoNNL-U to TEI.')
+    parser.add_argument('files', nargs='+', help='CoNNL-U file')
+    parser.add_argument('-o', '--out-file', dest='out', default=None,
+                help='Write output to file instead of stdout.')
+
+    args = parser.parse_args()
+
+    if args.out:
+        f_out = open(args.out, 'w')
+    else:
+        f_out = sys.stdout
+
+    for arg in args.files:
+        filelist = glob(arg)
+        for f in filelist:
+            with open(f, 'r') as conllu_f:
+                tei_etrees = construct_tei_etrees(conllu_f)
+            for tei_etree in tei_etrees:
+                f_out.write(etree.tostring(tei_etree, pretty_print=True, encoding='utf-8').decode())
+                f_out.write('')

conversion_utils/resources/dict.xml

@@ -0,0 +1,14 @@
+<dict>
+  <syns>
+    <syn sl="modra" en="Root"/>
+    <syn sl="del" en="PPart"/>
+    <syn sl="dol" en="Atr"/>
+    <syn sl="ena" en="Sb"/>
+    <syn sl="dve" en="Obj"/>
+    <syn sl="tri" en="AdvM"/>
+    <syn sl="štiri" en="AdvO"/>
+    <syn sl="prir" en="Coord"/>
+    <syn sl="vez" en="Conj"/>
+    <syn sl="skup" en="MWU"/>
+  </syns>
+</dict>

conversion_utils/resources/structure_conversions.csv

@@ -0,0 +1,193 @@
+gramrel|struktura|Name_ID|DSB|Simon|Simon-1|NSSS|Pov-REFL|Pov-NEG|Zgled|LBS|Opomba-1|Opomba-2|Opomba-3|Flip
+S_G-inf|<struktura>gbz Inf-GBZ</struktura>|gg-ggn|12|50||12|||uspeti VIDETI|LBS-071|brez povratnih|||
+S_nedoločnik|<struktura>GBZ Inf-gbz</struktura>|gg-ggn|12|50||12|||USPETI videti|LBS-071|brez povratnih|||
+S_%s_g2|<struktura>GBZ %s sbz2</struktura>|gg-d-s2|13|34||13|||ODGOVORITI brez razmisleka|LBS-044|brez povratnega|||
+S_%s_x_g2|<struktura>gbz %s SBZ2</struktura>|gg-d-s2|13|34||13|||skočiti s STOLA|LBS-044|brez povratnega|||
+S_%s_g4|<struktura>GBZ %s sbz4</struktura>|gg-d-s4|14|36||14|||VNAŠATI v telo|LBS-046|brez povratnega|||
+S_%s_x_g4|<struktura>gbz %s SBZ4</struktura>|gg-d-s4|14|36||14|||voziti v ŠOLO|LBS-046|brez povratnega|||
+S_%s_x_g5|<struktura>gbz %s SBZ5</struktura>|gg-d-s5|15|37||15|||očistiti po UPORABI|LBS-047|brez povratnega|||
+S_%s_g5|<struktura>GBZ %s sbz5</struktura>|gg-d-s5|15|37||15|||UŽIVATI v vožnji|LBS-047|brez povratnega|||
+S_%s_x_g6|<struktura>gbz %s SBZ6</struktura>|gg-d-s6|16|38||16|||hoditi z BERGLAMI|LBS-048|brez povratnega|glej zgoraj opombo v vrstici 17, isti problem, drugi prvi del||
+S_%s_g6|<struktura>GBZ %s sbz6</struktura>|gg-d-s6|16|38||16|||VZGAJATI z ljubeznijo|LBS-048|brez povratnega|||
+S_%s_g3|<struktura>GBZ %s sbz3</struktura>|gg-d-s3|17|35||17|||RAVNATI proti vesti|LBS-045|brez povratnega|||
+S_%s_x_g3|<struktura>gbz %s SBZ3</struktura>|gg-d-s3|17|35||17|||steči proti VRATOM|LBS-045|brez povratnega|||
+S_kakšen-g?|<struktura>gbz PBZ1</struktura>|gg-p1|18|16||18|||pozirati GOL|LBS-019|brez povratnega|||
+S_kakšen-p?|<struktura>GBZ pbz1</struktura>|gg-p1|18|16||18|||TEČI bos|LBS-019|brez povratnega|||
+S_je_za_g|<struktura>gbz RBZ</struktura>||20|||||||LBS-023|<!-- LBS23 excluded (S_kako-kdaj-za_g?/S_je_za_g) - replicates LBS22, positional adverbs, now handled by treebank -->|združiti s strukturo 43||43
+S_kako-kdaj-za_g?|<struktura>GBZ rbz</struktura>||20|||||||LBS-023|<!-- LBS23 excluded (S_kako-kdaj-za_g?/S_je_za_g) - replicates LBS22, positional adverbs, now handled by treebank -->|združiti s strukturo 43||43
+S_v_rodil|<struktura>GBZ sbz2</struktura>||21|6||||||LBS-006||nova struktura 108||
+S_koga-česa|<struktura>gbz SBZ2</struktura>||21|6||||||LBS-006||nova struktura 108||
+S_v_dajal|<struktura>GBZ sbz3</struktura>|gg-s3|22|7||22|||SPREGOVORITI ljudstvu|LBS-007|brez povratnega|||
+S_komu-čemu|<struktura>gbz SBZ3</struktura>|gg-s3|22|7||22|||zaupati VODSTVU|LBS-007|brez povratnega|||
+S_koga-kaj|<struktura>gbz SBZ4</struktura>|gg-s4|23|8||23|||pogrniti MIZO|LBS-008|brez povratnega|||
+S_v_tožil|<struktura>GBZ sbz4</struktura>|gg-s4|23|8||23|||STISNITI sok|LBS-008|brez povratnega|||
+S_zanikani|<struktura>Neg-gbz SBZ2</struktura>|l-gg-s2|24|11|2|24||23|ne prepuščati ZRAKA|LBS-011||||
+S_z_nikalnim|<struktura>Neg-GBZ sbz2</struktura>|l-gg-s2|24|11|2|24||23|ne STISNITI zavore |LBS-011||||
+S_G-neg-inf|<struktura>Neg-gbz Inf-GBZ</struktura>|l-gg-ggn|25|51||25||12|ne ZAČETI teči|LBS-072|brez povratnih|pojavlja se tudi Neg-gbz Inf GBZ (Neg z veliko)||
+S_%s_x_p2|<struktura>pbz0 %s SBZ2</struktura>|p0-d-s2|26|39||26|||izdelan iz BOMBAŽA|LBS-054||||
+S_%s_p2|<struktura>PBZ0 %s sbz2</struktura>|p0-d-s2|26|39||26|||VELJAVEN do decembra|LBS-054||||
+S_%s_x_p4|<struktura>pbz0 %s SBZ4</struktura>|p0-d-s4|27|41||27|||alergičen na SONCE|LBS-056||||
+S_%s_p4|<struktura>PBZ0 %s sbz4</struktura>|p0-d-s4|27|41||27|||VAREN za uživanje|LBS-056||||
+S_%s_x_p5|<struktura>pbz0 %s SBZ5</struktura>|p0-d-s5|28|42||28|||prepričan o USPEHU|LBS-057||||
+S_%s_p5|<struktura>PBZ0 %s sbz5</struktura>|p0-d-s5|28|42||28|||UTRUJEN po tekmi|LBS-057||||
+S_%s_p6|<struktura>PBZ0 %s sbz6</struktura>|p0-d-s6|29|43||29|||IZVOLJEN z večino|LBS-058||||
+S_%s_x_p6|<struktura>pbz0 %s SBZ6</struktura>|p0-d-s6|29|43||29|||razočaran nad ODLOČITVIJO|LBS-058|glej zgoraj opombo v vrstici 17, isti problem, drugi prvi del|||
+S_priredje|<struktura>PBZ0 in/ali pbz0</struktura>|p0-vp-p0|30|64||30|||DOBER in/ali SLAB|LBS-099||||
+S_%s_x_p3|<struktura>pbz0 %s SBZ3</struktura>|p0-d-s3|31|40||31|||nagnjen k ZLORABI|LBS-055||||
+S_%s_p3|<struktura>PBZ0 %s sbz3</struktura>|p0-d-s3|31|40||31|||NAMENJEN proti domu|LBS-055||||
+S_primera|<struktura>PBZ0 kot sbz0</struktura>|p0-vd-s0|32|21||32|||LAČEN kot volk / utrujen kot PES|LBS-025||||
+S_je_za_p|<struktura>pbz0 RBZ</struktura>||33|||||||LBS-028|<!-- LBS28 excluded (S_kako-kdaj-za_p?/S_je_za_p) - replicates LBS27, positional adverbs, now handled by treebank -->|združiti s strukturo 46||46
+S_kako-kdaj-za_p?|<struktura>PBZ0 rbz</struktura>||33|||||||LBS-028|<!-- LBS28 excluded (S_kako-kdaj-za_p?/S_je_za_p) - replicates LBS27, positional adverbs, now handled by treebank -->|združiti s strukturo 46||46
+S_kakšen?|<struktura>pbz0 SBZ0</struktura>|p0-s0|34|1||34|||bela ZASTAVA|LBS-001||||
+S_kdo-kaj?|<struktura>PBZ0 sbz0</struktura>|p0-s0|34|1||34|||RDEČA jagoda|LBS-001||||
+S_p-koga-česa|<struktura>pbz0 SBZ2</struktura>|p0-s2|35|2||35|||[biti] obtožen UTAJE|LBS-002||||
+S_v_rodil-p|<struktura>PBZ0 sbz2</struktura>|p0-s2|35|2||35|||[biti] VESEL uspeha|LBS-002||||
+S_v_dajal-p|<struktura>PBZ0 sbz3</struktura>|p0-s3|36|3||36|||[biti] NAMENJEN vzgoji|LBS-003||||
+S_p-komu-čemu|<struktura>pbz0 SBZ3</struktura>|p0-s3|36|3||36|||[biti] zvest GOSPODARJU|LBS-003||||
+S_oba-v-rod|<struktura>PBZ2 sbz2</struktura>|p2-s2|37|4||37|||[biti] DOBRE volje|LBS-004||||
+S_oba-v-rod|<struktura>pbz2 SBZ2</struktura>|p2-s2|37|4||37|||[biti] dobrega SRCA|LBS-004||||
+S_%s_r2|<struktura>RBZ %s sbz2</struktura>|r-d-s2|38|44||38|||DANES do polnoči|LBS-064||||
+S_%s_r3|<struktura>RBZ %s sbz3</struktura>|r-d-s3|39|45||39|||VČERAJ proti večeru|LBS-065||||
+S_%s_r5|<struktura>RBZ %s sbz5</struktura>|r-d-s5|40|47||40|||VIDNO v zadregi|LBS-067||||
+S_%s_r4|<struktura>RBZ %s sbz4</struktura>|r-d-s4|41|46||41|||MALO za šalo|LBS-066||||
+S_%s_r6|<struktura>RBZ %s sbz6</struktura>|r-d-s6|42|48||42|||JUTRI pred odhodom|LBS-068|||vse so strukture|
+S_kako-kdaj_g?|<struktura>rbz GBZ</struktura>|r-gg|43|19||43|||čvrsto STISNITI|LBS-022|brez povratnega|||
+S_je_pred_g|<struktura>RBZ gbz</struktura>|r-gg|43|19||43|||DEBELO gledati|LBS-022|brez povratnega|||
+S_priredje|<struktura>RBZ in/ali rbz</struktura>|r-vp-r|44|67||44|||VČERAJ in/ali DANES|LBS-099||samo prvega zapišemo z velikimi črkami||
+S_primera|<struktura>RBZ kot sbz0</struktura>|r-vd-s0|45|22||45|||TIHO kot miš / mrzlo kot VRAG|LBS-025||||
+S_kako-kdaj_p?|<struktura>rbz PBZ0</struktura>|r-p0|46|24||46|||dovolj ZREL|LBS-027||sprememba v pridevniško lemo||
+S_je_pred_p|<struktura>RBZ pbz0</struktura>|r-p0|46|24||46|||RESNIČNO izjemen|LBS-027||sprememba v pridevniško lemo||
+S_količinski|<struktura>rbz SBZ2</struktura>|r-s2|47|28||47|||malo MOŽNOSTI|LBS-033||||
+S_količina_ob-s|<struktura>RBZ sbz2</struktura>|r-s2|47|28||47|||VELIKO ljudi|LBS-033||||
+S_%s_x_s2|<struktura>sbz0 %s SBZ2</struktura>|s0-d-s2|48|29||48|||dan brez AVTOMOBILA|LBS-034||||
+S_%s_s2|<struktura>SBZ0 %s sbz2</struktura>|s0-d-s2|48|29||48|||LISTINA iz spisa |LBS-034||||
+S_%s_s3|<struktura>SBZ0 %s sbz3</struktura>|s0-d-s3|49|30||49|||DOPOLNILO k zahvali |LBS-035||||
+S_%s_x_s3|<struktura>sbz0 %s SBZ3</struktura>|s0-d-s3|49|30||49|||poziv k ODSTOPU|LBS-035||||
+S_%s_s6|<struktura>SBZ0 %s sbz6</struktura>|s0-d-s6|50|33||50|||IZBOR med kandidati|LBS-038|"pri predlogu z se pojavljajo tudi zapisi ""SBZ0 s/z sbz6"" in ""SBZ0 z/s sbz6"", ker je ""s"" variantna oblika od ""z"" (lemma od obeh je ""z"")"|povsem enako kot za s/z velja za h/k (lemma od obeh je k)||
+S_%s_x_s6|<struktura>sbz0 %s SBZ6</struktura>|s0-d-s6|50|33||50|||odnos s PARTNERJEM|LBS-038|glej zgoraj opombo v vrstici 17, isti problem, drugi prvi del|||
+S_%s_s4|<struktura>SBZ0 %s sbz4</struktura>|s0-d-s4|51|31||51|||OBESEK za ključ|LBS-036||||
+S_%s_x_s4|<struktura>sbz0 %s SBZ4</struktura>|s0-d-s4|51|31||51|||predavanje na TEMO|LBS-036||||
+S_%s_s5|<struktura>SBZ0 %s sbz5</struktura>|s0-d-s5|52|32||52|||OTOK ob obali|LBS-037||||
+S_%s_x_s5|<struktura>sbz0 %s SBZ5</struktura>|s0-d-s5|52|32||52|||pesmica o SREČI|LBS-037||||
+S_v_rodil-s|<struktura>SBZ0 sbz2</struktura>|s0-s2|53|13||53|||PRANJE denarja|LBS-016||||
+S_s-koga-česa|<struktura>sbz0 SBZ2</struktura>|s0-s2|53|13||53|||utaja DAVKOV|LBS-016||||
+S_v_dajal-s|<struktura>SBZ0 sbz3</struktura>|s0-s3|54|14||54|||PISMO predsedniku|LBS-017||||
+S_s-komu-čemu|<struktura>sbz0 SBZ3</struktura>|s0-s3|54|14||54|||zahvala SPONZORJU|LBS-017||||
+S_prislov_prislov|<struktura>rbz RBZ</struktura>|r-r|55|25||55|||zares IZJEMNO / ENAKO besno|LBS-030||||
+S_s_prislovom|<struktura>s prislovom</struktura>||56|||||||LBS-012|<!-- LBS12 excluded (S_s_prislovom/S_s_prislovom) - not a collocation -->|brisati tudi podatke||
+S_s_prislovom|<struktura>s prislovom</struktura>||56|||||||LBS-012|<!-- LBS12 excluded (S_s_prislovom/S_s_prislovom) - not a collocation -->|brisati tudi podatke||
+S_Vez_P1|<struktura>sbz1 Vez-gbz PBZ1</struktura>|s1-gp-p1|57|5||57|||hruška je ZRELA|LBS-005||||
+S_S1_Vez_P|<struktura>SBZ1 Vez-gbz pbz1</struktura>|s1-gp-p1|57|5||57|||REZULTATI so dobri|LBS-005||||
+||gg-zp-s3||7||68|22||izneveriti se tradiciji|LBS-007|samo povratni (nova)|||
+||gg-zp-s4||8||69|23||ogledati si posnetek|LBS-008|samo povratni (nova)|||
+S_osebek_od|<struktura>SBZ1 gbz</struktura>|s1-gg||9||70|||PANIKA zavlada|LBS-009|brez povratnega|||
+S_osebek_je|<struktura>sbz1 GBZ</struktura>|s1-gg||9||70|||večina RAZUME |LBS-009|brez povratnega|||
+||s1-zp-gg||9||71|70||človek se USTRAŠI|LBS-009|samo povratni (nova)|||
+S_n-osebek_je|<struktura>sbz1 Neg-GBZ</struktura>|s1-l-gg||10|1|72||70|voda ne TEČE|LBS-010|brez povratnega|||
+S_n-osebek_od|<struktura>SBZ1 neg-gbz</struktura>|s1-l-gg||10|1|72||70|ČLOVEK ne vidi |LBS-010|brez povratnega|||
+||s1-zp-l-gg||10|1|73|72|70|vernik se ne BRIJE |LBS-010|samo povratni (nova)|||
+S_zanikani|<struktura>Neg-gbz SBZ2</struktura>|ggz-s2||11|1|74||23|ne hoteti ODGOVORA|LBS-011|brez povratnega|||
+S_z_nikalnim|<struktura>Neg-GBZ sbz2</struktura>|ggz-s2||11|1|74||23|ne IMETI znanja|LBS-011|brez povratnega|||
+||l-gg-zp-s2||11|1|75|24|23|ne ZVITI si noge|LBS-011|samo povratni (nova)|||
+S_sam-im_sam|<struktura>sbz0 SBZ0</struktura>|s0-s0||12||76|||angina PECTORIS|LBS-014||||
+S_im_sam-sam|<struktura>SBZ0 sbz0</struktura>|s0-s0||12||76|||ČLOVEK pajek|LBS-014||||
+S_Vez_S|<struktura>SBZ1 Vez-gbz sbz1</struktura>|s0-gp-s1||15||77|||STRIC je partizan|LBS-018||||
+||gg-zp-p1||16||78|18||zdeti se premagan|LBS-019|samo povratni (nova)|||
+S_kakšnega-p|<struktura>Vez-gbz PBZ4</struktura>|gg-p4|19|17||19|||pustiti SAMEGA|LBS-020|brez povratnega|to je v resnici številka 19 v DSB|SPREMLJATI REZULTAT!|
+S_kakšnega-g?|<struktura>Vez-GBZ pbz4</struktura>|gg-p4|19|17||19|||VIDETI nasmejanega|LBS-020|brez povratnega|to je v resnici številka 19 v DSB|SPREMLJATI REZULTAT!|
+||gg-zp-p4||17||80|19||počutiti se osamljenega|LBS-020|samo povratni (nova)|||
+||r-zp-gg||19||81|43||močno se prestrašiti|LBS-022|samo povratni (nova)|||
+S_primera|<struktura>GBZ kot sbz0</struktura>|gg-vd-s0||20||82|||BRUHATI kot vidra|LBS-025|brez povratnega|||
+||gg-zp-vd-s0||20||83|82||pojavljati se kot mora|LBS-025|samo povratni (nova)|||
+S_primera|<struktura>SBZ0 kot sbz0</struktura>|s0-vd-s0||23||84|||ZDRAVJE kot vrednota / vrednost kot OSNOVA|LBS-025||NE IZPISUJE 'KOT'!||
+S_kako-kdaj_r|<struktura>RBZ Vez-gbz pbz1</struktura>|r-p1||26||85|||[biti] objavljen včeraj|LBS-031||||
+||gg-zp-d-s2||34||86|13||pripeljati se do banke|LBS-044|samo povratni (nova)|||
+||gg-zp-d-s3||35||87|17||odločiti se kljub nasprotovanju|LBS-045|samo povratni (nova)|||
+||gg-zp-d-s4||36||88|14||voziti se v službo|LBS-047|samo povratni (nova)|||
+||gg-zp-d-s5||37||89|15||kopati se v morju|LBS-047|samo povratni (nova)|||
+||gg-zp-d-s6||38||90|16||pripeljati se z mopedom|LBS-048|samo povratni (nova)|||
+S_%s_r|<struktura>sbz0 %s RBZ</struktura>|s0-d-r||49||91|||prijatelj za VEDNO|LBS-069|||popravljeno|
+||gg-zp-ggn||||92|12||prizadevati si poiskati|LBS-071|samo povratni prvi glagol (nova)|||
+||gg-ggn-zp||||93|12||utegniti zaplesti se|LBS-071|samo povratni drugi glagol (nova)|||
+||gg-zp-ggn-zp||||94|92/93||odločiti se prodati se|LBS-071|samo povratni oba glagola (nova)|||
+||l-gg-zp-ggn||51||95|25|92|ne dati se predvideti|LBS-072|samo povratni prvi glagol (nova)|||
+||l-gg-ggn-zp||51||96|25|93|ne uspeti udeležiti se|LBS-072|samo povratni drugi glagol (nova)|||
+||l-gg-zp-ggn-zp||51||97|25|94|ne bati se pokazati se|LBS-072|samo povratni oba glagola (nova)|||
+S_R-inf|<struktura>rbz Vez-gbz Inf-GBZ</struktura>|r-ggn||52||98|||[biti] bolje PRESEKATI|LBS-073|brez povratnega|||
+||r-ggn-zp||52||99|98||[biti] bolje smejati se|LBS-073|samo povratni (nova)|||
+S_P-inf|<struktura>pbz1 Vez-gbz Inf-GBZ</struktura>|p1-ggn||54||100|||[biti] prisiljen ZAPRETI|LBS-075|brez povratnega|||
+||p1-ggn-zp||54||101|100||[biti] pripravljen zadolžiti se|LBS-075|samo povratni (nova)|||
+S_S-inf|<struktura>sbz1 Vez-gbz Inf-GBZ</struktura>|s1-ggn||56||102|||pravica POČETI |LBS-077|brez povratnega|||
+||s1-ggn-zp||56||103|||pravica odločati se|LBS-077|samo povratni (nova)|||
+S_namenilnik|<struktura>gbz Nam-GBZ</struktura>|gg-ggm||58||104|||iti PLAVAT|LBS-079|brez povratnega|||
+||gg-ggm-zp||58||105|||iti ogledat si|LBS-079|samo povratni (nova)|||
+S_priredje|<struktura>priredje</struktura>|s0-vp-s0||65||106|||VINO in/ali PIVO|LBS-099||"to najdemo tudi kot ""SBZ0 in sbz0"", ""SBZ0 in/ali sbz0"""||
+S_priredje|<struktura>GBZ in/ali gbz</struktura>|gg-vp-gg||66||107|||GOVORITI in/ali ŠEPETATI|LBS-099||"ta struktura je lahko ""GBZ in gbz"", ""GBZ ali gbz"", ""GBZ in/ali gbz"", pa tudi ""GBZ in/ali GBZ"" (oba elementa zapisana z veliko)"|za pretvorbo damo samo prvega z velikimi črkami|
+||gg-zp-s2||6||108|||BATI se maščevanja|LBS-006|samo povratni (nova)|bivša struktura 21||
+||gg-zp-s2||6||108|||želeti si ZDRAVJA|LBS-006|samo povratni (nova)|bivša struktura 22||
+S_n-osebek_je|<struktura>sbz1 Neg-GBZ</struktura>|s1-ggz||10|2||||država NIMA |LBS-010|odstranimo?|||
+S_n-osebek_od|<struktura>SBZ1 neg-gbz</struktura>|s1-ggz||10|2||||ČLOVEK nima|LBS-010|odstranimo?|||
+S_neg-kakšnega-g?|<struktura>Neg-GBZ pbz2</struktura>|||18|1/2||||ne RAZUMETI prebranega /  ne IMETI zaposlenih|LBS-021|odstranimo?|||
+S_neg-kakšnega-p|<struktura>Neg-gbz PBZ2</struktura>|||18|1/2||||ne želeti SLABEGA / ne hoteti SLABEGA|LBS-021|odstranimo?|||
+S_kdo-kaj_r|<struktura>sbz1 Vez-gbz RBZ</struktura>|||27|||||vzdušje je IZJEMNO|LBS-032|odstranimo|NESMISELNI REZULTATI - PRIDEVNIK, ponavlja NSSS id-57||
+S_R-neg-inf|<struktura>rbz Neg-Vez-gbz Inf-GBZ</struktura>|||53|1||||ne (biti) lahko ZAPUSTITI|LBS-074|odstranimo|||
+S_P-neg-inf|<struktura>pbz1 Neg-Vez-gbz Inf-GBZ</struktura>|||55|1||||ne (biti) dolžen OBJAVITI|LBS-076|odstranimo|||
+S_S-neg-inf|<struktura>sbz1 Neg-Vez-gbz Inf-GBZ</struktura>|||57|1||||ne (vzeti) časa POISKATI|LBS-078|odstranimo|||
+S_biti_s2|<struktura>vez-gbz SBZ2</struktura>|||59|||||biti brez VOLJE|LBS-082|odstranimo|to pokriva id 34||
+S_biti_s3|<struktura>vez-gbz SBZ3</struktura>|||60|||||biti proti VOLJi|LBS-083|odstranimo|to pokriva id 35||
+S_biti_s4|<struktura>vez-gbz SBZ4</struktura>|||61|||||biti na VOLJO|LBS-084|odstranimo|to pokriva id 36||
+S_biti_s5|<struktura>vez-gbz SBZ5</struktura>|||62|||||biti po VOLJI|LBS-085|odstranimo|to pokriva id 37||
+S_biti_s6|<struktura>vez-gbz SBZ6</struktura>|||63|||||biti pod VPLIVOM|LBS-086|odstranimo|to pokriva id 38||
+|<struktura>PBZ0 gbz</struktura>|||||||||***||||
+S_vezni|<struktura>gbz SBZ1</struktura>|||||||||LBS-013|<!-- LBS-013 excluded (S_vezni) - not a collocation /gbz SBZ1/ -->|||
+S_s-kdo-kaj|<struktura>sbz0 SBZ1</struktura>|||||||||LBS-015|<!-- LBS-015 excluded (S_v_imen-s/S_s-kdo-kaj) - replicates LBS14, too noisy -->|||
+S_v_imen-s|<struktura>SBZ0 sbz1</struktura>|||||||||LBS-015|<!-- LBS-015 excluded (S_v_imen-s/S_s-kdo-kaj) - replicates LBS14, too noisy -->|||
+S_veznik_enob|<struktura>SBZ0 Odv</struktura>|||||||||LBS-024|<!-- LBS-024 excluded (S_veznik_enob) - not a collocation -->|||
+S_veznik_enob|<struktura>RBZ Odv</struktura>|||||||||LBS-024|<!-- LBS-024 excluded (S_veznik_enob) - not a collocation -->|||
+S_veznik_enob|<struktura>PBZ0 Odv</struktura>|||||||||LBS-024|<!-- LBS-024 excluded (S_veznik_enob) - not a collocation -->|||
+S_veznik_enob|<struktura>GBZ Odv</struktura>|||||||||LBS-024|<!-- LBS-024 excluded (S_veznik_enob) - not a collocation -->|||
+S_simile|<struktura>primera</struktura>|||||||||LBS-025|"replicira drugo stran ""primera"""|||
+S_predl-pred|<struktura>s predlogom</struktura>|||||||||LBS-026|<!-- LBS-026 excluded (S_predl-pred) - not a collocation -->|||
+V_biti_videti|<vzorec>biti videti %s</vzorec>|||||||||LBS-029|<!-- LBS-029 excluded (V_biti_videti) - not a collocation -->|ta je pri pridevniku||
+V_biti_videti|<struktura>biti videti</struktura>|||||||||LBS-033|<!-- LBS-033 excluded (V_biti_videti) - not a collocation -->|bi moralo biti struktura||
+S_%(3.lempos)_x_s2||||||||||LBS-039|  <!-- LBS-039 excluded (S_%(3.lempos)_x_s2) - replicates LBS34 -->|||
+S_%(3.lempos)_x_s3||||||||||LBS-040|  <!-- LBS-040 excluded (S_%(3.lempos)_x_s3) - replicates LBS35 -->|||
+S_%(3.lempos)_x_s4||||||||||LBS-041|  <!-- LBS-041 excluded (S_%(3.lempos)_x_s4) - replicates LBS36 -->|||
+S_%(3.lempos)_x_s5||||||||||LBS-042|  <!-- LBS-042 excluded (S_%(3.lempos)_x_s5) - replicates LBS37 -->|||
+S_%(3.lempos)_x_s6||||||||||LBS-043|  <!-- LBS-043 excluded (S_%(3.lempos)_x_s6) - replicates LBS38 -->|||
+S_%(3.lempos)_x_g2||||||||||LBS-049|  <!-- LBS-049 excluded (S_%(3.lempos)_x_g2) - replicates LBS44 -->|||
+S_%(3.lempos)_x_g3||||||||||LBS-050|  <!-- LBS-050 excluded (S_%(3.lempos)_x_g3) - replicates LBS45 -->|||
+S_%(3.lempos)_x_g4||||||||||LBS-051|  <!-- LBS-051 excluded (S_%(3.lempos)_x_g4) - replicates LBS46 -->|||
+S_%(3.lempos)_x_g5||||||||||LBS-052|  <!-- LBS-052 excluded (S_%(3.lempos)_x_g5) - replicates LBS47 -->|||
+S_%(3.lempos)_x_g6||||||||||LBS-053|  <!-- LBS-053 excluded (S_%(3.lempos)_x_g6) - replicates LBS48 -->|||
+S_%(3.lempos)_x_p2||||||||||LBS-059|  <!-- LBS-059 excluded (S_%(3.lempos)_x_p2) - replicates LBS54 -->|||
+S_%(3.lempos)_x_p3||||||||||LBS-060|  <!-- LBS-060 excluded (S_%(3.lempos)_x_p3) - replicates LBS55 -->|||
+S_%(3.lempos)_x_p4||||||||||LBS-061|  <!-- LBS-061 excluded (S_%(3.lempos)_x_p4) - replicates LBS56 -->|||
+S_%(3.lempos)_x_p5||||||||||LBS-062|  <!-- LBS-062 excluded (S_%(3.lempos)_x_p5) - replicates LBS57 -->|||
+S_%(3.lempos)_x_p6||||||||||LBS-063|  <!-- LBS-063 excluded (S_%(3.lempos)_x_p6) - replicates LBS58 -->|||
+S_nedoločnik|<struktura>SBZ0 Inf-gbz</struktura>|||||||||LBS-070|<!-- LBS-070 excluded (S_nedoločnik) - replicates LBS-071 -->|||
+S_nedoločnik|<struktura>RBZ Inf-gbz</struktura>|||||||||LBS-070|<!-- LBS-070 excluded (S_nedoločnik) - replicates LBS71 -->|||
+S_nedoločnik|<struktura>PBZ0 Inf-gbz</struktura>|||||||||LBS-070|<!-- LBS-070 excluded (S_nedoločnik) - replicates LBS71 -->|||
+S_G_GInf_O4|<struktura>gbz Inf-gbz SBZ4</struktura>|||||||||LBS-080|<!-- LBS-080 excluded (S_G_GInf_O4) - CONSTRUCTION: combines two existing gramrels -->|||
+S_Vez_Inf_S|<struktura>SBZ1 vez-gbz Inf-gbz</struktura>|||||||||LBS-081 |<!-- LBS-081 excluded (S_Vez_Inf_S) - CONSTRUCTION: not clear what it does -->||ok|
+O_z_lastnim_imenom|<oznaka>pogosto z lastnim imenom</oznaka>|||||||||LBS-087|<!-- LBS-087 excluded (O_z_lastnim_imenom) - CONSTRUCTION+UNARY: indicates presence of proper names -->|manjka|ok|
+O_s_števili|<oznaka>pogosto s števili</oznaka>|||||||||LBS-088|<!-- LBS-088 excluded (O_s_števili) - CONSTRUCTION+UNARY: indicates presence of numerals -->|"manjka (je mogooče ""pogosto s števili"")?"||
+V_S_V_O3_O4|<vzorec>kdo/kaj G komu kaj</vzorec>|||||||||LBS-089|<!-- LBS-089 excluded (V_S_V_O3_O4) - CONSTRUCTION: will be included as a valency pattern -->|||
+V_S_V_O3_O2|<vzorec>kdo/kaj G komu koga/česa</vzorec>|||||||||LBS-090|<!-- LBS-090 excluded (V_S_V_O3_O2) - CONSTRUCTION: will be included as a valency pattern -->|||
+V_S_V_O4_predl|<vzorec>kdo/kaj G koga/kaj + predlog</vzorec>|||||||||LBS-091|<!-- LBS-091 excluded (V_S_V_O4_predl) - CONSTRUCTION: will be included as a valency pattern -->|||
+V_S_V_O3|<vzorec>kdo/kaj G komu</vzorec>|||||||||LBS-092|<!-- LBS-092 excluded (V_S_V_O3) - CONSTRUCTION: will be included as a valency pattern -->|||
+V_gl_Cit|<struktura>cit GBZ</struktura>|||||||||LBS-093|<!-- LBS-093 excluded (V_gl_Cit) - CONSTRUCTION: indicates presence of citation -->|tu je bil prej vzorec, spremenjeno v struktura, ker je tako v bazi||
+O_povratni_se|<oznaka>povratni (se)</oznaka>|||||||||LBS-094|<!-- LBS-094 excluded (O_povratni_se) - CONSTRUCTION+UNARY: indicates presence of a reflexive pronoun -->|||
+O_povratni_si|<oznaka>povratni (si)</oznaka>|||||||||LBS-095|<!-- LBS-095 excluded (O_povratni_si) - CONSTRUCTION+UNARY: indicates presence of a reflexive pronoun -->|||
+O_nedoločnik_cs|<oznaka>pogosto v nedoločniku</oznaka>|||||||||LBS-096|<!-- LBS-096 excluded (O_nedoločnik_cs) - CONSTRUCTION+UNARY: indicates frequency of infinitive -->|||
+O_tretja_oseba|<oznaka>pogosto v tretji osebi</oznaka>|||||||||LBS-097|<!-- LBS-097 excluded (O_tretja_oseba) - CONSTRUCTION+UNARY: indicates frequency of third person -->|||
+V_lahko_G|<vzorec>mod-rbz GBZ</vzorec>|||||||||LBS-098|<!-- LBS-098 excluded (V_lahko_G) - CONSTRUCTION: indicates presence of the modal adverb 'lahko' -->|ta je pri glagolu||
+V_lahko_G|<struktura>mod-rbz GBZ</struktura>|||||||||LBS-098|<!-- LBS-098 excluded (V_lahko_G) - CONSTRUCTION: indicates presence of the modal adverb 'lahko' -->|tu je bil prej vzorec, spremenjeno v struktura, ker je tako v bazi||
+S_z_vezajem|<struktura>rbz1-RBZ0</struktura>|||||||||LBS-100|<!-- LBS-100 excluded (S_z_vezajem) - SYMMETRIC: coordinate structure with a hyphen -->|||
+S_z_vezajem|<struktura>pbz1{-}PBZ0</struktura>|||||||||LBS-100|<!-- LBS-100 excluded (S_z_vezajem) - SYMMETRIC: coordinate structure with a hyphen -->|možna je tudi verzija PBZ1{-}pbz0||
+O_zanikanje|<oznaka>pogosto zanikan</oznaka>|||||||||LBS-101|<!-- LBS-101 excluded (O_zanikanje) - UNARY: indicates presence of negation -->|||
+O_količina|<oznaka>s količino</oznaka>|||||||||LBS-102|<!-- LBS-102 excluded (O_količina) - UNARY: indicates presence of numeration -->|||
+S_veznik_dvob|<struktura>dvobesedni veznik</struktura>|||||||||LBS-103|<!-- LBS-103 excluded (S_veznik_dvob) - COLLOC: indicates presence of a double conjunction -->|||
+S_d_sam_d|<struktura>z dvema predlogoma</struktura>|||||||||LBS-104|<!-- LBS-104 excluded (S_d_sam_d) - COLLOC: indicates presence of two prepositions -->|struktura ali vzorec?||
+S_gl_K_sam|<struktura>predlog s števnikom</struktura>|||||||||LBS-105|<!-- LBS-105 excluded (S_gl_K_sam) - COLLOC: indicates presence of a numeral -->|je tole sploh pravilno zapisano?||
+S_gl_K_sam|<struktura>zveze s števniki</struktura>|||||||||LBS-105|<!-- LBS-105 excluded (S_gl_K_sam) - COLLOC: indicates presence of a numeral -->|Simon, tu je treba pogledati š (je čudno napisan)||

conversion_utils/tei_to_dictionary.py

@@ -0,0 +1,59 @@
+import argparse
+import lxml.etree as lxml
+
+from conversion_utils.utils import xpath_find, get_xml_id, TEI_NAMESPACE_QUALIFIER
+
+def get_parsed_unit_string(parsed_unit):
+    elements = xpath_find(parsed_unit, 'tei:w|tei:pc')
+    return ''.join([e.text if e.get('join') == 'right' else e.text + ' ' for e in elements]).strip()
+
+def convert(input_file_name, output_file_name):
+
+    output_root = lxml.Element('dictionary')
+
+    parser = lxml.XMLParser(remove_blank_text=True)
+    input_root = lxml.parse(input_file_name, parser).getroot()
+    parsed_units = xpath_find(input_root, 'tei:text/tei:body/tei:p/tei:s')
+
+    for parsed_unit in parsed_units:
+        entry = lxml.SubElement(output_root, 'entry')
+        entry.set('sid', get_xml_id(parsed_unit))
+        head = lxml.SubElement(entry, 'head')
+        headword = lxml.SubElement(head, 'headword')
+        lemma_text = get_parsed_unit_string(parsed_unit)
+        lemma = lxml.SubElement(headword, 'lemma')
+        lemma.text = lemma_text
+        lexical_unit = lxml.SubElement(head, 'lexicalUnit')
+        tokens = xpath_find(parsed_unit, 'tei:w|tei:pc')
+        if (len(tokens) == 1):
+            token = tokens[0]
+            lexical_unit.set('type', 'single')
+            lexeme = lxml.SubElement(lexical_unit, 'lexeme')
+            if (token.tag == TEI_NAMESPACE_QUALIFIER + 'w'):
+                lexeme.set('lemma', token.get('lemma'))
+            lexeme.set('msd', token.get('ana')[len('mte:'):])
+            lexeme.text = token.text
+        else:
+            lexical_unit.set('type', 'MWE')
+            for (index, token) in enumerate(tokens, start=1):
+                component = lxml.SubElement(lexical_unit, 'component')
+                component.set('num', str(index))
+                lexeme = lxml.SubElement(component, 'lexeme')
+                if (token.tag == TEI_NAMESPACE_QUALIFIER + 'w'):
+                    lexeme.set('lemma', token.get('lemma'))
+                lexeme.set('msd', token.get('ana')[len('mte:'):])
+                lexeme.text = token.text
+        lexical_unit.set('structure_id', str(parsed_unit.get('structure_id')))
+        body = lxml.SubElement(entry, 'body')
+        senseList = lxml.SubElement(body, 'senseList')
+
+    output_tree = lxml.ElementTree(output_root)
+    output_tree.write(output_file_name, encoding='UTF-8', pretty_print=True)
+
+
+if (__name__ == '__main__'):
+    arg_parser = argparse.ArgumentParser(description='Convert TEI to dictionary xml.')
+    arg_parser.add_argument('-infile', type=str, help='Input TEI xml')
+    arg_parser.add_argument('-outfile', type=str, help='Output xml in standard cjvt schema')
+    arguments = arg_parser.parse_args()
+    convert(input_file_name, output_file_name)

conversion_utils/translate_conllu_jos.py

@@ -0,0 +1,49 @@
+#!/usr/bin/python3
+# -*- coding: utf-8 -*-
+
+import argparse
+import codecs
+import lxml.etree as lxml
+from importlib_resources import files
+
+from conversion_utils.jos_msds_and_properties import Converter, Msd
+
+def get_syn_map():
+    dict_file_name = files('conversion_utils.resources').joinpath('dict.xml')
+    dict_file = codecs.open(dict_file_name, 'r')
+    root = lxml.parse(dict_file).getroot()
+    dict_file.close() 
+    return {syn.get('en'):syn.get('sl') for syn in root.xpath('syns/syn')}
+    
+def translate(input_file_name, output_file_name):
+
+    syn_map = get_syn_map()
+
+    output_file = codecs.open(output_file_name, 'w')
+    input_file = codecs.open(input_file_name, 'r')
+
+    converter = Converter()
+
+    for line in input_file:
+        columns = line.strip().split('\t')
+        if (len(columns) != 10):
+            output_file.write(line)
+        else:
+            columns[4] = converter.translate_msd(Msd(columns[4], 'en'), 'sl').code
+            columns[7] = syn_map[columns[7]]
+            output_file.write('\t'.join(columns) + '\n')
+
+    input_file.close()
+    output_file.close()
+
+
+if (__name__ == '__main__'):
+
+    arg_parser = argparse.ArgumentParser(description='Translate JOS msds and dependency labels.')
+    arg_parser.add_argument('-infile', type=str, help='Input conllu')
+    arg_parser.add_argument('-outfile', type=str, help='Output conllu')
+    arguments = arg_parser.parse_args()
+    input_file_name = arguments.infile
+    output_file_name = arguments.outfile
+
+    translate(input_file_name, output_file_name)

conversion_utils/utils.py

@@ -1,4 +1,5 @@
 TEI_NAMESPACE = 'http://www.tei-c.org/ns/1.0'
+TEI_NAMESPACE_QUALIFIER = '{' + TEI_NAMESPACE + '}'
 XML_ID_ATTRIBUTE_NAME = '{http://www.w3.org/XML/1998/namespace}id'
 
 def xpath_find(element,expression):