webapps/term_extractor
18
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

add models

Browse Source
This commit is contained in:
marko.ferme
2023-01-10 11:22:16 +01:00
parent 69a92a3420
commit 8a42e55c88
7 changed files with 132 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
ATEapi/imgs/sample_input.png
BIN
View File
Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 696 KiB

ATEapi/model/lemmagen_models/kanon-adj-female-plural.bin
BIN
View File
Binary file not shown.
ATEapi/model/lemmagen_models/kanon-adj-male-plural.bin
BIN
View File
Binary file not shown.
ATEapi/model/lemmagen_models/kanon-adj-neutral-plural.bin
BIN
View File
Binary file not shown.
ATEapi/temp.conllu
+106
View File
@@ -0,0 +1,106 @@
# newpar id = 1
# sent_id = 1.1
# text = UNIVERZA V LJUBLJANI FAKULTETA ZA UPRAVO Magistrsko delo RAZVOJ VARSTVA PRAVIC ZAVEZANCEV V SLOVENSKEM DAVČNEM POSTOPKU Helena Truden Ljubljana, januar 2012 UNIVERZA V LJUBLJANI FAKULTETA ZA UPRAVO MAGISTRSKO DELO RAZVOJ VARSTVA PRAVIC ZAVEZANCEV V SLOVENSKEM DAVČNEM POSTOPKU Kandidatka: Helena Truden Vpisna številka: 04037934 Študijski program: magistrski študijski program Uprava druga stopnja Mentorica: doc. dr. Polonca Kovač Ljubljana, januar 2012 IZJAVA O AVTORSTVU MAGISTRSKEGA DELA Podpisana Helena Truden, študentka magistrskega študijskega programa Uprava druga stopnja, z vpisno številko 04037934, sem avtorica magistrskega dela z naslovom: Razvoj varstva pravic zavezancev v slovenskem davčnem postopku. S svojim podpisom zagotavljam, da: - je predloženo delo izključno rezultat mojega lastnega raziskovalnega dela, - sem poskrbela, da so dela in mnenja drugih avtorjev in avtoric, ki jih uporabljam v predloženem delu, navedena oz. citirana v skladu s fakultetnimi navodili, - sem poskrbela, da so vsa dela in mnenja drugih avtorjev oz. avtoric navedena v seznamu virov, ki je sestavni element predloženega dela in je zapisan v skladu s fakultetnimi navodili, - sem pridobila vsa dovoljenja za uporabo avtorskih del, ki so v celoti prenesena v predloženo delo in sem to tudi jasno zapisala v predloženem delu, - se zavedam, da je plagiatorstvo – predstavljanje tujih del, bodisi v obliki citata bodisi v obliki skoraj dobesednega parafraziranja bodisi v grafični obliki, s katerim so tuje misli oz. ideje predstavljene kot moje lastne – kaznivo po zakonu (Zakon o avtorski in sorodnih pravicah, Ur. list RS, št. 21/95), kršitev pa se sankcionira tudi z ukrepi po pravilih Univerze v Ljubljani in Fakultete za upravo, - se zavedam posledic, ki jih dokazano plagiatorstvo lahko predstavlja za predloženo delo in za moj status na Fakulteti za upravo, - je elektronska oblika identična s tiskano obliko magistrskega dela ter soglašam z objavo dela v zbirki »Dela FU«. Magistrsko delo je lektorirala: Martina Kočevar, učiteljica slovenskega jezika. Ljubljana, 16. 12. 2011 Podpis avtorice: POVZETEK Predmet raziskovanja magistrskega dela je razvoj varstva pravic zavezancev v slovenskem davčnem postopku.
1 UNIVERZA univerza NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
2 V v ADP Sl Case=Loc _ _ _ _
3 LJUBLJANI Ljubljana PROPN Npfsl Case=Loc|Gender=Fem|Number=Sing _ _ _ _
4 FAKULTETA fakulteta NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
5 ZA za ADP Sa Case=Acc _ _ _ _
6 UPRAVO uprava NOUN Ncfsa Case=Acc|Gender=Fem|Number=Sing _ _ _ _
7 Magistrsko magistrski ADJ Agpnsn Case=Nom|Degree=Pos|Gender=Neut|Number=Sing _ _ _ _
8 delo delo NOUN Ncnsn Case=Nom|Gender=Neut|Number=Sing _ _ _ _
9 RAZVOJ razvoj NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
10 VARSTVA varstvo NOUN Ncnsg Case=Gen|Gender=Neut|Number=Sing _ _ _ _
11 PRAVIC pravica NOUN Ncfpg Case=Gen|Gender=Fem|Number=Plur _ _ _ _
12 ZAVEZANCEV zavezanec NOUN Ncmpg Case=Gen|Gender=Masc|Number=Plur _ _ _ _
13 V v ADP Sl Case=Loc _ _ _ _
14 SLOVENSKEM slovenski ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
15 DAVČNEM davčen ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
16 POSTOPKU postopek NOUN Ncmsl Case=Loc|Gender=Masc|Number=Sing _ _ _ _
17 Helena Helena PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
18 Truden Truden PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
19 Ljubljana Ljubljana PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
20 , , PUNCT Z _ _ _ _ _
21 januar januar NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
22 2012 2012 NUM Mdc NumForm=Digit|NumType=Card _ _ _ _
23 UNIVERZA univerza NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
24 V v ADP Sl Case=Loc _ _ _ _
25 LJUBLJANI Ljubljana PROPN Npfsl Case=Loc|Gender=Fem|Number=Sing _ _ _ _
26 FAKULTETA fakulteta NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
27 ZA za ADP Sa Case=Acc _ _ _ _
28 UPRAVO uprava NOUN Ncfsa Case=Acc|Gender=Fem|Number=Sing _ _ _ _
29 MAGISTRSKO magistrski ADJ Agpnsn Case=Nom|Degree=Pos|Gender=Neut|Number=Sing _ _ _ _
30 DELO delo NOUN Ncnsn Case=Nom|Gender=Neut|Number=Sing _ _ _ _
31 RAZVOJ razvoj NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
32 VARSTVA varstvo NOUN Ncnsg Case=Gen|Gender=Neut|Number=Sing _ _ _ _
33 PRAVIC pravica NOUN Ncfpg Case=Gen|Gender=Fem|Number=Plur _ _ _ _
34 ZAVEZANCEV zavezanec NOUN Ncmpg Case=Gen|Gender=Masc|Number=Plur _ _ _ _
35 V v ADP Sl Case=Loc _ _ _ _
36 SLOVENSKEM slovenski ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
37 DAVČNEM davčen ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
38 POSTOPKU postopek NOUN Ncmsl Case=Loc|Gender=Masc|Number=Sing _ _ _ _
39 Kandidatka kandidatka NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
40 : : PUNCT Z _ _ _ _ _
41 Helena Helena PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
42 Truden Truden PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
43 Vpisna vpisen ADJ Agpfsn Case=Nom|Degree=Pos|Gender=Fem|Number=Sing _ _ _ _
44 številka številka NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
45 : : PUNCT Z _ _ _ _ _
46 04037934 04037934 NUM Mdc NumForm=Digit|NumType=Card _ _ _ _
47 Študijski študijski ADJ Agpmsny Case=Nom|Definite=Def|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
48 program program NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ SpaceAfter=No
49 : : PUNCT Z _ _ _ _ _
50 magistrski magistrski ADJ Agpmsny Case=Nom|Definite=Def|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
51 študijski študijski ADJ Agpmsny Case=Nom|Definite=Def|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
52 program program NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
53 Uprava uprava NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
54 druga drug ADJ Mlpfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
55 stopnja stopnja NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
56 Mentorica mentorica NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
57 : : PUNCT Z _ _ _ _ _
58 doc. doc. X Y Abbr=Yes _ _ _ _
59 dr. dr. X Y Abbr=Yes _ _ _ _
60 Polonca Polonca PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
61 Kovač Kovač PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
62 Ljubljana Ljubljana PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
63 , , PUNCT Z _ _ _ _ _
64 januar januar NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
65 2012 2012 NUM Mdc NumForm=Digit|NumType=Card _ _ _ _
66 IZJAVA izjava NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
67 O o ADP Sl Case=Loc _ _ _ _
68 AVTORSTVU avtorstvo NOUN Ncnsl Case=Loc|Gender=Neut|Number=Sing _ _ _ _
69 MAGISTRSKEGA magistrski ADJ Agpnsg Case=Gen|Degree=Pos|Gender=Neut|Number=Sing _ _ _ _
70 DELA delo NOUN Ncnsg Case=Gen|Gender=Neut|Number=Sing _ _ _ _
71 Podpisana podpisan ADJ Appfsn Case=Nom|Degree=Pos|Gender=Fem|Number=Sing|VerbForm=Part _ _ _ _
72 Helena Helena PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
73 Truden Truden PROPN Npfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
74 , , PUNCT Z _ _ _ _ _
75 študentka študentka NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
76 magistrskega magistrski ADJ Agpmsg Case=Gen|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
77 študijskega študijski ADJ Agpmsg Case=Gen|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
78 programa program NOUN Ncmsg Case=Gen|Gender=Masc|Number=Sing _ _ _ _
79 Uprava uprava NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
80 druga drug ADJ Mlpfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
81 stopnja stopnja NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ SpaceAfter=No
82 , , PUNCT Z _ _ _ _ _
83 z z ADP Si Case=Ins _ _ _ _
84 vpisno vpisen ADJ Agpfsi Case=Ins|Degree=Pos|Gender=Fem|Number=Sing _ _ _ _
85 številko številka NOUN Ncfsi Case=Ins|Gender=Fem|Number=Sing _ _ _ _
86 04037934 04037934 NUM Mdc NumForm=Digit|NumType=Card _ _ _ SpaceAfter=No
87 , , PUNCT Z _ _ _ _ _
88 sem biti AUX Va-r1s-n Mood=Ind|Number=Sing|Person=1|Polarity=Pos|Tense=Pres|VerbForm=Fin _ _ _ _
89 avtorica avtorica NOUN Ncfsn Case=Nom|Gender=Fem|Number=Sing _ _ _ _
90 magistrskega magistrski ADJ Agpmsg Case=Gen|Degree=Pos|Gender=Neut|Number=Sing _ _ _ _
91 dela delo NOUN Ncnsg Case=Gen|Gender=Neut|Number=Sing _ _ _ _
92 z z ADP Si Case=Ins _ _ _ _
93 naslovom naslov NOUN Ncmsi Case=Ins|Gender=Masc|Number=Sing _ _ _ SpaceAfter=No
94 : : PUNCT Z _ _ _ _ _
95 Razvoj razvoj NOUN Ncmsn Case=Nom|Gender=Masc|Number=Sing _ _ _ _
96 varstva varstvo NOUN Ncnsg Case=Gen|Gender=Neut|Number=Sing _ _ _ _
97 pravic pravica NOUN Ncfpg Case=Gen|Gender=Fem|Number=Plur _ _ _ _
98 zavezancev zavezanec NOUN Ncmpg Case=Gen|Gender=Masc|Number=Plur _ _ _ _
99 v v ADP Sl Case=Loc _ _ _ _
100 slovenskem slovenski ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
101 davčnem davčen ADJ Agpmsl Case=Loc|Degree=Pos|Gender=Masc|Number=Sing _ _ _ _
102 postopku postopek NOUN Ncmsl Case=Loc|Gender=Masc|Number=Sing _ _ _ SpaceAfter=No
103 . . PUNCT Z _ _ _ _ _
ATEapi/temp_none.conllu
+10
View File
@@ -0,0 +1,10 @@
# newpar id = 1
# sent_id = 1.1
# text = Tole je testno besedilo za označevanje.
1 : : PUNCT Z _ _ _ _ _
Tole : : PUNCT Z _ _ _ _ _
je : : PUNCT Z _ _ _ _ _
testno : : PUNCT Z _ _ _ _ _
besedilo : : PUNCT Z _ _ _ _ _
za : : PUNCT Z _ _ _ _ _
označevanje. : : PUNCT Z _ _ _ _ _
tmp.sql
+16
View File
@@ -0,0 +1,16 @@
Select ngram,upos,avg(tfidf) as tfidf, convert(sum(tf),INT) as tf from (
SELECT tf.ngram, tf.upos,(0.5+0.5*(tf.tf/d.maxtf))*log(152000/df.df)*(-1*log(1-((dff.df)/(1+df.df)))) as tfidf, tf.tf as tf
FROM ngrams_upos_tf tf, documents d,
(
Select ngram, upos, count(*) as df from ngrams_upos_tf TF
where document_id in
(select distinct document_id from metadata where leto IN (2020) )
group by TF.ngram, TF.upos ) dff, ngrams_upos_df df
where
tf.document_id=d.document_id and
df.ngram=tf.ngram AND df.upos=tf.upos and
dff.ngram=tf.ngram AND dff.upos=tf.upos
) X
group by ngram,upos
order by tfidf desc
limit 10;