Beautified code and added Normalized word functionality on OneWords

src/main/java/alg/XML_processing.java

@@ -892,7 +892,7 @@ public class XML_processing {
 		if (filter.getAl() == AnalysisLevel.STRING_LEVEL) {
 			// ngram level: if not 0 must be less than or equal to number of words in this sentence.
 			if (filter.getNgramValue() > 0 && filter.getNgramValue() > sentence.size()) {
-				return null;
+				return new ArrayList<>();
 			}
 
 			// if we're calculating values for letters, omit words that are shorter than string length

src/main/java/alg/ngram/Ngrams.java

@@ -56,7 +56,8 @@ public class Ngrams {
 //					String test = key;
 //				}
 
-//				key = (!key.equals("") && key.charAt(key.length()-1) == ',') ? key.substring(0, key.length() - 1) : key;
+				if (stats.getFilter().getNotePunctuations())
+					key = (!key.equals("") && key.charAt(key.length()-1) == ',') ? key.substring(0, key.length() - 1) : key;
 
 				MultipleHMKeys multipleKeys;
 
@@ -165,6 +166,12 @@ public class Ngrams {
 //						.collect(Collectors.toList()));
 //				.substring(0, 1)
 				return StringUtils.join(candidate, " ");
+			case NORMALIZED_WORD:
+				candidate.addAll(ngramCandidate
+						.stream()
+						.map(Word::getNormalizedWord)
+						.collect(Collectors.toList()));
+				return StringUtils.join(candidate, " ");
 		}
 
 		return StringUtils.join(candidate, " ");

src/main/java/data/CalculateFor.java

@@ -2,6 +2,7 @@ package data;
 
 public enum CalculateFor {
 	WORD("različnica"),
+	NORMALIZED_WORD("normalizirana različnica"),
 	LEMMA("lema"),
 	MORPHOSYNTACTIC_SPECS("oblikoskladenjska oznaka"),
 	MORPHOSYNTACTIC_PROPERTY("oblikoskladenjska lastnost"),
@@ -37,7 +38,56 @@ public enum CalculateFor {
 			if (WORD_TYPE.toString().equals(cf)) {
 				return WORD_TYPE;
 			}
+			if (NORMALIZED_WORD.toString().equals(cf)) {
+				return NORMALIZED_WORD;
+			}
 		}
 		return null;
 	}
+
+	public String toHeaderString() {
+		switch(this){
+			case WORD:
+				return "Različnica";
+			case NORMALIZED_WORD:
+				return "Normalizirana različnica";
+			case LEMMA:
+				return "Lema";
+			case MORPHOSYNTACTIC_SPECS:
+				return "Oblikoskladenjska oznaka";
+			case MORPHOSYNTACTIC_PROPERTY:
+				return "Oblikoskladenjska lastnost";
+			case WORD_TYPE:
+				return "Besedna vrsta";
+			case DIST_WORDS:
+				return "Različnica";
+			case DIST_LEMMAS:
+				return "Lema";
+			default:
+				return null;
+		}
+	}
+
+    public String toPercentString() {
+        switch(this){
+            case WORD:
+                return "Delež glede na vse različnice";
+            case NORMALIZED_WORD:
+                return "Delež glede na vse normalizirane različnice";
+            case LEMMA:
+                return "Delež glede na vse leme";
+            case MORPHOSYNTACTIC_SPECS:
+                return "Delež glede na vse oblikoskladenjske oznake";
+            case MORPHOSYNTACTIC_PROPERTY:
+                return "Delež glede na vse oblikoskladenjske lastnosti";
+            case WORD_TYPE:
+                return "Delež glede na vse besedne vrste";
+            case DIST_WORDS:
+                return "Delež glede na vse različnice";
+            case DIST_LEMMAS:
+                return "Delež glede na vse leme";
+            default:
+                return null;
+        }
+    }
 }

src/main/java/data/MultipleHMKeys.java

@@ -7,10 +7,10 @@ Created for when words are sorted by multiple keys, i.e. not just lemmas but lem
 */
 public interface MultipleHMKeys {
     String getK1();
-    String getK2();
+    default String getK2(){ return null; }
-    String getK3();
+    default String getK3(){ return null; }
-    String getK4();
+    default String getK4(){ return null; }
-    String getK5();
+    default String getK5(){ return null; }
 
     @Override
     int hashCode();

src/main/java/data/MultipleHMKeys1.java

@@ -16,22 +16,6 @@ public final class MultipleHMKeys1 implements MultipleHMKeys {
         return k1;
     }
 
-    public String getK2() {
-        return null;
-    }
-
-    public String getK3() {
-        return null;
-    }
-
-    public String getK4() {
-        return null;
-    }
-
-    public String getK5() {
-        return null;
-    }
-
     @Override
     public int hashCode() {
         return k1.hashCode();

src/main/java/data/MultipleHMKeys2.java

@@ -21,18 +21,6 @@ public final class MultipleHMKeys2 implements MultipleHMKeys {
         return k2;
     }
 
-    public String getK3() {
-        return null;
-    }
-
-    public String getK4() {
-        return null;
-    }
-
-    public String getK5() {
-        return null;
-    }
-
     @Override
     public int hashCode() {
         return Objects.hash(k1, k2);

src/main/java/data/MultipleHMKeys3.java

@@ -26,14 +26,6 @@ public final class MultipleHMKeys3 implements MultipleHMKeys {
         return k3;
     }
 
-    public String getK4() {
-        return null;
-    }
-
-    public String getK5() {
-        return null;
-    }
-
     @Override
     public int hashCode() {
         return Objects.hash(k1, k2, k3);

src/main/java/data/MultipleHMKeys4.java

@@ -31,10 +31,6 @@ public final class MultipleHMKeys4 implements MultipleHMKeys {
         return k4;
     }
 
-    public String getK5() {
-        return null;
-    }
-
     @Override
     public int hashCode() {
         return Objects.hash(k1, k2, k3, k4);

src/main/java/gui/OneWordAnalysisTab.java

@@ -87,8 +87,11 @@ public class OneWordAnalysisTab {
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS = FXCollections.observableArrayList("lema", "različnica", "oblikoskladenjska oznaka");
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_LETTERS = FXCollections.observableArrayList("lema", "različnica");
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS_ORTH = FXCollections.observableArrayList("različnica");
+    private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS_GOS = FXCollections.observableArrayList("lema", "različnica", "oblikoskladenjska oznaka", "normalizirana različnica");
     private static final ObservableList<String> alsoVisualizeItemsLemma = FXCollections.observableArrayList("besedna vrsta", "oblikoskladenjska oznaka");
-    private static final ObservableList<String> alsoVisualizeItemsDifferential = FXCollections.observableArrayList("lema", "besedna vrsta", "oblikoskladenjska oznaka");
+    private static final ObservableList<String> alsoVisualizeItemsWord = FXCollections.observableArrayList("lema", "besedna vrsta", "oblikoskladenjska oznaka");
+    private static final ObservableList<String> alsoVisualizeItemsWordGos = FXCollections.observableArrayList("lema", "besedna vrsta", "oblikoskladenjska oznaka", "normalizirana različnica");
+    private static final ObservableList<String> alsoVisualizeItemsNormalizedWord = FXCollections.observableArrayList("lema", "besedna vrsta", "oblikoskladenjska oznaka", "različnica");
     private static final ObservableList<String> alsoVisualizeItemsEmpty = FXCollections.observableArrayList();
 
     // TODO: pass observables for taxonomy based on header scan
@@ -103,29 +106,20 @@ public class OneWordAnalysisTab {
         // calculateForCB
         calculateForCB.valueProperty().addListener((observable, oldValue, newValue) -> {
             calculateFor = CalculateFor.factory(newValue);
+
+            alsoVisualizeCCB.getItems().removeAll();
             if(newValue.equals("lema")){
-                alsoVisualizeCCB.getItems().removeAll();
                 alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsLemma);
-                alsoVisualizeCCB.getCheckModel().getCheckedItems().addListener((ListChangeListener<String>) c -> {
-                    alsoVisualize = new ArrayList<>();
-                    ObservableList<String> checkedItems = alsoVisualizeCCB.getCheckModel().getCheckedItems();
-                    alsoVisualize.addAll(checkedItems);
-                    logger.info(String.format("Selected also visualize items: %s", StringUtils.join(checkedItems, ",")));
-                });
-                alsoVisualizeCCB.getCheckModel().clearChecks();
             } else if(newValue.equals("različnica")) {
-                alsoVisualizeCCB.getItems().removeAll();
+                if (corpus.getCorpusType() == CorpusType.GOS)
-                alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsDifferential);
+                    alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsWordGos);
-                alsoVisualizeCCB.getCheckModel().getCheckedItems().addListener((ListChangeListener<String>) c -> {
+                else
-                    alsoVisualize = new ArrayList<>();
+                    alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsWord);
-                    ObservableList<String> checkedItems = alsoVisualizeCCB.getCheckModel().getCheckedItems();
+            } else if(newValue.equals("normalizirana različnica")) {
-                    alsoVisualize.addAll(checkedItems);
+                alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsNormalizedWord);
-                    logger.info(String.format("Selected also visualize items: %s", StringUtils.join(checkedItems, ",")));
-                });
-                alsoVisualizeCCB.getCheckModel().clearChecks();
             }else {
-                alsoVisualizeCCB.getItems().removeAll();
                 alsoVisualizeCCB.getItems().setAll(alsoVisualizeItemsEmpty);
+            }
             alsoVisualizeCCB.getCheckModel().getCheckedItems().addListener((ListChangeListener<String>) c -> {
                 alsoVisualize = new ArrayList<>();
                 ObservableList<String> checkedItems = alsoVisualizeCCB.getCheckModel().getCheckedItems();
@@ -133,7 +127,7 @@ public class OneWordAnalysisTab {
                 logger.info(String.format("Selected also visualize items: %s", StringUtils.join(checkedItems, ",")));
             });
             alsoVisualizeCCB.getCheckModel().clearChecks();
-            }
+
             logger.info("calculateForCB:", calculateFor.toString());
         });
 
@@ -343,6 +337,9 @@ public class OneWordAnalysisTab {
         logger.info("mode: ", mode.toString());
 
         if (mode == MODE.WORD) {
+            if (corpus.getCorpusType() == CorpusType.GOS)
+                calculateForCB.getItems().setAll(N_GRAM_COMPUTE_FOR_WORDS_GOS);
+            else
                 calculateForCB.getItems().setAll(N_GRAM_COMPUTE_FOR_WORDS);
         } else if (mode == MODE.LETTER) {
             calculateForCB.getItems().setAll(N_GRAM_COMPUTE_FOR_LETTERS);

src/main/java/gui/StringAnalysisTabNew2.java

@@ -108,6 +108,7 @@ public class StringAnalysisTabNew2 {
     private HostServices hostService;
 
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS = FXCollections.observableArrayList("lema", "različnica", "oblikoskladenjska oznaka");
+//    private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS_GOS = FXCollections.observableArrayList("lema", "različnica", "oblikoskladenjska oznaka", "normalizirana različnica");
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_LETTERS = FXCollections.observableArrayList("lema", "različnica");
     private static final ObservableList<String> N_GRAM_COMPUTE_FOR_WORDS_ORTH = FXCollections.observableArrayList("različnica");
 
@@ -420,7 +421,11 @@ public class StringAnalysisTabNew2 {
         if (mode == MODE.WORD) {
             paneWords.setVisible(true);
             paneLetters.setVisible(false);
+//            if (corpus.getCorpusType() == CorpusType.GOS)
+//                calculateForCB.getItems().setAll(N_GRAM_COMPUTE_FOR_WORDS_GOS);
+//            else
             calculateForCB.getItems().setAll(N_GRAM_COMPUTE_FOR_WORDS);
+
         } else if (mode == MODE.LETTER) {
             paneWords.setVisible(false);
             paneLetters.setVisible(true);

src/main/java/util/Export.java

@@ -87,70 +87,80 @@ public class Export {
 
 
 		//CSV file header
-		if (headerInfoBlock.containsKey("Analiza") && (headerInfoBlock.get("Analiza").equals("Besede") || headerInfoBlock.get("Analiza").equals("Besedni nizi"))) {
+		FILE_HEADER_AL.add(filter.getCalculateFor().toHeaderString());
-			if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("različnica")) {
+		if (filter.getCalculateFor().equals(CalculateFor.LEMMA))
-				headerInfoBlock.put("Skupna vsota vseh različnic:", String.valueOf(num_frequencies));
-				if (headerInfoBlock.get("Analiza").equals("Besede")){
-					FILE_HEADER_AL.add("Različnica");
-				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
-					FILE_HEADER_AL.add("Različnice");
-				}
-			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("lema")) {
-				headerInfoBlock.put("Skupna vsota vseh lem:", String.valueOf(num_frequencies));
-				if (headerInfoBlock.get("Analiza").equals("Besede")){
-					FILE_HEADER_AL.add("Lema");
 			FILE_HEADER_AL.add("Lema male črke");
-				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
+
-					FILE_HEADER_AL.add("Leme");
+//		if (headerInfoBlock.containsKey("Analiza") && (headerInfoBlock.get("Analiza").equals("Besede") || headerInfoBlock.get("Analiza").equals("Besedni nizi"))) {
-                    FILE_HEADER_AL.add("Leme male črke");
+//			if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("različnica")) {
-				}
+//				headerInfoBlock.put("Skupna vsota vseh različnic:", String.valueOf(num_frequencies));
-			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("oblikoskladenjska oznaka")) {
+//				if (headerInfoBlock.get("Analiza").equals("Besede")){
-				headerInfoBlock.put("Skupna vsota vseh oblikoskladenjskih oznak:", String.valueOf(num_frequencies));
+//					FILE_HEADER_AL.add("Različnica");
-				if (headerInfoBlock.get("Analiza").equals("Besede")){
+//				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
-					FILE_HEADER_AL.add("Oblikoskladenjska oznaka");
+//					FILE_HEADER_AL.add("Različnice");
-				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
+//				}
-					FILE_HEADER_AL.add("Oblikoskladenjska oznake");
+//			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("lema")) {
-				}
+//				headerInfoBlock.put("Skupna vsota vseh lem:", String.valueOf(num_frequencies));
-			} else {
+//				if (headerInfoBlock.get("Analiza").equals("Besede")){
-				headerInfoBlock.put("Skupna vsota vseh različnic:", String.valueOf(num_frequencies));
+//					FILE_HEADER_AL.add("Lema");
-				FILE_HEADER_AL.add("Lema");
+//                    FILE_HEADER_AL.add("Lema male črke");
-                FILE_HEADER_AL.add("Lema male črke");
+//				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
-			}
+//					FILE_HEADER_AL.add("Leme");
+//                    FILE_HEADER_AL.add("Leme male črke");
+//				}
+//			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("oblikoskladenjska oznaka")) {
+//				headerInfoBlock.put("Skupna vsota vseh oblikoskladenjskih oznak:", String.valueOf(num_frequencies));
+//				if (headerInfoBlock.get("Analiza").equals("Besede")){
+//					FILE_HEADER_AL.add("Oblikoskladenjska oznaka");
+//				} else if (headerInfoBlock.get("Analiza").equals("Besedni nizi")) {
+//					FILE_HEADER_AL.add("Oblikoskladenjska oznake");
+//				}
+//			} else {
+//				headerInfoBlock.put("Skupna vsota vseh različnic:", String.valueOf(num_frequencies));
+//				FILE_HEADER_AL.add("Lema");
+//                FILE_HEADER_AL.add("Lema male črke");
+//			}
 
 
 //			for (Map<MultipleHMKeys, AtomicLong> value : taxonomyResults.values()) {
 		for (CalculateFor otherKey : filter.getMultipleKeys()) {
-					if(otherKey.equals(CalculateFor.LEMMA)){
+			FILE_HEADER_AL.add(otherKey.toHeaderString());
-						FILE_HEADER_AL.add("Lema");
+			if (otherKey.equals(CalculateFor.LEMMA))
 				FILE_HEADER_AL.add("Lema male črke");
 		}
-					if(otherKey.equals(CalculateFor.WORD_TYPE)){
+
-						FILE_HEADER_AL.add("Besedna vrsta");
+//					if(otherKey.equals(CalculateFor.LEMMA)){
-					}
+//						FILE_HEADER_AL.add("Lema");
-					if(otherKey.equals(CalculateFor.MORPHOSYNTACTIC_SPECS)){
+//						FILE_HEADER_AL.add("Lema male črke");
-						FILE_HEADER_AL.add("Oblikoskladenjska oznaka");
+//					}
-					}
+//					if(otherKey.equals(CalculateFor.WORD_TYPE)){
-				}
+//						FILE_HEADER_AL.add("Besedna vrsta");
+//					}
+//					if(otherKey.equals(CalculateFor.MORPHOSYNTACTIC_SPECS)){
+//						FILE_HEADER_AL.add("Oblikoskladenjska oznaka");
+//					}
+//					if(otherKey.equals(CalculateFor.NORMALIZED_WORD)){
+//						FILE_HEADER_AL.add("Normalizirana različnica");
+//					}
+//				}
 
 //				break;
 //			}
 
 
 
+		FILE_HEADER_AL.add("Skupna absolutna pogostost");
+		FILE_HEADER_AL.add(filter.getCalculateFor().toPercentString());
 
-			if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("različnica")) {
+//		if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("različnica")) {
-				FILE_HEADER_AL.add("Skupna absolutna pogostost");
+//			FILE_HEADER_AL.add("Delež glede na vse različnice");
-				FILE_HEADER_AL.add("Delež glede na vse različnice");
+//		} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("lema")) {
-			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("lema")) {
+//			FILE_HEADER_AL.add("Delež glede na vse leme");
-				FILE_HEADER_AL.add("Skupna absolutna pogostost");
+//		} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("oblikoskladenjska oznaka")) {
-				FILE_HEADER_AL.add("Delež glede na vse leme");
+//			FILE_HEADER_AL.add("Delež glede na vse oblikoskladenjske oznake");
-			} else if (headerInfoBlock.containsKey("Izračunaj za:") && headerInfoBlock.get("Izračunaj za:").equals("oblikoskladenjska oznaka")) {
+//		} else {
-				FILE_HEADER_AL.add("Skupna absolutna pogostost");
+//			FILE_HEADER_AL.add("Delež glede na vse leme");
-				FILE_HEADER_AL.add("Delež glede na vse oblikoskladenjske oznake");
+//		}
-			} else {
-				FILE_HEADER_AL.add("Skupna absolutna pogostost");
-				FILE_HEADER_AL.add("Delež glede na vse leme");
-			}
 		FILE_HEADER_AL.add("Skupna relativna pogostost");
 		for (String key : taxonomyResults.keySet()) {
 			if(!key.equals("Total")) {
@@ -161,9 +171,9 @@ public class Export {
 		}
 		FILE_HEADER = new String[ FILE_HEADER_AL.size() ];
 		FILE_HEADER_AL.toArray(FILE_HEADER);
-		} else {
+//		} else {
-			FILE_HEADER = new Object[]{"word", "frequency", "percent"};
+//			FILE_HEADER = new Object[]{"word", "frequency", "percent"};
-		}
+//		}
 
 		String fileName = "";
 

src/main/resources/gui/StringAnalysisTabNew2.fxml

@@ -15,7 +15,28 @@
 
 <AnchorPane fx:id="stringAnalysisTabPaneNew2" prefHeight="600.0" prefWidth="800.0" xmlns="http://javafx.com/javafx/8.0.121" xmlns:fx="http://javafx.com/fxml/1" fx:controller="gui.StringAnalysisTabNew2">
     <Pane>
-        <Label layoutX="10.0" layoutY="60.0" prefHeight="25.0" text="N-gram nivo" />
+
+
+        <Pane fx:id="paneWords">
+            <children>
+                <Label layoutX="10.0" layoutY="100.0" prefHeight="25.0" text="Preskok besed" />
+                <ComboBox fx:id="skipValueCB" layoutX="185.0" layoutY="100.0" prefWidth="180.0" promptText="izberi" visibleRowCount="5">
+                    <items>
+                        <FXCollections fx:factory="observableArrayList">
+                            <String fx:value="0" />
+                            <String fx:value="1" />
+                            <String fx:value="2" />
+                            <String fx:value="3" />
+                            <String fx:value="4" />
+                            <String fx:value="5" />
+                            <String fx:value="6" />
+                            <String fx:value="7" />
+                        </FXCollections>
+                    </items>
+                </ComboBox>
+            </children>
+        </Pane>
+        <!-- for some reason following two ComboBoxes have to be below paneWords -->
         <ComboBox fx:id="ngramValueCB" layoutX="185.0" layoutY="60.0" prefHeight="25.0" prefWidth="180.0" promptText="izberi" visibleRowCount="5">
             <items>
                 <FXCollections fx:factory="observableArrayList">
@@ -40,27 +61,6 @@
             </items>
         </ComboBox>
 
-
-
-        <Pane fx:id="paneWords">
-            <children>
-                <Label layoutX="10.0" layoutY="100.0" prefHeight="25.0" text="Preskok besed" />
-                <ComboBox fx:id="skipValueCB" layoutX="185.0" layoutY="100.0" prefWidth="180.0" promptText="izberi" visibleRowCount="5">
-                    <items>
-                        <FXCollections fx:factory="observableArrayList">
-                            <String fx:value="0" />
-                            <String fx:value="1" />
-                            <String fx:value="2" />
-                            <String fx:value="3" />
-                            <String fx:value="4" />
-                            <String fx:value="5" />
-                            <String fx:value="6" />
-                            <String fx:value="7" />
-                        </FXCollections>
-                    </items>
-                </ComboBox>
-            </children>
-        </Pane>
         <Label layoutX="10.0" layoutY="140.0" prefHeight="25.0" text="Upoštevaj ločila" />
         <CheckBox fx:id="notePunctuationsChB" layoutX="263.0" layoutY="145.0" selected="true" />
 
@@ -82,6 +82,9 @@
 
         <Button fx:id="computeNgramsB" layoutX="10.0" layoutY="440.0" mnemonicParsing="false" prefHeight="25.0" prefWidth="250.0" text="Izračunaj" />
 
+        <Label layoutX="10.0" layoutY="60.0" prefHeight="25.0" text="N-gram nivo" />
+
+
     </Pane>
     <Pane layoutX="400.0" prefHeight="480.0" prefWidth="380.0">
         <Label fx:id="solarFilters" layoutX="10.0" layoutY="60.0" text="Izbrani filtri:" />