F\u00fcr die Verwendung gro\u00dfer Daten f\u00fcr Machine Learning Verfahren bedarf es erst einer sorgf\u00e4ltigen Vorverarbeitung, die grundlegend ist f\u00fcr die Genauigkeit der Ausgabe. Betrachten wir die Klassifizierung von Texten auf Wortebene, so ist es wichtig, dass jegliche Texte vorverarbeitet werden, sprich jeder Text wird in S\u00e4tze unterteilt und dieser danach in einzelne W\u00f6rter. Der OpenNLP Wrapper f\u00fcr Node.js ist optimal daf\u00fcr geeignet diese Vorverarbeitung zu leisten, denn dieser ist nicht nur detailliert konfigurierbar, sondern unterliegt auch der MIT License, sodass der private und kommerzielle Gebrauch kostenlos ist.<\/p>\n\n\n\n
npm install opennlp<\/pre>\n\n\n\nOpenNLP bietet folgende Verfahren einen Text zu verarbeiten\/analysieren:<\/p>\n\n\n\n
Daf\u00fcr stellt Apache unter \u00a0http:\/\/opennlp.sourceforge.net\/models-1.5\/<\/a> eine Vielzahl trainierter Modelle zur Verf\u00fcgung, die in verschiedenen Sprachen (zum Beispiel Englisch und Deutsch) heruntergeladen und eingebunden werden k\u00f6nnen. Zus\u00e4tzlich ben\u00f6tigt man die opennlp-tools-1.6.0.jar, die hier<\/a> heruntergeladen werden kann.<\/p>\n\n\n\n In der folgenden Konfiguration wird der OpenNLP Wrapper mit den deutschen Modellen f\u00fcr den Sentence Detector und den Tokenizer initialisiert.<\/p>\n\n\n Der gro\u00dfe Vorteil hierbei ist, dass f\u00fcr die Verarbeitung einer anderen Sprache lediglich die Modelle ausgetauscht und sonst keinerlei \u00c4nderungen vorgenommen werden m\u00fcssen.<\/p>\n\n\n\n Der Sentence Detector splittet die Texteingabe bei jedem Punkt und erkennt, ob es sich dabei um ein Satzende handelt oder um einen Punkt in einer Datumsangabe oder Abk\u00fcrzung.<\/p>\n\n\n Der Tokenizer splittet den Satz in einzelne W\u00f6rter und Satzzeichen auf. Leerzeichen zwischen Satzzeichen werden nicht verworfen, sondern als Token erkannt.<\/p>\n\n\n Verwendet man eine gro\u00dfe Datenmenge an Text, so ist der OpenNLP Wrapper sehr gut, um die Texte zu verarbeiten, jedoch arbeitet dieser nicht effizient, da die Tokenisierung sequentiell abl\u00e4uft und nicht parallel. Da die Dauer der Tokenisierung somit linear mit der Satzanzahl ansteigt, mussten wir hierf\u00fcr eine effiziente L\u00f6sung finden. Dazu haben wir uns einen eigenen minimalistischen OpenNLP Wrapper geschrieben, der den Sentence Detector und den Tokenizer beinhaltet. Dieser ist auf https:\/\/github.com\/flore2003\/opennlp-wrapper<\/a> zu finden und unterliegt der MIT License. Der Wrapper ist somit nicht vollkompatibel zum zuvor beschriebenen Wrapper.<\/p>\n\n\n\n Die Konfiguration, Sentence Splitting und Tokenisierung unterscheidet sich hierbei leicht vom originalen Projekt, sodass ein einfacher Tausch der Bibliothek nicht gen\u00fcgt.<\/p>\n\n\n\n Die folgende Konfiguration beschreibt den OpenNLP Wrapper, der von uns entwickelt wurde, mit den deutschen Modellen f\u00fcr den Sentence Detector und den Tokenizer initialisiert. Man beachte, dass auch hier die Konfiguration leicht angepasst wurde, im Vergleich zur original Bibliothek.<\/p>\n\n\n In der originalen Bibliothek wurde auf der OpenNLP Instanz sentenceDetector.sentDetect() aufgerufen. Hier gen\u00fcgt lediglich der Methodenaufruf detectSentences()<\/strong> auf der OpenNLP Instanz.<\/p>\n\n\n In der originalen Bibliothek wurde auf der OpenNLP Instanz tokenizer.tokenize aufgerufen. Hier gen\u00fcgt lediglich der Methodenaufruf tokenize()<\/strong> auf der OpenNLP Instanz. tokenize()<\/strong> on the OpenNLP instance is sufficient.<\/p>\n\n\n Damit die Daten f\u00fcr ein Machine Learning Verfahren, wie zum Beispiel Naive Bayes, geeignet sind, bedarf es noch weiteren Vorverarbeitungsschritten, wie die Verwendung eines Stemmers oder Lemmatisierers. F\u00fcr die Verarbeitung von deutschem Text haben wir einen Stemmer verwendet, der folgendes Problem l\u00f6st: Man betrachte die W\u00f6rter \u201eKauf, K\u00e4ufe, kaufen, kaufe\u201c, die sich alle auf den Erwerb eines Artikels beziehen, jedoch unterschiedlich verwendet werden, aber dennoch das Gleiche aussagen. Der Stemmer extrahiert aus jedem Wort den Wortstamm, was in diesem Fall \u201ekauf\u201c entspricht. F\u00fchrt man dieses Verfahren auf allen W\u00f6rtern durch, die man mittels des Tokenisierens ermittelt hat, so schrumpft die Anzahl unterschiedlicher W\u00f6rter um ein Vielfaches.<\/p>\n\n\n\nKonfiguration<\/h2>\n\n\n\n
var<\/span> openNLPOptions = {\n \"models\"<\/span> : {\n \"tokenizer\"<\/span>: nlpPath + '\/de-token.bin'<\/span>,\n \"sentenceDetector\"<\/span>: nlpPath + '\/de-sent.bin'<\/span>,\n },\n \"jarPath\"<\/span>: nlpPath + \"\/opennlp-tools-1.6.0.jar\"<\/span>\n};<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nSentence Detector<\/h2>\n\n\n\n
var<\/span> openNLP = require<\/span>(\"opennlp\"<\/span>);\nvar<\/span> sentence = 'Am 13. Juni 2014 wurde die deutsche Fu\u00dfball Nationalmannschaft '<\/span> + \n 'Weltmeister. Das war der 4. Weltmeister Titel!'<\/span>;\nvar<\/span> sentenceDetector = new<\/span> openNLP().sentenceDetector;\nsentenceDetector.sentDetect(sentence, function<\/span>(err, results<\/span>) <\/span>{\n console<\/span>.log(results)\n \/*\n Ausgabe: \n [ \n 'Am 13. Juni 2014 wurde die deutsche Fu\u00dfball Nationalmannschaft Weltmeister.', \n 'Das war der 4. Weltmeister Titel!'\n ]\n *\/<\/span>\n});<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nTokenizer<\/h2>\n\n\n\n
var<\/span> openNLP = require<\/span>(\"opennlp\"<\/span>);\nvar<\/span> sentences = \"Am 12. Juni 2014 wurde die deutsche Fu\u00dfball Nationalmannschaft Weltmeister.\"<\/span>;\nvar<\/span> tokenizer = new<\/span> openNLP().tokenizer;\ntokenizer.tokenize(sentence, function<\/span>(err, results<\/span>) <\/span>{\n console<\/span>.log(results);\n \/*\n Ausgabe: [ \n 'Am',\n '12',\n '.',\n 'Juni',\n '2014',\n 'wurde',\n 'die',\n 'deutsche',\n 'Fu\u00dfball',\n 'Nationalmannschaft',\n 'Weltmeister',\n '.' \n ]\n *\/<\/span>\n})<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nOptimization<\/h2>\n\n\n\n
Installation<\/h3>\n\n\n
npm install opennlp-wrapper<\/code><\/span><\/pre>\n\n\nKonfiguration<\/h3>\n\n\n\n
var<\/span> openNLPOptions = {\n models<\/span> : {\n \"tokenizer\"<\/span>: nlpPath + 'de-token.bin'<\/span>,\n \"sentenceDetector\"<\/span>: nlpPath + 'de-sent.bin'<\/span>\n },\n \"jarPath\"<\/span>: nlpPath + \"opennlp-tools-1.6.0.jar\"<\/span>\n};\nvar<\/span> openNLP = new<\/span> OpenNLP(openNLPOptions);<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nSentence Detector<\/h3>\n\n\n\n
var<\/span> input = 'Am 12. Juni 2014 wurde die Fu\u00dfball Nationalmannschaft '<\/span> + \n 'Fu\u00dfballweltmeister. Das war der 4. Weltmeister Titel!'<\/span>;\n\nopenNLP.detectSentences(input, function<\/span>(err, sentences<\/span>) <\/span>{\n console<\/span>.log(sentences);\n});<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nTokenizer<\/h3>\n\n\n\n
var<\/span> input = 'Am 12. Juni 2014 wurde die Fu\u00dfball Nationalmannschaft Fu\u00dfballweltmeister.'<\/span>;\n\nopenNLP.tokenize(input, function<\/span>(err, tokens<\/span>) <\/span>{\n console<\/span>.log(tokens);\n});<\/code><\/span>Code-Sprache:<\/span> JavaScript<\/span> (<\/span>javascript<\/span>)<\/span><\/small><\/pre>\n\n\nAnmerkungen und Tipps<\/h2>\n\n\n\n