Das RIDGES Korpus

Das RIDGES-Projekt (Register in Diachronic German Science) untersucht die Entstehung und Entwicklung der deutschen Wissenschaftssprache seit Ende des 15. Jahrhunderts bis ins 20. Jahrhundert. In der frühneuhochdeutschen Zeit entstehen immer mehr Texte mit wissenschaftlichem oder wissenschaftsnahem Inhalt, seit der Mitte des 15. Jahrhunderts auch in gedruckter Form. Dem wissenschaftlichen Register angemessene Textstrukturen und Terminologie mussten im Laufe der Zeit erst entwickelt und erprobt werden. Wissenschaftliche Texte haben sich über die Jahrhunderte natürlich verändert. Dabei sind die meisten Veränderungen quantitativ und nicht qualitativ (kategorial).

In unserem Projekt sollen wissenschaftliche Texte daher auf allen sprachlichen Ebenen (Syntax, Wortbildung, Lexik, Phraseologie, Textstruktur etc.) analysiert werden, um Entwicklungen und Tendenzen identifizieren und beschreiben zu können. In einem variationistischen Ansatz annotieren wir wissenschaftliche Texte mit korpuslinguistischen Methoden und nutzen quantitative Verfahren, um Veränderungen in den Merkmalen zu identifizieren. Dabei kommen verschiedene Formate zum Einsatz, zum Beispiel Excel und ANNIS.

Wichtig ist uns dabei die Mitwirkung unserer Studierenden, die im Rahmen ihres Studiums bei der Erstellung und der Annotation der Korpus-Ressourcen mit einbezogen werden. Die so entstandenen Ressourcen werden in mehreren Formaten unter einer Creative Commons-Lizenz frei zur Verfügung gestellt.

Transkription

Die Transkription von Faksimiles stellt für die korpuslinguistische Aufbereitung zumeist die grundlegende, diplomatische Ebene (dipl).

Die clean-Ebene enthält erste Normalisierungen hinsichtlich Sonderzeichen und grafischer Strukturierungen.

Die norm-Ebene stellt einen weiteren Normalisierungsschritt dar, indem hier die Tokenisierung, die Orthografie, Flexionsformen und Wortbildungen einheitlich dem nhd. Sprachstand angepasst werden.

Durch die Alignierung der einzelnen Ebenen können Annotationen und Suchanfragen, die auf Grundlage der norm-Ebene getätigt wurden, auf die dipl-Ebene zurückgeführt werden.

dipl-Transkription

Die grundlegende, diplomatische Ebene (dipl) beinhaltet die Transkription von Faksimilés und stellt den ersten Schritt für die korpuslinguistische Aufbereitung dar.

Diese Ebene soll sich grafisch hinsichtlich Orthografie, Getrennt- und Zusammenschreibung und Sonderzeichen möglichst nah am zugrunde liegenden Faksimile orientieren. Grundsätzlich wird so auch entgegen modernen Orthografieregeln segmentiert oder transkribiert. Sie wird entweder durch OCR (Optical Character Recognition) oder manuell erstellt und korrigiert.

In diesem Abschnitt finden sich folgende Informationen:

OCR
Manuelle Transkription
Transkriptionsrichtlinien
Automatische Tokenisierung

OCR

Als Grundlage für die dipl-Ebene dienen Faksimiles der Primärwerke. Um aus diesen maschinenlesbaren Text zu erhalten, wird OCR4all genutzt. Der Workflow besteht aus folgenden Schritten:

Preprocessing
Noise removal (optional)
Segmentation mit LAREX
Line Segmentation
Recognition
Ground Truth Production mit LAREX
Training (optional)

Weitere Details und Dokumentation: https://www.ocr4all.org/guide/user-guide/introduction

Der OCR-Output wird mit dem TreeTagger tokenisiert und die Tokenisierung manuell nachbearbeitet korrigiert.

Fußnoten und Marginalien müssen gemäß den Transkriptionsrichtlinien unter Umständen neu platziert werden (siehe Annotationsebene note).

Manuelle Transkription

Die manuelle Transkription wurde im txt-Format erstellt und in das xlsx-Format importiert. In der UTF-8-kodierten txt-Datei dienen die Leerzeichen als Tokentrenner.

Transkriptionsrichtlinien

Transkribieren
Segmentieren
1. Wort
2. Zeilenumbrüche
3. Abkürzungen
4. Zahlen
5. Satzzeichen
6. Fußnoten
7. Graphematik
Textrepräsentation

Transkribieren

Allgemeine Richtlinien und Hinweise

Nicht mehr lesbare Zeichen oder Zeichenketten werden mit einem Unterstrich (_) markiert, unabhängig davon, wieviele Zeichen (in etwa) nicht mehr interpretiert werden können.

Handschriftliche Versalien, die offensichtlich zum Text gehören (KEINE Anmerkungen oder Kommentare von Lesern), werden mit annotiert.

Faksimilé	dipl
	`ABſinthium`

Lautzeichen

Die Zeichen für “I” und “J” sind in Fraktur-Texten grafisch häufig nicht voneinander unterscheidbar. Konvention in RIDGES ist daher, das Zeichen in der dipl als J darzustellen und erst in der norm-Ebene das Zeichen individuell nach moderner Orthografie zu interpretieren.

Faksimilé	dipl
	`Jſt`

Das ſ wird beibehalten.

Faksimilé	dipl
`Leſer`

“Ʒ” (bzw. “ʒ”) wird nicht von “Z” (bzw. “z”) unterschieden. Beide Varianten werden als Z (bzw. z) transkribiert.

Unabhängig vom Erscheinungsbild der Zeichen “x”, “y” und “z” (z.B. “y” mit Trema, verzierte Varianten) werden die Zeichen “x”, “y” bzw. “z” als x, y, bzw. z transkribiert. Für Beispiele siehe Abschnitt Zeichen.

Diakritika

Alle Akzente werden beibehalten.

Faksimilé	dipl
	`immané`
	`Quòd`
	`vitâ`

Superskribiertes “e” und “o” werden beibehalten.

Faksimilé	dipl
	`genaͤdiger`
	`zů`

Unabhängig vom Erscheinungsbild des Punktes beim “i” und “ü” (z.B. schräg) wird in der Transkription nicht unterschieden.

Faksimilé	dipl
	`die`
	`fünff`

Alle horizonalen Striche über einem Zeichen werden als Tilde ( ̃ ) transkribiert.
Eine Tilde repräsentiert in der Regel einen Nasalstrich:

Faksimilé	dipl
	`om̃ia`
	`sciẽtiã meã`
	`eı̃`
	`ſamẽ`
	`eynẽ`
	`nẽlich`
	`him̃el`
	`iñ`

Das Dicit-Zeichen (Abkürzung für “er”) wird in der dipl-Ebene auf zwei unterschiedliche Arten repräsentiert:

Faksimilé	dipl	Beschreibung
	`oð`	Dicit-Repräsentation mit `ð`
	`v̉tzerẽ`	Dicit-Repräsentation mit `̉`

Faksimilé	dipl
	`v̉tzerẽ`

Folgendes Zeichen wird mit ꝰ repräsentiert:

Faksimilé	dipl
	`deꝰ`

Satzzeichen

Das Zeichen für morphologische Worttrennung oder Zeilenumbruch kann im Faksimilé ⸗ mit dargestellt sein und wird beibehalten.

Faksimilé	dipl
	`Dañ⸗reiſz`

Halbgeviertstriche (en dash, “–”) und Geviertstriche (em dash, “—”) werden als einfache Bindestriche (-) transkribiert.

Das “modifizierende Pluszeichen” (˖) wird beibehalten.

Faksimilé	dipl
	`˖`

Das Absatzzeichen (¶) wird in der dipl-Ebene beibehalten.

Faksimilé	dipl
	`¶`

Anführungszeichen werden übernommen.

Ligaturen

Vokalische Ligaturen werden beibehalten (æ und Æ; Œ und œ).

Faksimilé	dipl
	`hæc`

Die ct-Ligatur wird nicht beibehalten.

Faksimilé	dipl

	`Lactucis`

Die Ligatur aus “v̈” und “v” wird aufgelöst: v̈v

Faksimilé	dipl
	`hev̈vſchrecken`

“ß” wird in Frakturtexten mit dem langen “ſ” und “z” als ſz transkribiert, da hier eine Unterscheidung zwischen der Ligatur und den beiden Einzelzeichen häufig schwierig ist. In Antiqua-Texten wird die Ligatur beibehalten.

Faksimilé	dipl
	`Uberfluſz`

Griechische Ligaturen werden nicht abgebildet, sondern bereits in der dipl aufgelöst.
Als Hilfe: https://de.wikipedia.org/wiki/Griechisches_Alphabet#/media/File:Greek_alphabet_ligatures.jpg

Faksimilé	dipl
[Ligatur aus o und ς]	`ἄκανθος`

Die lateinische Abkürzung für “etc.” wird als & und c. transkribiert (2 Token).

Faksimilé	dipl
	`&` `c.` [2 Token]

Das kaufmännische Und (&) wird beibehalten.

Faksimilé	dipl
	`&`

Andere Schriftsysteme

Andere Schriftsysteme (z.B. Griechisch) werden beibehalten.
UTF-8-Kodierungen für das Griechische siehe hier:
http://www.unicode.org/charts/PDF/U0370.pdf
sowie
http://www.unicode.org/charts/PDF/U0370.pdf

Faksimilé	dipl
	`ἄκανθος`

Typographische Besonderheiten

Oft werden die ersten Zeichen bzw. ersten Wörter (im Bsp. Von Weg⸗) einer neuen Seite bei einem Seitenumbruch in der vorhergehenden Seite in einem eigenen Absatz/in einer eigenen Zeile doppelt realisert (sog. Kustoden). Diese Zeichen bzw. das Wort wird nicht mit in das Transkript aufgenommen.

Segmentieren

Auch entgegen moderner Orthografieregeln wird analog zur Textgrundlage segmentiert.

Faksimilé	dipl
	`Spannen⸗lang`
	`zuſetzen`

Wort

Zusammengeschriebene klitisierte Elemente werden zusammengeschrieben transkribiert.

Faksimilé	dipl
	`ichs`

Im Falle einer Worttrennung aufgrund von Zeilenumbrüchen, die keine overte, grafische Markierung wie “⸗” oder “-” beinhalten, werden formal die getrennten Elemente als jeweils ein Token in der dipl-Ebene repräsentiert.

Faksimilé	dipl
	`ge` `nent` [2 Token]

Komposita, egal welcher Komplexität oder Bildungsweise, mit Gleichheitszeichen werden als ein Token realisiert.

Faksimilé	dipl
	`Artzney⸗Kunſt` [1 Token]

Zeilenumbrüche

Von Zeilenumbrüchen betroffene Elemente werden analog zur Primärquelle getrennt tokenisiert.

Faksimilé	dipl
	`allge⸗` `meinen` [2 Token]

Von Zeilenumbrüchen betroffene Komposita werden analog zur Primärquelle getrennt tokenisiert, dabei bleibt die Kennzeichnung der morphologischen Worttrennung unberührt.

Faksimilé	dipl
	`Stab⸗` `wurtz⸗Oel` [2 Token]

Abkürzungen

Abkürzungen werden analog zur Textgrundlage tokenisiert. Das heißt, auch Setzfehler oder Spatien, die nicht modernen Orthografieregeln entsprechen, werden realisiert.

Faksimilé	dipl
	`u.` `ſ.` `w.` [3 Token]
	`u` `d.g.` [2 Token]

Zahlen

Punktsetzungen bei Ordinalzahlen werden mit der Ziffer als ein Token realisiert.

Faksimilé	dipl
	`I.`

Die Faksimilia weisen oft Kardinalzahlen mit Interpunktion auf. Diese Punktsetzungen werden mit der jeweiligen Ziffer als Token realisiert. Ausnahmen bilden Zahlen, die mit einem satzbeenden Punkt auftreten. Hier wird wie gewohnt die Satzinterpunktion getrennt von der Kardinalzahl tokenisiert.

Faksimilé	dipl
	`I.` `Loth` [2 Token]
	`.IX.` [1 Token]

Zeichenketten wie “5 %”, “5-12”, “800’” werden auf der dipl und clean als ein Token und in der norm als mehrere Token betrachtet, wenn sie im Scan keine Spatien erkennbar sind. Sind Spatien erkennbar, werden sie auch als verschiedene Token realisiert.

Bruchangaben werden mit / beibehalten. Dabei wird getrennt segmentiert, um gemischte Brüche transparent zu halten.

Faksimilé	dipl
	`1` `1/2` [Das sind 2 Token]

Satzzeichen

Satzinterpunktionszeichen wie Kommata, Punkte, Virgeln oder Semikola werden als jeweils eigenständige Token realisiert.

Faksimilé	dipl
	`finden` `.` [2 Token]

Höher dargestellte Punkte werden als normale Punkte repräsentiert, da nicht immer zweifelsfrei festgestellt werden kann, ob die Darstellung beabsichtigt ist oder nicht.

Faksimilé	dipl
	`keychen` `.` [2 Token]

Manchmal handelt es sich nicht um Zeichen, sondern Tintenabdrücke im Faksimilé. Diese werden nicht repräsentiert.

Faksimilé	dipl
	`werden` `.` [2 Token]

Fußnoten

Fußnotenreferenzierungen werden in dipl- und clean-Ebene als mehrere Token und in der norm-Ebene als ein Token realisiert.

Faksimilé	dipl
	`(` `*` `)` [3 Token]
	`` `` `)` [3 Token]

Graphematik

Text hinter (geschweiften) Klammern, wird nach dem umklammerten Textabschnitt eingefügt. ¹

Faksimilé	dipl
	`Wermuth` `Wermuth` `,` `gemeiner` `Wermuth` `,` `groſzer` `ſ.` `Wer⸗` `muthbeifuſz` `.`

Textrepräsentation

Der Text der Marginalie wird immer am Anfang des jeweiligen Absatzes, in dem/neben dem sie realisiert ist aufgenommen, unabhängig davon, ob so mehrere Marginalien hintereinander oder/und auf der nachfolgenden Seite realisiert werden müssen. Sie unterbrechen somit den Fließtext.

Der Text der Fußnote wird immer am Ende des Absatzes, in dem sie eingepflegt ist aufgenommen, unabhängig davon, ob sich so die Fußnoten sammeln oder erst auf der nachfolgenden Seite realisiert werden müssten. Sie unterbrechen somit den Fließtext. Geht eine Fußnote über mehrere Seiten, wird sie zusammenhängend transkribiert.

Zeichen

Faksimilé	dipl	Beschreibung
	`x`	Dieses Zeichen ist ein x.
	`y`	Dieses Zeichen ist ein y.
	`z`	Dieses Zeichen ist ein z.
	`⊙`	Das Sonnensymbol wird beibehalten.
	`dieſe` `\|`	Senkrechtstriche werden mit `\|` beibehalten.
	`$`	Dieses Symbol wird als `$` transkribiert. Es bedeutet wahrscheinlich “Zwitter” bzw. “zwitterig” (botanischer Fachbegriff).
	`⁊`	Dieses Zeichen wird als `⁊` transkribiert. Es handelt sich hierbei um das Tironische “et”.
	`v̈v`	Dies ist eine Ligatur aus “v̈” und “v”. Sie wird in der dipl-Ebene aufgelöst. Siehe Abschnitt Ligaturen.
	`&` `c.` [2 Token]	Dies ist eine lateinische Abkürzung für “etc.” Sie wird als `&` und `c.` transkribiert (siehe Abschnitt Ligaturen).

Für Beispiele und Einzelfallentscheidungen siehe Übersicht.

Automatische Tokensierung

Die mit OCR erstellten Transkriptionen müssen noch tokenisiert werden, bevor sie nach Excel konvertiert werden müssen. Dafür nutzen wir das Bash-Script tokenize-ocr4all.sh im scripts Ordner und dem Tokenizer vom TreeTagger. Das Script wir in der Kommandozeile (unter Linux oder MacOS) aufgerufen und benötigt den Installationsordner vom TreeTagger und dem Ordner mit den Textdateien aus OCR4all (txt/RIDGES_Herbology/) als Argument.

./scripts/tokenize-ocr4all.sh TREETAGGER_ORDNER txt/RIDGES_Herbology/

Das Script ersetzt nach dem Ausführen alle Textdateien mit der Endung .txt mit Dateien im TreeTagger-Format und der Endung (.tt) im selben Ordner. Die Zeilen- und Seiteninformationen aus den Textdateien bleiben als lb bzw. pb Annotation erhalten.

Die Konvertierung der Dateien in txt/RIDGES_Herbology/ in das Excel-Format (im Ordner Excel/RIDGES_Herbology) erfolgt dann über eine Annatto-Workflowdatei.

annatto run tt2excel.toml

Dieser Schritt erstellt auch die automatische clean-Ebene.

Zur Darstellung der geschweiften Klammer siehe Abschnitt figure. ↩

clean-Normalisierung

Die clean-Ebene enthält erste vollautomatisch erstellte Normalisierungen hinsichtlich Sonderzeichen und graphischer Strukturierungen. Sie wird automatisch beim Konvertieren von TreeTagger nach Excel erstellt. Alternativ kann die clean-Ebene für die bestehenden Excel-Dateien neu erstellt werden, indem man die Annatto-Workflowdatei reclean.toml ausführt

annatto run reclean.toml

Über diesen Konvertierungs-Schritt werden u.a. Ligaturen, die nach moderner Rechtschreibung nicht mehr verwendet werden, normalisiert. Graphische Markierungen der einzelnen Texte wie Zeilenumbrüche werden aufgelöst und Sonderzeichen einiger Fonts wie Fraktur auf die heutigen Schriftsätze übertragen. Für die Token, die Vokale mit Tilden enthalten, werden alle möglichen Formen dieser Token in der clean angegeben. Die verschiedenen Formen werden durch | getrennt (zum Beispiel: auſzwēdig wird zu auszwemdig|auszwendig).
In der clean-Ebene werden außerdem Wörter, die durch einen Zeilenumbruch getrennt und mit einem Bindeelement versehen sind, zusammengezogen. Beginnt das zweite Wort mit einem Großbuchstaben, wird dieser in der clean-Ebene in Kleinschreibung realisiert. Ist der komplette zweite Bestandteil in Großbuchstaben geschrieben, bleibt dies so bestehen (Gelb-Sucht wird zu Gelbsucht; MON- <lb> TANUM wird zu MONTANUM).

Trunkierte Elemente, die am Zeilenende stehen, werden bisher nicht als solche erkannt und daher automatisch mit dem ersten Element der folgenden Zeile zusammengezogen (Speiſz⸗und Nahrungs⸗Saffts wird zu Speiszund (sic!) Nahrungssaffts).

Für eine komplette Auflistung aller Ersetzungen, die für die Erstellung der clean-Ebene gemacht wurden, siehe die Readme zum Skript.

Normalisieren

Allgemeine Richtlinien und Hinweise

Faksimilé	dipl	clean	Beschreibung
	`_`	`unknown`	Bei nicht lesbaren Zeichen oder Zeichenketten ist durch die fehlende Transkription ist eine Normalisierung nicht mehr möglich. Dies wird mit dem Platzhalter-Tag `unknown` angezeigt.
	`ABſinthium`	`ABsinthium`	Handschriftliche Versalien, die offensichtlich zum Text gehören (KEINE Anmerkungen oder Kommentare von Lesern), werden in der dipl mit annotiert und in der clean übernommen.

Lautzeichen

Faksimilé	dipl	clean	Beschreibung
	`Jſt`	`Jst`	Die Zeichen für ‘I’ und ‘J’ sind in Fraktur-Texten grafisch häufig nicht voneinander unterscheidbar. In der clean-Ebene wird `J` beibehalten.
	`Leſer`	`Leser`	Das lange “ſ” wird durch ein reguläres `s` ersetzt.

Diakritika

dipl	clean	Beschreibung
`immané` `Quòd` `vitâ`	`immané` `Quòd` `vitâ`	Alle Akzente werden beibehalten.
`zů`	`zu`	Superskribiertes “o” wird in der clean-Ebene nicht mehr realisiert und durch den zugrundeliegenden Vokal ersetzt.
`genaͤdiger`	`genädiger`	Vokalgrapheme mit superskribiertem “e” werden in der clean-Ebene in Umlaute des modernen Deutschen umgewandelt.
`oð` `v̉tzerẽ`	`oder` `vertzeren`	Das Dicit-Zeichen (ð oder ̉ ) wird in der clean automatisch mit `er` ersetzt
`deꝰ`	`deus`	Das ꝰ-Zeichen wird in der clean-Ebene durch `us` ersetzt.

Tilden werden entsprechend ihrer Funktion als Nasalstriche aufgelöst.¹ Achtung: In der clean-Ebene wird der Strich automatisch als Nasalstrich interpretiert und nicht immer korrekt zwischen “m” und “n” unterschieden:²

Faksimilé	dipl	clean
	`om̃ia`	`omnia`
	`sciẽtiã meã`	`scientiam meam`
	`eı̃`	`ein`
	`ſamẽ`	`samen`
	`eynẽ`	`eynem`
	`nẽlich`	`nemlich`
	`him̃el`	`himmel`
	`iñ`	`inn`

Satzzeichen

dipl	clean	Beschreibung
`Dañ⸗reiſz`	`Dann-reisz`	Die morphologische Trennung durch “⸗” bleibt erhalten, wird jedoch mit einem regulären Bindestrich (`-`) ersetzt. Komposita, die in der dipl-Ebene mit einem ⸗ realisiert werden, behalten dieses Zeichen bei, um die allgemeine Suche nach Komposita in dieser Ebene zu ermöglichen. Für Erläuterungen zur rein grafischen Trennung, wie Zeilenumbrüchen, siehe Abschnitt Segmentieren.
`˖`	`:`	In der clean wird das “modifizierende Pluszeichen” (˖) zu `:` normalisiert.
`¶`	`¶`	Das Absatzzeichen (`¶`) wird in dipl-, clean- und norm-Ebene übernommen.

Ligaturen

dipl	clean	Beschreibung
`hæc`	`haec`	Die Ligaturen `æ` und `Æ` werden aufgelöst. Das gleiche gilt ebenfalls für `Œ` und `œ`.
`Uberfluſz`	`Uberflusz`	Die “ß”-, bzw. “ſz”-Ligatur wird analog zu dipl aufgelöst: `sz`.
`&` `c.`	`&` `c.`	Folgendes beteutet “etc.”. Es wird als `&` und `c.` transkribiert (2 Token).
`&`	`&`	Das kaufmännische Und (`&`) wird übernommen.

Andere Schriftsysteme

Sprachliches Material mit anderen Schriftsystemen (z.B. Griechisch) wird in clean und norm nicht geändert.
http://www.unicode.org/charts/PDF/U0370.pdf
sowie
http://www.unicode.org/charts/PDF/U0370.pdf

Faksimilé	dipl	clean
	`ἄκανθος`	`ἄκανθος`

Segmentieren

dipl	clean
`Spannen⸗lang`	`Spannen-lang`
`zuſetzen`	`zusetzen`

Wort

dipl	clean	Beschreibung
`ichs`	`ichs`	Klitika werden als ein Token realisiert.
`ge` `nent` [2 Token]	`ge` `nent` [2 Token]	Die Worttrennung ohne grafische Markierung ist nicht in jedem Fall transparent. Grafische Normalisierungen werden nicht vorgenommen.
`Artzney⸗Kunſt` [1 Token]	`Artzney-Kunst` [1 Token]	Die morphologische Trennung von Komposita durch “⸗” bleibt erhalten, wird jedoch mit einem regulären `-` ersetzt.

Zeilenumbrüche

Faksimilé	dipl	clean	Beschreibung
	`allge⸗` `meinen` [2 Token]	`allgemeinen` [1 Token]	Wörter, die von Zeilenumbrüchen betroffen sind, werden in der clean-Ebene ohne den (Doppel-) Bindestrich, der diesen anzeigt, sowie in einer Spanne zusammengefasst realisiert. Die grafische Worttrennung wird somit aufgehoben.
	`Stab⸗` `wurtz⸗Oel` [2 Token]	`Stabwurtz-Oel` [1 Token]	Wenn ein Kompositum, das durch Gleichheitszeichen grundsätzlich getrennt wird, von einem Zeilenumbruch betroffen ist, so wird dieses Gleichheitszeichen in der clean-Ebene entfernt, das andere Gleichheitszeichen für die morphologische Trennung wird analog zum Abschnitt Wort mit einem Minus ersetzt. Das Kompositum wird in einer Spanne zusammengefasst wiedergegeben.

Abkürzungen

Abkürzungen werden in der clean-Ebene analog zur dipl-Ebene tokenisiert.

dipl	clean
`u.` `ſ.` `w.` [3 Token]	`u.` `s.` `w.` [3 Token]
`u` `d.g.` [2 Token]	`u` `d.g.` [2 Token]

Zahlen

Bei Zahlen werden in der clean-Ebene alle Konventionen der dipl-Ebene übernommen.

Satzzeichen

Für Satzzeichen werden in der clean-Ebene alle für die dipl-Ebene beschriebenen Konventionen übernommen.

Fußnoten

Für Fußnoten werden in der clean-Ebene alle für die dipl-Ebene beschriebenen Konventionen übernommen.

Der Text der Marginalie wird immer am Anfang des jeweiligen Absatzes, in dem/neben dem sie realisiert ist, unabhängig davon, ob so mehrere Marginalien hintereinander oder/und auf der nachfolgenden Seite realisiert werden müssen, in die dipl-Ebene/Transkription aufgenommen.
Der Text der Fußnote wird immer am Ende des Absatzes, in dem sie eingepflegt ist, unabhängig davon, ob sich so die Fußnoten sammeln oder erst auf der nachfolgenden Seite realisiert werden müssten, in die dipl-Ebene/Transkription aufgenommen. Geht eine Fußnote über mehrere Seiten, wird sie zusammenhängend transkribiert.
Nicht mehr lesbare Zeichen oder Zeichenketten werden mit einem Unterstrich (_) markiert, unabhängig davon, wieviele Zeichen (in etwa) nicht mehr interpretiert werden können. Zusätzlich wird in einem späteren Schritt die Stelle auf der Annotationsebene “unclear” gekennzeichnet.
Halbgeviertstriche (en dash, “–”) und Geviertstriche (em dash, “—”) werden als einfache Bindestriche (-) transkribiert, da in älteren Drucken eine Unterscheidung oft schwierig ist.

Nachweis für das Beispiel: Reichmann & Wegera 1993: 31.
↩
Gegebenenfalls in der norm ausgleichen. ↩

norm-Normalisierung

Durch die einzelnen Normalisierungsschritte und der daraus resultierenden multiplen Segmentierung ist es möglich, die uneinheitliche Orthografie in einzelnen Texten sowie im diachronen Verlauf zu vereinheitlichen und dennoch die spezifischen Besonderheiten des jeweiligen Textes/der jeweiligen Sprachstufe im Korpus abzubilden. Weiterhin können automatische Tagging- und Parsing-Tools, die in vielen Fällen auf modernem Deutsch trainiert sind, auf der norm-Ebene angewandt werden.

Die norm-Ebene beinhaltet normalisierte Annotationen der clean-Token. Die Normalisierung erfolgt hinsichtlich Tokenisierung, Graphematik, Phonologie und Morphologie.

Normalisierungsideal ist die gegenwartssprachliche deutsche Norm (standarddt.), die durch das Duden-Wörterbuch und die Duden-Grammatik repräsentiert wird.

Nicht normalisiert werden Morphosyntax, Syntax, Lexik und Pragmatik.

Normalisierungsrichtlinien

Allgemeine Richtlinien und Hinweise
Tokenisierung
Graphematik
- Lautzeichen
- Diakritika
- Ligaturen
- ij/ii
- Satzzeichen
- Zahlen
- Sonderzeichen
Phonologie
Morphologie
- Wortbildung
- Adjektivflexion
Keine Normalisierung
- Morphosyntax
- Syntax
- Lexik
- Pragmatik

Allgemeine Richtlinien und Hinweise

Faksimilé	dipl	clean	norm	Beschreibung
	`_`	`unknown`	`unknown`	Bei nicht lesbaren Zeichen oder Zeichenketten ist durch die fehlende Transkription ist eine Normalisierung nicht mehr möglich. Dies wird in der clean-Ebene mit dem Platzhalter-Tag `unknown` angezeigt und in der norm-Ebene übernommen.
	`ABſinthium`	`ABsinthium`	`ABsinthium`	Handschriftliche Versalien, die offensichtlich zum Text gehören (KEINE Anmerkungen oder Kommentare von Lesern), werden in der dipl mit annotiert und in der clean und norm übernommen.

Beachte!

Bei der weiteren Bearbeitung in Excel kann es nach Anwendung des Clean-Skripts zu ungewollten automatischen Formatierungen kommen, ÜBERPRÜFEN!!!
1/2 wurde durch Excel zu 01.Februar. Das normalisierte falsch wurde durch Excel zum logischen Operator FALSCH.

Als Grundlage für die moderne Orthografie gilt die aktuelle Ausgabe des Dudens.

Tokenisierung

Die Annotation auf der norm-Ebene repräsentiert die standarddt. lexikalischen Einheiten:

dipl norm

Rinder Zunge Rinderzunge

dipl	norm
`Rinder Zunge`	`Rinderzunge`

Wortsegmentierung und Großschreibung, die nicht den modernen Orthografieregeln entsprechen, werden angeglichen.

Faksimilé dipl clean norm

Spannen⸗lang Spannen-lang spannenlang

Wort

Klitika werden in der norm-Ebene aufgelöst. Dazu wird die Tokenisierung verändert, indem aus einem Token zwei Token gemacht werden.

Faksimilé dipl clean norm

ichs ichs ich
es
[2 Token]
Getrennt- und Zusammenschreibung wird nach modernen Orthografieregeln angepasst. Dazu wird die Tokenisierung verändert, indem aus einem Token in der dipl-Ebene (oder clean) zwei Token in der norm-Ebene gemacht werden!

Faksimilé dipl clean norm

zuſetzen zusetzen zu
setzen
[2 Token]
Zusammenschreibungen von Lexemen unterschiedlichen Wortarten werden in der norm-Ebene aufgelöst (2 Token).

dipl	clean	norm	Beschreibung
`obgenannt`	`obgenannt`	`oben genannt`	Adverb + Partizip
`hiebevor`	`hiebevor`	`hier bevor`	Adverb + Adverb

Worttrennung aufgrund von Zeilenumbrüchen, die keine overte, grafische Markierung wie “⸗” oder “-” beinhalten, wird – wenn sie transparent ist – nach modernen Orthografieregeln normalisiert und die grafische Trennung aufgehoben.

Faksimilé dipl clean norm

ge
nent ge
nent genannt
Komposita werden analog zur modernen Orthografie zusammengeschrieben (Grundlage hierfür bildet die aktuelle Ausgabe des Dudens).

Faksimilé	dipl	clean	norm
	`Artzney⸗Kunſt`	`Artzney-Kunst`	`Arzneikunst`
	`Dañ⸗reiſz`	`Dann-reisz`	`Tannenreis`

Zum Umgang mit Sonderzeichen innerhalb von Wörtern Siehe Abschnitt Sonderzeichen.

Zeilenumbrüche

Wörter, die von Zeilenumbrüchen betroffen sind, werden in der clean- und norm-Ebene ohne den (Doppel-) Bindestrich, der diesen anzeigt, realisiert und in einer Spanne zusammengefasst. Die grafische Worttrennung wird somit aufgehoben.

Faksimilé dipl clean norm

allge⸗
meinen
[2 Token] allgemeinen
[1 Token] allgemeinen
[1 Token]
Wenn Komposita von einem Zeilenumbruch betroffen sind, werden sie behandelt wie Komposita innerhalb einer Zeile und analog zur modernen Orthografie zusammengeschrieben (Siehe Duden).

Faksimilé dipl clean norm

Stab⸗
wurtz⸗Oel
[2 Token] Stabwurtz-Oel
[1 Token] Stabwurzöl
[1 Token]

Abkürzungen

Abkürzungen werden nach Dudenrichtlinien umgesetzt. Dies hat zur Folge, dass Abkürzungen unterschiedlich tokenisiert werden können (bspw. Abkürzungen als zwei oder mehr Tokens wie u. a. m. vs. solche, die als ein Token realisiert werden, wie usw.). vgl. dazu beide Beispiele. In Fällen, in denen keine Dudenrichtlinie zugeordnet werden kann, wird immer nach einem Punkt segmentiert.

Faksimilé dipl clean norm

u.
ſ.
w.
[3 Token] u.
s.
w.
[3 Token] usw.
[1 Token]

Graphematik

Die historische graphematische Repräsentation wird an die aktuelle orthographische Norm angepasst.

dipl	norm
`kreutter`	`Kräuter`

Lautzeichen

Die Zeichen für ‘I’ und ‘J’ sind in Fraktur-Texten grafisch nicht immer voneinander unterscheidbar. Konvention in RIDGES ist daher, das Zeichen in der dipl als J darzustellen und erst in der norm-Ebene das Zeichen individuell nach moderner Orthografie zu interpretieren und entsprechend anzupassen.

Faksimilé dipl clean norm

Jſt Jst Ist

Der Digraph ij für Lateinisch “ii” wird in der norm zu ii normalisiert.

clean	norm
`Lapatijs`	`Lapatiis`

Das lange “ſ” wird durch ein reguläres s ersetzt.

dipl clean norm

Leſer Leser Leser

Diakritika

Alle Akzente werden übernommen.

dipl clean norm

immané immané immané

Quòd Quòd Quòd

vitâ vitâ vitâ
Superskribiertes “o” wird in der clean- und norm-Ebene nicht mehr realisiert und durch den zugrundeliegenden Vokal ersetzt:

Faksimilé dipl clean norm

zů zu zu
Umlaute mit superskribiertem “e” werden in der clean- und norm-Ebene wie moderne Umlaute des Deutschen realisiert.

Faksimilé dipl clean norm

genaͤdiger genädiger gnädiger
In der clean-Ebene aufgelöste Nasalstriche stellen nicht immer den korrekten zugrunde liegenden Nasal dar und sollten ggf. in der norm-Ebene korrigiert werden.

dipl	clean	norm
`om̃ia`	`omnia`	`omnia`
`ſamẽ`	`samen`	`Samen`
`eynẽ`	`eynem`	`einem`
`him̃el`	`himmel`	`Himmel`
`iñ`	`inn`	`in`

Das Dicit-Zeichen wird in der clean- und norm-Ebene mit “der” ersetzt.

Faksimilé dipl clean norm

oð oder oder
Das ꝰ-Zeichen wird in der clean- und norm-Ebene durch us ersetzt.

Faksimilé dipl clean norm

deꝰ deus deus
Dieses Zeichen wird durch er ersetzt.

Faksimilé dipl clean norm

v̉tzerẽ vertzeren verzehren

Ligaturen

Ligaturen werden in der norm augelöst.

dipl	clean	norm
`hæc`	`haec`	`haec`

Nach modernen Orthografieregeln wird für “sz” das ß verwendet.

Faksimilé dipl clean norm

Uberfluſz Uberflusz Überfluss

Das kaufmännische Und (&) wird in der norm-Ebene beibehalten.

Faksimilé dipl clean norm

& & &
Folgendes beteutet “etc.”. Es wird als “&” und “c.” transkribiert und in der norm-Ebene zu etc. normalisiert. .

dipl	clean	norm
`&` `c.` [2 Token]	`&` `c.` [2 Token]	`etc.` [1 Token]

Satzzeichen

In der norm wird die clean-Normalisierung des “modifizierenden Pluszeichen” (˖) erhalten.

dipl clean norm

˖ : :
Das Absatzzeichen (¶) bleibt in der norm-Ebene erhalten.

dipl clean norm

¶ ¶ ¶

Zahlen

Bei Zahlen werden in der norm-Ebene alle Konventionen der dipl- und clean-Ebene übernommen.

Sonderzeichen

Intervenieren innerhalb eines Wortes Sonderzeichen, dann werden die Sonderzeichen in der norm-Ebene ignoriert und das unterbrochene Wort zusammengeschrieben.

Faksimilé dipl clean norm

Glo-
✠
⊙
ver
Graſſ
.
[6 Token] Glo-✠
⊙
ver
Grass
.
[5 Token] Glover
Grass
.
[3 Token]

Phonologie

Formen, die in phonologischer Hinsicht fnhd. oder dialektalen Lautstand aufweisen, werden in der norm den (standard-)nhd. Entsprechungen angepasst.

dipl	clean	norm	Beschreibung
`Hellenpein`	`Hellenpein`	`Höllenpein`	Dialektale Entrundung (md.)
`wänlin`	`wänlin`	`Wännlein`	Diphthongierung
`beede`	`beede`	`beide`	Dialektale Monophthongierung
`hänget` `lehret`	`hänget` `lehret`	`hängt` `lehrt`	Synkope

Morphologie

Fehlende oder abweichende Morpheme werden hinzugefügt oder durch im NHD grammatische Morpheme ersetzt:

dipl	clean	norm
`worden`	`worden`	`geworden`
`das kal Haupt`	`das kal Haupt`	`das kahle Haupt`
`in die Nasen`	`in die Nasen`	`in die Nase`
`bei ſchweinem fleiſch`	`bei schweinem fleisch`	`bei schweinenem Fleisch`

Abweichungen der Flexionsklasse werden normalisiert:

dipl	clean	norm	Beschreibung
`Mannen`	`Mannen`	`Männern`	Übergang von der schwachen zur starken Flexion.
`bu`	`bu`	`baute`	Übergang von der starken zur schwachen Flexion.
`gennent`	`gennent`	`genannt`	Einführung des Rückumlauts.
`gebauen`	`gebauen`	`gebaut`	Übergang von der starken zur schwachen Flexion.

Es erfolgt keine Anpassung des Genus

dipl clean norm

das Milz das Milz das Milz

Wortbildung

Ausgestorbene oder nicht mehr gebräuchliche Wortbildungsmorpheme werden nach Möglichkeit durch entsprechende nhd. Bildungen ersetzt. (siehe Beispieltabelle am Schluss)

dipl clean norm

halben [Postposition] halben halber

stachelecht stachelecht stachelig

Morphosyntax

Im standarddt. prinzipiell grammatische Morpheme werden nicht normalisiert, auch wenn sie morphosyntaktisch im Standarddt. durch ein anderes Morphem ersetzt werden müssten.

dipl	clean	norm	Beschreibung
[Heylt] `die verſehrte Daͤrmelein`	[Heylt] `die versehrte Därmelein`	[Heilt] `die versehrte Därmlein`	Keine Anpassung der Adjektivflexion in der definiten Nominalphrase. (nicht: die versehrten Därmelein)

Syntax

Die Positionen der Konstituenten werden nicht normalisiert.
Aus standarddt. Sicht ungrammatische Elemente werden nicht entfernt.
Aus standarddt. Sicht fehlende Konstituenten (z.B. Artikel) werden nicht eingefügt.
Aus standarddt. Sicht ungrammatische Kongruenzabweichungen werden nicht normalisiert.
Aus standarddt. Sicht ungrammatische Kasusrektion wird nicht normalisiert.

Lexik

Aus standarddt. Sicht nicht mehr oder anders gebrauchte Lexeme werden nicht durch die standarddt. Entsprechung normalisiert. Ggf. orthografisch normalisieren.

dipl	clean	norm	Beschreibung
`Hornung`	`Hornung`	`Hornung`	Oberdeutsches Wort für “Februar”.

Die Existenz eines standarddeutschen Lexems wird durch die Lemmatisierung im Duden definiert.
Die Existenz (und graphematische Repräsentation) ausgestorbener Lexeme wird durch die Lemmatisierung in Grimms Wörterbuch vorgegeben.

dipl	clean	norm
`Vergeſz`	`Vergeſz`	`Vergess`

Pragmatik

Aus standarddt. Sicht ungewöhnlich realisierte kommunikative Funktionen (z.B. Anreden, Ehrbezeugungen, wörtliche Zitationskennzeichnungen) werden nicht normalisiert.

Transkription und Normalisierung: Übersicht

Nachfolgend werden die Richtlinien zur Transkription und Normalisierung im Einzelnen gegenübergestellt. Allgemein für jede Segmentierungsebene sowie Annotationsebene gilt, dass keine Leerzeilen oder Leerzeichen enthalten sein dürfen. Dazu wird für jeden Fall ein Beispiel gegeben, die konkrete Regel beschrieben und die weiteren Normalisierungsschritte gegenübergestellt (dipl – clean – norm). Die Richtlinien sind nach Schwerpunkten gruppiert:
(1) Zeichensetzung/Sonderzeichen
(2) Segmentierung/Tokenisierung
(3) Interpunktion.

Transkribieren
Tokenisieren
Normalisieren

Sonderzeichen wie zum Beispiel das “ſ” werden mit Hilfe von Unicodes in der dipl-Ebene realisiert. Eine Liste der zu verwendenden Unicodes ist angefügt.

Nachweis für das Beispiel: Reichmann & Wegera 1993: 31.

Fußnoten und Marginalien

Der Text der Marginalie wird immer am Anfang des jeweiligen Absatzes, in dem/neben dem sie realisiert ist, unabhängig davon, ob so mehrere Marginalien hintereinander oder/und auf der nachfolgenden Seite realisiert werden müssen, in die dipl-Ebene/Transkription aufgenommen.
Der Text der Fußnote wird immer am Ende des Absatzes, in dem sie eingepflegt ist, unabhängig davon, ob sich so die Fußnoten sammeln oder erst auf der nachfolgenden Seite realisiert werden müssten, in die dipl-Ebene/Transkription aufgenommen.

Zeichentabelle

Nr.	dipl-Ebene	clean-Ebene	norm-Ebene
	Transkript des Faksimiles.	Wird automatisch durch ein Python-Skript (clean-skript.py) erstellt. Dieses ersetzt alle heute unüblichen Sonderzeichen durch heute verwendete Entsprechungen.	Erfolgt manuell im .xlsx Format nach der modernen neuen Rechtschreibung. Tipp: Kopieren Sie sich die clean-Ebene und verändern Sie dann die entsprechenden Stellen!
1.0	Nicht mehr lesbare Zeichen oder Zeichenketten werden mit einem Unterstrich markiert, unabhängig davon, wieviele Zeichen (in etwa) nicht mehr interpretiert werden können.	Durch die fehlende Transkription ist eine Normalisierung nicht mehr möglich. Dies wird mit dem Platzhalter-Tag "unknown" angezeigt.	Durch die fehlende Transkription ist eine Normalisierung nicht mehr möglich. Dies wird mit dem Platzhalter-Tag "unknown" angezeigt.
	dipl	clean	norm
	`_`	`unknown`	`unknown`
	Handschriftliche Versalien, die offensichtlich zum Text gehören (KEINE Anmerkungen oder Kommentare von Lesern), werden mit annotiert.
	dipl	clean	norm
	`ABſinthium`	`ABsinthium`	`ABsinthium`
1.1	Die Zeichen für 'I' und 'J' sind in Fraktur-Texten grafisch in der Regel nicht voneinander unterscheidbar. Konvention in RIDGES ist daher, das Zeichen in der dipl als `J` darzustellen und erst in der norm-Ebene das Zeichen individuell nach moderner Orthografie zu interpretieren.	Wie in der dipl-Ebene.	Anpassung an moderne Orthografie.
	dipl	clean	norm
	`Jſt`	`Jst`	`Ist`
1.2	Das `ſ` wird übernommen.	Das lange "ſ" wird durch ein reguläres `s` ersetzt.
	dipl	clean	norm
	`Leſer`	`Leser`	`Leser`
	Dies ist ein `x`
	dipl	clean	norm
	`x`	`x`	`x`
	Das Zeichen Ʒ (bzw. ʒ) wird in der dipl-Ebene nicht von Z (bzw. z) unterschieden. Beide Varianten werden als `Z` (bzw. `z`) transkribiert.	Wie in der dipl-Ebene.
	dipl	clean	norm
	Dies ist ein `z`	`z`	`z`
	In manchen Drucken sieht das Zeichen y etwas anders aus; es wird aber als "normales" `y` transkribiert.
	dipl	clean	norm
	Dies ist ein `y`	`y`	`y`
1.3	Alle Akzente werden übernommen.	Alle Akzente werden übernommen.	Alle Akzente werden übernommen.
	dipl	clean	norm
	`immané`	`immané`	`immané`
	`Quòd`	`Quòd`	`Quòd`
	`vitâ`	`vitâ`	`vitâ`
	Dieses Zeichen wirdübernommen.	Dieses diakritische Zeichen wird in der clean-Ebene nicht mehr realisiert und durch den zugrundeliegenden Vokal ersetzt.
	dipl	clean	norm
	`zů`	`zu`	`zu`
	Umlaute mit superskribiertem "e" werden übernommen.	Umlaute mit superskribiertem "e" werden wie moderne Umlaute des Deutschen realisiert.
	dipl	clean	norm
	`genaͤdiger`	`genädiger`	`gnädiger`
	'í' mit schrägem Strich wird nicht vom 'i' mit Punkt unterschieden. Beide Varianten werden als `i` transkribiert.
	dipl	clean	norm
	`die`	`die`	`die`
	Das "ű" mit schrägen Strichen wird nicht nicht vom ü mit Punkten unterschieden. Beide Varianten werden als `ü` transkribiert.
	dipl	clean	norm
	`fünff`	`fünff`	`fünf`
	Alle horizonalen Striche über einem Zeichen werden als Tilde ( `̃̃` ) interpretiert. Eine Tilde kann stehen für: ausgelassene Nasale, sog. Nasalstrich	Tilden werden entsprechend ihrer Funktion umgesetzt. Die kann u. a. aus Reichmann & Wegera (1993) entnommen werden.¹ Achtung: In der clean-Ebene wird der Strich automatisch als Nasalstrich interpretiert. Gegebenenfalls in der norm ausgleichen.	Gegebenenfalls in der clean-Ebene eingefügte Nasale anders umsetzen.
	dipl	clean	norm
	`om̃ia`	`omnia`	`omnia`
	`sciẽtiã meã`	`scientiam meam`	`scientiam meam`
	`eı̃`	`ein`	`ein`
	`samẽ`	`samen`	`Samen`
	`einẽ`	`eynem`	`einem`
	`nẽlich`	`nemlich`	`nämlich`
	Verdopplung eines Buchstabens
	dipl	clean	norm
	`him̃el`	`himmel`	`Himmel`
	`iñ`	`inn`	`in`
	Das Dicit-Zeichen (Abkürzung für "der") wird in der dipl-Ebene mit `ð` übernommen	Es wird in der clean automatisch mit "der" ersetzt	In der norm auch.
	dipl	clean	norm
	`oð`	`oder`	`oder`
	Dieses Zeichen wird mit `ꝰ` repräsentiert.	Ersetzung durch `us`	Ersetzung durch `us`
	dipl	clean	norm
	`deꝰ`	`deus`	`deus`
		Ersetzung durch `er`	Ersetzung durch `er`
	dipl	clean	norm
	`v̉tzerẽ`	`vertzeren`	`verzehren`
1.4	Das Zeichen für morphologische Worttrennung (oder Zeilenumbruch) wird mit `⸗` übernommen.	Die morphologische Trennung durch "⸗" bleibt erhalten, wird jedoch mit einem regulären `-` ersetzt. Komposita, die in der dipl-Ebene mit einem `⸗` realisiert werden, behalten dieses Zeichen bei, um die allgemeine Suche nach Komposita in dieser Ebene zu ermöglichen. Für Erläuterungen zur rein grafischen Trennung, wie Zeilenumbrüchen, siehe Nummer 2.1.	Gleichheitszeichen, die Kompositabildung anzeigen, werden durch Minuszeichen (`-`) ersetzt oder das Kompositum wird analog zur modernen Orthografie zusammengeschrieben (Grundlage hierfür ist der aktuelle Stand des Dudens).
	dipl	clean	norm
	`Dañ⸗reiſz`	`Dann-reisz`	`Tannenreis`
	Halbgeviertstriche (en dash, "–") und Geviertstriche (em dash, "—") werden als einfache Bindestriche (`-`) transkribiert.
	dipl	clean	norm
	`-`	`-`	`-`
	Das "modifizierende Pluszeichen" (`˖`) wird übernommen.	In der clean wird das Zeichen zu `:` normalisiert.	In der norm wird das Zeichen zu `:` normalisiert.
	dipl	clean	norm
	`˖`	`:`	`:`
	Das Absatzzeichen (`¶`) wird in dipl-, clean- und norm-Ebene übernommen.
	dipl	clean	norm
	`¶`	`¶`	`¶`
1.5	Bruchangaben werden mit `/` übernommen. Dabei wird getrennt segmentiert, um gemischte Brüche transparent zu halten.	Bruchangaben werden mit `/` übernommen. Dabei wird getrennt segmentiert, um gemischte Brüche transparent zu halten.	Bruchangaben werden mit `/` übernommen. Dabei wird getrennt segmentiert, um gemischte Brüche transparent zu halten.
	dipl	clean	norm
	`1`	`1`	`1`
	`1/2`	`1/2`	`1/2`
	Dieses Symbol wird übernommen.	Dieses Symbol wird übernommen.	Dieses Symbol wird übernommen.
	dipl	clean	norm
	`⊙`	`⊙`	`⊙`
	Senkrechtstriche werden mit `\|` übernommen.	Senkrechtstriche werden übernommen.	Senkrechtstriche werden übernommen.
	dipl	clean	norm
	`dieſe`	`diese`	`diese`
	`\|`	`\|`	`\|`
	Dieses Symbol wird als `$` transkribiert. Es bedeutet wahrscheinlich "Zwitter" bzw. "zwitterig".	Die als Platzhalter dienenden Dollarzeichen werden übernommen.	Dollarzeichen werden übernommen. In der Ebene "comment" kann ergänzt werden, dass das Zeichen vermutlich "Zwitter" oder "zwitterig" bedeutet.
	dipl	clean	norm
	`$`	`$`	`$`
	Dieses Zeichen wird als `⁊` transkribiert. Es handelt sich hierbei um das Tironische "et".
	dipl	clean	norm
	`⁊`	`et`	`et`
1.6	Die Ligaturen `æ` und `Æ` werden übernommen. Das gleiche gilt ebenfalls für `Œ` und `œ`	Die Ligatur wird aufgelöst.
	dipl	clean	norm
	`hæc`	`haec`	`haec`
	Die ct-Ligatur wird nicht übernommen.	Die ct-Ligatur wird nicht übernommen.	Die ct-Ligatur wird nicht übernommen.
	dipl	clean	norm
	`Lactucis`	`Lactucis`	`Lactucis`
	Dies ist eine Ligatur aus v̈ und v. Die Ligatur wird aufgelöst: `v̈v`	`v̈v`
	dipl	clean	norm
	`hev̈vſchrecken`	`hev̈vschrecken`	`Heuschrecken`
	Die ſz-Ligatur wird mit dem langen "ſ" und "z" übernommen: `ſz`	Die Ligatur wird analog zu dipl aufgelöst: `sz`	Nach modernen Orthografieregeln wird für "sz" das `ß` verwendet.
	dipl	clean	norm
	`Uberfluſz`	`Uberflusz`	`Überfluss`
	Griechische Ligaturen werden nicht abgebildet, sondern bereits in der dipl aufgelöst: Ligatur aus o und ς Als Hilfe: https://de.wikipedia.org/wiki/Griechisches_Alphabet#/media/File:Greek_alphabet_ligatures.jpg
	dipl	clean	norm
	`ἄκανθος`	`ἄκανθος`	`ἄκανθος`
	Dies beteutet "etc."
	dipl	clean	norm
	`&`	`&`	`etc.`
	`c.`	`c.`	`etc.`
	Das kaufmännische Und (`&`) wird übernommen.	Das kaufmännische Und (`&`) wird übernommen.	Das kaufmännische Und (`&`) wird übernommen.
	dipl	clean	norm
	`&`	`&`	`&`
1.7	Sprachliches Material mit anderen Schriftsystemen (z.B. Griechisch) wird in clean und norm nicht geändert. http://www.unicode.org/charts/PDF/U0370.pdf sowie http://www.unicode.org/charts/PDF/U0370.pdf
	dipl	clean	norm
	`ἄκανθος`	`ἄκανθος`	`ἄκανθος`
1.8	Oft werden die ersten Zeichen bzw. ersten Wörter (im Bsp. Von Weg⸗) einer neuen Seite bei einem Seitenumbruch in der vorhergehenden Seite in einem eigenen Absatz/in einer eigenen Zeile doppelt realisert (sog. Kustoden). Diese Zeichen bzw. das Wort wird nicht mit in das Transkript aufgenommen.

2	Auch entgegen moderner Orthografieregeln wird analog zur Textgrundlage tokenisiert.		Wortbildung und Großschreibung, die nicht der modernen Orthografieregeln entsprechen, werden angeglichen.
	dipl	clean	norm
	`Spannen⸗lang`	`Spannen-lang`	`spannenlang`
2.1	Klitisierte Elemente können zusammengeschrieben (z.B. ichs, bedarfs, aufs) oder apostrophiert dargesetllt sein (z.B. ich's, bedarf's, auf's). Klitisiert werden schwach betonte Morpheme. Z.B.: Formen des Personalpronomens, unbestimmter oder bestimmter Artikel	Klitika werden als ein Token realisiert.	Klitika werden in dieser Ebene aufgelöst. Dazu wird die Tokenisierung verändert, indem aus einem Token in dipl (oder clean) zwei Token gemacht werden!.
	dipl	clean	norm
	`ichs`	`ichs`	`ich`
	`ichs`	`ichs`	`es`
	Auch entgegen moderner Orthografieregeln wird analog zur Textgrundlage tokenisiert.		Getrennt- und Zusammenschreibung wird nach modernen Orthografieregeln angepasst. Dazu wird die Tokenisierung verändert, indem aus einem Token in der dipl-Ebene (oder clean) zwei Token in der norm-Ebene gemacht werden!
	dipl	clean	norm
	`zuſetzen`	`zusetzen`	`zu`
	`zuſetzen`	`zusetzen`	`setzen`
	Im Falle einer Worttrennung aufgrund von Zeilenumbrüchen, die keine overte, grafische Markierung wie "⸗" oder "-" beinhalten, werden formal die getrennten Elemente als jeweils ein Token in der dipl-Ebene betrachtet. Auch entgegen moderner Orthografieregeln wird analog zur Textgrundlage tokenisiert.	Die Worttrennung ohne grafische Markierung ist nicht in jedem Fall transparent. Grafische Normalisierungen werden nicht vorgenommen.	Diese Art der Worttrennung, wenn sie transparent ist, wird nach modernen Orthografieregeln normalisiert und die grafische Trennung aufgehoben.
	dipl	clean	norm
	`ge`	`ge`	`genannt`
	`nent`	`nent`	`genannt`
	Komposita, egal welcher Komplexität oder Bildungsweise, mit Gleichheitszeichen werden als ein Token realisiert.	Die morphologische Trennung durch "⸗" bleibt erhalten, wird jedoch mit einem regulären "-" ersetzt.	Gleichheitszeichen, die Kompositabildung anzeigen, werden durch Minuszeichen ersetzt oder das Kompositum wird analog zur modernen Orthografie zusammengeschrieben (Grundlage hierfür bildet die aktuelle Ausgabe des Dudens.).
	dipl	clean	norm
	`Artzney⸗Kunſt`	`Artzney-Kunst`	`Arzneikunst`
2.2	Von Zeilenumbrüchen betroffene Elemente werden analog zur Primärquelle getrennt tokenisiert. Das Trennungszeichen "⸗" wird übernommen.	Wörter, die von Zeilenumbrüchen betroffen sind, werden in der clean-Ebene ohne den (Doppel-) Bindestrich, der diesen anzeigt, sowie in einer Spanne zusammengefasst realisiert. Die grafische Worttrennung wird somit aufgehoben.
	dipl	clean	norm
	`allge⸗`	`allgemeinen`	`allgemeinen`
	`meinen`	`allgemeinen`	`allgemeinen`
	Von Zeilenumbrüchen betroffene Komposita werden analog zur Primärquelle getrennt tokenisiert, dabei bleibt die Kennzeichnung der morphologischen Worttrennung unberührt.	Wenn ein Kompositum, das durch Gleichheitszeichen grundsätzlich getrennt wird, von einem Zeilenumbruch betroffen ist, so wird dieses Gleichheitszeichen in der clean-Ebene entfernt, das andere Gleichheitszeichen für die morphologische Trennung wird analog zu Nummer 1.1 mit einem Minus ersetzt. Das Kompositum wird in einer Spanne zusammengefasst wiedergegeben.	Die Gleichheitszeichen, die Kompositabildung anzeigen, werden durch Minuszeichen ersetzt oder das Kompositum wird analog zur modernen Orthografie zusammengeschrieben (Grundlage hierfür bildet die aktuelle Ausgabe des Dudens.).
	dipl	clean	norm
	`Stab⸗`	`Stabwurtz-Oel`	`Stabwurzöl`
	`wurtz⸗Oel`	`Stabwurtz-Oel`	`Stabwurzöl`
2.3	Abkürzungen werden analog zur Textgrundlage tokenisiert. Das heißt, auch Setzfehler oder Spatien, die nicht modernen Orthografieregeln entsprechen, werden realisiert.		Abkürzungen werden nach Dudenrichtlinien umgesetzt. Dies hat zur Folge, dass Abkürzungen unterschiedlich tokenisiert werden können (bspw. Abkürzungen als zwei oder mehr Tokens wie u. a. m. vs. solche, die als ein Token realisiert werden, wie usw.). vgl. dazu beide Beispiele in 2.3. In Fällen, in denen keine Dudenrichtlinie zugeordnet werden kann, wird immer nach einem Punkt segmentiert.
	dipl	clean	norm
	`u.`	`u.`	`usw.`
	`ſ.`	`s.`
	`w.`	`w.`
	Abkürzungen werden analog zur Textgrundlage tokenisiert. Das heißt, auch Setzfehler oder Spatien, die nicht modernen Orthografieregeln entsprechen, werden realisiert.		Abkürzungen werden nach Dudenrichtlinien umgesetzt. Dies hat zur Folge, dass Abkürzungen unterschiedlich tokenisiert werden können (bspw. Abkürzungen als zwei oder mehr Tokens wie u. a. m. vs. solche, die als ein Token realisiert werden, wie usw.). vgl. dazu beide Beispiele in 2.3. In Fällen, in denen keine Dudenrichtlinie zugeordnet werden kann, wird immer nach einem Punkt segmentiert.
	dipl	clean	norm
	`u`	`u`	`u.`
	`u`	`u`	`d.`
	`d.g.`	`d.g.`	`g.`
2.4	Punktsetzungen bei Ordinalzahlen werden mit der Ziffer als ein Token realisiert.		Nach modernen Orthografieregeln werden Ordinalzahlen mit Punkt realisiert.
	dipl	clean	norm
	`I.`	`I.`	`I.`
	Die Faksimilia weisen oft Kardinalzahlen mit Interpunktion auf. Diese Punktsetzungen werden mit der jeweiligen Ziffer als Token realisiert. Ausnahmen bilden Zahlen, die mit einem satzbeenden Punkt auftreten. Hier wird wie gewohnt die Satzinterpunktion getrennt von der Kardinalzahl tokenisiert.		Um die Kardinalzahlen von Ordinalzahlen in der norm-Ebene getrennt betrachten zu können, wird die Interpunktion bei Kardinalzahlen weggelassen.
	dipl	clean	norm
	`I.`	`I.`	`I.`
	`Loth`	`Loth`	`Loth`
	`.IX.`	`.IX.`	`IX`
	Zeichenketten wie "5 %", "5-12", "800'" werden auf der dipl und clean als ein Token und in der norm als mehrere Token betrachtet, wenn sie im Scan visuell zusammen stehen. Stehen sie visuell auseinander, werden sie auch als verschiedene Tokens realisiert.		Norm: immer als mehrere Token
2.5	Satzinterpunktion wie Kommata, Punkte, Virgeln oder Semikola werden als jeweils eigenständige Token realisiert.
	dipl	clean	norm
	`finden`	`finden`	`finden`
	`.`	`.`	`.`
	Die Höhe von Punkten wird nicht beachtet. Da wir nicht immer zweifelsfrei feststellen können, wann ein Punkt "hoch" ist und wann "tief", transkribieren wir das alles als normale Punkte.
	dipl	clean	norm
	`keychen`	`keychen`	`keuchen`
	`.`	`.`	`.`
	Dieses Zeichen wird als Punkt transkribiert.
	dipl	clean	norm
	`werden`	`werden`	`werden`
	`.`	`.`	`.`
2.6	Fußnotenreferenzierungen werden in dipl- und clean-Ebene als mehrere Token und in der norm-Ebene als ein Token realisiert.		Norm: ein Token
	dipl	clean	norm
	`(`	`(`	`(*)`
	`*`	`*`
	`)`	`)`
	dipl	clean	norm
	`*`	`*`	`**)`
	`*`	`*`
	`)`	`)`
3.1	Formen, die in phonologischer Hinsicht fnhd. oder dialektalen Lautstand aufweisen, werden in der norm den (standard-)nhd. Entsprechungen angepasst.
	dipl	clean	norm
	`Hellenpein`	`Hellenpein`	`Höllenpein`
	`wänlin`	`wänlin`	`Wännlein`
	Dialektale Formen
	dipl	clean	norm
	`beede`	`beede`	`beide`
	Apokope / Synkope (hier: Synkope)
	dipl	clean	norm
	`hänget`	`hänget`	`hängt`
3.2	Fnhd. Flexionsformen werden durch die nhd. Entsprechungen ersetzt.
	dipl	clean	norm
	`in die Nasen`	`in die Nasen`	`in die Nase`
	`das kal Haupt`	`das kal Haupt`	`das kahle Haupt`
	Es erfolgt keine Anpassung des Genus
	dipl	clean	norm
	`das Milz`	`das Milz`	`das Milz`
	Vom Nhd. abweichende starke oder schwache Verbalflexion bzw. Rückumlaut wird dem nhd. Stand angepasst
	dipl	clean	norm
	`gennent`	`gennent`	`genannt`
	`gebauen`	`gebauen`	`gebaut`
	Auseinanderschreibung
	dipl	clean	norm
	`obgenannt`	`obgenannt`	`oben genannt`
	`hiebevor`	`hiebevor`	`hier bevor`
3.3	Die aus der niederfränkischen Schreibtradition stammende `ij`-Schreibung für Lateinisch "ii" wird in der norm zu `ii` normalisiert.
	dipl	clean	norm
	`Lapatijs`	`Lapatijs`	`Lapatiis`
3.4	Ausgestorbenes lexikalisches Material wird mit modernen Orthografieregeln übernommen, aber nicht lexikografisch übersetzt.
	dipl	clean	norm
	`Vergeſz`	`Vergeſz`	`Vergess`
3.5	Es erfolgt keine morphosyntaktische Anpassung (z.B. innerhalb der Nominalphrase)
	dipl	clean	norm
	(Es) `Heylt die verſehrte Daͤrmelein`	(Es) `Heylt die versehrte Därmelein`	(Es) `Heilt die versehrte Därmlein`
3.6	Ausgestorbene Wortbildungsmorpheme werden nach Möglichkeit durch entsprechende nhd. Bildungen ersetzt. (siehe Beispieltabelle am Schluss)
	dipl	clean	norm
	`halben`(Postposition)	`halben`	`halber` (allenthalben ist ein Adverb und bleibt allenthalben)
	`stachelecht`	`stachelecht`	`stachelig`
3.7	Flexionslose Adjektive, die im Neuhochdeutschen eine overte Flexion enthalten, werden in der norm flektiert, ohne dass der Kasus geändert wird.
	dipl	clean	norm
	`das kal Haupt`	`das kal Haupt`	`das kahle Haupt`
	`bei ſchweinem fleiſch`	`bei schweinem fleisch`	`bei schweinenem Fleisch`
3.8	Intervenieren innerhalb eines Wortes Sonderzeichen, dann werden die Sonderzeichen in der norm-Ebene ignoriert und das unterbrochene Wort zusammengeschrieben.
	dipl	clean	norm
	<lb>
	`Glo-`	`Glo ✠`	`Glover`
	`✠`	`Glo ✠`
	`⊙`	`⊙`
	`ver`	`ver`
	`Graſſ`	`Grass`	`Grass`
	`.`	`.`	`.`
	Text hinter (geschweiften) Klammern, wird nach dem umklammerten Textabschnitt eingefügt.
	dipl
	`Wermuth Wermuth , gemeiner Wermuth , groſzer ſ. Wer⸗ muthbeifuſz.`
	Graphematisch wird grundsätzlich nach dem Duden normalisiert.

Beschreibung	Zeichen	Eingabe über die Tastatur
Schräger Dopppelbindestrich	⸗	2E17
Langes kleines “s”	ſ	017F Alt s
Tilde	̃̃	0303
Ligatur ae	æ	00E6
Ligatur AE	Æ	00C6
Ligatur oe	œ	0153
Ligatur OE	Œ	0152
Akut	´	dead key +
Gravis	`	shift+dead key+
Cedille klein	ç	00E7
Cedille groß	Ç	00C7
Superskribiertes “e”	ͤ	0364
Kreis	å	030A
y mit Punkten	ÿ	00FF
Absatzzeichen	¶	00B6
Abkürzung “der”	ð	AltGr+d
Häkchen über Zeichen	v̉	0309
Zeichen für lat. “recipe”	℞	211E
Zeichen für lat. “libra”	℔	2114
Zeichen für lat. “uncia”	℥	2125
Zeichen für lat. “scrupel”	℈	2108
3 Kreise	∴	2234
Kreis mit Punkt “einjährig”	⊙	2299
Latin Small Letter Rum Rotunda	ꝝ	A75D
Tironisches “et”	⁊	204A

	clean	norm
1	-icht/-echt/-acht/-lote	-(l)ich/-(l)ig
	`ästicht`	`ästig`
	`knöpfflicht`	`knöpfflich`
	`haarecht`	`haarig`
	`holzecht`	`holzig`
	`schattecht`	`schattig`
	`langlecht`	`länglich`
	`laulecht`	`laulig`
	`weißlecht`	`weißlich`
	`rohtlecht`	`rötlich`
	`stachelecht`	`stachelig`
	`gelblote`	`gelblich`
2	deutlich erkennbare Ortsnamen werden als nhd. Form normalisiert
	`Franckfort`	`Frankfurt`
	`Muttetz`	`Muttenz`
3	-lich-Adverbien werden durch nhd. lich-lose Formen ersetzt
	`kräftiglich`	`kräftig`
	`wunderbarlich`	`wunderbar`
4	für-	vor-
4	`fürnehmlich`	`vornehmlich`
5	-für	-vor
5	`herfür`	`hervor`
6	on- / ohne entspricht dem Präfix un-
6	`on-` / `ohne`	`un-`
7	-fnhd. etwan
7	`etwan`	nhd. `etwa` (Adverb) nhd. `etwas` (Pronomen)
8	-erin	flektierte nhd. Form
8	in ein erhabnes `Steinerin` Grab gelegt	`steinernes`
9	-en	-Ø
	`endlichen`	`endlich`
	`sonsten`	`sonst`
	`selbsten`	`selbst`
10	-Ø	-en
	`ob`	`oben`
	`beizeit`	`beizeiten`
11	(Nicht)Normaliserung von Kasus
	mit Normalisierung: Man trinke des wassers	mit Normalisierung von Kasus: Man trinke das Wasser
	Man trinke des wassers	ohne Normalisierung von Kasus: Man trinke des Wassers
12	Vom Nhd. abweichende starke oder schwache Verbalflexion bzw. Rückumlaut wird dem nhd. Stand angepasst
	`gennent`	`genannt`
	`gebauen`	`gebaut`
13	Auseinanderschreibung
	`obgenannt`	`oben genannt`
	`hiebevor`	`hier bevor`
14	ggf. ge-Präfix in Partizipien ergänzen
	`funden`	`gefunden`
	`kommen`	`gekommen`
	`worden`	`geworden`
15	Flexionsformen der Pronomina der, die, das an nhd. Formen anpassen
	`der`	`derer`
	`dero`	`derer`
	`des`	`dessen`
16	fnhd. wann/wenn	nhd. wann (Interrogativpron) nhd. wenn (Subjunktion)
	`wann` wenn es einen Nebensatz einleitet → keine V2 Stellung, sondern VLetzt (auch VLetzt mit Nachfeldbesetzung: wenn man Köl- und Haselbaum pflanzt zu Weinreben)	`wenn`
	`wann` wenn es einen Hauptsatz einleitet → V2 und übersetzbar it nhd. 'denn'	`wann`
	`wenn` wenn es einen Hauptsatz einleitet → V2 und übersetzbar it nhd. 'denn'	`wann`
	`wenn` wenn es einen Nebensatz einleitet → keine V2 Stellung, sondern VLetzt (auch VLetzt mit Nachfeldbesetzung: wenn man Köl- und Haselbaum pflanzt zu Weinreben)	`wenn`
17	-fnhd. söllen/wöllen sind dialektale Formen
	`söllen`	`sollen`
	`wöllen`	`wollen`
18	Eigennamen/Fremdwörter in Komposita werden getrennt geschrieben
	`St. Anthonius Feuer`	`Sankt Anthonius Feuer`
	`Cassia fistel`	`Cassia Fistel`
19	Abkürzung frequenter Wörter und Endungen
	`unn` (sic!)	`und`
	`umm` (sic!)	`um`
	`darumm` (sic!)	`darum`
	`complexiom` (sic!)	`Komplexion`
20	Einzelentscheidungen
	`benommen`	`genommen`
	`Beweisung`	`Beweisung`
	`brauch` (= Gebrauch)	`Brauch`
	`dannenher`	`daher`
	`dennocht`	`dennoch`
	`der selbe`	`der selbe`
	`derselbe`	`derselbe`
	`derowegen`	`deswegen`
	`entbeut`	`entbietet`
	`Epff`	`Epff`
	`fahen`	`fangen`
	`gel`	`gel`
	`gepreist`	`gepriesen`
	`gleichsfalls` `gleichesfalls`	`gleichfalls`
	`guldin`	`golden`
	`halb`	`halber`
	`harm`	`Harn`
	`harmen`	`harnen`
	`hauffecht`	`häufig`
	`leichtlich`	`leicht`
	`liebnusz`	`Liebnis`
	`Mannen`	`Männern`
	`mehrer`	`teils`
	`morgen` (= morgens)	`morgens`
	`namlichen`	`nämlich`
	`Nutz`	`Nutzen`
	`pestnachen`	`Pastinaken`
	`samlen`	`sammeln`
	`schlahen`	`schlagen`
	`sonders`	`sonders`
	(wegen der) `Viele`	`Viele`
	`vierecket`	`viereckig`
	`vor`	`vorher`
	`wehtum`/`wehtumb`	`Wehtun`
	`wofer`	`wofern`
	`wurz`	`wurzel`
	`yedickest`	`gedihest` (Lexer: 'oft')
	`yetliches`	`jegliches`
	`zeuchen`	`ziehen`
	`wa` (als dialektale Form)	`wo`
	`Vättern`	`Väter`
	`nießte`	`neuste`

Annotationswert	Beschreibung
`deu`	Deutsch (Default-Wert)
`lat`	Latein
`grc`	Altgriechisch
`spa`	Spanisch
`ita`	Italienisch
`ara`	Arabisch
`fra`	Französisch
`pol`	Polnisch
`nld`	Niederländisch
`eng`	Englisch
`rus`	Russisch
`goh`	Althochdeutsch
`dan`	Dänisch
`hun`	Ungarisch
`egy`	Ägyptisch
`cze`	Tschechisch
`swe`	Schwedisch
`nor`	Norwegisch
`undef`	Für Abkürzungen, die nicht im Duden stehen
`unknown`	Für unknown (Unterstrich (`_`) in ‘dipl’)

Annotationswert	Beschreibung
`no`	keine Abkürzung in ‘norm’ (Default-Wert)
`yes`	Abkürzung in ‘norm’
`unknown`	für unknown in ‘norm’

Annotationswert	Beschreibung
`l`	dipl-Token, die zusammen in der linken Spalte stehen
`r`	dipl-Token, die zusammen in der rechten Spalte stehen
`c`	bei dreispaltigem Text: dipl-Token, die zusammen in der mittleren Spalte stehen (center)

Annotation	Screenshot
Das ſechſzehende Capitel. wird als eine Spanne annotiert und Von Sawrampffer. als eine weitere Spanne.
Die beiden Beispiele zeigen fortlaufende Kapitelüberschriften, die auf mehreren Seiten erscheinen. Sie werden nicht transkribiert und müssen daher nicht ausgezeichnet werden.

Keyboard shortcuts

Handbuch RIDGES Herbology Korpus