norm-Normalisierung

Durch die einzelnen Normalisierungsschritte und der daraus resultierenden multiplen Segmentierung ist es möglich, die uneinheitliche Orthografie in einzelnen Texten sowie im diachronen Verlauf zu vereinheitlichen und dennoch die spezifischen Besonderheiten des jeweiligen Textes/der jeweiligen Sprachstufe im Korpus abzubilden. Weiterhin können automatische Tagging- und Parsing-Tools, die in vielen Fällen auf modernem Deutsch trainiert sind, auf der norm-Ebene angewandt werden.

Die norm-Ebene beinhaltet normalisierte Annotationen der clean-Token. Die Normalisierung erfolgt hinsichtlich Tokenisierung, Graphematik, Phonologie und Morphologie.

Normalisierungsideal ist die gegenwartssprachliche deutsche Norm (standarddt.), die durch das Duden-Wörterbuch und die Duden-Grammatik repräsentiert wird.

Nicht normalisiert werden Morphosyntax, Syntax, Lexik und Pragmatik.

Normalisierungsrichtlinien

Normalisierungsrichtlinien

• Allgemeine Richtlinien und Hinweise
• Tokenisierung
  • Wort
  • Zeilenumbrüche
  • Abkürzungen
• Graphematik
  • Lautzeichen
  • Diakritika
  • Ligaturen
  • ij/ii
  • Satzzeichen
  • Zahlen
  • Sonderzeichen
• Phonologie
• Morphologie
  • Wortbildung
  • Adjektivflexion
• Keine Normalisierung
  • Morphosyntax
  • Syntax
  • Lexik
  • Pragmatik

Allgemeine Richtlinien und Hinweise

Faksimilé	dipl	clean	norm	Beschreibung
	_	unknown	unknown	Bei nicht lesbaren Zeichen oder Zeichenketten ist durch die fehlende Transkription ist eine Normalisierung nicht mehr möglich. Dies wird in der clean-Ebene mit dem Platzhalter-Tag unknown angezeigt und in der norm-Ebene übernommen.
	ABſinthium	ABsinthium	ABsinthium	Handschriftliche Versalien, die offensichtlich zum Text gehören (KEINE Anmerkungen oder Kommentare von Lesern), werden in der dipl mit annotiert und in der clean und norm übernommen.

Beachte!

Bei der weiteren Bearbeitung in Excel kann es nach Anwendung des Clean-Skripts zu ungewollten automatischen Formatierungen kommen, ÜBERPRÜFEN!!!
1/2 wurde durch Excel zu 01.Februar. Das normalisierte falsch wurde durch Excel zum logischen Operator FALSCH.

Als Grundlage für die moderne Orthografie gilt die aktuelle Ausgabe des Dudens.

Tokenisierung

• Die Annotation auf der norm-Ebene repräsentiert die standarddt. lexikalischen Einheiten:

  dipl	norm
  Rinder Zunge	Rinderzunge

• Wortsegmentierung und Großschreibung, die nicht den modernen Orthografieregeln entsprechen, werden angeglichen.

  Faksimilé	dipl	clean	norm
  	Spannen⸗lang	Spannen-lang	spannenlang

Wort

• Klitika werden in der norm-Ebene aufgelöst. Dazu wird die Tokenisierung verändert, indem aus einem Token zwei Token gemacht werden.

  Faksimilé	dipl	clean	norm
  	ichs	ichs	ich es [2 Token]

• Getrennt- und Zusammenschreibung wird nach modernen Orthografieregeln angepasst. Dazu wird die Tokenisierung verändert, indem aus einem Token in der dipl-Ebene (oder clean) zwei Token in der norm-Ebene gemacht werden!

  Faksimilé	dipl	clean	norm
  	zuſetzen	zusetzen	zu setzen [2 Token]

• Zusammenschreibungen von Lexemen unterschiedlichen Wortarten werden in der norm-Ebene aufgelöst (2 Token).

• Worttrennung aufgrund von Zeilenumbrüchen, die keine overte, grafische Markierung wie “⸗” oder “-” beinhalten, wird – wenn sie transparent ist – nach modernen Orthografieregeln normalisiert und die grafische Trennung aufgehoben.

  Faksimilé	dipl	clean	norm
  	ge nent	ge nent	genannt

• Komposita werden analog zur modernen Orthografie zusammengeschrieben (Grundlage hierfür bildet die aktuelle Ausgabe des Dudens).

Faksimilé	dipl	clean	norm
	Artzney⸗Kunſt	Artzney-Kunst	Arzneikunst
	Dañ⸗reiſz	Dann-reisz	Tannenreis

• Zum Umgang mit Sonderzeichen innerhalb von Wörtern Siehe Abschnitt Sonderzeichen.

Zeilenumbrüche

• Wörter, die von Zeilenumbrüchen betroffen sind, werden in der clean- und norm-Ebene ohne den (Doppel-) Bindestrich, der diesen anzeigt, realisiert und in einer Spanne zusammengefasst. Die grafische Worttrennung wird somit aufgehoben.

  Faksimilé	dipl	clean	norm
  	allge⸗ meinen [2 Token]	allgemeinen [1 Token]	allgemeinen [1 Token]

• Wenn Komposita von einem Zeilenumbruch betroffen sind, werden sie behandelt wie Komposita innerhalb einer Zeile und analog zur modernen Orthografie zusammengeschrieben (Siehe Duden).

  Faksimilé	dipl	clean	norm
  	Stab⸗ wurtz⸗Oel [2 Token]	Stabwurtz-Oel [1 Token]	Stabwurzöl [1 Token]

Abkürzungen

• Abkürzungen werden nach Dudenrichtlinien umgesetzt. Dies hat zur Folge, dass Abkürzungen unterschiedlich tokenisiert werden können (bspw. Abkürzungen als zwei oder mehr Tokens wie u. a. m. vs. solche, die als ein Token realisiert werden, wie usw.). vgl. dazu beide Beispiele. In Fällen, in denen keine Dudenrichtlinie zugeordnet werden kann, wird immer nach einem Punkt segmentiert.

  Faksimilé	dipl	clean	norm
  	u. ſ. w. [3 Token]	u. s. w. [3 Token]	usw. [1 Token]

Graphematik

Die historische graphematische Repräsentation wird an die aktuelle orthographische Norm angepasst.

Lautzeichen

• Die Zeichen für ‘I’ und ‘J’ sind in Fraktur-Texten grafisch nicht immer voneinander unterscheidbar. Konvention in RIDGES ist daher, das Zeichen in der dipl als J darzustellen und erst in der norm-Ebene das Zeichen individuell nach moderner Orthografie zu interpretieren und entsprechend anzupassen.

  Faksimilé	dipl	clean	norm
  	Jſt	Jst	Ist

• Der Digraph ij für Lateinisch “ii” wird in der norm zu ii normalisiert.

• Das lange “ſ” wird durch ein reguläres s ersetzt.

  dipl	clean	norm
  Leſer	Leser	Leser

Diakritika

• Alle Akzente werden übernommen.

  dipl	clean	norm
  immané	immané	immané
  Quòd	Quòd	Quòd
  vitâ	vitâ	vitâ

• Superskribiertes “o” wird in der clean- und norm-Ebene nicht mehr realisiert und durch den zugrundeliegenden Vokal ersetzt:

  Faksimilé	dipl	clean	norm
  	zů	zu	zu

• Umlaute mit superskribiertem “e” werden in der clean- und norm-Ebene wie moderne Umlaute des Deutschen realisiert.

  Faksimilé	dipl	clean	norm
  	genaͤdiger	genädiger	gnädiger

• In der clean-Ebene aufgelöste Nasalstriche stellen nicht immer den korrekten zugrunde liegenden Nasal dar und sollten ggf. in der norm-Ebene korrigiert werden.

Faksimilé	dipl	clean	norm
	om̃ia	omnia	omnia
	ſamẽ	samen	Samen
	eynẽ	eynem	einem
	him̃el	himmel	Himmel
	iñ	inn	in

• Das Dicit-Zeichen wird in der clean- und norm-Ebene mit “der” ersetzt.

  Faksimilé	dipl	clean	norm
  	oð	oder	oder

• Das ꝰ-Zeichen wird in der clean- und norm-Ebene durch us ersetzt.

  Faksimilé	dipl	clean	norm
  	deꝰ	deus	deus

• Dieses Zeichen wird durch er ersetzt.

  Faksimilé	dipl	clean	norm
  	v̉tzerẽ	vertzeren	verzehren

Ligaturen

Ligaturen werden in der norm augelöst.

• Nach modernen Orthografieregeln wird für “sz” das ß verwendet.

  Faksimilé	dipl	clean	norm
  	Uberfluſz	Uberflusz	Überfluss

• Das kaufmännische Und (&) wird in der norm-Ebene beibehalten.

  Faksimilé	dipl	clean	norm
  	&	&	&

• Folgendes beteutet “etc.”. Es wird als “&” und “c.” transkribiert und in der norm-Ebene zu etc. normalisiert. .

Satzzeichen

• In der norm wird die clean-Normalisierung des “modifizierenden Pluszeichen” (˖) erhalten.

  dipl	clean	norm
  ˖	:	:

• Das Absatzzeichen (¶) bleibt in der norm-Ebene erhalten.

  dipl	clean	norm
  ¶	¶	¶

Zahlen

Bei Zahlen werden in der norm-Ebene alle Konventionen der dipl- und clean-Ebene übernommen.

Sonderzeichen

• Intervenieren innerhalb eines Wortes Sonderzeichen, dann werden die Sonderzeichen in der norm-Ebene ignoriert und das unterbrochene Wort zusammengeschrieben.

  Faksimilé	dipl	clean	norm
  	Glo- ✠ ⊙ ver Graſſ . [6 Token]	Glo-✠ ⊙ ver Grass . [5 Token]	Glover Grass . [3 Token]

Phonologie

Formen, die in phonologischer Hinsicht fnhd. oder dialektalen Lautstand aufweisen, werden in der norm den (standard-)nhd. Entsprechungen angepasst.

Morphologie

• Fehlende oder abweichende Morpheme werden hinzugefügt oder durch im NHD grammatische Morpheme ersetzt:

• Abweichungen der Flexionsklasse werden normalisiert:

  dipl	clean	norm	Beschreibung
  Mannen	Mannen	Männern	Übergang von der schwachen zur starken Flexion.
  bu	bu	baute	Übergang von der starken zur schwachen Flexion.
  gennent	gennent	genannt	Einführung des Rückumlauts.
  gebauen	gebauen	gebaut	Übergang von der starken zur schwachen Flexion.

• Es erfolgt keine Anpassung des Genus

  dipl	clean	norm
  das Milz	das Milz	das Milz

Wortbildung

• Ausgestorbene oder nicht mehr gebräuchliche Wortbildungsmorpheme werden nach Möglichkeit durch entsprechende nhd. Bildungen ersetzt. (siehe Beispieltabelle am Schluss)

  dipl	clean	norm
  halben [Postposition]	halben	halber
  stachelecht	stachelecht	stachelig

Morphosyntax

• Im standarddt. prinzipiell grammatische Morpheme werden nicht normalisiert, auch wenn sie morphosyntaktisch im Standarddt. durch ein anderes Morphem ersetzt werden müssten.

  dipl	clean	norm	Beschreibung
  [Heylt] die verſehrte Daͤrmelein	[Heylt] die versehrte Därmelein	[Heilt] die versehrte Därmlein	Keine Anpassung der Adjektivflexion in der definiten Nominalphrase. (nicht: die versehrten Därmelein)

Syntax

• Die Positionen der Konstituenten werden nicht normalisiert.
• Aus standarddt. Sicht ungrammatische Elemente werden nicht entfernt.
• Aus standarddt. Sicht fehlende Konstituenten (z.B. Artikel) werden nicht eingefügt.
• Aus standarddt. Sicht ungrammatische Kongruenzabweichungen werden nicht normalisiert.
• Aus standarddt. Sicht ungrammatische Kasusrektion wird nicht normalisiert.

Lexik

• Aus standarddt. Sicht nicht mehr oder anders gebrauchte Lexeme werden nicht durch die standarddt. Entsprechung normalisiert. Ggf. orthografisch normalisieren.

• Die Existenz eines standarddeutschen Lexems wird durch die Lemmatisierung im Duden definiert.
• Die Existenz (und graphematische Repräsentation) ausgestorbener Lexeme wird durch die Lemmatisierung in Grimms Wörterbuch vorgegeben.

Pragmatik

• Aus standarddt. Sicht ungewöhnlich realisierte kommunikative Funktionen (z.B. Anreden, Ehrbezeugungen, wörtliche Zitationskennzeichnungen) werden nicht normalisiert.