Quelltext der Seite UTF-16

'''UTF-16''' ({{enS}} für '''''U'''niversal Multiple-Octet Coded Character Set&nbsp;(UCS) '''T'''ransformation '''F'''ormat for '''16'''&nbsp;Planes of Group&nbsp;00'') ist eine [[Zeichenkodierung|Kodierung]] mit [[Multibyte Character Set|variabler Länge]] für [[Unicode]]-Zeichen. UTF-16 ist optimiert für die häufig gebrauchten Zeichen aus der ''[[Unicode#Gliederung|Basic multilingual plane]]&nbsp;(BMP)''. Es ist das älteste der [[Unicode Transformation Format|Unicode-Kodierungsformate]].

== Allgemeines ==
Bei der UTF-16-Kodierung wird jedem Unicode-Codepunkt eine speziell kodierte Kette von ein oder zwei 16-[[Bit]]-Einheiten zugeordnet, d.&nbsp;h. von zwei oder vier [[Byte]]s, so dass sich – wie auch bei den anderen [[Unicode Transformation Format|UTF]]-Formaten – alle Unicode-Zeichen abbilden lassen.

Während [[UTF-8]] eine zentrale Bedeutung in [[Internet-Protokoll]]en hat, wird UTF-16 vielerorts zur internen Repräsentation von [[Zeichenkette]]n verwendet, z.&nbsp;B. in aktuellen Versionen von [[.Net-Framework]], [[Java (Programmiersprache)|Java]] und [[Tcl]].

== Eigenschaften ==
Aufgrund der Kodierung aller Zeichen der [[Basic Multilingual Plane|BMP]] in zwei Bytes hat die UTF-16-Kodierung bei Texten, welche hauptsächlich aus [[lateinische Buchstaben|lateinischen Buchstaben]] bestehen, den doppelten Platzbedarf im Vergleich zu geeigneten [[ISO 8859|ISO-8859]]-Kodierungen oder zu&nbsp;UTF-8. Werden jedoch viele BMP-Zeichen jenseits des [[Codepoint]]s&nbsp;U+007F codiert, so benötigt UTF-16 vergleichbar viel oder weniger Platz als UTF-8.

Im Gegensatz zu UTF-8 besteht keine Kodierungsreserve. Wird ein UTF-16-kodierter Text als [[ISO 8859-1]] interpretiert, so sind zwar sämtliche auch in letzterer Kodierung enthaltenen Buchstaben erkennbar, aber durch Null-Bytes getrennt; bei anderen ISO-8859-Kodierungen ist die [[Kompatibilität (Technik)|Kompatibilität]] schlechter.

== Normung ==
UTF-16 wird sowohl vom [[Unicode-Konsortium]] als auch von [[ISO/IEC 10646]] definiert. Unicode definiert dabei zusätzliche [[Semantik]]. Ein genauer Vergleich findet sich im Anhang&nbsp;C des Unicode-4.0-Standards.<ref>[http://www.unicode.org/versions/Unicode4.0.0/appC.pdf Unicode 4.0, Anhang C] (PDF; 155&nbsp;kB)</ref> Die ISO-Norm definierte weiterhin eine Kodierung&nbsp;[[UCS-2]], in der jedoch nur 16-Bit-Darstellungen der&nbsp;BMP zulässig sind.

== Kodierung ==
=== Zeichen auf der BMP ===
Die gültigen Zeichen der [[Basic Multilingual Plane|BMP]] (U+0000 bis U+D7FF und U+E000 bis U+FFFF) werden jeweils direkt auf ein einziges 16-Bit-[[Datenwort|Wort]] bzw. auf zwei Bytes abgebildet.

=== Zeichen außerhalb der BMP ===
[[Datei:Utf-16.svg|mini|hochkant=1.55|Bildung + interne Zusammensetzung der zwei Teilblöcke. U' ist nicht der ursprüngliche Code&nbsp;U, sondern der Code nach Differenz&shy;bildung: U' = U - 10000<sub>hex</sub>]]
Unicode-Zeichen außerhalb der&nbsp;BMP (d.&nbsp;h. U+10000 bis&nbsp;U+10FFFF) werden jeweils durch zwei zusammengehörige 16-Bit-Wörter (engl. {{lang|en|''code units''}}), also insgesamt vier Bytes dargestellt. (Das sind zwar 32 Bits, aber die Kodierung ist nicht [[UTF-32]].)

Um ein solches Zeichen in UTF-16 zu kodieren, wird zunächst von der Codenummer des Zeichens (hier U genannt) die Zahl&nbsp;65536 (10000<sub>hex</sub> = Größe der&nbsp;BMP) abgezogen, wodurch eine 20-Bit-Zahl&nbsp;U' im Bereich von&nbsp;00000<sub>hex</sub> bis&nbsp;FFFFF<sub>hex</sub> entsteht. Diese wird anschließend in zwei Blöcke zu je 10&nbsp;Bit aufgeteilt:
* dem ersten Block (d.&nbsp;h. den 10 höherwertigen Bits des Codes&nbsp;U') wird die Bitfolge&nbsp;11011'''0''' vorangestellt, das entstandene 16-Bit-Wort aus zwei Byte bezeichnet man als ''High-Surrogate''
* dem zweiten Block (d.&nbsp;h. den 10 niederwertigen Bits des Codes&nbsp;U') wird die Bitfolge&nbsp;11011'''1''' vorangestellt, das entstandene 16-Bit-Wort aus zwei Byte bezeichnet man als ''Low-Surrogate''.

Folgende Codebereiche sind speziell für solche Surrogate, d.&nbsp;h. UTF-16-Ersatzzeichen, reserviert und enthalten daher ''keine'' eigenständigen Zeichen:
* von&nbsp;U+D800 bis&nbsp;U+DBFF (2<sup>10</sup>&nbsp;=&nbsp;1024&nbsp;High-Surrogates)
* von&nbsp;U+DC00 bis&nbsp;U+DFFF (2<sup>10</sup>&nbsp;=&nbsp;1024&nbsp;Low-Surrogates).

Bei der Umwandlung von UTF-16-kodierten Zeichenketten in UTF-8-Bytefolgen ist zu beachten, dass Paare aus High- und Low-Surrogates zuerst wieder zu jeweils einem Unicode-Zeichencode zusammengefasst werden müssen, bevor dieser dann in eine UTF-8-Bytefolge umgewandelt werden kann (Beispiel in der Beschreibung zu [[UTF-8]]). Da dies oft nicht beachtet wird, hat sich eine andere, inkompatible Kodierung für die Ersatzzeichen etabliert, die im Nachhinein als [[CESU-8]] normiert worden ist.

== Byte Order ==
Je nachdem, welches der beiden Bytes eines 16-Bit-Wortes zuerst übertragen bzw. gespeichert wird, spricht man von ''[[Big Endian]]''&nbsp;(UTF-16BE) oder von ''[[Little Endian]]''&nbsp;(UTF-16LE). Unabhängig davon kommt das ''High Surrogate''-Wort immer vor dem ''Low Surrogate''-Wort.

Für [[ASCII]]-Zeichen, die nach&nbsp;UTF-16 übersetzt werden, bedeutet dies, dass das hinzugefügte 0-Zeichen im höchstwertigen Bit
* bei ''Big Endian'' vorangestellt und
* bei ''Little Endian'' nachgestellt wird.

Bei unzureichend spezifizierten Protokollen wird empfohlen, das Unicode-Zeichen U+FEFF ([[Byte Order Mark|BOM]],&nbsp;''byte order mark''), das für ein [[Leerzeichen]] mit Breite null und ohne [[Zeilenumbruch]] (''zero&nbsp;width no-break&nbsp;space'') steht, an den Anfang des [[Datenstrom]]s zu setzen – wird es als das ungültige Unicode-Zeichen&nbsp;U+FFFE (''[[Unicodeblock Spezielles|not&nbsp;a&nbsp;character]]'') interpretiert, so heißt das, dass die [[Byte-Reihenfolge]] zwischen Sender und Empfänger verschieden ist und die Bytes jedes 16-Bit-[[Datenwort|Worts]] beim Empfänger vertauscht werden müssen, um den anschließenden Datenstrom korrekt auszuwerten.

== Beispiele ==
In folgender Tabelle sind einige Kodierungsbeispiele für UTF-16 angegeben:

{| class="wikitable"
|+ Beispiele für UTF-16 Kodierungen
|-
! Zeichen
! Codepunkt
! Codepunkt binär
! UTF-16BE [[Dualsystem|binär]]
! UTF-16BE [[Hexadezimalsystem|hexadezimal]]
|-
| Buchstabe ''y''
| U+0079
|style="text-align:right; font-family:monospace;"| 00000000&nbsp;0<span style="color:#00CC00">1111001</span>
|style="font-family:monospace;"| 00000000&nbsp;0<span style="color:#00CC00">1111001</span>
| 00 79
|-
| Buchstabe ''ä''
| U+00E4
|style="text-align:right; font-family:monospace;"| 00000000&nbsp;<span style="color:#00CC00">11100100</span>
|style="font-family:monospace;"| 00000000&nbsp;<span style="color:#00CC00">11100100</span>
| 00 E4
|-
| [[Eurozeichen]] ''€''
| U+20AC
|style="text-align:right; font-family:monospace;"| <span style="color:#CCCC00">00100000</span>&nbsp;<span style="color:#00CC00">10101100</span>
|style="font-family:monospace;"| <span style="color:#CCCC00">00100000</span>&nbsp;<span style="color:#00CC00">10101100</span>
| 20 AC
|-
| [[Violinschlüssel]] ''&#x1D11E;''
| U+1D11E
|style="text-align:right; font-family:monospace;"| 0000<span style="color:#CCCC00">000</span><span style="color:#CC00CC">1</span>&nbsp;<span style="color:#CCCC00">110100</span><span style="color:#00CCCC">01&nbsp;00011110</span>
|style="font-family:monospace;"| '''110110'''<span style="color:#CCCC00">00&nbsp;0</span><span style="color:#CC00CC">0</span><span style="color:#CCCC00">110100</span>&nbsp;'''110111'''<span style="color:#00CCCC">01&nbsp;00011110</span>
| D8 34 DD 1E
|-
| [[Han-Vereinheitlichung|CJK-Ideogramm]] &#x24F5C;
| U+24F5C
|style="text-align:right; font-family:monospace;"| 0000<span style="color:#CCCC00">00</span><span style="color:#CC00CC">10</span>&nbsp;<span style="color:#CCCC00">010011</span><span style="color:#00CCCC">11&nbsp;01011100</span>
|style="font-family:monospace;"| '''110110'''<span style="color:#CCCC00">00&nbsp;</span><span style="color:#CC00CC">01</span><span style="color:#CCCC00">010011</span>&nbsp;'''110111'''<span style="color:#00CCCC">11&nbsp;01011100</span>
| D8 53 DF 5C
|}

Die letzten beiden Beispiele liegen außerhalb der BMP. Da derzeit viele Schriftarten diese neuen Unicode-Bereiche noch nicht enthalten, können die dort enthaltenen Zeichen auf vielen Plattformen nicht korrekt dargestellt werden. Stattdessen wird ein Ersatzzeichen dargestellt, welches als Platzhalter dient. In den Beispielen wird durch die Subtraktion von 10000<sub>hex</sub> lediglich ein bzw. zwei Bits verändert (Im Beispiel in der Farbe Magenta angezeigt) und aus den so entstandenen Bits die Surrogates gebildet.

== Beispiel-Berechnung der Surrogates ==
Alle Zahlen werden im Folgenden zur Basis 16 angegeben.
 Für die Unicode-Position v

 SG-Word1 = <math>\tfrac{v-10000}{400}</math> + D800
 SG-Word2 = <math>v\;\bmod\;400</math> + DC00

 <math>v</math>        = 64321
 SG-Word1 = <math>\tfrac{64321-10000}{400}</math> + D800
          = D950

 SG-Word2 = <math>64321\;\bmod\;400</math> + DC00
          = DF21

== Siehe auch ==
* [[UTF-32]]

== Einzelnachweise ==
<references />

{{SORTIERUNG:Utf-16}}
[[Kategorie:Unicode]]