Neulich kam während des Zutaten-für-Kuchen-Verdienens eine interessante Frage aus, die ich hier näher beleuchten möchte:
Das Problem stellte sich wie folgt dar: unsere Komponente bekam Dateien angeliefert - darunter auch XML-Dateien. Diese wurden durch unsere Komponente gepuffert und später Clients zur Verfügung gestellt. Wenn diese im Browser angezeigt werden sollten, reagierten diese zwar verschieden, aber ale mit irgendeiner Form von Fehler.
Ursache dafür war, dass die Dateien in einem anderen Encoding abgespeichert waren, als im Header stand und die Bytes in der Datei sich nicht in dem im Header benannten Encoding dekodieren ließen. Es wurde entschieden, diesen Sachverhalt nicht zu adressieren: die Clients, die die Dateien abrufen sollten exakt das bekommen, was vorher an unsere Komponente übermittelt wurde. Ich wollte trotzdem wissen, ob man diese Tatsache in Java irgendwie detektieren könnte.
Die Frage war also: kann man mit Java und Bordmitteln ermitteln, welches Encoding für eine vorgegebene XML-Datei das passende ist? Ich analysierte das mit dem java.beans.XMLDecoder und seinem Gegenstück, dem java.beans.XMLEncoder.
Ich fand im Internet zwei Ressourcen aus denen ich mit leichten Abwandlungen meine eigene Lösung erstellte:
public static java.lang.String findCorrectEncoding(java.io.InputStream is,
java.util.Collection<java.lang.String> possibleCharsetNames) throws IOException
{
java.lang.String rv=null;
java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream();
de.elbosso.util.Utilities.copyBetweenStreams(is, baos, true);
byte[] bytes = baos.toByteArray();
java.nio.CharBuffer out = java.nio.CharBuffer.wrap(new char[bytes.length * 4 + 1]);
for(java.lang.String charsetName:possibleCharsetNames)
{
java.nio.charset.CharsetDecoder ebcdicDecoder =
java.nio.charset.Charset.forName(charsetName).newDecoder();
ebcdicDecoder.onMalformedInput(java.nio.charset.CodingErrorAction.REPORT);
ebcdicDecoder.onUnmappableCharacter(java.nio.charset.CodingErrorAction.REPORT);
java.nio.charset.CoderResult result =
ebcdicDecoder.decode(java.nio.ByteBuffer.wrap(bytes), out, true);
if (result.isError() || result.isOverflow() ||
/*result.isUnderflow() ||*/ result.isMalformed() ||
result.isUnmappable())
{
if(CLASS_LOGGER.isTraceEnabled())
CLASS_LOGGER.trace("Cannot decode " + charsetName);
}
else
{
result = ebcdicDecoder.flush(out);
if (result.isOverflow())
if(CLASS_LOGGER.isTraceEnabled())
CLASS_LOGGER.trace("Cannot decode " + charsetName);
if (result.isUnderflow())
{
if(CLASS_LOGGER.isTraceEnabled())
CLASS_LOGGER.trace("Successfully decoded " + charsetName);
rv=charsetName;
break;
}
}
}
return rv;
}
Damit ist es möglich, eine Menge valider Encodings zu übergeben und diese Methode liefert das erste, mit dem sich alle enthaltenen Bytes als gültige Zeichen interpretieren lassen zurück.
neues GitHub-Projekt: s3storagefrontend
25.01.2021
Neulich brauchte ich die Möglichkeit, eine Datei schnell auf einen anderen Rechner zu transferieren. Früher hätte man einen FTP-Server oder einen Samba-Server aufgesetzt und das dann damit erledigt. Ich kam ins Überlegen...
WeiterlesenAndroid Basteln C und C++ Chaos Datenbanken Docker dWb+ ESP Wifi Garten Geo Go GUI Gui Hardware Java Java. Komponenten Jupyter JupyterBinder Komponenten Links Linuc Linux Markdown Markup Music Numerik OpenSource PKI-X.509-CA Präsentationen Python QBrowser Rants Raspi Revisited Security Software-Test sQLshell TeleGrafana Verschiedenes Video Virtualisierung Windows Upcoming...
Asymmetrische KryptographieIch habe mich mit der Idee schon länger getragen: Nochmal einen Rundumschlag zu asymmetrischer Kryptographie zu machen. Dabei werde ich mich auf Demonstrationen der einzelnen Konzepte und Operationen mit Beispielcode konzentrieren und zu jedem der vorgestellten Konzepte mehr oder weniger ausführlich bezüglich der Einsatzszenarien und Vor- und Nachteile Stellung beziehen
WeiterlesenEs existieren diverse Angebote in den Weiten des Internet, die dabei unterstützen (sollen), Zertifikate zu klonen...
WeiterlesenNachdem nun der endgültige Todesstoß für Windows 10 erfolgt ist (Ich weiß, ich weiß - Microsoft hat den Support um ein Jahr ausgeweitet. Das kommt aber nicht in Frage, weil man dafür ein Microsoft-Konto eröffnen muss!), habe ich mein einziges noch verbliebenes Windows-System (die Steambox) vom Netzwerk getrennt habe, habe ich mich nach anderen Optionen umgesehen und bin auf ein offenes Problem gestoßen
WeiterlesenManche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.
Wer daran teilhaben und eventuell sogar davon profitieren möchte, muss damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.
Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...
PS: Meine öffentlichen Codeberg-Repositories findet man hier.