Hive Datentypen Binär Optionen

Ich frage mich, ob es irgendeine Möglichkeit gibt, CSV-Daten tatsächlich in ein binäres Hive-Format zu laden - dh das gleiche wie das Laden von Daten in einer relationalen Datenbank zu tun: Parsing und Typ-Konvertierung der Eingabe und Speichern in einem binären Format (in einer anderen Binärdatei) Datei im Fall von Bienenstock). Die Hive-Referenz sagt, dass der Last-Daten-Inpath-Befehl keine Transformation durchführt, so dass ich vermute, dass Typen nicht konvertiert werden, z. B. Von String zu Integer. Ich las über die OCR - und RCFile-Formate, aber ich konnte nicht herausfinden, ob z. B. String-Werte aus dem CSV werden in Maschinen-Integer-Werte umgewandelt und in HDFS gespeichert. Ist das der Fall Was andere Möglichkeiten gibt es, binäre Darstellungen von CSV-Dateien in Hive zu erstellen Auf einer verwandten Anmerkung: Ich vermute, dass Hive String-Werte in Maschinen-Darstellungen während der Abfrage-Verarbeitung konvertiert und ist z. B. Vergleich von String-Werten - ist diese Annahme richtig gefragt 6. Mai 13 um 15:59 Standardmäßig speichert Hive nur Dateien als Klartext-Dateien und speichert Datensätze als Klartext, alle unkomprimiert. Es verwendet ASCII 0x1 für ein Feld Trennzeichen, das ist bequemer als ein Komma für einige Eingänge, aber Im sicher haben Sie herausgearbeitet, wie man Hive, um mit kommagetrennten Werten zu arbeiten. Wenn du willst, dass Hive ein anderes Dateiformat benutzt, serialisiertesialialisieren anders oder komprimiere die Daten, die du ein paar verschiedene Optionen hast, um mit zu spielen. Aus der Box unterstützt Hive verschiedene Dateiformate: TEXTFILE. SEQUENCEFILE Und RCFILE. Die Unterschiede zwischen haben zu tun, wie Dateien gelesen, geteilt und geschrieben werden. TEXTFILE ist die Voreinstellung und arbeitet mit normalen Textdateien. SEQUENCEFILE ist ein binäres Key-Value-Paar-Format, das von anderen Teilen des Hadoop-Ökosystems leicht verbraucht wird. Und RCFILE ist eine säulenorientierte Möglichkeit, Hive-Tabellen zu speichern. Zusätzlich zu diesen Dateiformaten können Sie Ihre eigenen schreiben oder finden, andere Leute haben geschrieben, um unterschiedliche Bedürfnisse zu erfüllen. Zusätzlich zu dem Dateiformat, in dem Ihre Daten gespeichert sind, können Sie entscheiden, wie die Datensätze in einer Tabelle serialisiert und deserialisiert werden sollen, indem Sie eine SerDe angeben. Hive 0.9.1 und höher kommt mit einem AvroSerDe. Und Avro speichert Daten im Binärformat (es hat auch ein Schema selbst, das einige Komplikationen einführt). Eine Google-Suche nach Bienenstock Seriale zeigte eine LazyBinarySerde, die wie eine einfachere Art des Speicherns in einem binären Format klingt. Und wenn du nichts finden kannst, musst du deine eigenen SerDe schreiben. Ich stelle mir vor, dass Ihre Frage in den großen Kontext passt, wie man Hive-Tische kleiner und mehr performant macht. Zu diesem Zweck kannst du Kompression auf alles anwenden, was ich oben erwähnt habe. Um dies zu erreichen, sag einfach Hive, um seine Ausgabe zu komprimieren und ihm mitzuteilen, welcher Codec mit den folgenden Befehlen komprimiert werden soll: Sie können dies in Ihren Konfigurationsdateien ändern, wenn Sie möchten, dass diese Einstellungen außerhalb der Sitzung bestehen bleiben (einschließlich anderer Völker Hive und MapReduce Jobs, wenn Sie Teilen sich einen Cluster). Ich benutze SnappyCodec, weil es mit Hive aus der Box funktioniert, ist splittable, und gibt gute Kompressiondecompression für die CPU-Zeit verbracht. Sie können entscheiden, ein anderer Codec ist besser geeignet für Ihre Bedürfnisse. Nun, wie können Sie alle diese Optionen anwenden, wenn alle Ihre Daten in einem CSV-Format sind Der einfachste Weg ist, eine Tabelle auf der Oberseite der CSV-Dateien zu erstellen, dann erstellen Sie eine andere Tabelle mit dem Dateiformat und SerDe Sie wollen, dann fügen Sie die Daten aus dem CSV unterstützt Tabelle in die neue Tabelle (stellen Sie sicher, dass Sie Kompression Ihre Hive Ausgabe mit Ihrem Codec der Wahl). Unter der Kapuze wird Hive darauf achten, die Daten aus einem Format (CSV) zu lesen und zu einem anderen zu schreiben (was auch immer du beschlossen hast). Danach haben Sie ein Duplikat der Daten und Sie können die CSV-Dateien fallen lassen, wenn Sie es wünschen. Das obige Beispiel zeigt, wie Sie alle Möglichkeiten nutzen können, die Ihnen zur Verfügung stehen, aber denken Sie nicht daran als Standard, sinnvoller Anwendungsfall. Lesen Sie auf den verschiedenen Dateiformaten SerDes Kompression Codecs und einige Performance-Tests, um auf Ihrem Ansatz zu beheben. In Hive speichern Sie Dateien in HDFS und fügen Sie Metadaten zu erzählen Hive, welche Art von Feld sind Sie warten, um in jeder Position in der Datei ( Trennzeichen und Trennzeichen in Textdatei, Zeilen in verschiedenen Binärformaten.) Sie können Ihre eigene Ausgabe generieren und sie mit Input - und Outpu-Formaten verwenden. Kann Bilder konvertieren, wie zB BASE64 wie ein Anhang und eine Textdatei verwenden. Viele Möglichkeiten, aber keine Abfrage, um Bilder zu speichern. Sie könnten das TextFile-Beispiel fortsetzen, ist aber nicht die beste Methode, eine Datei mit diesem Format: Und laden Sie in Bienenstock ein: Wenn Sie eine Version von Hive 0.8 verwenden, können Sie den DataType BINARY in der Tabellendefinition verwenden und laden Hive Blasts über 25, rückseitige qualitativ hochwertige Handelssignale pro Tag im Mitgliederbereich. Diese basieren auf unseren proprietären Algorithmen, die eine durchschnittliche Win-Rate von 65 über Jahre der Prüfung und Daten zeigen. Community Chat Der Hive bietet einen Live-Chat-Raum, wo man mit anderen Händlern chatten und alle Dinge im Zusammenhang mit binären Optionen und den Märkten im Allgemeinen besprechen kann. Sie können auch Signale mit älteren Händlern überprüfen, um Ihr ITM zu erhöhen. Beobachten Sie den Führer Der Hive erlaubt Ihnen auch, bezahlte Signalströme von Stern, handverlesenen binären Optionshändlern mit einem geprüften Track Record zu abonnieren. Wenn Roboter-Signale nicht ausreichen oder die menschliche Berührung bevorzugen, beobachten Sie die Führer Transparenz Transparenz ist für uns von größter Bedeutung und deshalb wird die Signal-Gewinnrate kontinuierlich aktualisiert und es werden keine Verluste verborgen. Ihre Leistung ist unsere Leistung und wir zeigen niemals gefälschte oder geglättete Ergebnisse.