{"id":13448,"date":"2018-10-31T11:50:34","date_gmt":"2018-10-31T10:50:34","guid":{"rendered":"https:\/\/www.sysbus.eu\/?p=13448"},"modified":"2018-10-29T10:52:38","modified_gmt":"2018-10-29T09:52:38","slug":"tipp-kinesis-data-streams","status":"publish","type":"post","link":"https:\/\/www.sysbus.eu\/?p=13448","title":{"rendered":"Tipp: Kinesis Data Streams"},"content":{"rendered":"

\"\"<\/a><\/p>\n

Mit Amazon Kinesis Data Streams lassen sich verschiedene Daten wie Website-Clickstreams, Anwendungsprotokolle oder IoT-Telemetriedaten in Echtzeit analysieren. Dabei m\u00fcssen Sie nicht abwarten, bis alle Daten erfasst wurden. Im ersten Schritt f\u00fcgen Sie dazu die Datenquelle, etwa einen Klickstrom, zum Kinesis-Stream hinzu. Dazu richten Sie \u00fcber die Amazon Kinesis Management Console oder \u00fcber den API-Call \u201eCreateStream\u201c einen Stream ein. Dabei legen Sie den Durchsatz des Amazon Kinesis-Streams fest. Er wird von der Anzahl der Shards innerhalb eines Streams bestimmt. Ein Shard ist die Basiseinheit hierf\u00fcr und hat eine Dateneingabekapazit\u00e4t von einem MB\/s und eine Datenausgabekapazit\u00e4t von zwei MB\/s. Er kann bis zu 1.000 PUT-Datens\u00e4tze pro Sekunde unterst\u00fctzen. Sie k\u00f6nnen die Anzahl der Shards in Ihrem Stream dynamisch anpassen (\u201eResharding\u201c).<\/p>\n

<\/p>\n

\u00dcber den PutRecords API-Call k\u00f6nnen Datenproduzenten darauf hin Daten in den Kinesis Data Stream hineinschicken. Die AWS-Dokumentation enth\u00e4lt hierf\u00fcr Beispiel-Code. Zahlreiche Programmiersprachen wie Java, Python, C#, Node.js etc. werden durch die AWS Software Development Kits (SDKs) unterst\u00fctzt.<\/p>\n

In der Amazon Kinesis Data Streams Management Console sehen Sie anschlie\u00dfend die wichtigsten Betriebs- und Leistungsmetriken wie etwa den Durchsatz bei Dateneingang und Datenausgang. In der Grundeinstellung werden Ihre Daten von Amazon Kinesis bis zu 24 Stunden lang gespeichert. Durch Aktivierung der erweiterten Datenaufbewahrung (Extended Data Retention) k\u00f6nnen Sie diese Spanne auf bis zu sieben Tage erh\u00f6hen.<\/p>\n

Um anschlie\u00dfend die Daten aus dem Stream zu lesen und zu verarbeiten, m\u00fcssen Sie eine Amazon Kinesis-Anwendung entweder mithilfe der Amazon Kinesis-API oder der Amazon Kinesis Client Library (KCL) erstellen. Bei der Amazon Kinesis Client Library (KCL) f\u00fcr Java, Python, Ruby, Node.js, .NET handelt es sich um eine vordefinierte Bibliothek, mit der Sie Ihre Amazon Kinesis-Anwendung zum Lesen und Verarbeiten von Streaming-Daten entwickeln k\u00f6nnen. Die KCL \u00fcbernimmt automatisch komplexe Aufgaben wie die Anpassung an \u00c4nderungen beim Stream-Volumen, den Lastausgleich f\u00fcr Streaming-Daten, die Koordination verteilter Services und fehlertolerante Datenverarbeitung. Die KCL wird dann auch von Kinesis Analytics verwendet, um Daten von Streaming-Datenquellen zu lesen. Kinesis Analytics ist die einfachste M\u00f6glichkeit, um die Streaming-Daten am Ende in Echtzeit verarbeiten und abfragen zu k\u00f6nnen.<\/p>\n

Da Amazon Kinesis Analytics mit Standard-SQL-Befehlen arbeitet, m\u00fcssen Sie keine neue Programmiersprache lernen. Verweisen Sie Kinesis Analytics einfach auf den eingehenden Daten-Stream, schreiben Sie Ihre SQL-Abfragen und geben Sie an, wohin die Ergebnisse geliefert werden sollen. Kinesis Analytics sorgt daf\u00fcr, dass Ihre SQL-Abfragen der Daten w\u00e4hrend des Empfangs kontinuierlich ausgef\u00fchrt und die Ergebnisse an die Ziele gesendet werden.<\/p>\n","protected":false},"excerpt":{"rendered":"

Mit Amazon Kinesis Data Streams lassen sich verschiedene Daten wie Website-Clickstreams, Anwendungsprotokolle oder IoT-Telemetriedaten in Echtzeit analysieren. Dabei m\u00fcssen Sie<\/p>\n","protected":false},"author":1,"featured_media":13449,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"colormag_page_container_layout":"default_layout","colormag_page_sidebar_layout":"default_layout","footnotes":""},"categories":[6],"tags":[4670,2073,4185,11792,3764,11791,11793,3537],"class_list":["post-13448","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tipps","tag-acl","tag-amazon","tag-api","tag-data-stream","tag-iot","tag-kinesis","tag-shard","tag-sql"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/13448","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=13448"}],"version-history":[{"count":1,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/13448\/revisions"}],"predecessor-version":[{"id":13450,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/posts\/13448\/revisions\/13450"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=\/wp\/v2\/media\/13449"}],"wp:attachment":[{"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=13448"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=13448"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.sysbus.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=13448"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}