Vollständige Version anzeigen : Amazon AWS
Ein signifikanter Teil der Bewertung von Amazon basiert auf den angebotenen Internet-Dienstleistungen Amazon Web Services ("AWS"). Als regelmäßiger Nutzer dieses Angebots, schätze ich insbesondere die Einfachheit und Funktionalität der EC2-Instanzen, die allerdings besonders im Umfeld von Unternehmen, die ihre Informationstechnologie teilweise auf diesem Weg auslagern, revolutionär sind.
Erfahrungswerte anderer Nutzer bzw. Anwendungsfälle wären interessant.
Klopperhorst
11.09.2017, 18:25
Ein signifikanter Teil der Bewertung von Amazon basiert auf den angebotenen Internet-Dienstleistungen Amazon Web Services ("AWS"). Als regelmäßiger Nutzer dieses Angebots, schätze ich insbesondere die Einfachheit und Funktionalität der EC2-Instanzen, die allerdings besonders im Umfeld von Unternehmen, die ihre Informationstechnologie teilweise auf diesem Weg auslagern, revolutionär sind.
Erfahrungswerte anderer Nutzer bzw. Anwendungsfälle wären interessant.
Kannst du mal aus dem Nähkästchen plaudern, wozu du die "Cloud" von Amazon so einsetzt?
---
Kannst du mal aus dem Nähkästchen plaudern, wozu du die "Cloud" von Amazon so einsetzt?
---
Ich nutze sie hauptsächlich dazu, auf Abruf skalierbare Rechenleistung zu erhalten. Dabei lassen sich innerhalb von Minuten virtuelle Server-Instanzen aufsetzen, die mit allen erdenklichen Windows und Linux Betriebssystemen konfigurierbar sind. Der Zugriff erfolgt über Remote Desktop Protokolle oder über Remote Shell (z.B. ssh). Einzelinstanzen können beispielsweise 16 NVIDIA K80 GPUs enthalten oder neuerdings sogar mehrere FPGAs(Xilinx UltraScale+ VU9P). D.h. Hardware die einige hunderttausend Euro Anschaffungskosten mit sich bringt. Ohne ständige Nutzung dieser Technologie wäre die Anschaffung dieser Hardware extrem unwirtschaftlich. Mit AWS EC2 ist sie jedoch möglich.
Ich persönlich nutze bisher nur die GPU-Systeme (mangels hinreichender Programmierkenntnisse in FPGA-Sprachen) zur Analyse größerer Datenmengen. Insbesondere die zahlreichen Machine Learning APIs, die heute existieren, ermöglichen sehr viel und sind in der Lage, GPU-beschleunigt zu arbeiten.
Neben der Spur
11.09.2017, 18:55
Watt kost' denn sowas zu mieten ?
Watt analysierst' denn ?
Klopperhorst
11.09.2017, 19:07
Ich nutze sie hauptsächlich dazu, auf Abruf skalierbare Rechenleistung zu erhalten. Dabei lassen sich innerhalb von Minuten virtuelle Server-Instanzen aufsetzen, die mit allen erdenklichen Windows und Linux Betriebssystemen konfigurierbar sind. Der Zugriff erfolgt über Remote Desktop Protokolle oder über Remote Shell (z.B. ssh). Einzelinstanzen können beispielsweise 16 NVIDIA K80 GPUs enthalten oder neuerdings sogar mehrere FPGAs(Xilinx UltraScale+ VU9P). D.h. Hardware die einige hunderttausend Euro Anschaffungskosten mit sich bringt. Ohne ständige Nutzung dieser Technologie wäre die Anschaffung dieser Hardware extrem unwirtschaftlich. Mit AWS EC2 ist sie jedoch möglich.
Ich persönlich nutze bisher nur die GPU-Systeme (mangels hinreichender Programmierkenntnisse in FPGA-Sprachen) zur Analyse größerer Datenmengen. Insbesondere die zahlreichen Machine Learning APIs, die heute existieren, ermöglichen sehr viel und sind in der Lage, GPU-beschleunigt zu arbeiten.
Klingt spannend.
V-Server gibts ja nun nicht nur von Amazon, daher dies nicht der wirkliche Vorteil wäre, sich dort zu registrieren.
Ich selbst betreibe ein paar V-Server in Russland und USA mit Suse Linux, ohne Probleme, aber bei anderen Providern.
Daneben noch ne physikalische Kiste in der BRD mit KVM-Instanzen.
Diese nette Amazon-Hardware für große Datenmengen zu nutzen, ist schon verlockend.
In meiner Tradingzeit hatte ich nen Windows Server mit Meta Trader 4 und einem selbst programmierten DLL-Plugin,
was Kurse analysierte. War ne spannende Zeit.
Was ich lernte war, dass man die Zukunft nicht berechnen kann, aus Daten der Vergangenheit.
---
Klingt spannend.
V-Server gibts ja nun nicht nur von Amazon, daher dies nicht der wirkliche Vorteil wäre, sich dort zu registrieren.
Ich selbst betreibe ein paar V-Server in Russland und USA mit Suse Linux, ohne Probleme, aber bei anderen Providern.
Daneben noch ne physikalische Kiste in der BRD mit KVM-Instanzen.
Diese nette Amazon-Hardware für große Datenmengen zu nutzen, ist schon verlockend.
In meiner Tradingzeit hatte ich nen Windows Server mit Meta Trader 4 und einem selbst programmierten DLL-Plugin,
was Kurse analysierte. War ne spannende Zeit.
Was ich lernte war, dass man die Zukunft nicht berechnen kann, aus Daten der Vergangenheit.
---
Interessant. Der letzte Satz ist überwiegend zutreffend. Die Berechnung zukünftiger Kursentwicklung ist aussichtslos. Die Identifizierung von Bewegungen, die ausgehend von ihren Zustandsvariablen(z.B. Abweichung, Zeit, etc.), in ähnlicher Art und Weise deutlich "über-zufällig" auftreten. Dieses Gebiet nennt sich innerhalb des Eigenhandels statistical arbitrage (D.h. die Ausnutzung statistischer Anomalien) und wird von hoch qualifizierten Mathematikern und Physikern betrieben, daher ist es mittlerweile auch nicht mehr einfach, statistische Anomalien zu finden. Fruchtbarer ist das modellieren von Volatilität, was mein Fokus ist.
Watt kost' denn sowas zu mieten ?
https://aws.amazon.com/ec2/pricing/
Watt analysierst' denn ?
Nichts, außer man bringt es dazu.
Watt analysierst' denn ?
Hier einige Ergebnisse des Analysierens:
https://image.ibb.co/b9Q06v/vbc_dist.pnghttps://image.ibb.co/mAVpzF/significance_vbc_vac.png
Die Daten sollten selbsterklärend sein. :haha:
Neben der Spur
11.09.2017, 20:03
Bei Börsenkursen ist die Vergangenheit
von Dividendenzahlungen interessant.
Regelmässige Dividenden in der Vergangenheit
lassen eher auf regelmässige Dividenden in der
Zukunft schliessen.
Mir fiel einst die Deutsche T-Kom auf,
welche einst bei 10 Euro lag, und trotz
vermehrter Konkurrenz die Dividende
von ca. 70 Cent noch steigern konnte.
70 Cent sind bei 10 Euro ein Zins von 7 % .
Klopperhorst
11.09.2017, 20:35
Interessant. Der letzte Satz ist überwiegend zutreffend. Die Berechnung zukünftiger Kursentwicklung ist aussichtslos. Die Identifizierung von Bewegungen, die ausgehend von ihren Zustandsvariablen(z.B. Abweichung, Zeit, etc.), in ähnlicher Art und Weise deutlich "über-zufällig" auftreten. Dieses Gebiet nennt sich innerhalb des Eigenhandels statistical arbitrage (D.h. die Ausnutzung statistischer Anomalien) und wird von hoch qualifizierten Mathematikern und Physikern betrieben, daher ist es mittlerweile auch nicht mehr einfach, statistische Anomalien zu finden. Fruchtbarer ist das modellieren von Volatilität, was mein Fokus ist.
Ok. Also eine Art Analyse, ob Kurse Pseudozufallszahlen sind.
Ich werde AWS mal testen, man bekommt wohl 750 CPU Stunden gratis.
---
Schlummifix
11.09.2017, 20:53
Hier einige Ergebnisse des Analysierens:
Die Daten sollten selbsterklärend sein. :haha:
Lohnt es sich; ich meine, bist du erfolgreich damit?
Also ich musste noch nie etwas berechnen, das nicht auch mein PC hätte berechnen können.
Bei Börsenkursen ist die Vergangenheit
von Dividendenzahlungen interessant.
Regelmässige Dividenden in der Vergangenheit
lassen eher auf regelmässige Dividenden in der
Zukunft schliessen.
Mir fiel einst die Deutsche T-Kom auf,
welche einst bei 10 Euro lag, und trotz
vermehrter Konkurrenz die Dividende
von ca. 70 Cent noch steigern konnte.
70 Cent sind bei 10 Euro ein Zins von 7 % .
Diese Annahme ist nicht unberechtigt, dürfte allerdings eher für langfristige Investments relevant sein. Neben der Auszahlung einer Dividende dürfte auch die Quelle der Dividendenzahlung relevant sein. Insbesondere im Energiesektor schütten viele Unternehmen Dividenden aus, die durch Schulden finanziert werden.
Ok. Also eine Art Analyse, ob Kurse Pseudozufallszahlen sind.
---
Die einfachste Definition wäre wohl ausgehend von der Hypothese effizienter Märkte.
Angenommen alle Informationen sind in einem Zustandsraum abgebildet, dessen Dimension gleich der Anzahl der Zustandsvariablen ist. Dann müsste für jedes Umgebung eines Punktes x, der Element des Zustandsraumes ist, der Erwartungswert einer Transaktion gegen null konvergieren. Das ist die Annahme effizienter Märkte. Was gesucht wird, ist ein Punkt, für dessen Umgebung der Erwartungswert einer Transaktion nicht gegen null konvergiert.
Ein primitives Beispiel wäre es, jeden Tag um 10:35 Daimler Aktien zu kaufen und fünf Minuten später zu verkaufen. Lt. der obigen Hypothese würde der Erwartungswert gegen null minus Transaktionskosten konvergieren. Dabei wäre der Zustandsraum eindimensional und würde nur die Zeit umfassen. Der Punkt x wäre 10:35 in dessen Umgebung wäre beispielsweise [10:34:30;10:35:30].
Wie bereits angedeutet ist diese Disziplin allerdings keinesfalls einfach und umfasst den direkten Wettbewerb mit hoch qualifizierten Personen aus London und New York.
Beispielsweise Nelson Saiers:
https://www.youtube.com/watch?v=3OcZYZTS6q8
In 1998, Nelson Saiers earned his Ph.D. in mathematics from the University of Virginia (https://en.wikipedia.org/wiki/University_of_Virginia) at the age of 23,[4] (https://en.wikipedia.org/wiki/Nelson_Saiers#cite_note-4) only one year after completing his undergraduate studies.[5] (https://en.wikipedia.org/wiki/Nelson_Saiers#cite_note-5) He studied algebraic topology (https://en.wikipedia.org/wiki/Algebraic_topology) and cobordism (https://en.wikipedia.org/wiki/Cobordism) theory. [6] (https://en.wikipedia.org/wiki/Nelson_Saiers#cite_note-6)At Deutsche Bank Saiers was known for his mental math abilities, in particular, squaring large numbers. On one such occasion in 2008, he squared a 20-digit number in his head on a flight back to New York from a business meeting in London.
Lohnt es sich; ich meine, bist du erfolgreich damit?
Also ich musste noch nie etwas berechnen, das nicht auch mein PC hätte berechnen können.
Es lohnt sich für alle Anwendungen, die keine dauerhafte und maximale Auslastung verursachen. Der Vorteil kommt insbesondere für parallelisierbare Berechnungen zum tragen, weil GPUs darin deutlich überlegen sind.
Neben der Spur
11.09.2017, 22:15
Die Rechenprogramme müssen
dann aber auch mehrere Kerne gleichzeitig
nutzen können, bzw. multi-threading
ermöglicht haben beim Kompilieren.
Und ein rekursives 'make' bzimage
ungewollte ewige Schleifen drehen,
die sehr wohl die Kerne 100% auslasten,
Amperes ziehen, die Hütte im Herbst wärmen,
doch am nächsten Morgen keinen
Kernel fabriziert haben ...
Die Rechenprogramme müssen
dann aber auch mehrere Kerne gleichzeitig
nutzen können, bzw. multi-threading
ermöglicht haben beim Kompilieren.
Das sollte heute für jedes hochwertige Programm/API zumindest für rechenintensive Anwendungen selbstverständlich sein.
Und ein rekursives 'make' bzimage
ungewollte ewige Schleifen drehen,
die sehr wohl die Kerne 100% auslasten,
Amperes ziehen, die Hütte im Herbst wärmen,
doch am nächsten Morgen keinen
Kernel fabriziert haben ...
Ein durchschnittlichen Linux-Kern kompiliert mein (CPU-)System in unter 5 Minuten. Ohne es täglich zu tun vermute ich dennoch, dass etwas schief läuft, wenn dieser Vorgang die ganze Nacht beansprucht.:haha:
Es lohnt sich für alle Anwendungen, die keine dauerhafte und maximale Auslastung verursachen. Der Vorteil kommt insbesondere für parallelisierbare Berechnungen zum tragen, weil GPUs darin deutlich überlegen sind.
Für mich liegt der Vorteil von AWS und anderen Cloud-Lösungen weniger in der verfügbaren Rechenleistung (kostet ja eh fast nix mehr heute), sondern die Flexibilität schnell und automatisiert Maschinen zu provisionieren und zu de-provisionieren. Dies ermöglicht einem mit Containerlösunguen wie Docker ein sehr resilientes System aufzubauen ohne wie früher auf riesige, klobige und vor allem sauteure Clusteringlösungen setzen zu müssen. Auch kurzfristige Lastspitzen lassen sich so ohne grosse Investitionen gut überbrücken.
Ein durchschnittlichen Linux-Kern kompiliert mein (CPU-)System in unter 5 Minuten. Ohne es täglich zu tun vermute ich dennoch, dass etwas schief läuft, wenn dieser Vorgang die ganze Nacht beansprucht.:haha:
Mit Gentoo konnte das früher schon ne ganze Nacht dauern, da dort jede einzelne Bibliothek von grund auf kompiliert wurde...ist nun aber schon Jahre her, Heute ist man da wohl auch schon nach ner Stunde durch.
Klopperhorst
12.09.2017, 08:22
...
Wie bereits angedeutet ist diese Disziplin allerdings keinesfalls einfach und umfasst den direkten Wettbewerb mit hoch qualifizierten Personen aus London und New York.
Beispielsweise Nelson Saiers:
https://www.youtube.com/watch?v=3OcZYZTS6q8
Nun ja. Meine Ehrfurcht vor den Finanz-Gurus habe ich spätestens 2008 abgelegt.
Ich will nicht deren analytische Fähigkeiten abstreiten, aber letztendlich haben auch die nur die Möglichkeiten, im Haifischbecken etwas Zeit zu gewinnen.
Märkte sind rückgekoppelte, komplexe Systeme (also logistische Gleichungssysteme), die analog dem Wetter nicht langfristig berechenbar sind.
---
Klopperhorst
15.09.2017, 19:17
Ein signifikanter Teil der Bewertung von Amazon basiert auf den angebotenen Internet-Dienstleistungen Amazon Web Services ("AWS"). Als regelmäßiger Nutzer dieses Angebots, schätze ich insbesondere die Einfachheit und Funktionalität der EC2-Instanzen, die allerdings besonders im Umfeld von Unternehmen, die ihre Informationstechnologie teilweise auf diesem Weg auslagern, revolutionär sind.
Erfahrungswerte anderer Nutzer bzw. Anwendungsfälle wären interessant.
Ich hab mir mal eine Möhre testweise registriert.
Amazon AWS
Ort: USA, Ohio
VPS: ec.micro
RAM: 1GB
HD: 10 GB
Preis: Kostenlos das 1. Jahr, 750 Std. / Monat
Ping: 101 ms (nicht direkt möglich, nur rückwärts)
free –m
total: 990 MB
cat /proc/meminfo
MemTotal: 1014404 kB
cat /proc/cpuinfo
1 Core Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz
Statische IP: Nein
Zugang: SSH mit private Key
cat /proc/version
Linux version 4.4.59-92.20-default (geeko@buildhost) (gcc version 4.8.5 (SUSE Linux) ) #1 SMP Wed May 31 14:05:24 UTC 2017 (8cd473d)
---
Interessant. Der letzte Satz ist überwiegend zutreffend. Die Berechnung zukünftiger Kursentwicklung ist aussichtslos. Die Identifizierung von Bewegungen, die ausgehend von ihren Zustandsvariablen(z.B. Abweichung, Zeit, etc.), in ähnlicher Art und Weise deutlich "über-zufällig" auftreten. Dieses Gebiet nennt sich innerhalb des Eigenhandels statistical arbitrage (D.h. die Ausnutzung statistischer Anomalien) und wird von hoch qualifizierten Mathematikern und Physikern betrieben, daher ist es mittlerweile auch nicht mehr einfach, statistische Anomalien zu finden. Fruchtbarer ist das modellieren von Volatilität, was mein Fokus ist.
Aber man kann aus der Vergangenheit Parallelentwicklungen erkennen. Ich benutze dazu eine sehr einfache Kursdatenbank, die über etwa 2 oder 3 Jahre entsprechende Entwicklungen aufzeigt. Die Geschichte wiederholt sich.
vBulletin v4.2.5 Alpha 3, Copyright ©2000-2024, Jelsoft Enterprises Ltd.