wake-up-neo.net

Welcher Google Cloud Platform-Dienst ist der einfachste für Tensorflow?

Bei der Arbeit an Udacity Deep Learning-Aufgaben bin ich auf ein Gedächtnisproblem gestoßen. Ich muss zu einer Cloud-Plattform wechseln. Ich habe bereits mit AWS EC2 gearbeitet, jetzt möchte ich jedoch die Google Cloud Platform (GCP) ausprobieren. Ich werde mindestens 8 GB Speicher benötigen. Ich weiß, wie man Docker lokal verwendet, habe es aber nie in der Cloud versucht.

  1. Gibt es eine fertige Lösung zum Ausführen von Tensorflow auf GCP?
  2. Wenn nicht, welcher Dienst (Compute Engine oder Container Engine) würde den Start erleichtern?
  3. Jeder andere Tipp wird auch geschätzt!
22
Thoran

Antworten zusammenfassen:

  • Datalab
  • Cloud ML
  • Manuelle Installation auf der Compute Engine. Siehe Anweisungen unten.

Schrittweise Anweisungen zum Ausführen von TensorFlow auf der Compute Engine:

  1. Ein Projekt erstellen
  2. Öffnen Sie die Cloud Shell (oben eine Schaltfläche).
  3. Maschinentypen auflisten: gcloud compute machine-types list. Sie können den Maschinentyp ändern, den ich im nächsten Befehl verwendet habe.
  4. Erstellen Sie eine Instanz:
gcloud compute instances create tf \
  --image container-vm \
  --zone europe-west1-c \
  --machine-type n1-standard-2
  1. Führen Sie Sudo docker run -d -p 8888:8888 --name tf b.gcr.io/tensorflow-udacity/assignments:0.5.0 aus (ändern Sie den Bildnamen in den gewünschten Namen).
  2. Suchen Sie Ihre Instanz im Dashboard und bearbeiten Sie das default-Netzwerk.
  3. Fügen Sie eine Firewall-Regel hinzu, um Ihre IP sowie Protokoll und Port tcp:8888 zuzulassen.
  4. Suchen Sie im Dashboard nach der externen IP-Adresse der Instanz. Öffnen Sie IP:8888 in Ihrem Browser. Erledigt!
  5. Wenn Sie fertig sind, löschen Sie den erstellten Cluster, um Gebühren zu vermeiden.

So habe ich es gemacht und es hat funktioniert. Ich bin sicher, dass es einen einfacheren Weg gibt.

Mehr Ressourcen

Vielleicht möchten Sie mehr darüber erfahren:

Gut zu wissen

  • "Der Inhalt Ihres Cloud Shell-Basisverzeichnisses bleibt über alle Projekte hinweg zwischen allen Cloud Shell-Sitzungen erhalten, auch nachdem die virtuelle Maschine beendet und neu gestartet wurde."
  • So listen Sie alle verfügbaren Bildversionen auf: gcloud compute images list --project google-containers

Danke an @ user728291, @MattW. und @CJCullen.

20
Thoran

Google Cloud Machine Learning ist heute in Beta-Form für die Welt geöffnet. TensorFlow wird als Service bereitgestellt, sodass Sie keine Maschinen und andere Rohressourcen verwalten müssen. Als Teil der Beta-Version wurde Datalab aktualisiert, um Befehle und Dienstprogramme für das maschinelle Lernen bereitzustellen. Überprüfen Sie es unter: http://cloud.google.com/ml .

9
Jing Jing Long

Google hat eine Cloud ML-Plattform in einem begrenzten Alpha.

Hier ist ein blog-Post und ein tutorial zum Ausführen von TensorFlow auf Kubernetes/Google Container Engine.

Wenn dies nicht Ihren Wünschen entspricht, sollten die TensorFlow-Tutorials alle auf AWS EC2 oder Google Compute Engine ausgeführt werden können.

3
CJ Cullen

Sie können jetzt auch vorkonfiguriertes DeepLearning images verwenden. Sie haben alles, was für den TensorFlow benötigt wird.

Dies ist eine alte Frage, aber es gibt jetzt neue, noch einfachere Optionen:

Wenn Sie TensorFlow mit Jupyter Lab ausführen möchten

GCP AI Platform Notebooks , mit dem Sie per Mausklick auf ein Jupyter Lab Notebook mit Tensorflow zugreifen können (Sie können stattdessen auch Pytorch, R oder einige andere Bibliotheken verwenden, wenn Sie dies vorziehen).

Wenn Sie nur eine rohe VM verwenden möchten

Wenn Sie sich nicht für Jupyer Lab interessieren und nur eine unformatierte VM mit Tensorflow vorinstalliert haben möchten, können Sie stattdessen eine VM mit GCPs erstellen Deep Learning VM Image . Diese DLVM-Images bieten Ihnen ein VM mit Tensorflow vorinstalliert und sind alle für die Verwendung von GPUs eingerichtet, wenn Sie möchten. (Die AI Platform Notebooks verwenden diese DLVM-Images unter der Haube.)

Wenn Sie es sowohl auf Ihrem Laptop als auch in der Cloud ausführen möchten

Wenn Sie Tensorflow sowohl auf Ihrem persönlichen Laptop als auch in der Cloud ausführen möchten und mit Docker vertraut sind, können Sie GCPs Deep Learning Container Images verwenden. Es enthält genau das gleiche Setup wie die DLVM-Images, ist jedoch stattdessen als Container verpackt, sodass Sie diese an jedem beliebigen Ort starten können.

Zusätzlicher Vorteil: Wenn Sie dieses Container-Image auf Ihrem Laptop ausführen, ist es 100% kostenlos: D

1
Zain Rizvi

Ich bin mir nicht sicher, ob Sie auf der Google Cloud-Plattform bleiben müssen. Wenn Sie andere Produkte verwenden können, sparen Sie viel Zeit und Geld. 

Wenn Sie TensorFLow verwenden, würde ich eine Plattform namens TensorPort empfehlen. Es ist ausschließlich für TesnorFlow und ist die einfache Plattform, die ich kenne. Code und Daten werden mit git geladen. Sie bieten ein Python-Modul zum automatischen Umschalten der Pfade zwischen Remote- und lokalem Computer. Sie bieten auch einen Code für die Heizkesselplatte, um bei Bedarf das verteilte Rechnen einzurichten. Hoffe das hilft. 

0
Harrison