wake-up-neo.net

problem beim Ausführen des Spark-Jobs auf dem Garncluster

Ich möchte meinen Funkenjob im Hadoop YARN Cluster-Modus ausführen und verwende den folgenden Befehl:

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

Ich bekomme unten einen Fehler. Ich kann vorschlagen, was falsch läuft, ob der Befehl korrekt ist oder nicht. Ich benutze CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.Apache.hadoop.util.Shell.runCommand(Shell.Java:538)
    at org.Apache.hadoop.util.Shell.run(Shell.Java:455)
    at org.Apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.Java:702)
    at org.Apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.Java:197)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:299)
    at org.Apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.Java:81)
    at Java.util.concurrent.FutureTask.run(FutureTask.Java:262)
    at Java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.Java:1145)
    at Java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.Java:615)
    at Java.lang.Thread.run(Thread.Java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster Host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: [email protected]
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Jede Hilfe wäre sehr dankbar.

16
Sachin Singh

Es kann viele Dinge bedeuten, für uns erhalten wir eine ähnliche Fehlermeldung aufgrund einer nicht unterstützten Version der Java-Klasse, und wir haben das Problem behoben, indem die referenzierte Java-Klasse in unserem Projekt gelöscht wurde.

Verwenden Sie diesen Befehl, um die detaillierte Fehlermeldung anzuzeigen:

yarn logs -applicationId application_1424284032717_0066
20
Gongqin Shen

Sie sollten ".setMaster (" local ")" im Code entfernen.

2

Exit-Code-Problem gelöst, indem Hive-site.xml im spark/conf-Verzeichnis abgelegt wurde.

1
Sachin Singh

Der Befehl sieht korrekt aus. 

Was mir aufgefallen ist, ist, dass der "Exit-Code 15" normalerweise eine TableNotFound-Ausnahme anzeigt. Das bedeutet normalerweise, dass in dem von Ihnen übermittelten Code ein Fehler aufgetreten ist.

Sie können dies überprüfen, indem Sie die Tracking-URL besuchen. 

1
amd

Entfernen Sie die Zeile "spark.master":"local[*] "in der Spark-Konfigurationsdatei, wenn Sie die Spark-Jobs unter Cluster ausführen.

Angenommen, auf dem lokalen PC ausführen, schließen Sie es ein.

Mani

0