Pythonische Art, eine Liste zusammenzufassen/gruppieren, um max/min zu aggregieren

Question

Nehmen wir an, ich habe die folgende Liste in Python. Es wird zuerst von Equip, dann von Date bestellt:

my_list = [ {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-01'}, {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-02'}, {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-03'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Date': '2018-01-04'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Date': '2018-01-05'}, {'Equip': 'A-2', 'Job': 'Job 1', 'Date': '2018-01-03'}, {'Equip': 'A-2', 'Job': 'Job 3', 'Date': '2018-01-04'}, {'Equip': 'A-2', 'Job': 'Job 3', 'Date': '2018-01-05'} ]

Was ich tun möchte, ist, die Liste um jeden Satz zu reduzieren, bei dem sich der Job eines bestimmten Geräts nicht ändert, und das erste und letzte Datum, an dem das Gerät dort war, zu ergattern. Zum Beispiel sollte dieses einfache Beispiel geändert werden in:

list_by_job = [ {'Equip': 'A-1', 'Job': 'Job 1', 'First': '2018-01-01', 'Last': '2018-01-03'}, {'Equip': 'A-1', 'Job': 'Job 2', 'First': '2018-01-04', 'Last': '2018-01-05'}, {'Equip': 'A-2', 'Job': 'Job 1', 'First': '2018-01-03', 'Last': '2018-01-03'}, {'Equip': 'A-2', 'Job': 'Job 3', 'First': '2018-01-04', 'Last': '2018-01-05'} ]

Ein paar Dinge zu beachten:

A-2 auf Job 1 ist nur für einen Tag vorhanden, daher sollten First und Last Date gleich sein.
Ein Gerät könnte einen Job haben, diesen Job verlassen und zurückkommen. In diesem Fall müsste für jeden Job ein Eintrag angezeigt werden, nicht nur eine einzige Zusammenfassung.
Wie bereits erwähnt, ist die Liste bereits nach Equip, dann nach Date sortiert, so dass eine Reihenfolge angenommen werden kann. (Wenn es einen besseren Weg gibt, um dies zu erreichen, bin ich ganz Ohr)

Für Punkt 3 die Liste

my_list = [ {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-01'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Date': '2018-01-02'}, {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-03'} ]

sollte nachgeben

 list_by_job = [ {'Equip': 'A-1', 'Job': 'Job 1', 'First': '2018-01-01', 'Last': '2018-01-01'}, {'Equip': 'A-2', 'Job': 'Job 2', 'First': '2018-01-02', 'Last': '2018-01-02'}, {'Equip': 'A-1', 'Job': 'Job 1', 'First': '2018-01-03', 'Last': '2018-01-03'} ]

Zur Zeit mache ich das auf eine einfache Schleife/nicht-Pythonic-Art:

list_by_job = [] last_entry = None for entry in my_list: if last_entry is None or last_entry['Equip'] != entry['Equip'] or last_entry['Job'] != entry['Job']: list_by_job.append({'Equip': entry['Equip'], 'Job': entry['Job'], 'First': entry['Date'], 'Last': entry['Date']}) else: list_by_job[-1]['Last'] = entry['Date'] last_entry = entry

Gibt es einen mehr pythonischen Weg, dies mit Pythons Listenverständnis usw. zu tun?

Ajax1234 · Accepted Answer

Sie können itertools.groupby verwenden:

import itertools def _key(d): return (d['Equip'], d['Job']) my_list = [{'Date': '2018-01-01', 'Equip': 'A-1', 'Job': 'Job 1'}, {'Date': '2018-01-02', 'Equip': 'A-1', 'Job': 'Job 1'}, {'Date': '2018-01-03', 'Equip': 'A-1', 'Job': 'Job 1'}, {'Date': '2018-01-04', 'Equip': 'A-1', 'Job': 'Job 2'}, {'Date': '2018-01-05', 'Equip': 'A-1', 'Job': 'Job 2'}, {'Date': '2018-01-03', 'Equip': 'A-2', 'Job': 'Job 1'}, {'Date': '2018-01-04', 'Equip': 'A-2', 'Job': 'Job 3'}, {'Date': '2018-01-05', 'Equip': 'A-2', 'Job': 'Job 3'}] new_data = [[a, list(b)] for a, b in itertools.groupby(my_list, key=_key)] final_result = [{"Equip":c, 'Job':d, 'First':b[0]['Date'], 'Last':b[-1]['Date']} for [c, d], b in new_data]

Ausgabe:

[{'Equip': 'A-1', 'Job': 'Job 1', 'Last': '2018-01-03', 'First': '2018-01-01'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Last': '2018-01-05', 'First': '2018-01-04'}, {'Equip': 'A-2', 'Job': 'Job 1', 'Last': '2018-01-03', 'First': '2018-01-03'}, {'Equip': 'A-2', 'Job': 'Job 3', 'Last': '2018-01-05', 'First': '2018-01-04'}]

Bearbeiten:

Verwenden Sie die Daten wie in Ihrem Kommentar vorgeschlagen:

my_list = [{'Date': '2018-01-01', 'Equip': 'A-1', 'Job': 'Job 1'}, {'Date': '2018-01-02', 'Equip': 'A-1', 'Job': 'Job 2'}, {'Date': '2018-01-03', 'Equip': 'A-1', 'Job': 'Job 1'}, {'Date': '2018-01-04', 'Equip': 'A-1', 'Job': 'Job 2'}, {'Date': '2018-01-05', 'Equip': 'A-1', 'Job': 'Job 2'}, {'Date': '2018-01-03', 'Equip': 'A-2', 'Job': 'Job 1'}, {'Date': '2018-01-04', 'Equip': 'A-2', 'Job': 'Job 3'}, {'Date': '2018-01-05', 'Equip': 'A-2', 'Job': 'Job 3'}]

Ausgabe:

[{'Equip': 'A-1', 'Job': 'Job 1', 'Last': '2018-01-01', 'First': '2018-01-01'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Last': '2018-01-02', 'First': '2018-01-02'}, {'Equip': 'A-1', 'Job': 'Job 1', 'Last': '2018-01-03', 'First': '2018-01-03'}, {'Equip': 'A-1', 'Job': 'Job 2', 'Last': '2018-01-05', 'First': '2018-01-04'}, {'Equip': 'A-2', 'Job': 'Job 1', 'Last': '2018-01-03', 'First': '2018-01-03'}, {'Equip': 'A-2', 'Job': 'Job 3', 'Last': '2018-01-05', 'First': '2018-01-04'}]

timgeb · Answer

Ich schlage vor, pandas zu verwenden.

itertools.groupby ist cool, aber IMO etwas schwieriger zu verstehen.

>>> import pandas as pd >>> >>> my_list = [ ...: {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-01'}, ...: {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-02'}, ...: {'Equip': 'A-1', 'Job': 'Job 1', 'Date': '2018-01-03'}, ...: {'Equip': 'A-1', 'Job': 'Job 2', 'Date': '2018-01-04'}, ...: {'Equip': 'A-1', 'Job': 'Job 2', 'Date': '2018-01-05'}, ...: {'Equip': 'A-2', 'Job': 'Job 1', 'Date': '2018-01-03'}, ...: {'Equip': 'A-2', 'Job': 'Job 3', 'Date': '2018-01-04'}, ...: {'Equip': 'A-2', 'Job': 'Job 3', 'Date': '2018-01-05'} ...:] >>> >>> df = pd.DataFrame(my_list) >>> df['Date'] = pd.to_datetime(df['Date']) >>> groups = df.groupby(['Equip', 'Job']).agg({'Date': [min, max]}).reset_index() >>> groups.columns = ['Equip', 'Job', 'First', 'Last'] >>> groups >>> Equip Job First Last 0 A-1 Job 1 2018-01-01 2018-01-03 1 A-1 Job 2 2018-01-04 2018-01-05 2 A-2 Job 1 2018-01-03 2018-01-03 3 A-2 Job 3 2018-01-04 2018-01-05 >>> >>> groups.to_dict(orient='records') >>> [{'Equip': 'A-1', 'First': Timestamp('2018-01-01 00:00:00'), 'Job': 'Job 1', 'Last': Timestamp('2018-01-03 00:00:00')}, {'Equip': 'A-1', 'First': Timestamp('2018-01-04 00:00:00'), 'Job': 'Job 2', 'Last': Timestamp('2018-01-05 00:00:00')}, {'Equip': 'A-2', 'First': Timestamp('2018-01-03 00:00:00'), 'Job': 'Job 1', 'Last': Timestamp('2018-01-03 00:00:00')}, {'Equip': 'A-2', 'First': Timestamp('2018-01-04 00:00:00'), 'Job': 'Job 3', 'Last': Timestamp('2018-01-05 00:00:00')}]

Ich schlage vor, die Daten als Zeitstempel aufzubewahren.

Willem Van Onsem · Answer

Sie können hier Pandas verwenden, eine Art "Datenbankschnittstelle" für Daten:

import pandas as pd df = pd.DataFrame(my_list) df2 = df.groupby(['Equip', 'Job']).agg(['min', 'max']).rename(columns={'min': 'First', 'max': 'Last'}) df2.columns = df2.columns.droplevel() df2 = df2.reset_index() result = df2.to_dict('records')

für die gegebene Beispieleingabe ergibt sich:

>>> df2.to_dict('records') [{'Equip': 'A-1', 'Job': 'Job 1', 'First': '2018-01-01', 'Last': '2018-01-03'}, {'Equip': 'A-1', 'Job': 'Job 2', 'First': '2018-01-04', 'Last': '2018-01-05'}, {'Equip': 'A-2', 'Job': 'Job 1', 'First': '2018-01-03', 'Last': '2018-01-03'}, {'Equip': 'A-2', 'Job': 'Job 3', 'First': '2018-01-04', 'Last': '2018-01-05'}]

Falls das Datumsformat nicht '%Y-%m-%d' ist, muss es zuerst mit pd.to_datetime(..) konvertiert werden:

import pandas as pd df = pd.DataFrame(my_list) df['Date'] = pd.to_datetime(df['Date']) df2 = df.groupby(['Equip', 'Job']).agg(['min', 'max']).rename(columns={'min': 'First', 'max': 'Last'}) df2.columns = df2.columns.droplevel() df2 = df2.reset_index() result = df2.to_dict('records')