wake-up-neo.net

Como posso analisar arquivos de log do Amazon S3?

Quais são as melhores opções para analisar arquivos de log do Amazon S3 (Armazenamento Simples)? Ativei o log e agora tenho arquivos de log que se parecem com isso:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

Quais são as melhores opções para automatizar os arquivos de log? Não estou usando nenhum outro serviço da Amazon que não seja o S3.

2
artlung

A Amazon recomenda o uso do AWStats e inclui instruções sobre como configurar um arquivo de configuração do AWStats . Você também precisará configurar algum método para automatizar o download dos logs para onde está a instalação do AWStats.

Pessoalmente, uso o cron para acionar um script Python que usa boto para capturar os arquivos.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Estamos prestes a lançar Qloudstat , que fornecerá análises da sua conta S3 como serviço.

1
David Kocher