De acordo com uma nova pesquisa, a vida de todo mundo era melhor logo antes de virarmos adultos. Eu ainda acho que o meu melhor está por vir!
http://www.freakonomics.com/2011/12/13/the-reminiscence-bump-whos-your-favorite-footballer/
The number of web apps that need to crawl the web in some form or another is so huge, and it’s becoming bigger everyday, that either I am the stupidest person on Earth and can’t Google properly or there’s none selling web crawling services.
Folks, someone needs to do this. A metered service (like S3) where costumers can query you app for crawling results.
I am going to give you two reasons why I should do this myself.
Reason number one:
It’s cheaper and not someone elses core competency. How does Friendfeed index all these webpages? Who cares? They shouldn’t be doing this. Writing a good web crawler is hard. They need the *data* when it’s is *new*.
Reason number two:
I have so many ideas, but I want to focus on prototyping them instead of writing the crawler. It would really help devs around the world if they could just use some API to crawl webpages.
Did I say API? Yes, that’s the point. Someone needs to write a crawler with an API:
POST /api/i=http://www.example.com/file.html
user=name
pass=word
when=00 00,12 * * 1-5
expires=2592000
Yeah, that’s the crontab syntax. “when” would also accept “once” and “onchange”.
“expires” is the number of seconds (since now) that this crawl won’t be needed anymore.
This request would return an “id”, to be used later, when the costumer is ready to download the webpage from us.
Of course there’s also:
POST /api/i=regex
format=rss
content_regex=some_string(.*)sucks?
So you know when someone says your product sucks. And:
POST /api/i=regex
name=(jpg,gif)
width=LT200
height=LT200
type=image
LT is Less Than, there would be also GT and EQ.
So, /api/i= is to insert a crawling request. You can request webpages by /api/g=
POST /api/g=http://www.example.com/file.html
only=#some_node_id .some_node_class
XPath on “only”.
Since the costumer would pay for data transfered, it would suck to have the costumer to query /api/g= everytime he needs something. And it’s not much different than writing your own crawler, isn’t? Actually it is because of robots.txt, html parsing, server load, and much more. But a lot of people think that writing crawlers is easy and scalable.
Anyway! The magic happens when you crawl a webpage and it matches some rule set by one of your costumers. Now you just need to tell them the list of ids previously sent by /api/i= that are ready. They connect to your server and download the files.
And if you have ids:
POST /api/g=111,112,113
compress=True
Which would return insert requests with ids 111 and 112 and 113 in a zip file.
One more good thing: Economy of scale. Everyone needs the newest RSS feeds. You can have dozens of costumers requesting the same feed, but you only will need to grab it once.
This service would have nothing to do with search, Google, deep web, semantic web, whatever. Just make sure people will know when a webpage is updated.
Effective immediately
1) Nanomachine development requires a government license;
2) Nanomachines have a limited number of productions, which on expiration the nanomachine will self-destruct. Example: A tomato nanomachine will not be able to make more than XX tomatoes;
3) Hacking nanomachines is punishable by death. False acusations of nanomachine hacking equal 10 years in prison;
4) These policies are in effect worldwide;
Rationale:
1) Control;
2) There’s a risk that everything will turn into tomatoes if tomato-nanomachines go wild;
3) None shall be able to make a nuclear bomb-nanomachine, and risk is minimized by 1);
4) Sea micronations or evil governments can’t protect someone nanomachining nuclear bombs.
O irmão do meu avô comemorará as Bodas de Ouro, 50 anos de casado, nesse próximo domingo. Curioso sobre quais seriam as Bodas de Diamante, achei pela internet a seguinte lista completa de bodas:
Na verdade achei outras listas, com pequenas divergências. Mas me decidi por essa, pois não é todos os dias que se comemora o Crisoprásio 
O Rafael, do trampo, não achou parecido… o Valdeci já exclamou: Que loco!
Eu achei parecido, sim… e é muito bonito, de qualquer jeito.
Ao mesmo tempo que minha velhice traz serenidade para encarar os problemas, ela cria outros. Não consegui ler o artigo Por que o Budismo encanta o Ocidente? sem achar os erros da argumentação do escritor.
Primeiro, a justificação que o Budismo só faz “sucesso” no Ocidente devido à condições temporais. Se vamos usar um método de divisão tão arcaico como lado esquerdo e direito do mundo, tanto deveria importar em qual época estamos. Quer dizer que o budismo ou qualquer outra “religião” tem méritos por causa das tendências da pós-modernidade neoliberal. Bem, isso é novidade para mim… O Budismo tem lá feito seu sucesso em outros lugares do mundo, e não precisava de uma maneira de visão do mundo para encontrar seu lugar.
Quer dizer, nos lugares em que ele tem raiz, esses “problemas” não existem, certo? E da última vez que eu vi, não existe necessariamente muita diferença entre eu aqui no Brasil e um monge na Mongólia. Não pode ser razão de sucesso, aliás, deixa eu parar por aqui….
Hoje eu fui nesse bar beber com amigos
Não sei fazer rima nem poesia
Mas é assim que bebemos todas
Foi três e dois fora
Mas meu… me diverti pacas. Põe o click no site deles e faz uma carteirinha, que demora um dia pra ser feita, porque quem recebe o email é diferente da turma do chão de fábrica. Bem, nem que eu me importa…. pelo preço total você paga R$ 17 e bebe choppe à vontade.
Não é mais do que eu poderia aguentar mas é no limite de eu conseguir escrever algo entendível, desculpe Aurélio se essa palavra não existe, mas é assim mesmo. Uma porção de filé mignon com catupiry saiu por vintão, e era gostosa, mais porções, gastamos uma grana mas vale a pena.
Eu hoje ia falar de XML mas vou resumir: Vai no W3C Schools e aprende o necessário. Um lance sem dúvida que tomei na face foi que não se usa namespaces de graça. E nem me responderam como usar Namespaces e Schemas, mas deixa pra lá… meu XML ficou o mesmo, o DTD valida na boa, e o esquema todo foi pro beleléu.
Deixo de blogar por hoje… amanhã espero minha namo de braços abertos, beijos gata :-*
Não é cover nem tradução de Champagne Supernova do Oasis… pensei nessa letra ouvindo Know your Enemy do Rage Against the Machine, e a situação do PT nessa crise. Tô mais feliz com o refrão, a última parte, porém mesmo sem saber como finalizar, aqui vão as letras:
Como é que acontece votaram no próprio umbigo
Pra engordar bois que regurgitam Cristo
O sol se colocou atrás dos meus inimigos
E o final de tarde pôs sombra nos jazigos
A esperança implodiu porque vocês cresceram tanto
Tudo que viam se transformava em ouro
A esperança supernova aconteceu em horário nobre
Comeu minhas escolhas e vomitou dólares
Para ela
Mãos mãos mãos
Sobre suor se flui
Neologismo fabúlico
Bobóra princerra
Piratas
Em terra fim nado
Visão do futuro
O que preciso?
Não reencarnei criança atrás à imortalidade
Morte deixou um recado, venham celebrar
Ela me deseja, meus filhos saberão como portar
Legue-me, escorram dúvidas quaisquer
Dias, anos, semanas e meses
Quando eu estava fazendo a prova de eliminação de conteúdo de Desenvolvimento Web na faculdade hoje, aliás é o IBTA, deu um insight e percebi como “havia” tem a mesma pronúncia que “a via”. Então resolvi bolar alguns poemetas com essa palavra.
A primeira imagem que veio, é de uma estrada por onde alguém já andou, e como tinha uma bifurcação e a pessoa escolheu um determinado caminho. Fazem alguns anos numa coluna do Cony na Folha, ele mencionou um começo de um filme do Kurosawa (pena que eu ainda não vi). Um samurai também se depara com uma bifurcação, numa delas tem um cachorro morto, ele escolha ela para andar. Tem tanto significado esse começo de filme, tanta cultura japonesa, tanto sobre as escolhas de guerreiros, que eu não teria pele sobrando nos dedos se fosse digitar tudo.
E como não pretendo ser o Kurosawa, me reservo o direito de escrever qualquer merda, afinal não tem desculpa melhor para não fazer tão bonito quando você tem coisas como essa para comparar: É, tá ruim, mas tá na média
Havia
Pés paralelos não encontram o infinito
Uma paródia:
Havia uma bifurcação no meio do caminho, no meio do caminho há uma estrada
Algo religioso:
H
AVI
A
Algo nerd:
No meu computador Havia uma placa-mãe