Palavras-chave: Python, internet, http, urllib, urlopen, urlencode

O módulo urllib lhe fornece meios de acessar servidores HTTP por meios de requests GET e POST de maneira direta:

  • Acessando o conteúdo da http://codare.net: 
    import urllib

f = urllib.urlopen("http://codare.net")
contents = f.read()
f.close()
print contents
  • Submetendo parâmetros (query) usando GET: 
    import urllib

params = {"documentation": 1, "forums": 1}
query = urllib.urlencode(params)
url = "http://wordpress.org/search/codare?%s" % query
f = urllib.urlopen(url)
contents = f.read()
f.close()
print contents
  • Submetendo parâmetros usando POST: 
    import urllib

params = {"keyword": "urllib"}
query = urllib.urlencode(params)
url = "http://starship.python.net/crew/theller/pyhelp.cgi"
f = urllib.urlopen(url, query)
contents = f.read()
f.close()
print contents

Com a página em mãos, você pode utilizar expressões regulares ou algum módulo específico para processar Sgml/HTML/XML para obter seus dados.