Disclaimer for those who don’t speak Portuguese: I will soon post a more complete Portuguese/English post discussing ways to use the script.
É vamos ver se o Spamminator não vai atrapalhar o alcance do post já que sempre é bom ler as dicas e críticas de outras pessoas sobre um código aberto. Apesar, de, no fim, o código estar em GPL, portanto, é só irem ao Github que vai conter todas estas ferramentas e mandar o bom e velho PR.
Mas, como eu falei a uns dias atrás eu havia voltado a estudar um pouco a API aqui da rede Hive para retornar os backups dos meus posts já que eu pretendo voltar a fazer o backup/mirror do meu conteúdo no meu blog.
Sei que é muito difícil a rede aqui cair mas … aquilo né. Sempre é bom manter o conteúdo na nossa mão caso o projeto deixe de existir.
E para isto eu criei um script que faz diversas coisas interessantes. Ele baixa os posts aqui da rede Hive e também as imagens nestes posts para o disco local e cria um post pronto para ser usado no Hugo ( com o tempo pretendo colocar também a função para o Jekyll ).
Ele no momento é uma linha de comando e facilita muito a inseri-lo em um cronjob na sua máquina ou VPS. No meu caso ele roda aqui em um servidor na minha rede, baixa o conteúdo e outro job cria o post e o PULL REQUEST no repositório do meu blog no Github.
#!/usr/bin/python
# -*- coding: utf-8 -*-
from beem import Hive
from beem.account import Account
import os
import io
import argparse
import requests
import uuid
from urllib.parse import urlparse
import re
from datetime import datetime, timedelta
def download_image(image_url, path):
try:
# Fazer o download da imagem
response = requests.get(image_url)
if response.status_code == 200:
# Extrair a extensão do arquivo
parsed_url = urlparse(image_url)
_, ext = os.path.splitext(parsed_url.path)
# Gerar um nome de arquivo único com UUID
unique_filename = f"{uuid.uuid4()}{ext}"
file_path = os.path.join(path, unique_filename)
# Salvar a imagem no disco
with open(file_path, 'wb') as f:
f.write(response.content)
print(f"Imagem baixada e salva como: {file_path}")
return unique_filename
else:
print(f"Erro ao baixar a imagem: {image_url} (Status Code: {response.status_code})")
return None
except Exception as e:
print(f"Erro ao processar a imagem {image_url}: {e}")
return None
def extract_images_from_markdown(markdown_content):
# Procurar por imagens no formato 
image_urls = re.findall(r'!\[.*?\]\((.*?)\)', markdown_content)
return image_urls
def main(author, path, last=False, include_actifit=False, all_posts=False, today=False, platform="hive"):
# Escolher a blockchain com base na plataforma
if platform == "hive":
node_url = "https://api.hive.blog"
else: # steemit
node_url = "https://api.steemit.com"
# Conectar à blockchain Hive ou Steemit
hive = Hive(node=node_url)
account = Account(author, blockchain_instance=hive)
# Data de ontem e hoje
yesterday = (datetime.utcnow() - timedelta(days=1)).date()
today_date = datetime.utcnow().date()
# Obter os posts da conta
posts = account.get_blog(limit=500) # Ajuste o limite conforme necessário
if last:
# Pega o último post apenas
posts = [posts[0]] if posts else []
# Processar cada post
for post in posts:
if post["author"] != author:
continue
# Verificar se a tag 'actifit' está no post
if 'actifit' in post.get('json_metadata', {}).get('tags', []):
if not include_actifit:
print(f"Post ignorado devido à tag 'actifit': {post['title']}")
continue
# Usar o campo created diretamente como datetime
post_date = post["created"].date()
# Condicionais para --all, --today e posts de ontem
if not all_posts:
if today:
if post_date != today_date:
continue
else:
if post_date != yesterday:
continue
markdown_content = post['body']
title = post['title']
permlink = post['permlink']
link_for_post = f'https://{platform}.blog/@{author}/{permlink}'
# Baixar imagens e substituir os links no markdown
images = post.get('json_metadata', {}).get('image', [])
if images:
print(f"Imagens encontradas no post (json_metadata): {images}")
# Extrair imagens do markdown
markdown_images = extract_images_from_markdown(markdown_content)
if markdown_images:
print(f"Imagens encontradas no markdown: {markdown_images}")
# Baixar todas as imagens encontradas no json_metadata e no markdown
all_images = images + markdown_images
for image_url in all_images:
downloaded_image_name = download_image(image_url, path)
if downloaded_image_name:
markdown_content = markdown_content.replace(image_url, downloaded_image_name)
post_final = f'---\n<br />**Postado originalmente na rede {platform.capitalize()}: [{link_for_post}]({link_for_post})** <br />\n----'
yaml_prefix = '---\n'
TitleYaml = title.replace(':', '').replace('\'', '').replace('#', '').replace('(', '').replace(')', '')
# Construir o prefixo YAML
yaml_prefix += f'title: {TitleYaml}\n'
yaml_prefix += f'date: {post["created"]}\n'
yaml_prefix += f'permlink: /{platform}/{permlink}\n'
yaml_prefix += 'type: posts\n'
yaml_prefix += f'categories: ["{platform.capitalize()}"]\n'
yaml_prefix += f'author: {author}\n---\n'
# Nome do arquivo
filename = os.path.join(path, f"{post_date}_{permlink}.md")
# Salvar o conteúdo em um arquivo Markdown
with io.open(filename, "w", encoding="utf-8") as f:
f.write(yaml_prefix + markdown_content + post_final)
print(f"Post salvo: {filename}")
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument("author", help="Nome da conta na Hive ou Steemit")
parser.add_argument("path", help="Caminho onde os arquivos Markdown serão salvos")
parser.add_argument("--last", action="store_true", help="Pega o último post somente")
parser.add_argument("--actifit", action="store_true", help="Inclui posts com a tag 'actifit'")
parser.add_argument("--all", action="store_true", help="Pega todos os posts, ignorando o filtro de data")
parser.add_argument("--today", action="store_true", help="Pega apenas os posts de hoje")
parser.add_argument("--steemit", action="store_true", help="Usar a rede Steemit em vez da Hive")
args = parser.parse_args()
# Definir a plataforma (Hive ou Steemit)
platform = "steemit" if args.steemit else "hive"
main(args.author, args.path, args.last, args.actifit, args.all, args.today, platform)
A idéia disto surgiu porque por mais que a rede esteja distribuída ainda dependemos de pontos centrais para que tenhamos acesso ao conteúdo. E assim, dependendo do que ocorrer principalmente em um país como o nosso em que alguns juízes se acham semideuses.
O processo é bem simples. O script vai na API da rede Hive, busca todos os posts de um usuário específicio e manda o conteúdo markdown dos nossos posts aqui para um diretório.
Como vira e mexe também fazemos a inserção de imagens, este script pega a imagem, efetua o download da mesma para o disco local e reescreve o endereço da imagem no markdown para apontar para o disco local.
Isto é bom pois o meu script anterior não fazia isto e, este processo eu tinha que efetuar manualmente. E imagine isto para diversos posts em uma semana. Como eu era muito mais ativo aqui isto atrapalhava um pouco.
Mas espero que esta primeira versão já ajude. Tenho algumas idéias para o próximo passo, que seria ele baixar o post e também inserir as tags no cabeçalho do post do Hugo. E lógico, em breve, também criar o esquema para que ele consiga gerar arquivos para o Jekyll ( apesar de, caso necessário, a pessoa possa usar os scripts do próprio Jekyll para migrar o post para o formato que ele utiliza ).
Uso do script
O uso do script é muito fácil. Aqui deixo inclusive alguns exemplos de como podemos utilizá-lo no dia a dia.
Temos alguns parâmetros que foram inseridos no script:
--last- este parâmetro pega somente o último post--actifit. - pega todos os posts incluindo aqueles que tenham a tag actifit. Por padrão o script não pega estes posts e inclui no backup.--allpega todo os posts. Por padrão o script pega somente os posts de ontem--steemitquando este parâmetro é inserido ele passa a baixar os posts da rede Steemit ( breve pretendo colocar as outras redes irmãs também )
Exemplos de uso:
Para pegar todos os posts:
venv/bin/python hive_posts_yesterday_to_md.py ataliba hive --all
Para pegar apenas os posts de hoje:
venv/bin/python hive_posts_yesterday_to_md.py ataliba hive --today
Para pegar todos os posts, incluindo os com actifit:
venv/bin/python hive_posts_yesterday_to_md.py ataliba hive --all --actifit
Para pegar somente o último post de hoje:
venv/bin/python hive_posts_yesterday_to_md.py ataliba hive --last --today