API de dobragem de IA para vídeo em mais de 135 idiomas

Carregue o seu vídeo, escolha um idioma de destino e receba o vídeo dobrado. Um único pedido à API de dobragem de IA trata da transcrição, tradução, deteção de locutores, clonagem de voz e síntese de fala, mantendo a identidade de voz do locutor original. O resultado é um vídeo dobrado, faixas de áudio WAV separadas e ficheiros de legendas.
Clonagem de voz
Sincronização labial integrada
REST + SDK Python
three requests, start to finish
OAuth 2.0
# 1. exchange client credentials for a token (valid 1 hour)
curl -X POST https://rask-prod.auth.us-east-2.amazoncognito.com/oauth2/token \
  -u "$CLIENT_ID:$CLIENT_SECRET" \
  -d "grant_type=client_credentials"# 2. upload by link - YouTube, Drive, S3, Vimeo or direct URL
curl -X POST https://api.rask.ai/api/library/v1/media/link \
  -H "Authorization: Bearer $TOKEN" \
  -d '{"link": "https://youtu.be/...", "name": "Q3 launch"}'# 3. create the dubbing project - this starts the dub
curl -X POST https://api.rask.ai/v2/projects \
  -H "Authorization: Bearer $TOKEN" \
  -d '{
    "video_id": "b8f7835d-e8c9-4ff4-8e34-5c336d818319",
    "dst_lang": "es-mx",
    "name":     "Q3 launch"
  }'
GET /v2/projects/{project_id}
polling, 10s
# Poll the project until status is merging_done.while :; do
  curl -s https://api.rask.ai/v2/projects/$ID \
    -H "Authorization: Bearer $TOKEN" | jq .status
  sleep 10done
Utilizado por equipas globais
Funcionalidades

Tudo o que a API de dobragem faz, numa única chamada

Transcreva, traduza e dobre os seus vídeos automaticamente através de uma única API. Aperfeiçoe os resultados com a seleção de vozes, glossários e edição de guião. Adicione a sincronização labial opcional, cobrada à parte.

Dobragem para mais de 135 idiomas

Todo o processo num único pedido: transcrever, traduzir, sintetizar e misturar. Só precisa de enviar um vídeo e o idioma de destino.

Deteção de oradores e vozes por orador

Os oradores são separados automaticamente do áudio original e cada um recebe a sua própria voz no idioma de destino. Pode alterar qualquer atribuição ou indicar o número de oradores, caso o conheça.

Clonagem de voz entre idiomas

Mantenha a identidade de voz do locutor original na dobragem, para que o apresentador continue a soar como ele próprio em espanhol, hindi, japonês ou coreano.

Sincronização labial

Movimento da boca ajustado ao áudio dobrado, disponível como tarefa opcional em qualquer projeto dobrado. A deteção de rostos é feita primeiro para que só pague onde for aplicável.

Áudio de fundo preservado

A música, o som ambiente e os efeitos são separados da voz e misturados novamente por baixo da dobragem. O resultado é uma faixa totalmente localizada com a música, o som ambiente e os efeitos originais por baixo da nova voz.

Legendas em .srt e .vtt

Ambos os formatos vêm incluídos em cada projeto concluído, sincronizados com a dobragem e prontos para o seu leitor.

Controlo de terminologia com glossários

Os nomes de marcas, nomes de produtos e termos técnicos são traduzidos da mesma forma todas as vezes, ou mantêm-se sem tradução de propósito. Com suporte a versões, para que cada projeto concluído mantenha o glossário com o qual foi dobrado.

Edição de guião ao nível do segmento

Aceda à transcrição, corrija uma linha, ajuste um carimbo de data/hora, adicione ou elimine um segmento e regenere. Os seus linguistas corrigem o guião diretamente e a dobragem é regenerada a partir das edições deles.

Cresça sem limites

Envie o seu catálogo completo de uma só vez e dobre para todos os idiomas de destino em paralelo, em qualquer volume.
Veja como funciona

O que a API de dobragem por IA devolve realmente

O mesmo clipe, dobrado pela mesma chamada de API que acabou de ler. Voz original na fonte, voz clonada em francês, alemão, português e espanhol, com o áudio de fundo intacto.
Bandeira EN
En
Bandeira da França
Sex
Bandeira da Alemanha
De
Bandeira de Portugal
Pt
Bandeira da ES
Es
Fluxo de trabalho

Três passos desde o ficheiro de origem até ao vídeo dobrado

Criar o projeto inicia a dobragem. Use /generate mais tarde para voltar a dobrar um projeto após editá-lo.
1

Carregar o seu vídeo

Envie um ficheiro como dados de formulário multipart ou publique uma ligação. As fontes de ligação suportadas são o YouTube, Google Drive, S3, Vimeo e qualquer URL de descarregamento direto. Devolve um ID de multimédia e metadados técnicos completos antes de gastar qualquer valor.

POST /api/library/v1/media/link
2

Criar o projeto

Passe o ID de multimédia como video_id e um idioma de destino. Opcionalmente, adicione a sua própria transcrição ou um glossário. A dobragem começa imediatamente.

POST /v2/projects
3

Obter o resultado

Leia o status até atingir merging_done e, em seguida, descarregue o vídeo dobrado, as faixas de áudio e os ficheiros de legendas.

GET /v2/projects/{project_id}
O tempo de processamento varia consoante o projeto. Acompanhe o progresso através da API e transfira os seus ficheiros quando a dobragem estiver concluída.
Criado a pensar em si

Não está na lista? Nós criamo-lo.

Novos idiomas, vozes personalizadas, o seu próprio método de entrega, maior capacidade: quando uma integração de dobragem precisa de algo fora do catálogo público, a nossa equipa avalia o pedido consigo e constrói-o.

Idiomas e vozes

Precisa de um idioma ou voz fora do catálogo público? Fale com a nossa equipa sobre os seus requisitos e as opções disponíveis.

Entrega e integração

Webhooks, envio direto para a sua própria fila, entrega direta no seu S3, pontos de extremidade personalizados. Diga-nos como é que o seu sistema prefere receber os dados.

Volume e capacidade

Os tamanhos de lote, os idiomas de destino por ação e a prioridade de processamento são definidos no seu contrato para corresponder ao seu fluxo de trabalho.

Segurança e alojamento

A residência de dados, o SSO e SAML, as regras de retenção e o suporte a auditorias de segurança são tratados como parte da integração empresarial.
Casos de utilização

Quem usa uma API de dobragem de IA

Plataformas com vídeo integrado

Plataformas de LMS e de formação de clientes, plataformas de criadores e de vídeo, ferramentas de webinars e de eventos virtuais, alojamento de vídeos e SaaS de fluxo de trabalho, plataformas de adoção digital, live shopping. Conteúdo educativo, demonstrações de produtos e vídeos de criadores são dobrados dentro do seu produto, para que o público global os ouça no seu próprio idioma e a dobragem de IA se torne uma das suas funcionalidades.

Agências de localização e produção

Ligue a dobragem de IA ao fluxo de entrega que já utiliza e mantenha o passo de revisão humana. A IA produz a primeira versão dobrada e os seus linguistas editam o guião em vez de reservarem um estúdio para o gravar novamente.

Produção de vídeo interna e contínua

Retoalho internacional e comércio eletrónico, franquias globais, editoras de media, universidades corporativas. Integre a localização no seu fluxo de publicação, para que a sua equipa possa regenerar versões de idioma sempre que o vídeo de origem for alterado.
Histórias de clientes

Equipas reais, resultados mensuráveis

Como as empresas localizam vídeos com a Rask, através dos seus próprios números.
seta
seta
Código

Exemplos de código da API de dobragem por IA

Um ciclo completo em cada idioma: autenticar, carregar, dobrar, aguardar, descarregar.
# pip install git+https://github.com/braskai/rask-sdk
import asyncio
from rask_sdk import RaskSDKClient

async def main():
    client = RaskSDKClient(client_id=CLIENT_ID, client_secret=CLIENT_SECRET)

    media   = await client.upload_media_link(link="https://youtu.be/...")
    project = await client.create_project(video_id=media.id, dst_lang="es-mx")

    while project.status != "merging_done":
        await asyncio.sleep(10)
        project = await client.get_project(project.id)

    print(project.translated_video, project.translation_srt_path)

asyncio.run(main())
github.com/braskai/rask-sdk
Python 3.8+, async
import os, time, requests

AUTH = "https://rask-prod.auth.us-east-2.amazoncognito.com/oauth2/token"
API  = "https://api.rask.ai"

token = requests.post(AUTH, auth=(CLIENT_ID, CLIENT_SECRET),
                      data={"grant_type": "client_credentials"}).json()["access_token"]
h = {"Authorization": f"Bearer {token}"}

media = requests.post(f"{API}/api/library/v1/media/link", headers=h,
                      json={"link": "https://youtu.be/..."}).json()

project = requests.post(f"{API}/v2/projects", headers=h,
                        json={"video_id": media["id"], "dst_lang": "es-mx"}).json()

while project["status"] != "merging_done":
    time.sleep(10)
    project = requests.get(f"{API}/v2/projects/{project['id']}", headers=h).json()

print(project["translated_video"])
requests + polling
no SDK required
// no dependencies, Node 18+ global fetch
const API = 'https://api.rask.ai';

const auth = await fetch('https://rask-prod.auth.us-east-2.amazoncognito.com/oauth2/token', {
  method: 'POST',
  headers: { Authorization: 'Basic ' + btoa(`${CLIENT_ID}:${CLIENT_SECRET}`) },
  body: new URLSearchParams({ grant_type: 'client_credentials' }),
}).then(r => r.json());

const h = { Authorization: `Bearer ${auth.access_token}`, 'Content-Type': 'application/json' };

const media = await fetch(`${API}/api/library/v1/media/link`, {
  method: 'POST', headers: h,
  body: JSON.stringify({ link: 'https://youtu.be/...' }),
}).then(r => r.json());

let project = await fetch(`${API}/v2/projects`, {
  method: 'POST', headers: h,
  body: JSON.stringify({ video_id: media.id, dst_lang: 'es-mx' }),
}).then(r => r.json());

while (project.status !== 'merging_done') {
  await new Promise(r => setTimeout(r, 10000));
  project = await fetch(`${API}/v2/projects/${project.id}`, { headers: h }).then(r => r.json());
}

console.log(project.translated_video);
fetch, Node 18+
plain HTTP
# 1. token (valid 1 hour - cache and reuse it)
TOKEN=$(curl -s -X POST https://rask-prod.auth.us-east-2.amazoncognito.com/oauth2/token \
  -u "$CLIENT_ID:$CLIENT_SECRET" \
  -d "grant_type=client_credentials" | jq -r .access_token)

# 2. upload by link
VIDEO_ID=$(curl -s -X POST https://api.rask.ai/api/library/v1/media/link \
  -H "Authorization: Bearer $TOKEN" \
  -d '{"link": "https://youtu.be/..."}' | jq -r .id)

# 3. create the dubbing project
ID=$(curl -s -X POST https://api.rask.ai/v2/projects \
  -H "Authorization: Bearer $TOKEN" \
  -d "{\"video_id\": \"$VIDEO_ID\", \"dst_lang\": \"es-mx\"}" | jq -r .id)

# 4. poll, then download
while [ "$(curl -s https://api.rask.ai/v2/projects/$ID -H "Authorization: Bearer $TOKEN" | jq -r .status)" != "merging_done" ]; do
  sleep 10
done
POST /v2/projects
OAuth 2.0 client credentials
<?php
use GuzzleHttp\Client;

$http = new Client(['base_uri' => 'https://api.rask.ai']);

$auth = json_decode((new Client)->post(
    'https://rask-prod.auth.us-east-2.amazoncognito.com/oauth2/token',
    ['auth' => [$clientId, $clientSecret],
     'form_params' => ['grant_type' => 'client_credentials']]
)->getBody(), true);

$h = ['Authorization' => 'Bearer ' . $auth['access_token']];

$media = json_decode($http->post('/api/library/v1/media/link',
    ['headers' => $h, 'json' => ['link' => 'https://youtu.be/...']])->getBody(), true);

$project = json_decode($http->post('/v2/projects',
    ['headers' => $h, 'json' => ['video_id' => $media['id'], 'dst_lang' => 'es-mx']])->getBody(), true);

while ($project['status'] !== 'merging_done') {
    sleep(10);
    $project = json_decode($http->get("/v2/projects/{$project['id']}",
        ['headers' => $h])->getBody(), true);
}
Guzzle 7
plain HTTP
O Python é o SDK oficial. Os separadores Node, PHP e cURL são exemplos simples de HTTP para os mesmos pontos de finalização.
Progresso

Como um projeto de dobragem reporta o progresso

Um projeto avança através de uma máquina de estados documentada, para que possa mostrar aos seus próprios utilizadores uma barra de progresso real e por etapas. Só precisa de interagir com três grupos.

Concluído com sucesso, parar por aqui

merging_done
A dobragem está concluída. Aceda ao projeto mais uma vez para obter os links de transferência disponíveis para o seu projeto.

Em progresso, continuar a verificar

created
uploading
transcription_started
separate_background_started
determine_speakers_started
translation_started
voiceover_started
merging_started
Para além da correspondência _done estados. Estes correspondem perfeitamente a uma interface de progresso por etapas.

Falha, parar e reportar

failed
upload_failed
transcription_failed
translation_failed
voiceover_failed
merging_failed
no_audio
no_words
forbidden_link
no_audio, no_words e forbidden_link são suficientemente específicos para serem mostrados diretamente ao seu próprio utilizador.
Typical run, 4 minute source video
GET /v2/projects/{project_id}
   0s  created
  12s  transcription_started
  70s  translation_started
  95s  voiceover_started
 150s  merging_started
 170s  merging_done

Ou ignore a consulta de estado por completo

Aponte-nos para um ponto final de webhook e cada transição de estado chega como um POST, para que a sua fila reaja a cada alteração no momento em que acontece. A entrega por webhook faz parte da integração empresarial.
Ler a documentação
preserveAspectRatio="xMidYMid meet" aria-hidden="true" role="img">
Saída

Vídeo, áudio e legendas dobrados

Descarregue o seu vídeo dobrado e legendas traduzidas em SRT e VTT. Nos planos elegíveis, também pode descarregar a voz traduzida isoladamente ou misturada com o áudio de fundo original.
Campo
Formato
O que é
translated_video
MP4
O vídeo dobrado, pronto a publicar
voiceover
WAV
Apenas a fala traduzida, sem fundo, pronta a incluir na sua própria mistura
translated_audio
WAV
Fala traduzida misturada com o áudio de fundo original
translation_srt_path
.srt
Legendas no idioma de destino
translation_vtt_path
.vtt
As mesmas legendas em formato WebVTT, para leitores web
original_video
MP4
O seu ficheiro de origem tal como foi guardado, para referência
Controlo

Edite o guião e volte a dobrar apenas o que foi alterado

A tradução automática resolve a maior parte do trabalho. Quando não for suficiente, pode editar a transcrição segmento a segmento e regenerar, pagando apenas pelas partes que modificou.

Edição ao nível de segmento

Edição ao nível de segmento
Cada projeto disponibiliza a sua transcrição em segmentos acessíveis, pelo que corrigir uma linha incorreta requer apenas um pedido de atualização.
Obter a transcrição e os respetivos segmentos
Alterar o texto de origem para traduzirmos novamente
Alterar o texto traduzido diretamente para manter as suas próprias palavras
Ajustar os carateres temporais, adicionar segmentos, eliminar segmentos
Reatribuir a voz associada a qualquer orador

Glossários para terminologia

Glossários para terminologia
Associe um glossário a um projeto para garantir que os nomes da sua marca, os nomes dos produtos e os termos técnicos são traduzidos da mesma forma todas as vezes, ou mantidos sem tradução de propósito.

Um glossário abrange um par de línguas e aplica-se a todas as variantes regionais dessa língua de destino, pelo que um único glossário de espanhol serve es-mx e es-es igualmente. O registo do projeto glossary_version, para que edições posteriores nunca alterem silenciosamente o trabalho concluído.
Entrada

Formatos de ficheiro suportados

Sete formatos de vídeo e quatro de áudio, além da importação direta a partir de um URL. Se enviar um ficheiro não suportado, a API rejeita-o com base no tipo de conteúdo antes de ser descontado qualquer minuto.

Vídeo

7 formatos
.mp4
.mov
.mkv
.avi
.webm
.m4v
.3gp

Áudio

4 formatos
.mp3
.wav
.flac
.m4a

Metadados antes de gastar

O ponto final de multimédia devolve a duração, o tamanho do ficheiro, o codec de vídeo, a taxa de fotogramas, a resolução, o codec de áudio, a taxa de amostragem e a disposição dos canais. Valide um ficheiro e estime o custo com antecedência, uma vez que a dobragem é faturada por minuto.
Segurança e conformidade

Aprovado por quem tem de responder perante os outros

A Brask Inc cumpre a norma SOC 2 Tipo II, opera ao abrigo do RGPD e publica o estado de controlo em direto no seu Centro de Confiança.

Certificações

SOC 2 Type II
GDPR
Membro da CAI e C2PA

Encriptação

TLS 1.2 em trânsito
AES-256 em repouso
Chaves geridas SSE-S3
Rotação de chaves pelo menos a cada 12 meses

O seu conteúdo

Ambiente de IA fechado
Nunca utilizado para treinar modelos gerais
Exportação completa, sem dependência de fornecedor

Acesso

SSO e SAML
Controlo de acesso baseado em funções
Credenciais de cliente OAuth 2.0

Empresa

Opções de residência de dados
SLA personalizados
Gestor de conta dedicado

Direitos de voz

Vozes sintéticas com direitos de utilização
Clonagem de voz baseada no consentimento
Controlos de segurança de IA, humano no circuito
Comparação

API da Rask vs construir por conta própria

A mesma capacidade de dobragem, montada de duas formas. Uma coluna é um contrato; a outra é um plano.
O que precisa
Rask API
Montado a partir de peças
Transcrição, tradução, síntese, mistura
Uma chamada
Três a quatro fornecedores e a ligação entre eles
Deteção de oradores e vozes por orador
Incluído
Um fornecedor de diarização mais a sua própria lógica de atribuição de voz
Música de fundo e efeitos preservados
Incluído
Um passo de separação de fonte que constrói e ajusta
Clonagem de voz entre idiomas
Incluído
Um fornecedor separado e um fluxo de consentimento separado
Sincronização labial
Incluído
Um quinto fornecedor
Legendas em .srt e .vtt
Incluído
Gerado a partir dos seus próprios dados de temporização
Corrigir uma linha incorreta
Volte a dobrar esse segmento e pague apenas por ele
Volte a processar o ficheiro, pague pelo ficheiro
Consistência de terminologia
Glossários com versões
Pré e pós-processamento geridos por si
Limites de taxa
Nenhum
O limite imposto pelo seu fornecedor mais fraco
Um idioma que ainda ninguém suporta
Nós criamo-lo
Indisponível
Perguntas frequentes

API de dobragem de IA: perguntas frequentes

Não consegue encontrar o que procura? Contacte o departamento de vendas.

Como obtenho acesso à API e uma chave de API?

Como faço a autenticação na API de dobragem de IA?

A API é síncrona ou assíncrona?

Quais são os limites de taxa?

Para quantos idiomas posso fazer a dobragem?

Como funciona a clonagem de voz com a API?

Quanto tempo demora a dobragem por IA?

Que formatos de ficheiro são suportados?

Como é que a API lida com um vídeo com vários locutores?

Posso fornecer o meu próprio guião ou transcrição?

Também recebo legendas além do vídeo dobrado?

Existe um SDK?

Quanto custa voltar a dobrar após uma edição?

Comece a dobrar numa tarde

Faça o seu primeiro pedido hoje e fale connosco quando precisar de termos de volume ou de um idioma que mais ninguém tem.