Informação pormenorizada sobre os corpora

Projecto AC/DC, Linguateca

Além de apontar para a informação original fornecida pelos compiladores e de apresentar uma contabilização sumária de todos os corpora em forma de tabela, descreve as várias opções tomadas na codificação dos corpora no ambiente escolhido, o Corpus Workbench do IMS da Universidade de Estugarda (IMS-CWB), cf. o manual disponível na rede. Sem que estas opções sejam explicitadas, não é possível compreender os resultados quantitativos ou comparar com vários trabalhos sobre os mesmos corpora.

Nota: Para cada corpus, além da versão fornecida pelos seus autores, indicamos a versão correspondente à codificação executada por nós no ambiente IMS-CWB, de forma a ser possível comparar dados obtidos em alturas diferentes, através da identificação exacta da versão do corpus utilizada. A numeração das versões é feita independentemente, o que quer dizer que uma mudança no corpus não faz com que a contagem da versão da sua codificação volte a 1.0.

Identificação sumária

• Natura/Público Corpus jornalístico Natura-Público, http://natura.di.uminho.pt/jjbin/corpora
• ENPCPUB Parte disponível do ENPCPORT, a parte portuguesa (traduções para português de originais em inglês) do English-Norwegian Parallel Corpus (ENPC), Johansson, Ebeling & Hofland (1996), Johansson, Ebeling & Oksefjell (1999), Oksefjell (1999; no prelo)
• Natura/Minho Corpus jornalístico Natura-Diário do Minho, http://natura.di.uminho.pt/jjbin/corpora
• ECI-EBR A parte do corpus Borba-Ramsey do European Corpus Initiative, the Multilingual Corpus 1 (ECI/MCI), informação da ELSNET, informação do LDC, McKelvie & Thompson (1994), Thompson et al. (1994)
• ECI-EE A parte da apresentação do programa Esprit do European Corpus Initiative, the Multilingual Corpus 1 (ECI/MCI), informação da ELSNET, informação do LDC, McKelvie & Thompson (1994), Thompson et al. (1994)
• NILC/São Carlos Corpus NILC/São Carlos (parte corrigida), Nunes et al. (1996a) ; Nunes et al. (1996b)
• FrasesPP Corpus FrasesPP anotado, Santos (1992, Introd. Desc.), Medeiros, Marques & Santos (1993)
• FrasesPB Corpus FrasesPB
• CETEMPúblico (primeiro milhão) Primeiro milhão de palavras do CETEMPúblico (Corpus de Extractos de Textos Electrónicos MCT/Público), Rocha & Santos (2000), Santos & Rocha (2001), revisto pela equipa do projecto Floresta sintá(c)tica.
• ANCIB Corpus de correio electrónico da lista ANCIB
• Clássicos LP/Porto Editora Corpus Clássicos da Literatura Portuguesa da Porto Editora
• CETEMPúblico CETEMPúblico (Corpus de Extractos de Textos Electrónicos MCT/Público), Rocha e Santos (2000), Santos & Rocha (2001)
• DiaCLAV Corpus de artigos da edição electrónica de jornais regionais da região centro de Portugal, nomeadamente Diário de Coimbra, Diário de Leiria, Diário de Aveiro e Viseu Diário
• Avante! Corpus de artigos da edição electrónica do o Avante!, o jornal semanal do Partido Comunista Português
• AmostRA-NILC Selecção de textos do corpus NILC, em português brasileiro, contendo textos dos géneros didático, jornalístico e literário criada no âmbito da tese de mestrado de Rachel Aires, orientada por Sandra Aluísio, no NILC, para avaliar e comparar o desempenho de etiquetadores para o português brasileiro
• CoNE Corpus de correspondência não endereçada recebida pela Linguateca
• Museu da Pessoa Corpus de Entrevistas do Museu da Pessoa
• Corpus CONDIVport Corpus do projecto Convergência e Divergência no Léxico do Português (Silva 2004), com textos de jornais desportivos dos anos 50, 70 e 90, especialmente relativos a futebol.

Contabilização básica dos corpora

Corpus	Nº de frases	Nº de parágrafos	Nº de palavras (formas)	Nº de palavras (tipos)	Nº de elementos
NATURA	225646	79448	5730035	166816	7256679
ENPCPUB	4371	1690	72244	12886	89864
MINHO	53062	41479	1595195	67639	2083752
ECI-EBR	45539	12118	654539	60193	891666
ECI-EE	780	340	24425	4075	30157
SAOCARLOS	1964150	827363	32091996	433030	41372943
FRASESPP	594	594	15017	5092	19340
FRASESPB	651	648	17736	6001	22486
CETEMPUBLICOPRMI	39632	13469	997695	68138	1198015
ANCIB	37845	19098	881967	62738	1208685
CLASSLPPE	74690	36236	1158765	70322	1874628
DIACLAV	210366	24439	5933808	119626	7404515
AVANTE	204116	103966	5964533	121113	7569252
AMOSTRA	4965	4904	90109	17101	124836
CONE	38444	23208	725844	41999	1072534
MUSEUDAPESSOA	24053	15442	313927	20289	455642
CONDIV	150563	69192	2451046	70026	3363961
CETEMPUBLICO	7.082.094	2.571.735	191.687.833	999.059	229.038.019

Tabela actualizada a 27 de Fevereiro de 2006.

A divisão em frases é obtida automaticamente na maior parte dos casos. Elementos classificados como títulos, legendas, etc. não são considerados frases para efeitos desta contagem. Os parágrafos (geralmente curtos) sem pontuação final são marcados como frases, do tipo fragmento.

Contabilização mais fina sobre os corpora

A maior parte dos corpora requereu tratamento específico e opções dedicadas, que serão mencionadas na descrição de cada caso.

Como opções gerais, temos:

• O tratamento de contracções, palavras compostas e verbos com clíticos como um token só
• O tratamento de sinais de pontuação como tokens separados
• O tratamento de abreviaturas (incluindo sinais de pontuação) como um token apenas
• A não inclusão, no corpus, de informação sobre formatação gráfica
• A numeração automática dos parágrafos

• tamanho global do corpus
• descrição formal do seu conteúdo (dos "tokens")
• descrição formal da sua estrutura (dos marcadores estruturais).

Corpus Natura-Público

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p e marca.

Versão

Corpus ENPCPUB (parte disponível do ENPCPORT)

Descrição da fonte

JB1PP

Barnes, Julian. Amor & C.a, Quetzal Editores, Lisboa, 1994. Tradução de Helena Cardoso. Título original: Talking It Over.

BC1

Chatwin, Bruce. Utz, Quetzal Editores, Lisboa, 1991. Tradução de José Luís Luna. Título original: Utz.

AH1

Hailey, Arthur. Remédio Amargo, Distribuidora Record, Rio de Janeiro, s/d. Tradução de A.B.P. de Lemos. Título original: Strong Medicine.

JH1

Heller, Joseph. Imaginem que. Difusão Cultural, Lisboa, 1991. Tradução de Cristina Rodriguez. Título original: Picture This.

NG1

Gordimer, Nadine. A história do meu filho, Editora Siciliano, São Paulo, 1992. Tradução de Geraldo Galvão Ferraz. Título original: My Son's Story.

Cada obra (extracto) encontrava-se em ficheiro separado, com frases e parágrafos identificados e numerados, e anotada a sua correspondência com o texto original (alinhamento).

Dados quantitativos

Observações

Utilizámos como marcadores estruturais texto, parte, capitulo, p e s.

A partir da versão 2.0 adicionámos o atributo estrutural variante, que pode ter os valores "bras" ou "lus".

Versão

Corpus Natura-Diário do Minho

Descrição da fonte

Segundo natura.di.uminho.pt, o corpus original é assim descrito:
Uma série de edições do Diário do Minho. Não aparecem neste corpus os textos de desporto e alguns de publicidade por dificuldades com os formatos. Todos os outros textos aparecem completos. Os artigos aqui apresentados contêm algumas gralhas (correspondem à versão antes da revisão de provas).

Dados quantitativos

Observações

A partir da versão 2.0, introduzimos a anotação marca para sinalizar (conjuntos de) asteriscos que indicam notas de rodapé. A partir da versão 3.0, introduzimos a anotação li para assinalar listas.

Marcadores estruturais: p, s, assinatura, legenda, subtitulo, titulo, art, marca e li.

Versão

Corpus ECI-EBR

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p e marca.

Versão

Corpus ECI-EE

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p, titulo, nota, marca.

Alterámos a posição das notas de rodapé, do meio do parágrafo para imediatamente a seguir ao parágrafo onde lhes era feita referência, mas mantivemos a informação dessa mesma posição no atributo marca, com o número igual ao número da nota correspondente.
<marca num=3> <nota num=3>

Versão

Corpus NILC/São Carlos

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p, texto, t (anteriormente à versão 4.0, estava marcado como titulo), subtitulo, assinatura, e para os textos da folha de São Paulo, a partir da versão 4.0, a (autor), artigo, caixa, situacao, li (elemento de lista).

As primeiras linhas de cada ficheiro foram classificadas como títulos. Como subtítulos foram identificadas linhas sem pontuação final todas em maiúsculas. No caso das cartas comerciais, também a assinatura da carta foi marcada separadamente.

Cada texto tem como identificação o nome do ficheiro de que provém, o que dá alguma indicação sobre o tipo de texto. Prevê-se para breve uma reorganização desses identificadores segundo os novos critérios em desenvolvimento pelos compiladores do corpus.

A nova versão foi criada após a detecção de alguns textos repetidos. Possíveis alterações em relação ao conteúdo dos textos que constituem o corpus são previsíveis.

O atributo classe, correspondendo ao tipo de texto, foi adicionado na versão 3.0. A sua distribuição, correspondendo à versão 7.1, é a seguinte:

Tipo	Descrição	Tamanho
DI	texto didáctico	423.893
ENC	enciclopédia	283.838
ENS	ensaio	2.177.193
EP	texto epistolar	3.338
JO.*	jornalístico	29.462.874
JOCF	jornalístico só CETENFolha	29.462.874
JO	jornalístico sem CETENFolha	29.462.874
LE	texto legal	1.083.200
LI	literário	919.628
RE	revista	153.454

O tamanho, na tabela anterior, é medido pelo número de unidades do corpus com a classificação indicada.

A partir da versão 5.0, a parte do Folha de São Paulo (correspondente ao CETENFolha, de texto de 1994, e a algumas edições de 1996) está dividida em extractos identificados pela secção, semestre, número de extracto, e número de parágrafo no CETENFolha, por exemplo: Cotidiano-94a-61755-2 .

A partir da versão 7.1, é possível seleccionar apenas o CETENFolha, no corpus SAOCARLOS, usando para isso a restrição [classe="JOCF"]. Dois exemplos (usando a restrição de forma diferente):

• Procurar a palavra punhal no CETENFolha: [word="punhal" & classe="JOCF"]
• Procurar palavras acabadas em ornada no CETENFolha: ".*ornada" [classe="JOCF"]

Versão

Corpus FrasesPP anotado

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p.

Os valores da anotação encontram-se no atributo pos.

Versão

Corpus FrasesPB

Descrição da fonte

Dados quantitativos

Observações

Marcadores estruturais: s, p.

Versão

Corpus CETEMPUBLICOPRMI

Descrição da fonte

O primeiro milhão de palavras (aproximadamente) que o constitui foi objecto de uma revisão aturada de forma a servir de matéria base para um "treebank" do português, a Floresta Sintáctica, seguindo outros critérios de definição de frase <s> e incluindo o marcador <sic> nos casos não julgados de interesse para esse efeito. Informação sobre os novos critérios de separação de frases, sobre a introdução da marca <sic> e sobre o processo de revisão encontram-se respectivamente em Afonso et al. (2001a); Afonso et al. (2001b) e Santos (2001).

Dados quantitativos

Observações

Versão

Corpus ANCIB

Descrição da fonte

Dados quantitativos

Observações

Embora tenham sido excluídas as mensagens totalmente (ou quase) noutros idiomas, foram mantidas mensagens parcialmente noutras línguas, pelo que o corpus contém uma quantidade reduzida de texto em inglês e castelhano. Note-se que, devido ao afinamento da detecção de língua, algumas mensagens contidas nas versões anteriores foram removidas.

Foram removidas, na medida do possível, as assinaturas automáticas das mensagens, um processo que foi sendo igualmente melhorado ao longo das diversas versões do corpus.

Foram transformados alguns caracteres ['A==>À, e'==>é, etc].

O corpus está dividido em mensagens separadas, marcadas pelo atributo mens, com informação da data <mens dt=...> . Cada mensagem tem sempre os campos assunto e autor (a pessoa que enviou a mensagem para a lista). O corpo da mensagem está dividido em p [parágrafos], s [frases], e possivelmente li [elementos de listas] e titulo [títulos].

A partir da versão 1.3, o corpus tem o atributo cita que indica referência a uma mensagem anterior, citada no corpo da mensagem e indicada pelo sinal ">" no início de linha.

Versão

Corpus Clássicos da Literatura Portuguesa da Porto Editora

Descrição da fonte

• Vicente, Gil, Farsa de Inês Pereira, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Vicente, Gil, Auto da Índia, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Vicente, Gil, Auto da Alma, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Vicente, Gil, Auto da Barca do Inferno, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Herculano, Alexandre, O Bobo, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Dinis, Júlio, A Morgadinha dos Canaviais, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Castelo Branco, Camilo, Maria Moisés , Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Garrett, Almeida, Folhas Caídas, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Dinis, Júlio, As Pupilas do Senhor Reitor, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Quental, Antero de, Odes Modernas , Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Dinis, Júlio, Os Fidalgos da Casa Mourisca, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Garrett, Almeida, Frei Luís de Sousa, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Castelo Branco, Camilo, A Queda dum Anjo, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Silva, António José da, Guerras do Alecrim e Manjerona, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Herculano, Alexandre, A Harpa do Crente, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Quental, Antero de, Primaveras Românticas, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Dinis, Júlio, Uma Família Inglesa, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Garrett, Almeida, Camões, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Castilho, António Feliciano de, Poesias, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Herculano, Alexandre, Eurico o Presbítero, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Vieira, Pe. António, Sermão de St.º António aos Peixes, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Queirós, Eça de, Os Maias, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Vieira, Pe. António, O Cárcere e o Interrogatório, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/
• Garrett, Almeida, Viagens na Minha Terra, Biblioteca Digital - Clássicos da Literatura Portuguesa, Porto Editora, http://www.portoeditora.pt/bdigital/

Dados quantitativos

Observações

Alguns dos ficheiros de texto utilizados como base para este corpus foram manipulados manualmente para inserir determinados marcadores. No entanto, na grande maioria dos casos, os marcadores foram inseridos automaticamente.

Utilizámos como marcadores estruturais para todas as obras obra (que contém o código interno da obra, o tipo de obra e o código do autor), tituloobra (o nome da obra), autor (o autor da obra), capitulo, data (a data da obra, quando assinalada no texto), nota, titulo, marca e u (uma unidade de texto: frase, verso, titulo ou indicação de cena, consoante o tipo de obra).

As obras em prosa têm os marcadores estruturais adicionais p [parágrafo] e s [frase].

As obras de poesia têm os seguintes marcadores estruturais adicionais: dedicatoria, poema, div [parte de um poema, assinalada graficamente por números romanos], e [estrofe] e v [verso].

As obras de teatro têm os seguintes marcadores estruturais adicionais: fala, personagem e indic (indicação de cena); além disso, as obras de Gil Vicente utilizam o marcador v [verso], enquanto as restantes utilizam o marcador s [frase].

Os códigos de obras usados neste corpus (os valores referem-se ao número de tokens na versão 1.7), correspondendo ao atributo posicional obra, são os seguintes:

AA	Auto da Alma	4,099
ABI	Auto da Barca do Inferno	5,767
AI	Auto da Índia	3,243
AP	Amor de Perdição	57,600
Bobo	O Bobo	62,452
CI	O Cárcere e interrogatório	510
Cam	Camões	28,564
EP	Eurico o Presbítero	66,558
FC1	Folhas Caídas I	5,932
FC2	Folhas Caídas II	3,714
FCM	Os Fidalgos da Casa Mourisca	168,021
FIP	Farsa de Inês Pereira	6,987
FLS	Frei Luís de Sousa	22,593
GAM	Guerras do Alecrim e Manjerona	27,865
HC	A Harpa do Crente	19,222
MC	A Morgadinha dos Canaviais	177,409
MM	Maria Moisés	24,348
Maias	Os Maias	263,614
OM	Odes Modernas	21,214
PR	Primaveras Românticas	15,568
PSR	As Pupilas do Senhor Reitor	114,884
Poe	Poesias	6,652
QA	A Queda de um Anjo	58,462
SSAP	Sermão de Santo António aos Peixes	14,048
UFI	Uma Família Inglesa	146,642
VMT	Viagens na minha terra	81,794

Os códigos de autores, correspondendo ao atributo posicional autor, são os seguintes:

AFC	António Feliciano de Castilho	6,652
AG	Almeida Garrett	142,597
AH	Alexandre Herculano	148,232
AJS	António José da Silva	27,895
AQ	Antero de Quental	36,782
CCB	Camilo Castelo Branco	140486
EQ	Eça de Queirós	263,614
GV	Gil Vicente	20,096
JD	Júlio Dinis	606,946
PAV	Pe. António Vieira	14,558

Finalmente, o atributo classe pode tomar um dos três valores

classe	tamanho
poesia	100,866
prosa	1236,332
teatro	70,554

Versão

Corpus CETEMPúblico

Descrição da fonte

Dados quantitativos

Observações

Além da palavra, o corpus tem mais dois atributos posicionais, sem [semestre em que o texto foi escrito ou enviado para o jornal]:

semestre	tamanho
91a	7450010
91b	14314547
92a	15398940
92b	11570880
93a	15316597
93b	12217030
94a	15448795
94b	14936750
95a	16719480
95b	15755620
96a	12001909
96b	11691067
97a	9956177
97b	9995637
98a	12974842
98b	9004702

e sec [classificação da secção a que o texto pertencia]. Veja-se a discussão em Rocha & Santos (2000) sobre a forma da sua atribuição.

secção	tamanho
clt	31425669
clt-soc	6661193
com	942713
des	22620366
eco	18047330
nd	27194578
opi	3529008
pol	39716815
soc	54615311

Versão

Corpus DiaCLAV

Descrição da fonte

Os jornais em questão pertencem ao mesmo grupo editorial, o Grupo Editorial Adriano Lucas, pelo que alguns artigos neste corpus contem textos semelhantes, embora não haja casos de artigos exactamente iguais. Os artigos em questão, que correspondem ao período de 13 de Junho de 1999 a 18 de Setembro de 2000, não representam a totalidade do texto dos jornais nesse período, mas apenas o texto disponibilizado na edição on-line.

Agradecemos à direcção do Grupo Editorial Adriano Lucas a autorização gentilmente concedida para a criação deste corpus.

Dados quantitativos

Observações

Versão

Corpus Avante!

Descrição da fonte

Estamos gratos à direcção do «Avante!», em especial ao seu director José Casanova, pela autorização gentilmente cedida para a elaboração deste corpus.

Dados quantitativos

Observações

Versão

Corpus AmostRA-NILC

Descrição da fonte

Citando (secção 4.1.1)

" Para compor nosso corpus de treinamento e teste selecionamos textos do corpora do Nilc pertencentes a três gêneros: didático, jornalístico e literário. Um dos objetivos deste trabalho é avaliar os etiquetadores por gêneros. A escolha destes três gêneros foi feita para se abranger em particular:

1. textos simples, isto é, aqueles que seguem uma estrutura formal fixa, por exemplo a escrita técnica (didáticos);

2. textos mais próximos da linguagem viva (jornalístico);

3. textos com estrutura livre, isto é, com formas menos comuns como ordem inversa por exemplo, (literários).

(...) Além dos gêneros de texto que farão parte do corpus, temos também que decidir se serão ou não mantidos títulos, frases entre parênteses e resumos nos textos. No nosso caso não mantivemos os títulos, mas mantivemos os textos entre parênteses e não precisamos nos preocupar com resumos, que não apareciam nos textos escolhidos.

(...) em 20 de julho de 2000, obtivemos a última versão do nosso corpus de treinamento e teste contendo 104.962 palavras, que foi utilizada em todos os experimentos descritos neste trabalho. (...)

Tabela 1 - Corpus de treinamento e teste

Tipo de Corpus Tamanho do corpus

D – Didático 16.255 palavras

J – Jornalístico 56.653 palavras

L – Literário 32.054 palavras

(fim de citação)

Dados quantitativos

Versão

Corpus CoNE

Descrição da fonte

Dados quantitativos

Observações