Projecto Natura

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== SPLN ======

==== Diário de Bordo - Aula 8 - 2016-04-18 ====

FreeLing
  * suporta várias línguas
  * suporta modo servidor (perguntas feitas por um cliente) 
  * freeling capacidade de ser usado em java usando swig (Simplified Wrapper and Interface Generator)

Módulo Lingua::FreeLing3:
  * Lingua::FreeLing3::Bindings - Bindings da Biblioteca FreeLing
  * Lingua::FreeLing3::... interfaces desenvolvidas para tornar bindings mais 'perl-like'
  * FL3 ->  Módulo shortcut de Lingua::FreeLing3.
  * Para listar documentação: ''$ perldoc FL3'' 	
  * Pode ser usado tokenizador default ou não
  * Métodos retornam sempre objetos com método utilizado
  * Ideia da pipeline de freeling -> pegar num texto e dividir em tokens

  * divide em àtomos usando o tokenizer (retorna lista de tokens)
  * splitter  - segmentador, pega em àtomos e retorna frases, que é referência para array de frases que referencia para array de tokens
  * freeling morph guarda os vários resultados morfológicos possiveis de um token
	* depois de analisar - etiquetação de (POS (part of speech) tagging) palavras
	*hmm -  hidden markov model (método estátística que calcula elementos mais prováveis)
	* relax - etiquetação de POS
	* bibliotecas deste género podem ter métodos que fazem o treino de texto para cálculo de probabilidades para desambíguo de resultados
	*contém conjunto de eurísticas com probabilidades 
	* chart->parse - criar arvore de parsing
	* parse de dependências do ponto de vista semântico
	*txala - dependency parser


texto.txt --- Exemplo usado inicialmente ---- 

O gato comeu o rato.
O rato tinha sido envenenado.
O gato morreu.


-----

$/ -> 'input record separator'
------- $ perl script1.pl   --------

$ perl script1.pl
#!/usr/bin/perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

print $texto;

----    output    -----

O gato comeu o rato.
O rato tinha sido envenenado.
O gato morreu.



-----    $ perl script2.pl    -----  

#!/usr/bin/perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';

my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

my $tokens = tokenizer->tokenize($texto);
#print Dumper($tokens);

foreach my $token (@$tokens){
print $token->form() . "\n";
}

----   output   ------     #tokenização feita

O
gato
comeu
o
rato
.
O
rato
tinha
sido
envenenado
.
O
gato
morreu
.

$ perldoc Lingua::FreeLing3::Sentence

*contrutor de frases
*frase->totext()  devolve string da frase


$ perldoc Lingua::FreeLing3::Word
analysis -> retorna lista de possíveis análises
FeatureStructure retorna hash



----   $ perl script3.pl ------ 

#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto2.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#print Dumper($frases); devolve array com elementos 'Lingua::FreeLing3::Sentence' 


#analise morfologica
$frases = morph->analyze($frases);

$frases= relax->tag($frases);

for my $f (@$frases){
	my @words = $f->words();
	for my $w (@words){  
		my $anal = $w->analysis(FeatureStructure => 1);
		print $w->form,"\n";
		print Dumper($anal);
	}
}

-----------
retorna analise morfologica de cada palavra
tag-> sintatico lemma-> palavra prob->probabilidade
Eagles Guidelines ->formato para representar estrutura morfo das frases
---- output ----- 

O
$VAR1 = [
          {
            'lemma' => 'o',
            'prob' => '0.946533636767318',
            'tag' => 'DA0MS0'
          },
          {
            'lemma' => 'o',
            'tag' => 'PD0MS000',
            'prob' => '0.0337339031971581'
          },
          {
            'lemma' => 'o',
            'tag' => 'PP3MSA00',
            'prob' => '0.0197185834813499'
          },
          {
            'prob' => '1.38765541740675e-05',
            'tag' => 'NCMS000',
            'lemma' => 'o'
          }
        ];
aviso
$VAR1 = [
          {
            'tag' => 'NCMS000',
            'prob' => '0.976190476190476',
            'lemma' => 'aviso'
          },
          {
            'lemma' => 'avisar',
            'prob' => '0.0238095238095238',
            'tag' => 'VMIP1S0'
          }
        ];
era
$VAR1 = [
          {
            'lemma' => 'ser',
            'prob' => '0.332163369495852',
            'tag' => 'VMII1S0'
          },
          {
            'prob' => '0.332163369495852',
            'tag' => 'VMII2S0',
            'lemma' => 'ser'
          },
          {
            'prob' => '0.332163369495852',
            'tag' => 'VMII3S0',
            'lemma' => 'ser'
          },
          {
            'lemma' => 'era',
            'tag' => 'NCFS000',
            'prob' => '0.00350989151244416'
          }
        ];
curto
$VAR1 = [
          {
            'prob' => '0.98780487804878',
            'tag' => 'AQ0MS0',
            'lemma' => 'curto'
          },
          {
            'lemma' => 'curtir',
            'prob' => '0.0121951219512195',
            'tag' => 'VMIP1S0'
          }
        ];
.
$VAR1 = [
          {
            'tag' => 'Fp',
            'prob' => '1',
            'lemma' => '.'
          }
        ];


--texto2.txt(última Frase)
O gato comeu o rato.
O rato tinha sido envenenado.
O gato morreu.
A era era muito bonita.
Eu aviso a turma.
O aviso era curto.

--------
Nota: Testar novo texto com script anterior 

 				
Métodos de etiquetacao POS (Hidden Markov Model) do FreeLing
 				*retornam análise morfologica de cada palavra
				*retornam apenas um resultado (baseado em probabilidades)
				*falham nalguns casos mas acertam noutros
				*treinado com floresta sintática?
				*demora segundos a carregar, ms a processar (devido a isto, usar um servidor é proveitoso)
				*Análise morfológica pode levar a conclusões erradas

------   Output  -----


$ perl script4.pl

#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#analise morfologica
$frases = morph->analyze($frases);

#etiquetacao POS (Hidden Markov Model)

$frases = relax->tag($frases);
	for my $f (@$frases){
		my @words = $f->words();
		for my $w (@words){  
			my $h = $w->as_hash();
			print Dumper($h);
		}
	}


----   output ------  texto.txt
$VAR1 = {
          'form' => 'O',
          'tag' => 'DA0MS0',
          'lc_form' => 'o',
          'lemma' => 'o'
        };
$VAR1 = {
          'form' => 'gato',
          'tag' => 'NCMS000',
          'lc_form' => 'gato',
          'lemma' => 'gato'
        };
$VAR1 = {
          'lemma' => 'comer',
          'lc_form' => 'comeu',
          'tag' => 'VMIS3S0',
          'form' => 'comeu'
        };
$VAR1 = {
          'lemma' => 'o',
          'lc_form' => 'o',
          'form' => 'o',
          'tag' => 'DA0MS0'
        };
$VAR1 = {
          'lc_form' => 'rato',
          'tag' => 'NCMS000',
          'form' => 'rato',
          'lemma' => 'rato'
        };
$VAR1 = {
          'lemma' => '.',
          'form' => '.',
          'tag' => 'Fp',
          'lc_form' => '.'
        };
$VAR1 = {
          'lemma' => 'o',
          'form' => 'O',
          'tag' => 'DA0MS0',
          'lc_form' => 'o'
        };
$VAR1 = {
          'lc_form' => 'rato',
          'tag' => 'NCMS000',
          'form' => 'rato',
          'lemma' => 'rato'
        };
$VAR1 = {
          'lemma' => 'ter',
          'lc_form' => 'tinha',
          'tag' => 'VMII1S0',
          'form' => 'tinha'
        };
$VAR1 = {
          'lemma' => 'ser',
          'lc_form' => 'sido',
          'form' => 'sido',
          'tag' => 'VMP00SM'
        };
$VAR1 = {
          'form' => 'envenenado',
          'tag' => 'VMP00SM',
          'lc_form' => 'envenenado',
          'lemma' => 'envenenar'
        };
$VAR1 = {
          'lemma' => '.',
          'form' => '.',
          'tag' => 'Fp',
          'lc_form' => '.'
        };
$VAR1 = {
          'lemma' => 'o',
          'lc_form' => 'o',
          'tag' => 'DA0MS0',
          'form' => 'O'
        };
$VAR1 = {
          'tag' => 'NCMS000',
          'form' => 'gato',
          'lc_form' => 'gato',
          'lemma' => 'gato'
        };
$VAR1 = {
          'form' => 'morreu',
          'tag' => 'VMIS3S0',
          'lc_form' => 'morreu',
          'lemma' => 'morrer'
        };
$VAR1 = {
          'lemma' => '.',
          'form' => '.',
          'tag' => 'Fp',
          'lc_form' => '.'
        };






-----    $ perl script5.pl   ------ 

#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#analise morfologica
$frases = morph->analyze($frases);

#etiquetacao POS (HIdden Markov Models)

$frases = relax->tag($frases);
	for my $f (@$frases){
		my @words = $f->words();
		for my $w (@words){
			my $h = $w->as_hash();
			print join("\t", map {$h->{$_} } (qw.form lemma tag.)). "\n"; #map - definir elementos que queremos - meter em lista, separar por tab
		}
	}



----   output -----   # resultados identado

O	o	DA0MS0
gato	gato	NCMS000
comeu	comer	VMIS3S0
o	o	DA0MS0
rato	rato	NCMS000
.	.	Fp
O	o	DA0MS0
rato	rato	NCMS000
tinha	ter	VMII1S0
sido	ser	VMP00SM
envenenado	envenenar	VMP00SM
.	.	Fp
O	o	DA0MS0
gato	gato	NCMS000
morreu	morrer	VMIS3S0
.	.	Fp



$ perldoc Lingua::FreeLing3::DepTree
    *$ptree->info = info do nodo
    *numchildren - número de filhos 
    *nth_child - retorna filho que queremos
    *dump - retorna formato textual identado (para debug)

---  $ perl script6.pl -----

#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#analise morfologica
$frases = morph->analyze($frases);


#chart parser
$frases = chart->parse($frases);

for my $f (@$frases){
	print "### ", $f->to_text,"\n";
	if($f->is_parsed){
		my $parseTree = $f->parse_tree; # àrvore sintatica textual
		print $parseTree->dump();
	}
}



---- output ----- # àrvore sintatica textual


### O gato comeu o rato .
S
  grup-verb
    patons
      paton-ms
        DA0MS0 (O)
    grup-verb
      verb
        NCMS000 (gato)
  grup-verb
    verb
      VMIS3S0 (comeu)
    DA0MS0 (o)
  grup-verb
    verb
      NCMS000 (rato)
  F-term
    Fp (.)
### O rato tinha sido envenenado .
S
  sn
    espec-ms
      j-ms
        DA0MS0 (O)
    grup-nom-ms
      n-ms
        NCMS000 (rato)
      n-fs
        VMII1S0 (tinha)
  s-adj
    s-a-ms
      parti-ms
        VMP00SM (sido)
  s-adj
    s-a-ms
      parti-ms
        VMP00SM (envenenado)
  F-term
    Fp (.)
### O gato morreu .
S
  grup-verb
    patons
      paton-ms
        DA0MS0 (O)
    grup-verb
      verb
        NCMS000 (gato)
  grup-verb
    verb
      VMIS3S0 (morreu)
  F-term
    Fp (.)



----texto4.txt

O Presidente da República visitou a Guiné Equatorial.
O Primeiro Ministro, por sua vez, ficou-se Vila Real de Santo António.
Como estava a chover, usou um guarda chuva para que se não molhasse.

-----   $ perl script7.pl     -----

#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto4.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 
binmode STDOUT, ":utf8";

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#analise morfologica
$frases = morph->analyze($frases);

$frases = relax->tag($frases);

	for my $f (@$frases){
		my @words = $f->words();
		for my $w (@words){   
			my $h = $w->as_hash();
			print join("\t", map {$h->{$_} } (qw.form lemma tag.)). "\n";#map - definir elementos que queremos - meter em lista, separar por tab
		
		}
	}



-----      output    ------- #nao apanha guarda chuva como entidade # texto4.txt

O	o	DA0MS0
Presidente_da_República	presidente_da_república	NP00000
visitou	visitar	VMIS3S0
a	o	DA0FS0
Guiné_Equatorial	guiné_equatorial	NP00000
.	.	Fp
O	o	DA0MS0
Primeiro_Ministro	primeiro_ministro	NP00000
,	,	Fc
por	por	SPS00
sua	sua	PX3FS0P0
vez	vez	NCFS000
,	,	Fc
ficou	ficar	VMIS3S0
se	se	PP3CN000
Vila_Real_de_Santo_António	vila_real_de_santo_antónio	NP00000
.	.	Fp
Como	como	CS
estava	estar	VMII3S0
a	a	SPS00
chover	chover	VMN0000
,	,	Fc
usou	usar	VMIS3S0
um	um	DI0MS0
guarda	guarda	NCCS000
chuva	chuva	NCFS000
para	para	SPS00
que	que	PR0CN000
se	se	PP3CN000
não	não	RN
molhasse	molhar	VMSI3S0
.	.	Fp




--texto5.txt

O Presidente da República visitou a Guiné Equatorial.
O Primeiro Ministro, por sua vez, ficou-se Vila Real de Santo António.
Como estava a chover, usou um guarda chuva para que se não molhasse.
O macaco de cauda curta estava todo molhado.


*nao apanha macaco de cauda curta como entidade 
-----     output    -------    

O	o	DA0MS0
Presidente_da_República	presidente_da_república	NP00000
visitou	visitar	VMIS3S0
a	o	DA0FS0
Guiné_Equatorial	guiné_equatorial	NP00000
.	.	Fp
O	o	DA0MS0
Primeiro_Ministro	primeiro_ministro	NP00000
,	,	Fc
por	por	SPS00
sua	sua	PX3FS0P0
vez	vez	NCFS000
,	,	Fc
ficou	ficar	VMIS3S0
se	se	PP3CN000
Vila_Real_de_Santo_António	vila_real_de_santo_antónio	NP00000
.	.	Fp
Como	como	CS
estava	estar	VMII3S0
a	a	SPS00
chover	chover	VMN0000
,	,	Fc
usou	usar	VMIS3S0
um	um	DI0MS0
guarda	guarda	NCCS000
chuva	chuva	NCFS000
para	para	SPS00
que	que	PR0CN000
se	se	PP3CN000
não	não	RN
molhasse	molhar	VMSI3S0
.	.	Fp
O	o	DA0MS0
macaco	macaco	NCMS000
de	de	SPS00
cauda	cauda	NCFS000
curta	curto	AQ0FS0
estava	estar	VMII3S0
todo	todo	DI0MS0
molhado	molhar	VMP00SM
.	.	Fp


------- $ perl script8.pl ------ 
#!/usr/bin/env perl

use warnings; # Semantic erros are caught by the compiler
use strict;

use Data::Dumper;
use FL3 'pt';
#use FL3 'en'; -mudar para ingles

my $texto;
{ #scope para conter código local
	 #TOKENIZE funciona sobre string

	open my $fh, "<:utf8" ,  "texto4.txt" or die "Can't open file!\n";        
	# <:encoding que queremos usar  latin1 seria "<:encoding(iso-8859-1)"
	# perl dá erro se houver algo que fuja ao utf8

	local $/=undef; #split em \n
				#n é aconselhavel pq $/ é variavel global
				# podemos definir $/ como local
	$texto = <$fh>; 
	close $fh;

} 
binmode STDOUT, ":utf8";

my $tokens = tokenizer->tokenize($texto);
#segmentação
my $frases = splitter->split($tokens);

#analise morfologica
$frases = morph->analyze($frases);

$frases = relax->tag($frases);
$frases = nec->analyze($frases); #nec-> ML-based NE classificator. 

	for my $f (@$frases){
		my @words = $f->words();
		for my $w (@words){  #mais que uma análise à mesma palavra
			my $h = $w->as_hash();
			print join("\t", map{ $h->{$_}} (qw.form lemma tag.))."\n"; #map - definir elementos que queremos - meter em lista, separar por tab
		
		}
	}



-------   output ---------   #texto4


O	o	DA0MS0
Presidente_da_República	presidente_da_república	NP00SP0
visitou	visitar	VMIS3S0
a	o	DA0FS0
Guiné_Equatorial	guiné_equatorial	NP00O00
.	.	Fp
O	o	DA0MS0
Primeiro_Ministro	primeiro_ministro	NP00SP0
,	,	Fc
por	por	SPS00
sua	sua	PX3FS0P0
vez	vez	NCFS000
,	,	Fc
ficou	ficar	VMIS3S0
se	se	PP3CN000
Vila_Real_de_Santo_António	vila_real_de_santo_antónio	NP00G00
.	.	Fp
Como	como	CS
estava	estar	VMII3S0
a	a	SPS00
chover	chover	VMN0000
,	,	Fc
usou	usar	VMIS3S0
um	um	DI0MS0
guarda	guarda	NCCS000
chuva	chuva	NCFS000
para	para	SPS00
que	que	PR0CN000
se	se	PP3CN000
não	não	RN
molhasse	molhar	VMSI3S0
.	.	Fp




--------texto6.txt--------
New York is holding presidential primaries seen as key for both Republican and Democratic front-runners after their recent defeats.

Democratic hopeful Hillary Clinton, a former senator for New York, is expected to win against Brooklyn-born Vermont Senator Bernie Sanders.



*Em inglês
------    output       -------- 


New	new	JJ
York	york	NP00G00
is	be	VBZ
holding	hold	VBG
presidential	presidential	JJ
primaries	primary	NNS
seen	see	VBN
as	as	IN
key	key	JJ
for	for	IN
both	both	DT
Republican	republican	NP00V00
and	and	CC
Democratic	democratic	NP00V00
front-runners	front-runners	NNS
after	after	IN
their	their	PRP$
recent	recent	JJ
defeats	defeat	NNS
.	.	Fp
Democratic	democratic	JJ
hopeful	hopeful	JJ
Hillary_Clinton	hillary_clinton	NP00SP0
,	,	Fc
a	1	Z
former	former	JJ
senator	senator	NN
for	for	IN
New_York	new_york	NP00G00
,	,	Fc
is	be	VBZ
expected	expect	VBN
to	to	TO
win	win	VB
against	against	IN
Brooklyn-born_Vermont_Senator_Bernie_Sanders	brooklyn-born_vermont_senator_bernie_sanders	NP00O00
.	.	Fp