Backend: Add stopwords for fulltext indexing

Signed-off-by: Michael Mayer <michael@liquidbytes.net>
This commit is contained in:
Michael Mayer 2020-01-04 12:09:44 +01:00
parent 26d0e80379
commit c87ec0a07a
2 changed files with 4203 additions and 4945 deletions

View file

@ -1,3 +1,36 @@
abc
xyz
jpg
jpeg
png
gif
tif
tiff
xmp
xml
yml
yaml
raw
zip
tar
txt
doc
heif
heic
iso
webm
mpg
mpeg
mpe
mpv
ogg
avi
wmv
mov
qt
flv
swf
avchd
img
src
photo

View file

@ -2,6 +2,39 @@
package util
var Stopwords = map[string]bool{
"abc": true,
"xyz": true,
"jpg": true,
"jpeg": true,
"png": true,
"gif": true,
"tif": true,
"tiff": true,
"xmp": true,
"xml": true,
"yml": true,
"yaml": true,
"raw": true,
"zip": true,
"tar": true,
"txt": true,
"doc": true,
"heif": true,
"heic": true,
"iso": true,
"webm": true,
"mpg": true,
"mpeg": true,
"mpe": true,
"mpv": true,
"ogg": true,
"avi": true,
"wmv": true,
"mov": true,
"qt": true,
"flv": true,
"swf": true,
"avchd": true,
"img": true,
"src": true,
"photo": true,
@ -4139,812 +4172,4 @@ var Stopwords = map[string]bool{
"каждые": true,
"каждый": true,
"кажется": true,
"казаться": true,
"как": true,
"какая": true,
"какой": true,
"кем": true,
"книга": true,
"когда": true,
"кого": true,
"ком": true,
"комната": true,
"кому": true,
"конец": true,
"конечно": true,
"которая": true,
"которого": true,
"которой": true,
"которые": true,
"который": true,
"которых": true,
"кроме": true,
"кругом": true,
"кто": true,
"куда": true,
"лежать": true,
"лет": true,
"ли": true,
"лицо": true,
"лишь": true,
"лучше": true,
"любить": true,
"люди": true,
"м": true,
"маленький": true,
"мало": true,
"мать": true,
"машина": true,
"между": true,
"меля": true,
"менее": true,
"меньше": true,
"меня": true,
"место": true,
"миллионов": true,
"мимо": true,
"минута": true,
"мир": true,
"мира": true,
"мне": true,
"много": true,
"многочисленная": true,
"многочисленное": true,
"многочисленные": true,
"многочисленный": true,
"мной": true,
"мною": true,
"мог": true,
"могу": true,
"могут": true,
"мож": true,
"может": true,
"может быть": true,
"можно": true,
"можхо": true,
"мои": true,
"мой": true,
"мор": true,
"москва": true,
"мочь": true,
"моя": true,
"моё": true,
"мы": true,
"на": true,
"наверху": true,
"над": true,
"надо": true,
"назад": true,
"наиболее": true,
"найти": true,
"наконец": true,
"нам": true,
"нами": true,
"народ": true,
"нас": true,
"начала": true,
"начать": true,
"наш": true,
"наша": true,
"наше": true,
"наши": true,
"не": true,
"него": true,
"недавно": true,
"недалеко": true,
"нее": true,
"ней": true,
"некоторый": true,
"нельзя": true,
"нем": true,
"немного": true,
"нему": true,
"непрерывно": true,
"нередко": true,
"несколько": true,
"нет": true,
"нею": true,
"неё": true,
"ни": true,
"нибудь": true,
"ниже": true,
"низко": true,
"никакой": true,
"никогда": true,
"никто": true,
"никуда": true,
"ним": true,
"ними": true,
"них": true,
"ничего": true,
"ничто": true,
"но": true,
"новый": true,
"нога": true,
"ночь": true,
"ну": true,
"нужно": true,
"нужный": true,
"нх": true,
"о": true,
"об": true,
"оба": true,
"обычно": true,
"один": true,
"одиннадцатый": true,
"одиннадцать": true,
"однажды": true,
"однако": true,
"одного": true,
"одной": true,
"оказаться": true,
"окно": true,
"около": true,
"он": true,
"она": true,
"они": true,
"оно": true,
"опять": true,
"особенно": true,
"остаться": true,
"от": true,
"ответить": true,
"отец": true,
"откуда": true,
"отовсюду": true,
"отсюда": true,
"очень": true,
"первый": true,
"перед": true,
"писать": true,
"плечо": true,
"по": true,
"под": true,
"подойди": true,
"подумать": true,
"пожалуйста": true,
"позже": true,
"пойти": true,
"пока": true,
"пол": true,
"получить": true,
"помнить": true,
"понимать": true,
"понять": true,
"пор": true,
"пора": true,
"после": true,
"последний": true,
"посмотреть": true,
"посреди": true,
"потом": true,
"потому": true,
"почему": true,
"почти": true,
"правда": true,
"прекрасно": true,
"при": true,
"про": true,
"просто": true,
"против": true,
"процентов": true,
"путь": true,
"пятнадцатый": true,
"пятнадцать": true,
"пятый": true,
"пять": true,
"работа": true,
"работать": true,
"раз": true,
"разве": true,
"рано": true,
"раньше": true,
"ребенок": true,
"решить": true,
"россия": true,
"рука": true,
"русский": true,
"ряд": true,
"рядом": true,
"с": true,
"с кем": true,
"сам": true,
"сама": true,
"сами": true,
"самим": true,
"самими": true,
"самих": true,
"само": true,
"самого": true,
"самой": true,
"самом": true,
"самому": true,
"саму": true,
"самый": true,
"свет": true,
"свое": true,
"своего": true,
"своей": true,
"свои": true,
"своих": true,
"свой": true,
"свою": true,
"сделать": true,
"сеаой": true,
"себе": true,
"себя": true,
"сегодня": true,
"седьмой": true,
"сейчас": true,
"семнадцатый": true,
"семнадцать": true,
"семь": true,
"сидеть": true,
"сила": true,
"сих": true,
"сказал": true,
"сказала": true,
"сказать": true,
"сколько": true,
"слишком": true,
"слово": true,
"случай": true,
"смотреть": true,
"сначала": true,
"снова": true,
"со": true,
"собой": true,
"собою": true,
"советский": true,
"совсем": true,
"спасибо": true,
"спросить": true,
"сразу": true,
"стал": true,
"старый": true,
"стать": true,
"стол": true,
"сторона": true,
"стоять": true,
"страна": true,
"суть": true,
"считать": true,
"т": true,
"та": true,
"так": true,
"такая": true,
"также": true,
"таки": true,
"такие": true,
"такое": true,
"такой": true,
"там": true,
"твои": true,
"твой": true,
"твоя": true,
"твоё": true,
"те": true,
"тебе": true,
"тебя": true,
"тем": true,
"теми": true,
"теперь": true,
"тех": true,
"то": true,
"тобой": true,
"тобою": true,
"товарищ": true,
"тогда": true,
"того": true,
"тоже": true,
"только": true,
"том": true,
"тому": true,
"тот": true,
"тою": true,
"третий": true,
"три": true,
"тринадцатый": true,
"тринадцать": true,
"ту": true,
"туда": true,
"тут": true,
"ты": true,
"тысяч": true,
"у": true,
"увидеть": true,
"уж": true,
"уже": true,
"улица": true,
"уметь": true,
"утро": true,
"хороший": true,
"хорошо": true,
"хотел бы": true,
"хотеть": true,
"хоть": true,
"хотя": true,
"хочешь": true,
"час": true,
"часто": true,
"часть": true,
"чаще": true,
"чего": true,
"человек": true,
"чем": true,
"чему": true,
"через": true,
"четвертый": true,
"четыре": true,
"четырнадцатый": true,
"четырнадцать": true,
"что": true,
"чтоб": true,
"чтобы": true,
"чуть": true,
"шестнадцатый": true,
"шестнадцать": true,
"шестой": true,
"шесть": true,
"эта": true,
"эти": true,
"этим": true,
"этими": true,
"этих": true,
"это": true,
"этого": true,
"этой": true,
"этом": true,
"этому": true,
"этот": true,
"эту": true,
"я": true,
"являюсь": true,
"acerca": true,
"adeus": true,
"agora": true,
"ainda": true,
"alem": true,
"algmas": true,
"algumas": true,
"alguns": true,
"ali": true,
"além": true,
"ambas": true,
"ano": true,
"anos": true,
"aonde": true,
"aos": true,
"apoio": true,
"apontar": true,
"apos": true,
"após": true,
"aquela": true,
"aquelas": true,
"aquele": true,
"aqueles": true,
"aquilo": true,
"assim": true,
"através": true,
"atrás": true,
"até": true,
"aí": true,
"baixo": true,
"bem": true,
"boa": true,
"boas": true,
"bom": true,
"bons": true,
"caminho": true,
"catorze": true,
"cedo": true,
"cento": true,
"certamente": true,
"certeza": true,
"cima": true,
"coisa": true,
"comprido": true,
"conhecido": true,
"conselho": true,
"contudo": true,
"corrente": true,
"cuja": true,
"cujas": true,
"cujo": true,
"cujos": true,
"custa": true,
"cá": true,
"daquela": true,
"daquelas": true,
"daquele": true,
"daqueles": true,
"debaixo": true,
"dela": true,
"delas": true,
"dele": true,
"deles": true,
"demais": true,
"depois": true,
"desligado": true,
"dessa": true,
"dessas": true,
"desse": true,
"desses": true,
"desta": true,
"destas": true,
"deste": true,
"destes": true,
"deve": true,
"devem": true,
"deverá": true,
"dez": true,
"dezanove": true,
"dezasseis": true,
"dezassete": true,
"dezoito": true,
"diante": true,
"direita": true,
"dispoe": true,
"dispoem": true,
"diversa": true,
"diversas": true,
"diversos": true,
"diz": true,
"dizem": true,
"dizer": true,
"dois": true,
"doze": true,
"duas": true,
"dá": true,
"dão": true,
"dúvida": true,
"ela": true,
"elas": true,
"ele": true,
"eles": true,
"em": true,
"embora": true,
"enquanto": true,
"entao": true,
"então": true,
"eram": true,
"essa": true,
"essas": true,
"esse": true,
"esses": true,
"estava": true,
"estavam": true,
"esteja": true,
"estejam": true,
"estejamos": true,
"estes": true,
"esteve": true,
"estive": true,
"estivemos": true,
"estiver": true,
"estivera": true,
"estiveram": true,
"estiverem": true,
"estivermos": true,
"estivesse": true,
"estivessem": true,
"estiveste": true,
"estivestes": true,
"estivéramos": true,
"estivéssemos": true,
"estou": true,
"estávamos": true,
"estão": true,
"exemplo": true,
"falta": true,
"fará": true,
"favor": true,
"faz": true,
"fazeis": true,
"fazem": true,
"fazemos": true,
"fazer": true,
"fazes": true,
"fazia": true,
"faço": true,
"fez": true,
"fim": true,
"foi": true,
"fomos": true,
"fora": true,
"foram": true,
"forem": true,
"forma": true,
"formos": true,
"fosse": true,
"fossem": true,
"foste": true,
"fostes": true,
"fôramos": true,
"fôssemos": true,
"geral": true,
"grande": true,
"grupo": true,
"haja": true,
"hajam": true,
"hajamos": true,
"havemos": true,
"havia": true,
"hei": true,
"hoje": true,
"hora": true,
"houve": true,
"houvemos": true,
"houver": true,
"houvera": true,
"houveram": true,
"houverei": true,
"houverem": true,
"houveremos": true,
"houveria": true,
"houveriam": true,
"houvermos": true,
"houverá": true,
"houverão": true,
"houveríamos": true,
"houvesse": true,
"houvessem": true,
"houvéramos": true,
"houvéssemos": true,
"há": true,
"hão": true,
"iniciar": true,
"inicio": true,
"irá": true,
"isso": true,
"ista": true,
"iste": true,
"isto": true,
"já": true,
"lhe": true,
"lhes": true,
"ligado": true,
"local": true,
"logo": true,
"longe": true,
"lá": true,
"maior": true,
"maioria": true,
"maiorias": true,
"meio": true,
"menor": true,
"meses": true,
"mesma": true,
"mesmas": true,
"mesmo": true,
"mesmos": true,
"meu": true,
"meus": true,
"minha": true,
"minhas": true,
"muito": true,
"muitos": true,
"máximo": true,
"mês": true,
"nao": true,
"naquela": true,
"naquelas": true,
"naquele": true,
"naqueles": true,
"nas": true,
"nem": true,
"nenhuma": true,
"nessa": true,
"nessas": true,
"nesse": true,
"nesses": true,
"nesta": true,
"nestas": true,
"neste": true,
"nestes": true,
"noite": true,
"nome": true,
"nossa": true,
"nossas": true,
"nosso": true,
"nossos": true,
"nova": true,
"novas": true,
"nove": true,
"novo": true,
"novos": true,
"num": true,
"numa": true,
"numas": true,
"nuns": true,
"não": true,
"nível": true,
"nós": true,
"número": true,
"obra": true,
"obrigada": true,
"obrigado": true,
"oitava": true,
"oitavo": true,
"oito": true,
"onde": true,
"ontem": true,
"outra": true,
"outras": true,
"outro": true,
"outros": true,
"paucas": true,
"pegar": true,
"pela": true,
"pelas": true,
"pelo": true,
"pelos": true,
"perante": true,
"perto": true,
"pessoas": true,
"pode": true,
"podem": true,
"poderá": true,
"podia": true,
"pois": true,
"ponto": true,
"pontos": true,
"porquê": true,
"portanto": true,
"posição": true,
"possivelmente": true,
"posso": true,
"possível": true,
"pouca": true,
"pouco": true,
"poucos": true,
"povo": true,
"primeira": true,
"primeiras": true,
"primeiro": true,
"primeiros": true,
"promeiro": true,
"proprio": true,
"própria": true,
"próprias": true,
"próprio": true,
"próprios": true,
"próxima": true,
"próximas": true,
"puderam": true,
"pôde": true,
"põe": true,
"põem": true,
"quais": true,
"qual": true,
"qualquer": true,
"quando": true,
"quanto": true,
"quarta": true,
"quarto": true,
"quatro": true,
"quem": true,
"quer": true,
"quereis": true,
"querem": true,
"queremas": true,
"queres": true,
"quero": true,
"questão": true,
"quieto": true,
"quinta": true,
"quinto": true,
"quáis": true,
"quê": true,
"relação": true,
"sabem": true,
"seja": true,
"sejam": true,
"sejamos": true,
"sem": true,
"sempre": true,
"sendo": true,
"serei": true,
"seria": true,
"seriam": true,
"serão": true,
"sete": true,
"seu": true,
"seus": true,
"sexta": true,
"sexto": true,
"sim": true,
"sistema": true,
"sob": true,
"somente": true,
"sou": true,
"sua": true,
"suas": true,
"são": true,
"sétima": true,
"sétimo": true,
"só": true,
"talvez": true,
"tambem": true,
"também": true,
"tanta": true,
"tantas": true,
"tem": true,
"temos": true,
"tempo": true,
"tendes": true,
"tenha": true,
"tenham": true,
"tenhamos": true,
"tenho": true,
"tens": true,
"tentar": true,
"tentaram": true,
"tentei": true,
"ter": true,
"terceira": true,
"terceiro": true,
"terei": true,
"teremos": true,
"teria": true,
"teriam": true,
"terá": true,
"terão": true,
"teríamos": true,
"teu": true,
"teus": true,
"teve": true,
"tinha": true,
"tinham": true,
"tipo": true,
"tive": true,
"tivemos": true,
"tiver": true,
"tivera": true,
"tiveram": true,
"tiverem": true,
"tivermos": true,
"tivesse": true,
"tivessem": true,
"tiveste": true,
"tivestes": true,
"tivéramos": true,
"tivéssemos": true,
"trabalhar": true,
"trabalho": true,
"treze": true,
"três": true,
"tua": true,
"tuas": true,
"tudo": true,
"tão": true,
"tém": true,
"têm": true,
"tínhamos": true,
"uma": true,
"umas": true,
"vai": true,
"veja": true,
"vem": true,
"vens": true,
"verdade": true,
"verdadeiro": true,
"vezes": true,
"viagem": true,
"vindo": true,
"vinte": true,
"você": true,
"vocês": true,
"vossa": true,
"vossas": true,
"vosso": true,
"vossos": true,
"vários": true,
"vão": true,
"vêm": true,
"vós": true,
"às": true,
"área": true,
"é": true,
"és": true,
}