Введение………………………………………………………………………3 Основная часть……………………………………………………………….5 Заключение…………………………………………………………………..20 Список использованных источников……………………………………...22

Подходы к автоматизации процесса анализа слов и предложений

реферат
Языкознание
16 страниц
100% уникальность
2012 год
93 просмотров
Губанова М.
Эксперт по предмету «Лингвистика»
Узнать стоимость консультации
Это бесплатно и займет 1 минуту
Оглавление
Введение
Заключение
Список литературы
Введение………………………………………………………………………3 Основная часть……………………………………………………………….5 Заключение…………………………………………………………………..20 Список использованных источников……………………………………...22
Читать дальше
Говоря о лингвистическом анализе письменного текста, необходимо определить текст как таковой. Текст рассматриваетсякак закрытая система сложной внутренней организации, все элементы и уровни которой находятся в тесном взаимодействии и ориентированы авторской точкой зрения на передачу определённой эстетико-познавательной информации. Письменный текст отвечает всем общетекстовымдефинициям: он обладает структурно-смысловым единством, упорядоченной последовательностью единиц, его составляющих, законченностью коммуникативной целенаправленностью.1 ЖеребилоСловарь лингвистических терминов: Изд.


Доверьте написание магистерской диссертации в Нижнем Новгороде профессианалам Work5.


. 5-е,испр-е идополн. — Назрань: Изд-во "Пилигрим". Т.В. Жеребило. 2010. Для выполнения следующей работы необходимо также рассмотреть понятие «анализ». АНАЛИЗ — (от греч. analyeinразбирать). 1) разбор, разложение па составные части, элементы, расчленение. 2) способность ума разделять познаваемое понятие на составные части по его признакам.2 Ожегов С.И., Шведова Н.Ю. «Толковый словарь русского языка, 3 издание, 72500 слов и 7500 фразеологических выражений». – Москва: «Азъ», 1996. Во время анализаязыковых средств сточки зрения теории информациирассматриваются основные категории текста:когезия, проспекция, ретроспекция, суггестивность, эмерджентность, континуум.3 И.Р. Гальперина "Текст как объект лингвистического исследования". – М.:Наука, 1981. – 139 с. «Автоматизаторпроцессов морфологического анализа и статистической обработки текста» – прикладная компьютерная программа, предназначенная для детального анализа текста с учетом морфологии и особенностей русского языка. Уникальность программы состоит в подробном анализе текста, с разбиением слов на морфемы и получением их парадигм. Таким образомавтоматизация процесса обработки слов и предложений возможна только с помощью специальных программ. Это одна из самых актуальных программ лингвистики на сегодняшний день. Проблема обработки естественно-языковых текстов, «понимания» языка компьютером была и остается актуальной. Среди множества задач, которые сводятся к решению данной проблемы, можно назвать такие, как общение с компьютером на естественном языке, информационный поиск, машинный перевод, извлечение содержательной информации из текстов, пополнение баз знанийи создание различных словарей: частотных, авторских и др. Попытаемся рассмотреть основные возможности автоматизации процесса анализа слов и предложений. Предметом нашего исследования несомненно будет –язык. Основная часть Когда предметом научного исследования является такой объект, как язык, то становится очевидным, что все вопросы относительно каждого языкового факта надо решать одновременно, и прежде всего надо решать вопрос о том, что следует считать языковым фактом, то есть вопрос о выборе критериев для его определения как такового. Коренное изменение, происшедшее в лингвистической науке, заключается в следующем: признано, что язык необходимо описывать как формальную структуру, но что такое описание требует предварительно соответствующих процедур и критериев и что в целом реальность исследуемого объекта неотделима от метода, посредством которого объект определяют. Следовательно, ввиду исключительной сложности языка мы должны стремиться к упорядочению как изучаемых явлений (с целью их классификации в соответствии с определенным логическим принципом), так и методов анализа, чтобы создать непротиворечивое описание, построенное на основе одних и тех же понятий и критериев. Основным понятием для определения процедуры анализа будет понятие уровня. Лишь с помощью этого понятия удается правильно отразить такую существенную особенность языка, как его членораздельный характер и дискретность его элементов. Цель всей процедуры анализа заключается в том, чтобы выделить элементы на основе связывающих их отношений. Эта процедура состоит из двух взаимообусловленных операций, от которых зависят и все остальные: 1) сегментация и 2) субституция. В процессе анализа рассматриваются разные уровни текста: лексический (изучение тематических полей слов и особенностей отдельного слова), синтаксический (принцип сочетания слов, предложений, особенности структуры сложного синтаксического целого), композиционно-синтаксический (определение типа повествования, взаимодействия речевых структур, пространственно- временная и субъективная организация текста абзаца). Кроме того, особое внимание уделяется выявлению имплицитных «элементов» текста. Порядок рассмотрения названных уровней свободен и задаётся спецификой конкретного произведения. Рассматриваемый текст любой длиныпрежде всего должен быть сегментирован на все более мелкие отрезки, пока не будет сведен к неразложимым далее элементам. Параллельно этому элементы отождествляются при помощи допустимых субституций.Так, например, франц. raison«разум» сегментируется на [r] - [?] - [z] - [?], где можно произвести подстановки [s] вместо [r] (=saison«сезон»); [а] вместо [??] (=rasons- 1 л. мн. ч. глаголаraser«бриться»); [у] вместо [z] (=rayon«луч»); [??] вместо [?] (=raisin«виноград»).Эти субституции могут быть перечислены: класс субститутов, возможных для [r] в [rez?], состоит из [b], [s], [m], [t], [v]. Применяя к остальным трем элементам в [rez?] ту же процедуру, получим перечень всех допустимых субституций, каждая из которых позволит в свою очередь выявить такой сегмент, который может быть отождествлен с некоторым сегментом, входящим в состав других знаков. 4

Читать дальше
Проблемаавтоматизации анализа слов и предложений, «понимания» языка компьютером была и остается актуальной. Среди множества задач, которые сводятся к решению данной проблемы, можно назвать такие, как общение с компьютером на естественном языке, информационный поиск, машинный перевод, извлечение содержательной информации из текстов, пополнение баз знанийи создание различных словарей: частотных, авторских и др. Цель всей процедуры анализа заключается в том, чтобы выделить элементы на основе связывающих их отношений. Эта процедура состоит из двух взаимообусловленных операций, от которых зависят и все остальные: 1) сегментация и 2) субституция. В процессе анализа рассматриваются разные уровни текста: лексический (изучение тематических полей слов и особенностей отдельного слова), синтаксический (принцип сочетания слов, предложений, особенности структуры сложного синтаксического целого), композиционно-синтаксический (определение типа повествования, взаимодействия речевых структур, пространственно- временная и субъективная организация текста абзаца). Кроме того, особое внимание уделяется выявлению имплицитных «элементов» текста. Порядок рассмотрения названных уровней свободен и задаётся спецификой конкретного произведения. Современные достижения программистов значительно упростили этот процесс. Уже существует много видов программ. Вот основные из них: - программы анализа и лингвистической обработки текстов; - программы преобразования текстов; - психолингвистические программы; - генераторы текстов и "говорящие" программы; - системы обработки естественного языка; - коллекции ресурсов; - словари и тезаурусы. Среди программ анализа и лингвистической обработки текстов распространены и общеупотребительны следующие: CarnegiMelonUniversity, USA LinkGrammarParser– этосинтаксическийпарсеранглийского языка; компьютерные системы лингвистического анализа текстов, представленных в Unicode; программа для синтаксического и морфологического анализа русскоязычных текстов; On-lineморфологическийпарсерЯndexи другие. Уже началось использование этих программ в лингвистике. Список использованных источников БенвенистЭ. Общая лингвистика. - М., 1974. - С. 129-140 Варга Д. «Проблемы осуществления морфологического анализа при машинном переводе». – Москва: ВИНИТИ, 1964. Гальперина И.Р. "Текст как объект лингвистического исследования". – М.:Наука, 1981. – 139 с. ЖеребилоСловарь лингвистических терминов: Изд. 5-е,испр-е и дополн. — Назрань: Изд-во "Пилигрим". Т.В. Жеребило. 2010. Марчук Ю.Н. Компьютерная лингвистика:учебное пособие-М.: АСТ: Восток-Запад, 2008. -317с. Ожегов С.И., Шведова Н.Ю. «Толковый словарь русского языка, 3 издание, 72500 слов и 7500 фразеологических выражений». – Москва: «Азъ», 1996. Якобсон Р. «Избранные работы по лингвистике». – Благовещенск: БГК им. И.А. БодуэнадеКуртенэ, 1998. http://www.intext.de/textanae.htm– Каталог ресурсов по анализу текстов. http://research.metric.ru– Технологии анализа и поиска текстовой информации. http://www.rvb.ru/soft/catalogue/catalogue.html– Каталог лингвистических программ и ресурсов.
Читать дальше
1. Бенвенист Э. Общая лингвистика. - М., 1974. - С. 129-140 2. Варга Д. «Проблемы осуществления морфологического анализа при машинном переводе». – Москва: ВИНИТИ, 1964. 3. Гальперина И.Р. "Текст как объект лингвистического исследования". – М. : Наука, 1981. – 139 с. 4. Жеребило Словарь лингвистических терминов: Изд. 5-е, испр-е и дополн. — Назрань: Изд-во "Пилигрим". Т.В. Жеребило. 2010. 5. Марчук Ю.Н. Компьютерная лингвистика: учебное пособие - М.: АСТ: Восток-Запад, 2008. -317с. 6. Ожегов С.И., Шведова Н.Ю. «Толковый словарь русского языка, 3 издание, 72500 слов и 7500 фразеологических выражений». – Москва: «Азъ», 1996. 7. Якобсон Р. «Избранные работы по лингвистике». – Благовещенск: БГК им. И.А. Бодуэна де Куртенэ, 1998. 8. http://www.intext.de/textanae.htm – Каталог ресурсов по анализу текстов. 9. http://research.metric.ru – Технологии анализа и поиска текстовой информации. 10. http://www.rvb.ru/soft/catalogue/catalogue.html – Каталог лингвистических программ и ресурсов.
Читать дальше
Поможем с написанием такой-же работы от 500 р.
Лучшие эксперты сервиса ждут твоего задания

Похожие работы

дипломная работа
"Радио России": история становления, редакционная политика, аудитория. (Имеется в виду радиостанция "Радио России")
Количество страниц:
70
Оригинальность:
61%
Год сдачи:
2015
Предмет:
История журналистики
курсовая работа
26. Центральное (всесоюзное) радиовещание: история создания и развития.
Количество страниц:
25
Оригинальность:
84%
Год сдачи:
2016
Предмет:
История журналистики
практическое задание
Анализ журнала "Индекс. Досье на цензуру"
Количество страниц:
4
Оригинальность:
75%
Год сдачи:
2013
Предмет:
История журналистики
реферат
причины последствия политической борьбы по вопросам построения социализма в ссср в 20-30 годы 20века
Количество страниц:
10
Оригинальность:
100%
Год сдачи:
2010
Предмет:
История Отечества
реферат
международные монополии и их роль на мировом рынке
Количество страниц:
15
Оригинальность:
100%
Год сдачи:
2010
Предмет:
Мировая экономика

Поможем с работой
любого уровня сложности!

Это бесплатно и займет 1 минуту
image