http://freesource.info/wiki/ТЗ/ЛингвистическаяБиблиотека History/revisions of FreeSource/ТЗ/ЛингвистическаяБиблиотека en-us http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-10-08+11%3A28%3A36 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a name=".tz.lingvisticheskajabiblioteka" href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-10-08+11%3A28%3A36">2005-10-08 11:28:36</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka">2007-08-30 08:06:39</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><ul><li> Определение близости с</li></ul> 1000<br /> лова (Левинштейн) (из stardict)<br /> <ul><li> ((<a href="http://www.kuban.ru/cgi-bin/forum/forum9.cgi?page=1" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />http://www.kuban.ru/cgi-bin/forum/forum9.cgi?page=1</a></li></ul></div><br /> <b>Удалено:</b><br /> <div class="deletions"><ul><li> Определение близости слова (Левинштейн) (из stardict) </li><li> <a href="http://www.kuban.ru/cgi-bin/forum/forum9.cgi?page=1&amp;ask=227905" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Родительный падеж в&nbsp;1С</a> </li><li> <a href="http://www.pixel-apes.com/typografica" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Типографика</a> </li><li> <a href="http://oomnik.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Открытый лингвистический интерпретатор русского языка</a></li></ul><a name="h324-1"></a><h2> Авторы </h2> Андрей Черепанов<br /> Виталий Липатов<br /> <!--notypo-->{{backlinks}}<!--/notypo--></div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-05-09+14%3A00%3A28 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+14%3A00%3A28">2005-05-09 14:00:28</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-10-08+11%3A28%3A36">2005-10-08 11:28:36</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><ul><li> <a href="http://oomnik.ru/" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Открытый лингвистический интерпретатор русского языка</a></li></ul></div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-05-09+13%3A47%3A31 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+13%3A47%3A31">2005-05-09 13:47:31</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+14%3A00%3A28">2005-05-09 14:00:28</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><a name=".tz.lingvisticheskieinstrumenty" href="http://freesource.info/wiki/TZ/LingvisticheskieInstrumenty&" class="" title="ТЗ&nbsp;/&nbsp;Лингвистические&nbsp;Инструменты">Линвистические инструменты</a> должны быть реализованы в&nbsp;форме <a name="h324-1"></a><h2> Авторы </h2></div><br /> <b>Удалено:</b><br /> <div class="deletions">Линвистические инструменты должны быть реализованы в&nbsp;форме <a name="h324-1"></a><h2> О&nbsp;ситуации с&nbsp;инструментарием анализа и&nbsp;сравнения текстов </h2> В&nbsp;книге Дена Гасфилда ``Строки, деревья и&nbsp;последовательности в&nbsp;алгоритмах: Информатика и&nbsp;вычислительная биология'' СПб: Невский диалект, 1996. <br /> (Оригинал: Dan&nbsp;Gusfield Algorithms on&nbsp;Strings, Trees and&nbsp;Sequences: Computer science and&nbsp;computational biology, Cambridge Univ. Press)<br /> описано то, как&nbsp;считали сходство в&nbsp;последовательностях ДНК. Эти&nbsp;же&nbsp;алгоритмы могут быть применены в&nbsp;лингвистике для&nbsp;обсчёта корпусов текстов, после необходимой адаптации.<br /> Где-то рядом с&nbsp;главной страницей описания проекта darcs есть упоминание (<span class="cite">не нашёл</span>), что&nbsp;какой-то студентус пишет diff для&nbsp;документов в&nbsp;xml, но&nbsp;дело тут&nbsp;не&nbsp;в xml, а&nbsp;в сравнении текстов, в&nbsp;которых бывает переформатирование и&nbsp;переписывание. <br /> Вообще все&nbsp;проблемы с&nbsp;переползанием слов упираются чуть ли&nbsp;не в&nbsp;теоретические ограничения: все&nbsp;известные мне&nbsp;алгоритмы сравнения строк (у Гасфилда и&nbsp;т. п.) основаны на&nbsp;понятии редакционной строки (операции вставки, удаления, замены), в&nbsp;которой нет&nbsp;перестановок. Перестановка &mdash; двухместная операция, так&nbsp;что вроде бы&nbsp;получается, что&nbsp;сравнение строк с&nbsp;перестановками &mdash; NP-полная задача. Со&nbsp;всеми вытекающими в&nbsp;виде отсутствия нормального diff для&nbsp;текстов, который, в&nbsp;действительности, сейчас нужен всем и&nbsp;ОЧЕНЬ СИЛЬНО.<br /> Кирилл Маслинский</div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-05-09+13%3A03%3A47 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+13%3A03%3A47">2005-05-09 13:03:47</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+13%3A47%3A31">2005-05-09 13:47:31</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Линвистические инструменты должны быть реализованы в&nbsp;форме <br /> <ul><li> вспомогательных библиотек (для программистов, использующих эти&nbsp;средства в&nbsp;своих проектах), </li><li> утилит командной строки.</li></ul> Перед началом работ требуется произвести поиск и&nbsp;анализ существующих проектов, сделать их&nbsp;обзор. Знающие что-либо по&nbsp;теме приглашаются высказаться здесь.<a name="h324-1"></a><h2> Библиотеки </h2> Название ещё нужно обсудить и&nbsp;возможно поменять. Сейчас текущее название liblingvo. Скорее всего это&nbsp;будет часть <a name=".lokalizacija.bibliotekanatspec" href="http://freesource.info/wiki/Lokalizacija/BibliotekaNATSPEC&" class="" title="Локализация&nbsp;/&nbsp;Библиотека&nbsp;NATSPEC">libnatspec</a>, которая будет разбита на&nbsp;низкоуровневую (/lib) и&nbsp;высокоуровневую (/usr/lib) часть.<a name="h324-2"></a><h2> О&nbsp;ситуации с&nbsp;инструментарием анализа и&nbsp;сравнения текстов </h2> В&nbsp;книге Дена Гасфилда ``Строки, деревья и&nbsp;последовательности в&nbsp;алгоритмах: Информатика и&nbsp;вычислительная биология'' СПб: Невский диалект, 1996. <br /> (Оригинал: Dan&nbsp;Gusfield Algorithms on&nbsp;Strings, Trees and&nbsp;Sequences: Computer science and&nbsp;computational biology, Cambridge Univ. Press)<br /> описано то, как&nbsp;считали сходство в&nbsp;последовательностях ДНК. Эти&nbsp;же&nbsp;алгоритмы могут быть применены в&nbsp;лингвистике для&nbsp;обсчёта корпусов текстов, после необходимой адаптации.<br /> Где-то рядом с&nbsp;главной страницей описания проекта darcs есть упоминание (<span class="cite">не нашёл</span>), что&nbsp;какой-то студентус пишет diff для&nbsp;документов в&nbsp;xml, но&nbsp;дело тут&nbsp;не&nbsp;в xml, а&nbsp;в сравнении текстов, в&nbsp;которых бывает переформатирование и&nbsp;переписывание. <br /> Вообще все&nbsp;проблемы с&nbsp;переползанием слов упираются чуть ли&nbsp;не в&nbsp;теоретические ограничения: все&nbsp;известные мне&nbsp;алгоритмы сравнения строк (у Гасфилда и&nbsp;т. п.) основаны на&nbsp;понятии редакционной строки (операции вставки, удаления, замены), в&nbsp;которой нет&nbsp;перестановок. Перестановка &mdash; двухместная операция, так&nbsp;что вроде бы&nbsp;получается, что&nbsp;сравнение строк с&nbsp;перестановками &mdash; NP-полная задача. Со&nbsp;всеми вытекающими в&nbsp;виде отсутствия нормального diff для&nbsp;текстов, который, в&nbsp;действительности, сейчас нужен всем и&nbsp;ОЧЕНЬ СИЛЬНО.<br /> Кирилл Маслинский<br /> Андрей Черепанов<br /> Виталий Липатов</div><br /> <b>Удалено:</b><br /> <div class="deletions">Название ещё нужно обсудить и&nbsp;возможно поменять. Сейчас текущее название liblingvo.<br /> Скорее всего это&nbsp;будет часть <a href="http://freesource.info/wiki/Lokalizacija/BibliotekaNATSPEC&" class="" title="Локализация&nbsp;/&nbsp;Библиотека&nbsp;NATSPEC">libnatspec</a>, которая будет разбита на&nbsp;низкоуровневую (/lib) и&nbsp;высокоуровневую (/usr/lib) часть.</div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-05-04+13%3A22%3A02 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-04+13%3A22%3A02">2005-05-04 13:22:02</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-09+13%3A03%3A47">2005-05-09 13:03:47</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Скорее всего это&nbsp;будет часть <a href="http://freesource.info/wiki/Lokalizacija/BibliotekaNATSPEC&" class="" title="Локализация&nbsp;/&nbsp;Библиотека&nbsp;NATSPEC">libnatspec</a>, которая будет разбита на&nbsp;низкоуровневую (/lib) и&nbsp;высокоуровневую (/usr/lib) часть.<br /> <ul><li> перекодирование с&nbsp;транслитерацией (реализовано в&nbsp;libnatspec) </li><li> Склонение фамилий (например, мой&nbsp;алгоритм из&nbsp;1С) </li><li> определение наличия буквы ё в&nbsp;слове (см. пакет <a href="http://sisyphus.ru/srpm/dict-yo" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />http://sisyphus.ru/srpm/dict-yo</a> </li><li> нормализация знаков препинания в&nbsp;тексте (к примеру, взять то&nbsp;что я&nbsp;делал для&nbsp;форматирования?) </li><li> нормализация знаков в&nbsp;html-разметке </li><li> на&nbsp;эти темы много статей на&nbsp;английском... </li><li> проверка орфографии одновременно на&nbsp;нескольких языках, используемых в&nbsp;тексте </li><li> словарь синонимов (например, <a href="http://sisyphus.ru/srpm/aiksaurus" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Aiksaurus</a>) </li><li> возможность посмотреть определение (чего? слова?) </li><li> перевод слова (на другой язык?) </li><li> распознавание текста с&nbsp;форматированием (подобное <a href="http://www.pixel-apes.com/typografica" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />реализовано</a> в&nbsp;<a href="http://wackowiki.com" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />WackoWiki</a>, например) </li><li> <a href="http://www.pixel-apes.com/typografica" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Типографика</a></li></ul></div><br /> <b>Удалено:</b><br /> <div class="deletions">Скорее всего это&nbsp;будет часть libnatspec, которая будет разбита на&nbsp;низкоуровневую (/lib) и&nbsp;высокоуровневую (/usr/lib) часть.<br /> <ul><li> перекодирование с&nbsp;транслитерацией </li><li> Склонение фамилий (мой алгоритм из&nbsp;1С?) </li><li> нормализация знаков препинания в&nbsp;тексте </li><li> нормализация знаков в&nbsp;html-разметке </li><li> на&nbsp;эти темы много статей на&nbsp;Английском... </li><li> проверка орфографии одновременно на&nbsp;нескольких языках </li><li> словарь синонимов </li><li> возможность посмотреть определение </li><li> перевод слова </li><li> распознавание текста с&nbsp;форматированием</li></ul></div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-03-28+22%3A31%3A19 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-03-28+22%3A31%3A19">2005-03-28 22:31:19</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-05-04+13%3A22%3A02">2005-05-04 13:22:02</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><ul><li> <a href="http://www.kuban.ru/cgi-bin/forum/forum9.cgi?page=1&amp;ask=227905" target="_blank" title="Внешняя ссылка (откроется в новом окне)" class="outerlink"><img src="http://freesource.info/wiki/themes/coffee/icons/web.gif" alt="" border="0" />Родительный падеж в&nbsp;1С</a></li></ul></div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-02-26+19%3A56%3A57 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-02-26+19%3A56%3A57">2005-02-26 19:56:57</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-03-28+22%3A31%3A19">2005-03-28 22:31:19</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions">Черепанов Андрей:<br /> <ul><li> проверка орфографии одновременно на&nbsp;нескольких языках </li><li> проверка грамматики </li><li> проверка стиля </li><li> словарь синонимов </li><li> словарь антонимов </li><li> возможность посмотреть определение </li><li> перевод слова </li><li> распознавание текста с&nbsp;форматированием</li></ul></div></div> http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka/show?time=2005-02-26+19%3A56%3A09 <div class="pageBefore"><img src="http://freesource.info/wiki/images/z.gif" width="1" height="1" border="0" alt="" style="display:block" align="top" /></div><div class="page"> <b>Сравнение версий <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka&" class="">/ТЗ&nbsp;/&nbsp;Лингвистическая&nbsp;Библиотека</a> за <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-02-26+19%3A56%3A09">2005-02-26 19:56:09</a> и <a href="http://freesource.info/wiki/TZ/LingvisticheskajaBiblioteka?time=2005-02-26+19%3A56%3A57">2005-02-26 19:56:57</a></b><br /> <br /> <b>Добавлено:</b><br /> <div class="additions"><!--notypo-->{{backlinks}}<!--/notypo--></div></div>