BLANCO
-> П
Поиск по тегу "geneticatlas"
1 2 3 »
.genetic_atlas
Давно не было новостей про атлас. Немного переписал код и избавился от redis, так как одного elasticsearch достаточно. Прикрутил дизайн, который написал vojjd. Прикрутил свою реализацию f3-статистики (пока ту, которая на js, а не на c++/CUDA - эту еще пишу). В общем, всё как обычно - двигается, но медленно.
 
Автор: stasundr | O-- | .мыслей 6 [ +3 ]
.geneticatlas
Очень страдаю от недостатка знаний в области верстки, потому что сама идея атласа заключается в том, чтобы он был удобным интерфейсом для хардкорных программ. Видимо, нужно все-таки пройти какой-нибудь курс по html и css.
В остальном, работа идет очень неплохо: атлас умеет готовить для суперкластера задания. Когда кластер выполняет эти задания, он отправляет на сервер атласа результат работы, а атлас уже (если не требуется дополнительной обработки) пересылает все пользователю на почту. Все достаточно прозрачно.
Если бы кто помог с версткой, то все атласом уже можно было нормально пользоваться Cry
 
Еще в лаборатории появляются интересные вопросы относительно "версионирования" образцов, потому  что над каждым набором можно произвести кучу операций и необходимо как-то отслеживать что конкретно было сделано, иначе можно будет попасть в неловкую ситуацию. Опять же, так, чтобы все это делалось как можно незаметнее для пользователя, потому что и так куча работы.
 
PS. Вот такие помидоры дорастают дома пока я в отъезде:
 
Автор: stasundr | O-- | .мыслей 4 [ +2 ]
.geneticatlas
Бедный ноут - всего 4гб оперативной памяти. Не хватает даже для того, чтобы хранить в памяти таблицы с картами генотипирования (в базе ~6,500 человек и на каждого по ~600,000 "букв"). С номерами этих "букв" (SNP) в геноме как раз 4Гб. Приходится пересаживаться на потоки, которые stream'ы. Наверное, оно и к лучшему.
 
Буду теперь вас регулярно мучить новостями про атлас - крепитесь. Ну и фоток чуть-чуть постараюсь завтра выложить Smile
Автор: stasundr | O-- | .мыслей 12 [ +2 ]
.geneticatlas
Я работаю в очень интересном заведении - там все очень "секьюрно". Например, у каждой двери имеется считывалка пропусков (пропуски бывают 3х видов: RFID, с магнитной полоской и со штрихкодом). Соответственно, в пропуске записаны все разрешения на двери, чтобы люди не ходили куда не положено %) Это я молчу про бесконечные камеры и прочие системы защиты.
Так вот, при разработке атласа мне нужно учитывать специфику заведения. То есть, я не могу дать атласу доступ к своему аккаунту на суперкластере просто сохранив пароль где-нибуь в sshpass. В итоге я сделал следующую систему:

  1. Пользователь работает с атласом, после чего результат работы атлас упаковывает в архив, а пользователю выдает его "токен" (32-символьная строка)
  2. Пользователь самостоятельно логинится на суперкластер по ssh
  3. И запускает скрипт, у которого в качестве единственного параметра этот токен
  4. Скрипт скачивает с атласа этот архив, распаковывает и делает все, что нужно (добавляет в планировщик задач кластера задания, которые ты подготовил).
  5. По выполнению задания сам кластер уведомляет пользователя о завершении анализа - все счастливы!

При желании пользователь может сам распаковать этот архив и посмотреть всю пачку заданий для кластера, которые там содержаться, чтобы убедиться, что ничего лишнего там нет. Но, специально для олдфагов, сам скрипт я назвал wishmaster Smile
Автор: stasundr | O-- | .мыслей 3 [ +3 ]
.genetic_atlas
Давно не было новостей про атлас. Так я давно его и не пилил Happy Но буквально вчера меня научили писать тесты, поэтому вернулся к атласу как раз для того, чтобы покрыть код тестами (при помощи mocha и supertest).
 

У меня по-прежнему есть трудности с дизайном клиентской части, которые снова хочу попытаться решить.
Автор: stasundr | O-- | .мыслей 0 [ +1 ]
.genetic_atlas
Получил положительный отзыв на атлас от американских коллег. Значит всё не зря Happy Еще немного потестил атлас на своём "реальном" сервере - все очень шустро работает. PCA буквально за пару минут обсчитывается! В планах ALDER (это уже совсем скоро), формы и регистрация.
Автор: stasundr | O-- | .мыслей 0 [ +2 ]
.genetic_atlas
По-человечески переписал модуль PCA. Теперь никаких конфликтов - можно запускать несколько различных PCA одновременно и все будет нормально работать. А по счастливому совпадению прямо на днях обновилась программа plink, которой я конвертирую файлы с генетической информацией - авторы пишут, что работает все в среднем в 3 раза быстрее. Здорово! Smile + как и хотел разделил redis/elasticsearch и "основной" сервер.
 
Еще хотел показать вам структуру серверной части. С express'ом ~80 строчек кода! Сейчас мне даже не стыдно показывать код кому-нибудь еще Happy
 
Автор: stasundr | O-- | .мыслей 0 [ +3 ]
.genetic_atlas
Немного выпал - нужно очень быстро написать кандидатскую диссертацию (чем сейчас и занимаюсь). В редкие свободные минуты возвращаюсь к атласу. Например, недавно переписал его с использованием фреймворка express. Это просто магия какая-то - всё так поразительно просто и прозрачно. Сейчас хочу разделить сервер на две половины: первая будет как и раньше обслуживать клиентскую сторону, а вторая - это хранилище для redis/elasticsearch.
Автор: stasundr | O-- | .мыслей 3 [ +1 ]
.genetic_atlas
Исправил баг, который мешал проводить PCA на большом количестве образцов. Теперь все хорошо, можно хоть сотнями их анализировать Smile Теперь хочу прикрутить к атласу docker, чтобы легче было горизонтально масштабировать всё это дело и чтобы различные инстансы софта не конфликтовали друг с другом, когда запущено несколько PCA одновременно.
Кроме того, нужно заняться внешним видом и донастройкой ALDER (это уже совсем скоро). Так что сейчас разработка достаточно бодро идёт Smile
 

PS. Вы скажите, если вам такое читать скучно, я тогда меньше деталей про атлас буду выкладывать %)
Автор: stasundr | O-- | .мыслей 8 [ +3 ]
.genetic_atlas
Предлагаю вашему вниманию кино про генетический атлас Happy
 
Автор: stasundr | O-- | .мыслей 3 [ +2 ]