Why and how to use Anaconda in bioinformatics?[EN/PT-BR]

about 1 year ago (Edited)

When I first started to "play" with bioinformatics and dealing with Linux was a pain in the ass... most bioinformatics tools require prerequisites, such as gcc, java and etc. So most of the time I suffered a lot from installing them manually and faced multiple problems with incompatible versions. Sometimes I spent hours just installing a single software on my Linux machine. Now in my new job, I have some other problems. First for some weird reason, in this government job, they don't consider bioinformaticians at the same level as IT careers. So instead of giving me a laptop with all admin rights, they gave me a regular Windows production laptop that they give to people that only use e-mail and MS Office. So many of the tools that I use are difficult to install! Another weird thing is that I used to download lots of tools from the Sourceforge website, which is blocked by our firewall. So the best workaround that I have for now is using a tool that is called Anaconda.

Quando comecei a "brincar" com a bioinformática, lidar com o Linux era um saco... a maioria das ferramentas de bioinformática exige pré-requisitos, como gcc, java etc. Portanto, na maioria das vezes, eu sofria muito ao instalá-los manualmente e enfrentava vários problemas com versões incompatíveis. Às vezes, eu passava horas apenas instalando um único software em minha máquina Linux. Agora, em meu novo emprego, tenho outros problemas. Primeiro, por algum motivo estranho, nesse emprego no governo, eles não consideram os bioinformatas no mesmo nível das carreiras de TI. Portanto, em vez de me darem um laptop com todos os direitos de administrador, deram-me um laptop comum de produção com Windows, que é dado a pessoas que só usam e-mail e o MS Office. Muitas das ferramentas que eu uso são difíceis de instalar! Outra coisa estranha é que eu costumava baixar muitas ferramentas do site Sourceforge, que é bloqueado pelo nosso firewall. Portanto, a melhor solução alternativa que tenho no momento é usar uma ferramenta chamada Anaconda.

What is Anaconda?

Anaconda is a software that can be installed in both Linux and Windows that produces the perfect local environment where you can install many science tools. Including a programming language environment for tons of tools, for example, you can install all Python libraries using this interface or even bioinformatics software that includes all the prerequisites that are necessary, including genome mapping tools, genome assembly, R and machine learning tools. In addition, you can export the environment used into a file, with all versions. That way you can build a pipeline and include this environment so anyone anywhere can use your tool without any problem. Just one P.s. for tools such as Node.Js we still need admin rights, the only way that I found to work around that was finding a nice IT person in here to install me WSL with SUDO permissions, lol.

O que é o Anaconda?

O Anaconda é um software que pode ser instalado tanto no Linux quanto no Windows e que produz o ambiente local perfeito onde você pode instalar muitas ferramentas científicas. Incluindo um ambiente de linguagem de programação para várias ferramentas, por exemplo, você pode instalar todas as bibliotecas Python usando essa interface ou até mesmo um software de bioinformática que inclui todos os pré-requisitos necessários, inclusive ferramentas de mapeamento de genoma, montagem de genoma, R e ferramentas de aprendizado de máquina. Além disso, você pode exportar o ambiente usado em um arquivo, com todas as versões. Dessa forma, você pode criar um pipeline e incluir esse ambiente para que qualquer pessoa, em qualquer lugar, possa usar sua ferramenta sem nenhum problema. Só uma observação: para ferramentas como o Node.Js, ainda precisamos de direitos de administrador. A única maneira que encontrei para contornar isso foi encontrar uma pessoa de TI legal aqui para me instalar o WSL com permissões SUDO, rs.

How to install it?

At first we need to download Anaconda which gives you the complete package of 150 pre-installed modules, or if you don't have much space in the disk you can install Miniconda , in which you install whatever you want, but basically Anaconda has everything that Miniconda has plus these 150 pre-installed modules. The cool thing is that Anaconda brings a nice PowerShell for Windows which is already loaded in its interface.

Como instalá-lo?

Inicialmente precisamos baixar o Anaconda que lhe dá o pacote completo de 150 módulos pré-instalados, ou se você não tiver muito espaço no disco pode instalar o Miniconda , no qual você instala o que quiser, mas basicamente o Anaconda tem tudo que o Miniconda tem mais esses 150 módulos pré-instalados. O legal é que o Anaconda traz um bom PowerShell para Windows que já vem carregado em sua interface.

Anaconda PowerShell.

How to use it?

In Windows, you can install everything using the command "conda install" using its PowerShell, including libraries, IDEs and other software. In Linux you need to activate the environment in the terminal, sometimes when you install it you can configure to always start with this environment and use the commands in this terminal. For example, let's install pandas library from Python:

Como usá-lo?

No Windows, você pode instalar tudo usando o comando "conda install" usando o PowerShell, incluindo bibliotecas, IDEs e outros softwares. No Linux, você precisa ativar o ambiente no terminal; às vezes, ao instalá-lo, você pode configurar para iniciar sempre com esse ambiente e usar os comandos nesse terminal. Por exemplo, vamos instalar a biblioteca pandas do Python:

Using "conda install pandas" install pandas library.

As you can see it will install all the dependencies that you need for this library. Sometimes a tool to install has a different channel, channels are locations where some packages are located. Some bioinformatics tools are only found in bioconda channel, so we will need to use "conda install -c bioconda mytool" .

Como você pode ver, ele instalará todas as dependências de que você precisa para essa biblioteca. Às vezes, uma ferramenta a ser instalada tem um canal diferente; os canais são locais onde alguns pacotes estão localizados. Algumas ferramentas de bioinformática são encontradas apenas no canal bioconda, portanto, precisaremos usar "conda install -c bioconda mytool".

Exporting an environment

To export an environment to a file is easy, it creates a yml file with all versions and tools that you are using for your development. If you type "conda env export > test.yml" , it will create a file test.yml with your environment.

Exportação de um ambiente

É fácil exportar um ambiente para um arquivo, pois ele cria um arquivo yml com todas as versões e ferramentas que você está usando para o seu desenvolvimento. Se você digitar "conda env export > test.yml", será criado um arquivo test.yml com seu ambiente.

Printscreen of the initial part of test.yml file with all conda installed packages.

This exported environment can be used as a source for any pipeline that you guys will be willing to build. Next post I will show an example with Nextflow , which I am using for my pipelines here. I hope that this post helps people to solve their problems.

Esse ambiente exportado pode ser usado como fonte para qualquer pipeline que vocês estejam dispostos a criar. Na próxima postagem, mostrarei um exemplo com o Nextflow, que estou usando para meus pipelines aqui. Espero que esta postagem ajude as pessoas a resolverem seus problemas.

hive-169321 stem stemsocial science proofofbrain cent hive-engine neoxian hivebr archon