データエンジニアリング– category –

$ curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" $ chmod +x ~/bin/digdag $ echo 'export PATH="$HOME/bin:$PATH"' インストールされているかを確認しましょう。 $ digdag --version バージョンが表示されれば完了です。 ...

【Supervisorインストール】 まずはeasy_installを使ってsupervisorをインストールします。 $ sudo easy_install supervisor もし、「コマンドが見つかりません」と表示された場合は、まだeasy_installがインストールされていない状態ですので、easy_insta...

【概要】 今回はEmbulkの基本的なプラグインのインストール方法と 実運用を考慮したbundleでプラグインを管理していく方法を解説いたします。 【Embulk gem install プラグイン名】 基本はこの形でプラグインをインストールすることができます。 $ embulk ...

【概要】 今回は、ワークフローエンジンのDigdagのインストール手順を解説していきます。 DigdagはJavaの環境を必要としていますので、環境が整っていない方は先にこちらの記事から整備をしてください。 Java8のインストール また、Digdagをサーバーとして...

【概要】 今回はGCEのCentOS7にJava8をインストールする手順について解説します。 インストールするJavaはOpenJDKです。 【java8（OpenJDK）のインストール】 [code] sudo yum install java-1.8.0-openjdk [/code] 【インストールされたかを確認】 [code] ...

【Embulkとは】 ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 プラグインアーキテクチャ 高速な並列・分散処理 設定ファイルの推測と提案 リトライとリジューム オープンソース ...