ITANDI TECH BLOG

イタンジのスタッフブログです。イベントや技術情報などを発信しています。

digdag+embulkを使ってテーブル毎にカラムを設定してBigQueryに流し込んでみた

横澤です、平素より格別のご高配を賜り、厚く御礼申し上げます。 先日DWH系のネタについてAthenaとfluentdの二つを書いたのですが、結論としてdigdag+embulkという構成に落ち着いてしまったのでここにご報告させて頂きます。 ここに至った細かい経緯は本記事…

AWS Data PipelineとAthenaを使ってお手軽DWHを3分クッキング

横澤です、いつもお世話になっております。 本当は5月に書こうと思っていたネタなのですが、最近は時空の歪みの影響を強く受ける事があり気づいたら6月になってしまいました。 本題です、本エントリではData Pipelineを使ってRDSデータをS3にエクスポートし…

railsのactive jobでGoole Cloudのpub/subを使う

こんばんは、エンジニアの福崎です。 最近仕事でGCPを使ってます、AWSに比べて情報は少ないけど意外にドキュメント揃っているので ドキュメント読めば簡単なチュートリアルは動かせちゃいます。 まだネットに情報少ないので個人的には公式ドキュメントを読み…

WebpackをRailsに導入する方法を比較する: 後編

こんにちは、エンジニアのケントです。 前編の解説により、webpackerが提供する方法論は js環境構築がとても楽である webpackerが提供する環境に開発がロックインされる ということがわかりました。 後半ではWebpackとRailsを独立して使う方法を解説し、ruby…

WebpackをRailsに導入する方法を比較する: 前編

こんにちは、エンジニアのケントです。 2017年のフロントエンドの開発において、Webpackが大人気です。 イタンジのプロダクトはRailsで開発することが多いのですが、WebpackをRailsに導入することを考える場合、大きく分けて二つの選択肢が考えられます。 ru…

「AIは不動産業界の敵か味方か?」不動産テック最新事例セミナーVol.1を開催しました!

現在、「フィンテック」(金融×IT)の次は「不動産テック」と言われるなど、ビッグデータ解析、AI(人工知能)などを活用し不動産業界にイノベーションを起こそうとする「不動産テック」に対して、注目が集まっています。当社は、今後ますます不動産業界のIT…

機械学習エンジニア育成プログラムを外部にも公開しました

こんにちは、エンジニアの建三です。 前回のブログで機械学習エンジニア社内育成プログラム(MLTP)のお話をしました。開始から一ヶ月程経ち、大分コンテンツが溜まってきました。社内のエンジニアからも分かり易いと好評です。 そこで今回MLTPを外部にも公開…

全エンジニアに機械学習のスキルを

こんにちは、エンジニアの建三です。 イタンジでは先週MLTP(Machine Learning engineer Training Program)なるものを始めました。これは何かというと、イタンジの全エンジニアに機械学習のスキルを身に付けてもらおうという試みです。 これには主に3つの理…

Deep LearningをやるならTensorflowよりもPyTorch!

こんにちは、エンジニアの建三です。 Deep Learningのライブラリと言えばTensorflowが有名ですよね。1年半前にリリースされて以来、一瞬にして知名度を手にしました。僕はその頃Deep Learningを勉強していたので、Hacker NewsでTensorflowがバズってるのを…

汎用的クローラーの構築

こんにちは、エンジニアの建三です。 クローラーを作る際に必要なものは大きく分けて3つあります。 1. URLを取得するスパイダー - 不動産の例で言うと、サイトに掲載されている全物件の詳細ページのURLを取得するスパイダーが必要です。 2. XPath(あるいはC…

プロダクトロードマップとは巨大なフレームワークの表層部分

この記事はProduct Manager Advent Calendar 2016の23日目のエントリーです 横澤です、本年はお世話になりました。来年もよろしくお願い致します。 【プロダクトマネジメントの勃興】 本日はプロダクトマネジメントにおけるプロダクトロードマップの位置付け…

crawleraを使ったクローリングの最適化

これは日本情報クリエイト Engineers Advent Calendar 2016の24日目の記事です。 元日本情報クリエイトのエンジニアなのでOB枠として参加させてもらいます! 日本情報クリエイトは宮崎で不動産系の自社プロダクトを開発し、日本全国に販売している会社です。…

ReduxとReact Routerの相性が悪いのでrouterを一から書いてみた

こんにちは、エンジニアの建三です。 Reactと一緒に使うRouterと言えばReact Routerですよね。しかし僕のReact+ReduxアプリにReact Routerを導入してみると、どうも思うようにいきませんでした。 Reduxは"Single Source of Truth"をモットーにしており、Red…

Hamburger Menu VS Tab - 有名なアプリ15個のUIを調査!

こんにちは、エンジニアの建三です。最近はデザインの仕事が主になってきています。新規事業のモバイルアプリのプロトタイプをSketchとInvisionでせっせと作る日々です。それに伴いUIデザインを最近勉強し始めたんですが、デザインってすごく面白いですね。 …

Twilio × Lambda × API Gateway で PRIMARY HANDLER FAILS を制御する

イタンジエンジニア、濱田です。 今回は、twilioを使っているサービスに障害が発生したときに、slackに通知したり、twilioにかかってきた電話を転送する仕組みを、aws lambda と aws api gatewayで実現する方法についてお話します。 背景 弊社では、twilioを…

Reactを毛嫌いしてるが実は好きになりたい人へ

こんにちは、エンジニアの建三です。今までは機械学習に関する記事ばかり書いていましたが、実はフロントエンドも大好きです。 僕がWeb開発を始めた3年前はJS Framework全盛期だったので、JQueryをすっとばしてAngularから入りました。その後数々のLibrary…

サービス毎にとっちらかったMySQLデータベースをfluentd経由でBigQueryに集約してDWH作っちゃうゾ★の巻

横澤です、平素よりお世話になっております。 昨今は機械学習とか人工知能というワードがバズっている影響もあり、ビッグデータとかDWH(データウェアハウス)というワードも関連して話題に上がりますね。 ビッグデータと一口にいってもその形態やフェーズは…

どうしても不動産価格査定をRubyからRを使ってやりたかった

エンジニアの濱田です。イタンジでは、AIによる不動産価格査定サービスVALUEのように、不動産価格査定に力を入れています。今まで複数の方法を試してきた中で、今回はRubyからRを使って不動産価格査定を行う方法をご紹介します。 事前準備 ruby環境 R環境 価…

不動産テック勉強会#3を開催しました

9月29日(木)に不動産テック勉強会「勃興するチャットBotについて現在地と未来について語らう会」を開催しました。 今回の勉強会では、WEBからリアルまでを包括したチャットコミュニケーションにおけるチャットBotや人工知能チャットについて、辞書データ整備…

仲介会社と管理会社のマッチングサービス始めました

こんにちは、エンジニアの建三です。今までのブログでは主にノマドとノマドクラウドについてお話してきました。最近イタンジのもう一つの主要プロダクトぶっかくんのデータ解析をしたのでそのお話をします。 仲介会社と管理会社 不動産会社は仲介会社と管理…

機械学習でお客様の行動確率を予想してみた

こんにちは、エンジニアの建三です。今回も相変わらず機械学習に関するお話です。 前回のブログで顧客分析の話をしました。エンドユーザーが問い合わせから来店に進むかをアクセスログを使って予想するというものです。 同じことを弊社の自動追客&CRMツール…

スタートアップでよく使われるダッシュボードツール4製品を比較してみた

横澤です、いつもお世話になっております。 皆様ダッシュボード使ってますか?車の助手席にある引き出しではなく、サービスのKPI等を良い感じのグラフにした方のダッシュボードです。 こういう感じのヤツですね。 画像出典 イタンジのダッシュボードは色々と…

手間をかけずに実務で使えるクローラーの作り方

不動産テック勉強会#2でLTしてきました 先日不動産テック勉強会#2でLTしてきました。 登壇者の皆様お疲れ様でした。 また参加者の皆様足を運んで頂いてありがとうございました。 折角なのでその際話した内容を少しリライトしてUPしておきたいと思います。 基…

理論だけじゃダメ!機械学習を実務で活用する為に重要な4つのステップ

こんにちは、エンジニアの建三です。僕は大学時代に人工知能に興味を持ち、卒業後も機械学習を勉強していました。ただイタンジに入って業務で機械学習を使ってみて思うのは、勉強でやる機械学習と実務でやる機械学習にギャップがあるなということです。 機械…

インフラ監視体制を見直しているのだが、もう俺は限界かもしれない(注:タイトルは釣りです)

横澤です、いつもお世話になっております。 色々とあって苗字表記を今まで使っていた簡略表記の横沢から正式名称の横澤に切り替えています。過去ログは直すの面倒なのでそのままですが、誤表記ではないので気にしないでください。 本日はイタンジサービスの…

ノマドの新規事業・マーケティングに関わるディスカッションイベントを開催します。

こんにちは。デザイナー渡辺です。 突然ですが"お部屋探しのUX"に不満をもったことはありませんか? ・ポータルサイトで数件問い合せたら、いろんな会社から電話がかかりまくった。 ・「その物件空室あります!」って言われたので、店舗に行ったのになかった…

イタンジAIチャットのアーキテクチャ

こんにちは、エンジニアの建三です。 今回は弊社のAIチャットについて説明します。機械学習と自然言語処理を知ってる人向けに書いていますが、コードは使わずに全体の流れをざっくりとお話しします。 AIチャットって何? 弊社サービスのノマドではユーザーと…

イタンジ株式会社が掲げる価値行動指針5つ

横沢です、いつもお世話になっております。 実は2016年4月1日よりこっそりと取締役CTOに就任しておりました。名刺に取締役とか書いてもいきなり戦闘力が上がる訳ではないのですが、三ヶ月も経つとやってる仕事には少しづつ変化が出てきたりします。本日はそ…

会社から徒歩圏内に住む経済的メリット

こんにちは、エンジニアの建三です。 僕はイタンジに入る前は元住吉に住んでいたのですが、この転職を機に職場から徒歩6分のマンションに引っ越しました。引っ越して一週間経ちますが、正しい選択をしたと思っています。特に仕事終わりに、疲れた体を電車で…

お部屋探しBotをリリースして1週間たってわかったこと

こんにちは!エンジニアのナガシマです。 先日、お部屋探しBOTヘヤジイをリリースしたのですが。 お部屋探しBOTヘヤジイ|Facebookメッセンジャーのチャットで賃貸物件を探します。 「お部屋探しBOTヘヤジイ」は、条件をしゃべりかけるとお部屋を紹介してく…