Spark SparkとHadoopを調べてみた 概要 SparkとHadoopの関係を理解するため、それぞれの大まかな情報をまとめる。結論からいうと、SparkはHadoopエコシステムとは独立したもので、HadoopのMapReduceの苦手なイテラティブな計算やインタラクティブなクエ... 2024.09.28 Spark
Spark Apache ZeppelinでSparkの勉強 ②MinIOに保存しているCSVファイルをリードしてみた sparkのプログラムからMinIOに保存しているファイルにアクセスできると便利なので、設定してみました。Sparkインタープリタの設定に以下を追加します。 "spark.hadoop.fs.s3a.endpoint": { "name":... 2024.09.26 Spark
Spark Apache ZeppelinでSparkの勉強 ①Podmanでコンテナ起動してランダムフォレストを試す Apache Sparkの勉強のため、Jupyter NotebookのようなUIでSparkのプログラムを実行できるApache Zeppelinをpodman(windows)で試してみました。以下はdocker-compose.yml... 2024.09.25 Spark
プログラミング Google Colaboratoryで静止画を動画に変換 定点観測で撮影した大量の画像を動画に変換する場合、それなりにCPUパワー、時間が必要になるので、Google Colaboratoryでできるようにしてみました。撮影した静止画はいったんGoogle Driveにため込んでおいて、定期的に手... 2024.09.14 プログラミング
クラウド WordPressのページをCloudflareのCDNでキャッシュしてみる このWordpressのサイトはスペックが低い格安VPSで動作しているためか、かなり重いので、CloudflareのCDNでキャッシュを有効活用しよう、と思い立ちました。 できるだけ手間かけずにやるため、最初にCloudflareというプラ... 2024.08.03 クラウド
プログラミング React Howlerで実装した音楽PlayerをBluetoothの外部デバイスから操作してみた React版Howlerを使うと比較的簡単にブラウザ上で動作する音楽Playerが実装出来ます。 import React, { useState, useEffect } from "react"; import './App.css';... 2024.06.02 プログラミング
プログラミング BGMを流しながら静止画をYoutubeでライブ配信してみた ffmpegを使って、Google Driveからダウンロードした画像をbgm付きでライブ配信してみました。 以下は画像をダウンロードするスクリプト(download.sh)。 #!/bin/sh work_dir=$(cd $(dirna... 2024.06.01 プログラミング
プログラミング Google Drive APIで画像を取得する 取得手順 概要 Google Drive APIを使ってファイルを操作するためには認証情報が必要。今回は簡易的な方法(サーバ上ではなくローカルPCで直接node.jsを実行する)を使って、認証情報を取得してみる。Google Drive A... 2024.06.01 プログラミング
Alexa LGのテレビ内蔵のAlexa経由でアラートを出してみた テレビを見ていたりPCで作業しているときだとスマホに通知(リマインダ)を出しても気づかないので、テレビに通知を出せないか、調べていたのですが、所有しているLGのテレビ(2020年モデル)だとAlexaが内蔵されているので、これを通知に使えな... 2024.05.03 Alexa
Alexa 通知に対応したAlexaスキルを作ってみた 概要 参考ページを参照しつつ、通知対応スキルを作ってみたが、情報が古かったのでハマったところを補足しつつ手順をメモ。(2024/5/2に作成) ちなみにAlexaの通知する方法は2種類あって、リマインダAPIとプロアクティブイベントAPIが... 2024.05.03 Alexa