belajarwiki - User contributions [en]

Thumbnail-Preserving Encryption (TPE)

2026-10-14T07:22:02Z

Aditya: Created page with "Thumbnail-Preserving Encryption (TPE) adalah teknik kriptografi khusus yang mengenkripsi gambar digital agar informasi detailnya aman, namun tetap mempertahankan tampilan visu..."

Thumbnail-Preserving Encryption (TPE) adalah teknik kriptografi khusus yang mengenkripsi gambar digital agar informasi detailnya aman, namun tetap mempertahankan tampilan visual thumbnail atau pratinjau aslinya.

* [[Paper Deng]]

Pengambilan-data-fisip

2026-09-30T07:05:15Z

Aditya:

<pre>
import json
import requests
import pandas as pd

from pathlib import Path

# ========================================
# 1. Folder project
# ========================================

PROJECT = Path(
"/media/Kuliah/BigDataFisip"
)

RAW_DIR = PROJECT / "data" / "raw"

RAW_DIR.mkdir(
parents=True,
exist_ok=True
)

# ========================================
# 2. API
# ========================================

url = (
"https://api.bsky.app/"
"xrpc/app.bsky.feed.searchPosts"
)

params = {
"q": '"climate change"',
"limit": 100,
"sort": "latest",
"lang": "en"
}

# ========================================
# 3. Request
# ========================================

response = requests.get(
url,
params=params,
headers={
"Accept":
"application/json",

"User-Agent":
"BigDataFisip-Class/1.0"
},
timeout=30
)

print(
"HTTP Status:",
response.status_code
)

# ========================================
# 4. Validasi response
# ========================================

if response.status_code != 200:

raise RuntimeError(
f"HTTP {response.status_code}: "
f"{response.text[:300]}"
)

data = response.json()

posts = data.get(
"posts",
[]
)

print(
"Jumlah posting:",
len(posts)
)

# ========================================
# 5. Simpan JSON asli
# ========================================

json_file = (
RAW_DIR /
"bluesky_climate_change_raw.json"
)

with open(
json_file,
"w",
encoding="utf-8"
) as f:

json.dump(
data,
f,
ensure_ascii=False,
indent=2
)

# ========================================
# 6. Ubah ke tabel
# ========================================

rows = []

for post in posts:

record = post.get(
"record",
{}
)

author = post.get(
"author",
{}
)

rows.append({

"uri":
post.get("uri"),

"created_at":
record.get("createdAt"),

"username":
author.get("handle"),

"display_name":
author.get("displayName"),

"text":
record.get("text"),

"language":
record.get("langs"),

"reply_count":
post.get(
"replyCount",
0
),

"repost_count":
post.get(
"repostCount",
0
),

"like_count":
post.get(
"likeCount",
0
)
})

df_raw = pd.DataFrame(
rows
)

# ========================================
# 7. Simpan CSV raw
# ========================================

csv_file = (
RAW_DIR /
"bluesky_climate_change_raw.csv"
)

df_raw.to_csv(
csv_file,
index=False,
encoding="utf-8-sig"
)

# ========================================
# 8. Pemeriksaan
# ========================================

print(
"Ukuran dataset:",
df_raw.shape
)

display(
df_raw.head()
)
</pre>

Pada bagian PROJECT = Path("/media/Kuliah/BigDataFisip") sesuaikan saja dengan PATH yang kalian miliki.

Pada bagian "q": '"climate change"', sesuaikan saja tentang topik apa yang dicari.

==Link Terkait==
* [[Big Data Fisip]]

Data-cleaning-fisip

2026-09-30T07:05:06Z

Aditya:

Dari contoh yang didapat, kita akan melakukan hal berikut

<pre>
bluesky_climate_change_raw.csv
↓
DATA CLEANING
↓
PREPROCESSING
↓
bluesky_climate_change_clean.csv
↓
ANALISIS
</pre>

Step by step nya adalah

==Data Cleaning==
===Import library dan membaca data===
<pre>
import pandas as pd
import re

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

df.head()
</pre>

Cek ukuran data
df.shape

Klo di contoh saya nanti hasilnya adalah (97, 9). Artinya: 97 baris × 9 variabel.

Cek nama variabel
df.columns

===Cek kondisi data===
df.info()
df.head()
df.sample(5)
df.isna().sum()

Untuk kasus saya, ada 15 posting tidak mempunyai display_name, namun kita cek pakah masih memiliki username
<pre>
df["display_name"] = (
df["display_name"]
.fillna(df["username"])
)
</pre>

Kemudian cek lagi
df["display_name"].isna().sum()

Harus menghasilkan 0

Berarti dalam kasus ini display_name tidak terlalu penting karena masih ada username.

===Cek apakah ada duplicate===
df.duplicated().sum()

Klo pada kasus saya, id unik nya adalah uri,jadi
<pre>
df.duplicated(
subset="uri"
).sum()
</pre>

Kode cleaning nya adalah
<pre>
df = df.drop_duplicates(
subset="uri"
)
</pre>

Kalau satu posting masuk dua kali, analisis kita dapat menghitung satu opini atau satu engagement dua kali.

===Rapihkan display_name===
Beberapa nama mungkin memiliki spasi tambahan.
<pre>
df["display_name"] = (
df["display_name"]
.astype(str)
.str.strip()
)
</pre>

Kita rapihkan juga username
<pre>
df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)
</pre>

===Perbaiki type tanggal===
Kita cek tipe datanya
df["created_at"].dtype

Jika hasilnya = object, berarti masih dianggap teks, jadi harus diubah ke tipe waktu.
<pre>
df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)
</pre>

===Ubah UTC ke waktu Jakarta===
<pre>
df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)
</pre>

Kemudian cek
<pre>
df[
["created_at", "created_at_wib"]
].head()
</pre>

===Rapihkan kolom bahasa===
df["language"].value_counts()

Perbaiki
<pre>
df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)
</pre>

Cek
df["language_primary"].value_counts()

===Pastikan reply, repost dan like benar-benar numerik===
Cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count"
]
].dtypes
</pre>

Jika masih belum angka
<pre>
kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:
df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)
</pre>

===Jika ada URL terambil===
Buat variabel, barangkali nanti url tersebut dibutuhkan
<pre>
df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)
</pre>

Cek
df["has_url"].value_counts()

===Deteksi Hastag===
<pre>
df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)
</pre>

Cek
df["has_hashtag"].value_counts()

==Preprocessing==
===Buat Clean Text===
Kita mulai masuk ke preprocessing
<pre>
df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)
</pre>

Hapus URL
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)
</pre>

Nanti hasilnya misal: Climate change is real https://example.com -> Climate change is real

===Hilangkan mention===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)
</pre>

Namun mention tidak selalu harus dibuang. Kalau kita ingin melakukan network analysis, mention justru merupakan data yang penting.

===Hastag===
Jangan buang katanya, namun tanda "#" saja
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)
</pre>

===Ubah menjadi lowercase===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.lower()
)
</pre>
Ini penting agar komputer tidak menganggap kata yang sama namun misal ada huruf kapital, sebagai kata berbeda.

===Rapikan line break dan spasi===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)
</pre>

===Bandingkan sebelum dan sesudah===
<pre>
df[
[
"text",
"text_clean"
]
].head(10)
</pre>

===Buat variabel engagement===
Misal kita perlu untuk menghitung hubungannya.
Kita definisikan secara sederhana:Engagement = Reply + Repost + Like

<pre>
df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)
</pre>

Kita cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count",
"engagement"
]
].head()
</pre>

Ini adalah definisi operasional untuk latihan, bukan definisi universal engagement. Kalau penelitian sebenarnya, Anda harus menjelaskan mengapa reply, repost, dan like dijumlahkan dan apakah bobotnya memang seharusnya sama.

===Buat jumlah kata===
<pre>
df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)
</pre>

Cek
df["word_count"].describe()

===Buat variabel tanggal dan jam===
<pre>
df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)
</pre>

Cleaning = memperbaiki data.
Preprocessing = membuat data menjadi lebih siap untuk analisis.

===Validasi===
Jumlah data:
len(df)

Missing value:
df.isna().sum()

Duplicate:
df.duplicated(subset="uri").sum()

Statistik engagement:
df["engagement"].describe()

Tampilkan hasil:
df.head()

Kode berhasil dijalankan belum berarti data sudah benar. Kita tetap harus memeriksa hasil.

===Simpan===
<pre>
df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)
</pre>

==Kode lengkap==
<pre>
import pandas as pd
import re

# ==========================================
# 1. LOAD DATA
# ==========================================

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

# ==========================================
# 2. DUPLICATE
# ==========================================

df = df.drop_duplicates(
subset="uri"
)

# ==========================================
# 3. MISSING DISPLAY NAME
# ==========================================

df["display_name"] = (
df["display_name"]
.fillna(df["username"])
.astype(str)
.str.strip()
)

df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)

# ==========================================
# 4. DATE / TIME
# ==========================================

df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)

df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)

# ==========================================
# 5. LANGUAGE
# ==========================================

df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)

# ==========================================
# 6. NUMERIC VARIABLES
# ==========================================

kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:

df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)

# ==========================================
# 7. INFORMATION FROM ORIGINAL TEXT
# ==========================================

df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)

df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)

# ==========================================
# 8. TEXT CLEANING
# ==========================================

df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)

# Remove URL
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)

# Remove mentions
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)

# Keep hashtag word, remove #
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)

# Lowercase
df["text_clean"] = (
df["text_clean"]
.str.lower()
)

# Remove extra whitespace
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)

# ==========================================
# 9. DERIVED VARIABLES
# ==========================================

df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)

df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)

df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)

# ==========================================
# 10. VALIDATION
# ==========================================

print("Jumlah data:", len(df))

print(
"\nMissing value:"
)

print(
df.isna().sum()
)

print(
"\nDuplicate URI:",
df.duplicated(
subset="uri"
).sum()
)

print(
"\nStatistik engagement:"
)

print(
df["engagement"].describe()
)

# ==========================================
# 11. SAVE
# ==========================================

df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)

print(
"\nData bersih berhasil disimpan."
)
</pre>

==Analisis yang bisa dilakukan==
===Seberapa tinggi engagement?===
df["engagement"].describe()

===Posting dengan engagement tertinggi===
<pre>
top10 = (
df.sort_values(
"engagement",
ascending=False
)
[
[
"username",
"text_clean",
"reply_count",
"repost_count",
"like_count",
"engagement"
]
]
.head(10)
)

top10
</pre>

===Visualisasi Top 10 Engagement===
<pre>
import matplotlib.pyplot as plt

top10_plot = (
df.nlargest(
10,
"engagement"
)
.sort_values(
"engagement"
)
)

top10_plot.plot(
x="username",
y="engagement",
kind="barh",
legend=False
)

plt.title(
"10 Posting dengan Engagement Tertinggi"
)

plt.xlabel(
"Engagement"
)

plt.ylabel(
"Akun"
)

plt.show()
</pre>

===Akun paling aktif===
<pre>
df[
"username"
].value_counts().head(10)
</pre>

===Aktivitas berdasarkan jam===
<pre>
posting_per_jam = (
df["hour"]
.value_counts()
.sort_index()
)

posting_per_jam
</pre>

Visualisasi
<pre>
posting_per_jam.plot(
kind="bar"
)

plt.title(
"Jumlah Posting per Jam"
)

plt.xlabel(
"Jam (WIB)"
)

plt.ylabel(
"Jumlah Posting"
)

plt.show()
</pre>

===Kata yang sering muncul===
<pre>
from collections import Counter

semua_teks = " ".join(
df["text_clean"]
)

kata = re.findall(
r"[a-zA-Z][a-zA-Z'-]+",
semua_teks
)

stopwords = {
"the", "and", "to", "of",
"a", "in", "is", "for",
"that", "it", "on", "with",
"are", "be", "as", "this",
"we", "i", "you", "they",
"have", "has", "was",
"were", "not", "but",

# kata pencarian
"climate",
"change",
"climatechange"
}

kata_bersih = [
k
for k in kata
if k not in stopwords
and len(k) > 2
]

frekuensi = Counter(
kata_bersih
)

frekuensi.most_common(20)
</pre>

===Visualisasi 15 kata teratas===
<pre>
freq_df = pd.DataFrame(
frekuensi.most_common(15),
columns=[
"word",
"frequency"
]
)

freq_df = freq_df.sort_values(
"frequency"
)

freq_df.plot(
x="word",
y="frequency",
kind="barh",
legend=False
)

plt.title(
"15 Kata yang Sering Muncul"
)

plt.xlabel(
"Frekuensi"
)

plt.ylabel(
"Kata"
)

plt.show()
</pre>

==Link Terkait==
* [[Big Data Fisip]]

Pengambilan-data-fisip

2026-09-30T07:04:09Z

Aditya:

Data-cleaning-fisip

2026-09-30T07:04:02Z

Aditya:

Data-cleaning-fisip

2026-09-30T04:31:10Z

Aditya: /* =Hilangkan mention */

Data-cleaning-fisip

2026-09-30T04:30:50Z

Aditya: /* =Rapihkan kolom bahasa */

Dari contoh yang didapat, kita akan melakukan hal berikut

<pre>
bluesky_climate_change_raw.csv
↓
DATA CLEANING
↓
PREPROCESSING
↓
bluesky_climate_change_clean.csv
↓
ANALISIS
</pre>

Step by step nya adalah

==Data Cleaning==
===Import library dan membaca data===
<pre>
import pandas as pd
import re

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

df.head()
</pre>

Cek ukuran data
df.shape

Klo di contoh saya nanti hasilnya adalah (97, 9). Artinya: 97 baris × 9 variabel.

Cek nama variabel
df.columns

===Cek kondisi data===
df.info()
df.head()
df.sample(5)
df.isna().sum()

Untuk kasus saya, ada 15 posting tidak mempunyai display_name, namun kita cek pakah masih memiliki username
<pre>
df["display_name"] = (
df["display_name"]
.fillna(df["username"])
)
</pre>

Kemudian cek lagi
df["display_name"].isna().sum()

Harus menghasilkan 0

Berarti dalam kasus ini display_name tidak terlalu penting karena masih ada username.

===Cek apakah ada duplicate===
df.duplicated().sum()

Klo pada kasus saya, id unik nya adalah uri,jadi
<pre>
df.duplicated(
subset="uri"
).sum()
</pre>

Kode cleaning nya adalah
<pre>
df = df.drop_duplicates(
subset="uri"
)
</pre>

Kalau satu posting masuk dua kali, analisis kita dapat menghitung satu opini atau satu engagement dua kali.

===Rapihkan display_name===
Beberapa nama mungkin memiliki spasi tambahan.
<pre>
df["display_name"] = (
df["display_name"]
.astype(str)
.str.strip()
)
</pre>

Kita rapihkan juga username
<pre>
df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)
</pre>

===Perbaiki type tanggal===
Kita cek tipe datanya
df["created_at"].dtype

Jika hasilnya = object, berarti masih dianggap teks, jadi harus diubah ke tipe waktu.
<pre>
df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)
</pre>

===Ubah UTC ke waktu Jakarta===
<pre>
df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)
</pre>

Kemudian cek
<pre>
df[
["created_at", "created_at_wib"]
].head()
</pre>

===Rapihkan kolom bahasa===
df["language"].value_counts()

Perbaiki
<pre>
df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)
</pre>

Cek
df["language_primary"].value_counts()

===Pastikan reply, repost dan like benar-benar numerik===
Cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count"
]
].dtypes
</pre>

Jika masih belum angka
<pre>
kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:
df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)
</pre>

===Jika ada URL terambil===
Buat variabel, barangkali nanti url tersebut dibutuhkan
<pre>
df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)
</pre>

Cek
df["has_url"].value_counts()

===Deteksi Hastag===
<pre>
df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)
</pre>

Cek
df["has_hashtag"].value_counts()

==Preprocessing==
===Buat Clean Text===
Kita mulai masuk ke preprocessing
<pre>
df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)
</pre>

Hapus URL
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)
</pre>

Nanti hasilnya misal: Climate change is real https://example.com -> Climate change is real

===Hilangkan mention==
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)
</pre>

Namun mention tidak selalu harus dibuang. Kalau kita ingin melakukan network analysis, mention justru merupakan data yang penting.

===Hastag===
Jangan buang katanya, namun tanda "#" saja
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)
</pre>

===Ubah menjadi lowercase===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.lower()
)
</pre>
Ini penting agar komputer tidak menganggap kata yang sama namun misal ada huruf kapital, sebagai kata berbeda.

===Rapikan line break dan spasi===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)
</pre>

===Bandingkan sebelum dan sesudah===
<pre>
df[
[
"text",
"text_clean"
]
].head(10)
</pre>

===Buat variabel engagement===
Misal kita perlu untuk menghitung hubungannya.
Kita definisikan secara sederhana:Engagement = Reply + Repost + Like

<pre>
df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)
</pre>

Kita cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count",
"engagement"
]
].head()
</pre>

Ini adalah definisi operasional untuk latihan, bukan definisi universal engagement. Kalau penelitian sebenarnya, Anda harus menjelaskan mengapa reply, repost, dan like dijumlahkan dan apakah bobotnya memang seharusnya sama.

===Buat jumlah kata===
<pre>
df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)
</pre>

Cek
df["word_count"].describe()

===Buat variabel tanggal dan jam===
<pre>
df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)
</pre>

Cleaning = memperbaiki data.
Preprocessing = membuat data menjadi lebih siap untuk analisis.

===Validasi===
Jumlah data:
len(df)

Missing value:
df.isna().sum()

Duplicate:
df.duplicated(subset="uri").sum()

Statistik engagement:
df["engagement"].describe()

Tampilkan hasil:
df.head()

Kode berhasil dijalankan belum berarti data sudah benar. Kita tetap harus memeriksa hasil.

===Simpan===
<pre>
df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)
</pre>

==Kode lengkap==
<pre>
import pandas as pd
import re

# ==========================================
# 1. LOAD DATA
# ==========================================

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

# ==========================================
# 2. DUPLICATE
# ==========================================

df = df.drop_duplicates(
subset="uri"
)

# ==========================================
# 3. MISSING DISPLAY NAME
# ==========================================

df["display_name"] = (
df["display_name"]
.fillna(df["username"])
.astype(str)
.str.strip()
)

df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)

# ==========================================
# 4. DATE / TIME
# ==========================================

df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)

df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)

# ==========================================
# 5. LANGUAGE
# ==========================================

df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)

# ==========================================
# 6. NUMERIC VARIABLES
# ==========================================

kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:

df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)

# ==========================================
# 7. INFORMATION FROM ORIGINAL TEXT
# ==========================================

df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)

df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)

# ==========================================
# 8. TEXT CLEANING
# ==========================================

df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)

# Remove URL
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)

# Remove mentions
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)

# Keep hashtag word, remove #
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)

# Lowercase
df["text_clean"] = (
df["text_clean"]
.str.lower()
)

# Remove extra whitespace
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)

# ==========================================
# 9. DERIVED VARIABLES
# ==========================================

df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)

df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)

df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)

# ==========================================
# 10. VALIDATION
# ==========================================

print("Jumlah data:", len(df))

print(
"\nMissing value:"
)

print(
df.isna().sum()
)

print(
"\nDuplicate URI:",
df.duplicated(
subset="uri"
).sum()
)

print(
"\nStatistik engagement:"
)

print(
df["engagement"].describe()
)

# ==========================================
# 11. SAVE
# ==========================================

df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)

print(
"\nData bersih berhasil disimpan."
)
</pre>

==Analisis yang bisa dilakukan==
===Seberapa tinggi engagement?===
df["engagement"].describe()

===Posting dengan engagement tertinggi===
<pre>
top10 = (
df.sort_values(
"engagement",
ascending=False
)
[
[
"username",
"text_clean",
"reply_count",
"repost_count",
"like_count",
"engagement"
]
]
.head(10)
)

top10
</pre>

===Visualisasi Top 10 Engagement===
<pre>
import matplotlib.pyplot as plt

top10_plot = (
df.nlargest(
10,
"engagement"
)
.sort_values(
"engagement"
)
)

top10_plot.plot(
x="username",
y="engagement",
kind="barh",
legend=False
)

plt.title(
"10 Posting dengan Engagement Tertinggi"
)

plt.xlabel(
"Engagement"
)

plt.ylabel(
"Akun"
)

plt.show()
</pre>

===Akun paling aktif===
<pre>
df[
"username"
].value_counts().head(10)
</pre>

===Aktivitas berdasarkan jam===
<pre>
posting_per_jam = (
df["hour"]
.value_counts()
.sort_index()
)

posting_per_jam
</pre>

Visualisasi
<pre>
posting_per_jam.plot(
kind="bar"
)

plt.title(
"Jumlah Posting per Jam"
)

plt.xlabel(
"Jam (WIB)"
)

plt.ylabel(
"Jumlah Posting"
)

plt.show()
</pre>

===Kata yang sering muncul===
<pre>
from collections import Counter

semua_teks = " ".join(
df["text_clean"]
)

kata = re.findall(
r"[a-zA-Z][a-zA-Z'-]+",
semua_teks
)

stopwords = {
"the", "and", "to", "of",
"a", "in", "is", "for",
"that", "it", "on", "with",
"are", "be", "as", "this",
"we", "i", "you", "they",
"have", "has", "was",
"were", "not", "but",

# kata pencarian
"climate",
"change",
"climatechange"
}

kata_bersih = [
k
for k in kata
if k not in stopwords
and len(k) > 2
]

frekuensi = Counter(
kata_bersih
)

frekuensi.most_common(20)
</pre>

===Visualisasi 15 kata teratas===
<pre>
freq_df = pd.DataFrame(
frekuensi.most_common(15),
columns=[
"word",
"frequency"
]
)

freq_df = freq_df.sort_values(
"frequency"
)

freq_df.plot(
x="word",
y="frequency",
kind="barh",
legend=False
)

plt.title(
"15 Kata yang Sering Muncul"
)

plt.xlabel(
"Frekuensi"
)

plt.ylabel(
"Kata"
)

plt.show()
</pre>

Data-cleaning-fisip

2026-09-30T04:30:25Z

Aditya:

Dari contoh yang didapat, kita akan melakukan hal berikut

<pre>
bluesky_climate_change_raw.csv
↓
DATA CLEANING
↓
PREPROCESSING
↓
bluesky_climate_change_clean.csv
↓
ANALISIS
</pre>

Step by step nya adalah

==Data Cleaning==
===Import library dan membaca data===
<pre>
import pandas as pd
import re

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

df.head()
</pre>

Cek ukuran data
df.shape

Klo di contoh saya nanti hasilnya adalah (97, 9). Artinya: 97 baris × 9 variabel.

Cek nama variabel
df.columns

===Cek kondisi data===
df.info()
df.head()
df.sample(5)
df.isna().sum()

Untuk kasus saya, ada 15 posting tidak mempunyai display_name, namun kita cek pakah masih memiliki username
<pre>
df["display_name"] = (
df["display_name"]
.fillna(df["username"])
)
</pre>

Kemudian cek lagi
df["display_name"].isna().sum()

Harus menghasilkan 0

Berarti dalam kasus ini display_name tidak terlalu penting karena masih ada username.

===Cek apakah ada duplicate===
df.duplicated().sum()

Klo pada kasus saya, id unik nya adalah uri,jadi
<pre>
df.duplicated(
subset="uri"
).sum()
</pre>

Kode cleaning nya adalah
<pre>
df = df.drop_duplicates(
subset="uri"
)
</pre>

Kalau satu posting masuk dua kali, analisis kita dapat menghitung satu opini atau satu engagement dua kali.

===Rapihkan display_name===
Beberapa nama mungkin memiliki spasi tambahan.
<pre>
df["display_name"] = (
df["display_name"]
.astype(str)
.str.strip()
)
</pre>

Kita rapihkan juga username
<pre>
df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)
</pre>

===Perbaiki type tanggal===
Kita cek tipe datanya
df["created_at"].dtype

Jika hasilnya = object, berarti masih dianggap teks, jadi harus diubah ke tipe waktu.
<pre>
df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)
</pre>

===Ubah UTC ke waktu Jakarta===
<pre>
df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)
</pre>

Kemudian cek
<pre>
df[
["created_at", "created_at_wib"]
].head()
</pre>

===Rapihkan kolom bahasa==
df["language"].value_counts()

Perbaiki
<pre>
df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)
</pre>

Cek
df["language_primary"].value_counts()

===Pastikan reply, repost dan like benar-benar numerik===
Cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count"
]
].dtypes
</pre>

Jika masih belum angka
<pre>
kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:
df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)
</pre>

===Jika ada URL terambil===
Buat variabel, barangkali nanti url tersebut dibutuhkan
<pre>
df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)
</pre>

Cek
df["has_url"].value_counts()

===Deteksi Hastag===
<pre>
df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)
</pre>

Cek
df["has_hashtag"].value_counts()

==Preprocessing==
===Buat Clean Text===
Kita mulai masuk ke preprocessing
<pre>
df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)
</pre>

Hapus URL
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)
</pre>

Nanti hasilnya misal: Climate change is real https://example.com -> Climate change is real

===Hilangkan mention==
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)
</pre>

Namun mention tidak selalu harus dibuang. Kalau kita ingin melakukan network analysis, mention justru merupakan data yang penting.

===Hastag===
Jangan buang katanya, namun tanda "#" saja
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)
</pre>

===Ubah menjadi lowercase===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.lower()
)
</pre>
Ini penting agar komputer tidak menganggap kata yang sama namun misal ada huruf kapital, sebagai kata berbeda.

===Rapikan line break dan spasi===
<pre>
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)
</pre>

===Bandingkan sebelum dan sesudah===
<pre>
df[
[
"text",
"text_clean"
]
].head(10)
</pre>

===Buat variabel engagement===
Misal kita perlu untuk menghitung hubungannya.
Kita definisikan secara sederhana:Engagement = Reply + Repost + Like

<pre>
df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)
</pre>

Kita cek
<pre>
df[
[
"reply_count",
"repost_count",
"like_count",
"engagement"
]
].head()
</pre>

Ini adalah definisi operasional untuk latihan, bukan definisi universal engagement. Kalau penelitian sebenarnya, Anda harus menjelaskan mengapa reply, repost, dan like dijumlahkan dan apakah bobotnya memang seharusnya sama.

===Buat jumlah kata===
<pre>
df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)
</pre>

Cek
df["word_count"].describe()

===Buat variabel tanggal dan jam===
<pre>
df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)
</pre>

Cleaning = memperbaiki data.
Preprocessing = membuat data menjadi lebih siap untuk analisis.

===Validasi===
Jumlah data:
len(df)

Missing value:
df.isna().sum()

Duplicate:
df.duplicated(subset="uri").sum()

Statistik engagement:
df["engagement"].describe()

Tampilkan hasil:
df.head()

Kode berhasil dijalankan belum berarti data sudah benar. Kita tetap harus memeriksa hasil.

===Simpan===
<pre>
df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)
</pre>

==Kode lengkap==
<pre>
import pandas as pd
import re

# ==========================================
# 1. LOAD DATA
# ==========================================

df = pd.read_csv(
"bluesky_climate_change_raw.csv"
)

# ==========================================
# 2. DUPLICATE
# ==========================================

df = df.drop_duplicates(
subset="uri"
)

# ==========================================
# 3. MISSING DISPLAY NAME
# ==========================================

df["display_name"] = (
df["display_name"]
.fillna(df["username"])
.astype(str)
.str.strip()
)

df["username"] = (
df["username"]
.astype(str)
.str.strip()
.str.lower()
)

# ==========================================
# 4. DATE / TIME
# ==========================================

df["created_at"] = pd.to_datetime(
df["created_at"],
format="mixed",
utc=True,
errors="coerce"
)

df["created_at_wib"] = (
df["created_at"]
.dt.tz_convert("Asia/Jakarta")
)

# ==========================================
# 5. LANGUAGE
# ==========================================

df["language_primary"] = (
df["language"]
.astype(str)
.str.extract(
r"([A-Za-z]+(?:-[A-Za-z]+)?)",
expand=False
)
.fillna("unknown")
)

# ==========================================
# 6. NUMERIC VARIABLES
# ==========================================

kolom_angka = [
"reply_count",
"repost_count",
"like_count"
]

for kolom in kolom_angka:

df[kolom] = pd.to_numeric(
df[kolom],
errors="coerce"
).fillna(0).astype(int)

# ==========================================
# 7. INFORMATION FROM ORIGINAL TEXT
# ==========================================

df["has_url"] = (
df["text"]
.str.contains(
r"https?://|www\.",
regex=True,
na=False
)
)

df["has_hashtag"] = (
df["text"]
.str.contains(
r"#\w+",
regex=True,
na=False
)
)

# ==========================================
# 8. TEXT CLEANING
# ==========================================

df["text_clean"] = (
df["text"]
.fillna("")
.astype(str)
)

# Remove URL
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"https?://\S+|www\.\S+",
" ",
regex=True
)
)

# Remove mentions
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"@[\w.-]+",
" ",
regex=True
)
)

# Keep hashtag word, remove #
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"#(\w+)",
r"\1",
regex=True
)
)

# Lowercase
df["text_clean"] = (
df["text_clean"]
.str.lower()
)

# Remove extra whitespace
df["text_clean"] = (
df["text_clean"]
.str.replace(
r"\s+",
" ",
regex=True
)
.str.strip()
)

# ==========================================
# 9. DERIVED VARIABLES
# ==========================================

df["engagement"] = (
df["reply_count"]
+ df["repost_count"]
+ df["like_count"]
)

df["word_count"] = (
df["text_clean"]
.str.findall(
r"\b[\w’'-]+\b"
)
.str.len()
)

df["date"] = (
df["created_at_wib"]
.dt.date
)

df["hour"] = (
df["created_at_wib"]
.dt.hour
)

# ==========================================
# 10. VALIDATION
# ==========================================

print("Jumlah data:", len(df))

print(
"\nMissing value:"
)

print(
df.isna().sum()
)

print(
"\nDuplicate URI:",
df.duplicated(
subset="uri"
).sum()
)

print(
"\nStatistik engagement:"
)

print(
df["engagement"].describe()
)

# ==========================================
# 11. SAVE
# ==========================================

df.to_csv(
"bluesky_climate_change_clean.csv",
index=False,
encoding="utf-8"
)

print(
"\nData bersih berhasil disimpan."
)
</pre>

==Analisis yang bisa dilakukan==
===Seberapa tinggi engagement?===
df["engagement"].describe()

===Posting dengan engagement tertinggi===
<pre>
top10 = (
df.sort_values(
"engagement",
ascending=False
)
[
[
"username",
"text_clean",
"reply_count",
"repost_count",
"like_count",
"engagement"
]
]
.head(10)
)

top10
</pre>

===Visualisasi Top 10 Engagement===
<pre>
import matplotlib.pyplot as plt

top10_plot = (
df.nlargest(
10,
"engagement"
)
.sort_values(
"engagement"
)
)

top10_plot.plot(
x="username",
y="engagement",
kind="barh",
legend=False
)

plt.title(
"10 Posting dengan Engagement Tertinggi"
)

plt.xlabel(
"Engagement"
)

plt.ylabel(
"Akun"
)

plt.show()
</pre>

===Akun paling aktif===
<pre>
df[
"username"
].value_counts().head(10)
</pre>

===Aktivitas berdasarkan jam===
<pre>
posting_per_jam = (
df["hour"]
.value_counts()
.sort_index()
)

posting_per_jam
</pre>

Visualisasi
<pre>
posting_per_jam.plot(
kind="bar"
)

plt.title(
"Jumlah Posting per Jam"
)

plt.xlabel(
"Jam (WIB)"
)

plt.ylabel(
"Jumlah Posting"
)

plt.show()
</pre>

===Kata yang sering muncul===
<pre>
from collections import Counter

semua_teks = " ".join(
df["text_clean"]
)

kata = re.findall(
r"[a-zA-Z][a-zA-Z'-]+",
semua_teks
)

stopwords = {
"the", "and", "to", "of",
"a", "in", "is", "for",
"that", "it", "on", "with",
"are", "be", "as", "this",
"we", "i", "you", "they",
"have", "has", "was",
"were", "not", "but",

# kata pencarian
"climate",
"change",
"climatechange"
}

kata_bersih = [
k
for k in kata
if k not in stopwords
and len(k) > 2
]

frekuensi = Counter(
kata_bersih
)

frekuensi.most_common(20)
</pre>

===Visualisasi 15 kata teratas===
<pre>
freq_df = pd.DataFrame(
frekuensi.most_common(15),
columns=[
"word",
"frequency"
]
)

freq_df = freq_df.sort_values(
"frequency"
)

freq_df.plot(
x="word",
y="frequency",
kind="barh",
legend=False
)

plt.title(
"15 Kata yang Sering Muncul"
)

plt.xlabel(
"Frekuensi"
)

plt.ylabel(
"Kata"
)

plt.show()
</pre>

Data-cleaning-fisip

2026-09-30T03:58:15Z

Aditya:

Data-cleaning-fisip

2026-09-30T03:57:02Z

Aditya:

Data-cleaning-fisip

2026-09-30T03:56:17Z

Aditya: Replaced content with "Dari contoh yang didapat, kita akan melakukan hal berikut <pre> bluesky_climate_change_raw.csv ↓ DATA CLEANING ↓ PREPROCESSING..."

Pengambilan-data-fisip

2026-09-30T03:47:43Z

Aditya:

Pengambilan-data-fisip

2026-09-30T03:44:36Z

Aditya: Created page with "<pre> import json import requests import pandas as pd from pathlib import Path # ======================================== # 1. Folder project # ============================..."

<pre>
import json
import requests
import pandas as pd

from pathlib import Path

# ========================================
# 1. Folder project
# ========================================

PROJECT = Path(
"/media/bgoode/Data4/Unpad/Kuliah/BigDataFisip"
)

RAW_DIR = PROJECT / "data" / "raw"

RAW_DIR.mkdir(
parents=True,
exist_ok=True
)

# ========================================
# 2. API
# ========================================

url = (
"https://api.bsky.app/"
"xrpc/app.bsky.feed.searchPosts"
)

params = {
"q": '"climate change"',
"limit": 100,
"sort": "latest",
"lang": "en"
}

# ========================================
# 3. Request
# ========================================

response = requests.get(
url,
params=params,
headers={
"Accept":
"application/json",

"User-Agent":
"BigDataFisip-Class/1.0"
},
timeout=30
)

print(
"HTTP Status:",
response.status_code
)

# ========================================
# 4. Validasi response
# ========================================

if response.status_code != 200:

raise RuntimeError(
f"HTTP {response.status_code}: "
f"{response.text[:300]}"
)

data = response.json()

posts = data.get(
"posts",
[]
)

print(
"Jumlah posting:",
len(posts)
)

# ========================================
# 5. Simpan JSON asli
# ========================================

json_file = (
RAW_DIR /
"bluesky_climate_change_raw.json"
)

with open(
json_file,
"w",
encoding="utf-8"
) as f:

json.dump(
data,
f,
ensure_ascii=False,
indent=2
)

# ========================================
# 6. Ubah ke tabel
# ========================================

rows = []

for post in posts:

record = post.get(
"record",
{}
)

author = post.get(
"author",
{}
)

rows.append({

"uri":
post.get("uri"),

"created_at":
record.get("createdAt"),

"username":
author.get("handle"),

"display_name":
author.get("displayName"),

"text":
record.get("text"),

"language":
record.get("langs"),

"reply_count":
post.get(
"replyCount",
0
),

"repost_count":
post.get(
"repostCount",
0
),

"like_count":
post.get(
"likeCount",
0
)
})

df_raw = pd.DataFrame(
rows
)

# ========================================
# 7. Simpan CSV raw
# ========================================

csv_file = (
RAW_DIR /
"bluesky_climate_change_raw.csv"
)

df_raw.to_csv(
csv_file,
index=False,
encoding="utf-8-sig"
)

# ========================================
# 8. Pemeriksaan
# ========================================

print(
"Ukuran dataset:",
df_raw.shape
)

display(
df_raw.head()
)
</pre>

Big Data Fisip

2026-09-30T03:43:27Z

Aditya:

Berikut ini adalah beberapa kode yang dapat digunakan untuk praktek pengambilan data dan cleaning data

* [[Pengambilan-data-fisip]]
* [[Data-cleaning-fisip]]

Big Data Fisip

2026-09-30T03:43:12Z

Aditya:

Berikut ini adalah beberapa kode yang dapat digunakan untuk praktek pengambilan data dan cleaning data

[[Pengambilan-data-fisip]]
[[Data-cleaning-fisip]]

Big Data Fisip

2026-09-30T03:42:08Z

Aditya: Created page with "Berikut ini adalah beberapa kode yang dapat digunakan untuk praktek pengambilan data dan cleaning data Data-cleaning-fisip"

Berikut ini adalah beberapa kode yang dapat digunakan untuk praktek pengambilan data dan cleaning data

[[Data-cleaning-fisip]]

Data-cleaning-fisip

2026-09-16T05:06:27Z

Aditya: Created page with "Ada dua bentuk data mentah: 1. `JSON` → salinan respons API, sedekat mungkin dengan data asli dari Bluesky. 2. `CSV` → field penting sudah dijadikan tabel, tetapi **belum..."

Ada dua bentuk data mentah:

1. `JSON` → salinan respons API, sedekat mungkin dengan data asli dari Bluesky.
2. `CSV` → field penting sudah dijadikan tabel, tetapi **belum dibersihkan** sehingga cocok untuk latihan mahasiswa.

Secara resmi, `app.bsky.feed.searchPosts` mewajibkan parameter `q`, mendukung `sort=latest/top`, filter `lang`, dan `limit` maksimum **100** per request. Dokumentasi juga mengingatkan bahwa sintaks pencarian frasa/Boolean tidak sepenuhnya dispesifikasikan, walaupun sintaks Lucene direkomendasikan.

---

# A. Target akhir praktikum

Kita akan menghasilkan:

```text
BigDataFisip/
│
├── venvs/
│ └── jupyter-polsci/
│
└── data/
├── raw/
│ ├── bluesky_climate_change_raw.json
│ └── bluesky_climate_change_raw.csv
│
└── processed/
```

Mahasiswa nantinya **tidak mengubah file di `raw/`**.

Hasil cleaning disimpan ke:

```text
data/processed/
```

---

# B. Langkah 1 — Pastikan Jupyter menggunakan environment yang benar

Buat cell:

```python
import sys

print(sys.executable)
print(sys.version)
```

Pada komputer seharusnya kurang lebih:

```text
/venvs/jupyter-polsci/bin/python

3.10.12 ...
```

Kalau demikian, environment sudah benar.

---

# C. Langkah 2 — Import library

Buat cell baru:

```python
import json
import requests
import pandas as pd

from pathlib import Path
```

Kita menggunakan:

```text
requests → mengambil data API
json → menyimpan respons asli
pandas → mengubah data menjadi tabel
Path → mengatur folder/file
```

---

# D. Langkah 3 — Tentukan folder penyimpanan

```python
PROJECT = Path(
"/media/bgoode/Data4/Unpad/Kuliah/BigDataFisip"
)

RAW_DIR = PROJECT / "data" / "raw"
PROCESSED_DIR = PROJECT / "data" / "processed"

RAW_DIR.mkdir(
parents=True,
exist_ok=True
)

PROCESSED_DIR.mkdir(
parents=True,
exist_ok=True
)

print(RAW_DIR)
```

Hasil:

```text
/data/raw
```

---

# E. Langkah 4 — Tentukan topik (misalnya Climate Change)

Endpoint:

```python
url = "https://api.bsky.app/xrpc/app.bsky.feed.searchPosts"
```

Kemudian query:

```python
params = {
"q": '"climate change"',
"limit": 100,
"sort": "latest",
"lang": "en"
}
```

Artinya:

```text
q
↓
mencari "climate change"

limit
↓
maksimal 100 posting

sort
↓
latest = hasil terbaru

lang
↓
en = bahasa Inggris
```

Nilai `100` adalah batas maksimum `limit` menurut Lexicon resmi Bluesky.

Catatan:

> `limit=100` berarti **meminta maksimal 100**, bukan jaminan server selalu memberikan tepat 100.

---

# F. Langkah 5 — Kirim request

```python
response = requests.get(
url,
params=params,
headers={
"Accept": "application/json",
"User-Agent": "BigDataFisip-Class/1.0"
},
timeout=30
)

print(
"HTTP Status:",
response.status_code
)

print(
"Content-Type:",
response.headers.get("content-type")
)
```

Harapannya:

```text
HTTP Status: 200
Content-Type: application/json; charset=utf-8
```

---

# G. Langkah 6 — Cek hasil JSON

Gunakan:

```python
if response.status_code != 200:

print("Request gagal")

print(
response.text[:1000]
)

raise RuntimeError(
"Data belum berhasil diambil"
)
```

Kemudian pastikan hasil memang JSON:

```python
content_type = response.headers.get(
"content-type",
""
)

if "application/json" not in content_type:

raise RuntimeError(
"Respons server bukan JSON"
)
```

Baru setelah itu:

```python
data = response.json()
```

Ini mencegah error:

```text
JSONDecodeError
```

ketika server sebenarnya memberikan HTML error.

---

# H. Langkah 7 — Ambil daftar posting

```python
posts = data.get(
"posts",
[]
)

print(
"Jumlah posting:",
len(posts)
)
```

Target:

```text
Jumlah posting: 100
```

Jika hasilnya misalnya:

```text
Jumlah posting: 86
```

jangan mengubahnya menjadi 100, biarkan saja.

Itu berarti API memang hanya mengembalikan 86 pada request tersebut.

---

# I. Langkah 8 — Lihat bentuk JSON

Sekarang:

```python
print(
data.keys()
)
```

Lalu:

```python
print(
posts[0].keys()
)
```

Dan lihat posting pertama:

```python
posts[0]
```

Mahasiswa kemungkinan akan melihat struktur yang cukup kompleks.

Secara sederhana:

```text
post
│
├── uri
├── cid
│
├── author
│ ├── handle
│ ├── displayName
│ └── ...
│
├── record
│ ├── text
│ ├── createdAt
│ ├── langs
│ └── ...
│
├── replyCount
├── repostCount
├── likeCount
└── ...
```

> **Data dari API belum tentu berbentuk tabel seperti Excel.**

Data API sering berbentuk:

```text
JSON
↓
nested / bertingkat
```

---

# J. Langkah 9 — Simpan JSON mentah terlebih dahulu

**Lakukan ini sebelum cleaning.**

```python
json_file = (
RAW_DIR /
"bluesky_climate_change_raw.json"
)

with open(
json_file,
"w",
encoding="utf-8"
) as f:

json.dump(
data,
f,
ensure_ascii=False,
indent=2
)

print(
"Tersimpan:",
json_file
)
```

Sekarang kita memiliki:

```text
data/raw/
└── bluesky_climate_change_raw.json
```

File ini **jangan diedit**.

Anggap sebagai:

> salinan data asli yang diterima dari API.

---

# K. Langkah 10 — Pilih field yang akan dipelajari mahasiswa

Sekarang JSON bertingkat kita ubah menjadi tabel.

```python
rows = []

for post in posts:

record = post.get(
"record",
{}
)

author = post.get(
"author",
{}
)

rows.append({

"uri":
post.get("uri"),

"created_at":
record.get("createdAt"),

"username":
author.get("handle"),

"display_name":
author.get("displayName"),

"text":
record.get("text"),

"language":
record.get("langs"),

"reply_count":
post.get(
"replyCount",
0
),

"repost_count":
post.get(
"repostCount",
0
),

"like_count":
post.get(
"likeCount",
0
)
})
```

Kemudian:

```python
df_raw = pd.DataFrame(
rows
)
```

---

# L. Langkah 11 — Lihat hasil tabel

```python
df_raw.head()
```

Kurang lebih mahasiswa akan memperoleh:

| created_at | username | text | language | reply_count | repost_count | like_count |
| ---------- | -------- | ----------------- | -------- | ----------: | -----------: | ---------: |
| ... | user1 | Climate change... | ['en'] | 1 | 3 | 12 |
| ... | user2 | New report... | ['en'] | 0 | 1 | 6 |
| ... | user3 | ... | ['en'] | 2 | 0 | 9 |

Kemudian:

```python
df_raw.shape
```

Harapannya:

```text
(100, 9)
```

---

# M. Langkah 12 — Periksa kondisi data, tetapi jangan dibersihkan dahulu

Jalankan:

```python
df_raw.info()
```

Kemudian:

```python
df_raw.isna().sum()
```

Cek juga:

```python
df_raw.head(10)
```

Dan:

```python
df_raw["text"].head(10)
```

Pada tahap ini mahasiswa hanya **mengamati**.

Belum:

```python
dropna()
drop_duplicates()
replace()
```

dan sebagainya.

---

# N. Langkah 13 — Simpan CSV mentah

```python
csv_file = (
RAW_DIR /
"bluesky_climate_change_raw.csv"
)

df_raw.to_csv(
csv_file,
index=False,
encoding="utf-8-sig"
)

print(
"Tersimpan:",
csv_file
)
```

Hasil akhirnya:

```text
BigDataFisip/
└── data/
│
├── raw/
│ ├── bluesky_climate_change_raw.json
│ └── bluesky_climate_change_raw.csv
│
└── processed/
```

Saya menggunakan:

```python
encoding="utf-8-sig"
```

supaya karakter seperti emoji dan karakter non-ASCII relatif aman jika CSV nantinya dibuka menggunakan Excel.

---

# O. Perbedaan dua file tersebut

### `raw.json`

```text
Bluesky API
↓
JSON asli
```

Belum kita ubah strukturnya.

### `raw.csv`

```text
JSON
↓
pilih field
↓
tabel
```

Sudah mengalami **transformasi struktur**, tetapi belum mengalami cleaning isi.

---

# P. Sekarang mahasiswa mendapatkan dataset untuk cleaning

Setelah raw CSV tersedia, praktik berikutnya bisa dimulai.

### 1. Cek tipe data

```python
df_raw.info()
```

---

### 2. Cari missing value

```python
df_raw.isna().sum()
```

Mahasiswa menentukan:

```text
mana yang kosong?
kenapa bisa kosong?
perlukah dihapus?
```

---

### 3. Periksa duplikasi

```python
df_raw.duplicated().sum()
```

Lebih baik juga:

```python
df_raw.duplicated(
subset=["uri"]
).sum()
```

Diskusikan:

> Mengapa `uri` lebih cocok untuk memeriksa posting yang sama dibandingkan seluruh row?

---

### 4. Periksa teks

```python
display(
df_raw[["text"]]
.head(20)
)
```

Kemungkinan ditemukan:

```text
URL
emoji
hashtag
newline
spasi berlebih
mention
```

Itulah bahan untuk text cleaning.

---

### 5. Periksa relevansi

Cari:

```python
df_raw[
["text"]
].head(20)
```

Tanyakan:

> Apakah semuanya benar-benar membahas climate change?

Tidak boleh otomatis diasumsikan iya, karena dokumentasi Bluesky sendiri menyatakan sintaks dan perilaku query tidak sepenuhnya dispesifikasikan.

Ini bisa menjadi contoh nyata:

```text
Search API
↓
candidate data

bukan

Search API
↓
ground truth
```

---

# Q. Tugas cleaning

Mahasiswa diminta menghasilkan:

```text
bluesky_climate_change_clean.csv
```

dari:

```text
bluesky_climate_change_raw.csv
```

Dengan tugas:

**1. Konversi tanggal**

```text
created_at
string → datetime
```

**2. Missing value**

Identifikasi dan tentukan perlakuannya.

**3. Duplikasi**

Gunakan `uri` untuk membantu mendeteksi posting yang sama.

**4. Cleaning text**

Misalnya:

```text
newline
spasi berlebih
URL
```

Namun mahasiswa harus menjelaskan **mengapa suatu elemen dihapus**, bukan sekadar menghapus semuanya.

**5. Relevansi topik**

Periksa apakah posting benar-benar terkait perubahan iklim.

**6. Engagement**

Buat variabel:

```text
engagement
=
reply_count
+
repost_count
+
like_count
```

---

# R. Kode lengkap pengambilan data

```python
import json
import requests
import pandas as pd

from pathlib import Path

# ========================================
# 1. Folder project
# ========================================

PROJECT = Path(
"/media/bgoode/Data4/Unpad/Kuliah/BigDataFisip"
)

RAW_DIR = PROJECT / "data" / "raw"

RAW_DIR.mkdir(
parents=True,
exist_ok=True
)

# ========================================
# 2. API
# ========================================

url = (
"https://api.bsky.app/"
"xrpc/app.bsky.feed.searchPosts"
)

params = {
"q": '"climate change"',
"limit": 100,
"sort": "latest",
"lang": "en"
}

# ========================================
# 3. Request
# ========================================

response = requests.get(
url,
params=params,
headers={
"Accept":
"application/json",

"User-Agent":
"BigDataFisip-Class/1.0"
},
timeout=30
)

print(
"HTTP Status:",
response.status_code
)

# ========================================
# 4. Validasi response
# ========================================

if response.status_code != 200:

raise RuntimeError(
f"HTTP {response.status_code}: "
f"{response.text[:300]}"
)

data = response.json()

posts = data.get(
"posts",
[]
)

print(
"Jumlah posting:",
len(posts)
)

# ========================================
# 5. Simpan JSON asli
# ========================================

json_file = (
RAW_DIR /
"bluesky_climate_change_raw.json"
)

with open(
json_file,
"w",
encoding="utf-8"
) as f:

json.dump(
data,
f,
ensure_ascii=False,
indent=2
)

# ========================================
# 6. Ubah ke tabel
# ========================================

rows = []

for post in posts:

record = post.get(
"record",
{}
)

author = post.get(
"author",
{}
)

rows.append({

"uri":
post.get("uri"),

"created_at":
record.get("createdAt"),

"username":
author.get("handle"),

"display_name":
author.get("displayName"),

"text":
record.get("text"),

"language":
record.get("langs"),

"reply_count":
post.get(
"replyCount",
0
),

"repost_count":
post.get(
"repostCount",
0
),

"like_count":
post.get(
"likeCount",
0
)
})

df_raw = pd.DataFrame(
rows
)

# ========================================
# 7. Simpan CSV raw
# ========================================

csv_file = (
RAW_DIR /
"bluesky_climate_change_raw.csv"
)

df_raw.to_csv(
csv_file,
index=False,
encoding="utf-8-sig"
)

# ========================================
# 8. Pemeriksaan
# ========================================

print(
"Ukuran dataset:",
df_raw.shape
)

display(
df_raw.head()
)
```

---

```text
100 data mentah
↓
identifikasi masalah
↓
data cleaning
↓
data processed
↓
analisis
```

[1]: https://bsky.network/docs/api-directory/?utm_source=chatgpt.com "API Hosts and Auth | Bluesky Protocol Services"

Riset-disertasi

2025-11-17T05:56:20Z

Aditya:

<pre>
/home/noble/
├── experiments/
│ ├── coap_5001_6001/ → Riset 1 (ROI + Ascon via CoAP)
│ ├── coap_5002_6002/ → Riset 2 (App-layer vs OSCORE)
│ ├── coap_5003_6003/ → Riset 3 (NanoCipher – AEAD Design)
│ └── coap_5004_6004/ → Riset 4 (NanoCipher + OSCORE)
│
├── libcoap/ → CoAP library + OSCORE integration
│
└── shared/
├── images/
│ ├── 640x360/
│ ├── 1280x720/
│ └── 1920x1080/
│
└── algorithms/
├── ascon/
├── present/
├── chacha20/
└── nanocipher/
</pre>

==[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]==
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
# Kinerja sistem
#* CPU usage / execution time enkripsi (per gambar, per resolusi).
#* Latency end-to-end (ClientA → ServerB).
#* Payload size (bytes dikirim).
#* Retransmisi (via pcap).
# QoE (Quality of Experience)
#* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
#* SSIM area ROI (rendah → privasi terlindungi).
# Cryptographic footprint
#* Distribusi bytes terenkripsi antar gambar/resolusi.
# Privasi visual
#* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

==[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]==
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
# Perbandingan overhead antar layer
#* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
#* Payload size (besar header tambahan OSCORE).
#* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
# Reliabilitas komunikasi
#* Packet retransmission / packet loss.
#* Goodput (gambar/MBps efektif).
# Security
#* Transport: full payload protected, tapi tidak selective.
#* App-layer: selective encryption, lebih hemat.
#* Kombinasi: double protection, overhead lebih tinggi.
# Platform diversity
#* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
#* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

==[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]==
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
# Benchmark kriptografi (MCU/CPU level)
#* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
#* Throughput (MB/s).
#* Code size (flash, KB).
#* RAM usage.
#* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
# Keamanan algoritma
#* Correctness: Known Answer Test (KAT).
#* Nonce misuse resistance (uji basic).
#* Konsistensi constant-time (cek dengan alat timing).
# Perbandingan dengan cipher lain
#* Ascon.
#* PRESENT.
#* ChaCha20.
#* AES.
# Integrasi
#* Kirim gambar (via libcoap) dengan NanoCipher.
#* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

==[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]==
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
# Integrasi OSCORE
#* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
#* Kinerja encode/decode OSCORE.
# Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
#* Latency per message.
#* Payload overhead.
#* CPU usage.
#* Energy consumption.
# Robustness
#* Correctness (uji KAT + interop message decrypt).
#* Replay protection (uji ulang id_context, sequence number).
# Resource impact (IoT)
#* Memory footprint tambahan bila OSCORE pakai NanoCipher.
#* Apakah Raspberry/ESP32 masih muat (RAM/flash).

Untuk kode dapat dilihat pada https://gitlab.com/aditbgoode/disertasi/

===Skema===
====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/ # dataset (akan digunakan untuk R1–R4 pakai)
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ algorithms/ # reusable libs & wrappers
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (ascon_aead_cli + Makefile)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk Riset-3/Riset-4
├─ libcoap/ # libcoap (diambil dari github resmi)
└─ experiments/
├─ coap_5001_6001/ # R1 artefak
│ ├─ client/
│ │ ├─ bin/ # ascon_aead_cli (copy dari shared/*_cli/build)
│ │ ├─ scripts/ # detect_poi.py, encrypt_roi_ascon.py, run_r1.sh
│ │ └─ processed_r1/
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ libcoap_client/
│ └─ coap-client
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

====Server====
<pre>
/home/noble/
├─ shared/
│ └─ algorithms/ # reusable libs di server juga
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (build server)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk R3/R4
├─ libcoap/ # libcoap (dari github resmi)
└─ experiments/
├─ coap_5001_6001/
│ └─ server/
│ ├─ bin/ # coap-echo-server, ascon_aead_cli (copy dari shared/*_cli/build)
│ ├─ inbox/
│ ├─ tmp/
│ ├─ decrypted/
│ └─ logs/
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

Riset-disertasi

2025-11-17T05:56:00Z

Aditya:

/home/noble/
├── experiments/
│ ├── coap_5001_6001/ → Riset 1 (ROI + Ascon via CoAP)
│ ├── coap_5002_6002/ → Riset 2 (App-layer vs OSCORE)
│ ├── coap_5003_6003/ → Riset 3 (NanoCipher – AEAD Design)
│ └── coap_5004_6004/ → Riset 4 (NanoCipher + OSCORE)
│
├── libcoap/ → CoAP library + OSCORE integration
│
└── shared/
├── images/
│ ├── 640x360/
│ ├── 1280x720/
│ └── 1920x1080/
│
└── algorithms/
├── ascon/
├── present/
├── chacha20/
└── nanocipher/

==[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]==
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
# Kinerja sistem
#* CPU usage / execution time enkripsi (per gambar, per resolusi).
#* Latency end-to-end (ClientA → ServerB).
#* Payload size (bytes dikirim).
#* Retransmisi (via pcap).
# QoE (Quality of Experience)
#* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
#* SSIM area ROI (rendah → privasi terlindungi).
# Cryptographic footprint
#* Distribusi bytes terenkripsi antar gambar/resolusi.
# Privasi visual
#* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

==[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]==
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
# Perbandingan overhead antar layer
#* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
#* Payload size (besar header tambahan OSCORE).
#* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
# Reliabilitas komunikasi
#* Packet retransmission / packet loss.
#* Goodput (gambar/MBps efektif).
# Security
#* Transport: full payload protected, tapi tidak selective.
#* App-layer: selective encryption, lebih hemat.
#* Kombinasi: double protection, overhead lebih tinggi.
# Platform diversity
#* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
#* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

==[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]==
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
# Benchmark kriptografi (MCU/CPU level)
#* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
#* Throughput (MB/s).
#* Code size (flash, KB).
#* RAM usage.
#* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
# Keamanan algoritma
#* Correctness: Known Answer Test (KAT).
#* Nonce misuse resistance (uji basic).
#* Konsistensi constant-time (cek dengan alat timing).
# Perbandingan dengan cipher lain
#* Ascon.
#* PRESENT.
#* ChaCha20.
#* AES.
# Integrasi
#* Kirim gambar (via libcoap) dengan NanoCipher.
#* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

==[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]==
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
# Integrasi OSCORE
#* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
#* Kinerja encode/decode OSCORE.
# Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
#* Latency per message.
#* Payload overhead.
#* CPU usage.
#* Energy consumption.
# Robustness
#* Correctness (uji KAT + interop message decrypt).
#* Replay protection (uji ulang id_context, sequence number).
# Resource impact (IoT)
#* Memory footprint tambahan bila OSCORE pakai NanoCipher.
#* Apakah Raspberry/ESP32 masih muat (RAM/flash).

Untuk kode dapat dilihat pada https://gitlab.com/aditbgoode/disertasi/

===Skema===
====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/ # dataset (akan digunakan untuk R1–R4 pakai)
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ algorithms/ # reusable libs & wrappers
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (ascon_aead_cli + Makefile)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk Riset-3/Riset-4
├─ libcoap/ # libcoap (diambil dari github resmi)
└─ experiments/
├─ coap_5001_6001/ # R1 artefak
│ ├─ client/
│ │ ├─ bin/ # ascon_aead_cli (copy dari shared/*_cli/build)
│ │ ├─ scripts/ # detect_poi.py, encrypt_roi_ascon.py, run_r1.sh
│ │ └─ processed_r1/
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ libcoap_client/
│ └─ coap-client
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

====Server====
<pre>
/home/noble/
├─ shared/
│ └─ algorithms/ # reusable libs di server juga
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (build server)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk R3/R4
├─ libcoap/ # libcoap (dari github resmi)
└─ experiments/
├─ coap_5001_6001/
│ └─ server/
│ ├─ bin/ # coap-echo-server, ascon_aead_cli (copy dari shared/*_cli/build)
│ ├─ inbox/
│ ├─ tmp/
│ ├─ decrypted/
│ └─ logs/
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

Riset-disertasi

2025-11-04T03:03:33Z

Aditya: /* Server */

==[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]==
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
# Kinerja sistem
#* CPU usage / execution time enkripsi (per gambar, per resolusi).
#* Latency end-to-end (ClientA → ServerB).
#* Payload size (bytes dikirim).
#* Retransmisi (via pcap).
# QoE (Quality of Experience)
#* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
#* SSIM area ROI (rendah → privasi terlindungi).
# Cryptographic footprint
#* Distribusi bytes terenkripsi antar gambar/resolusi.
# Privasi visual
#* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

==[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]==
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
# Perbandingan overhead antar layer
#* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
#* Payload size (besar header tambahan OSCORE).
#* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
# Reliabilitas komunikasi
#* Packet retransmission / packet loss.
#* Goodput (gambar/MBps efektif).
# Security
#* Transport: full payload protected, tapi tidak selective.
#* App-layer: selective encryption, lebih hemat.
#* Kombinasi: double protection, overhead lebih tinggi.
# Platform diversity
#* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
#* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

==[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]==
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
# Benchmark kriptografi (MCU/CPU level)
#* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
#* Throughput (MB/s).
#* Code size (flash, KB).
#* RAM usage.
#* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
# Keamanan algoritma
#* Correctness: Known Answer Test (KAT).
#* Nonce misuse resistance (uji basic).
#* Konsistensi constant-time (cek dengan alat timing).
# Perbandingan dengan cipher lain
#* Ascon.
#* PRESENT.
#* ChaCha20.
#* AES.
# Integrasi
#* Kirim gambar (via libcoap) dengan NanoCipher.
#* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

==[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]==
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
# Integrasi OSCORE
#* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
#* Kinerja encode/decode OSCORE.
# Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
#* Latency per message.
#* Payload overhead.
#* CPU usage.
#* Energy consumption.
# Robustness
#* Correctness (uji KAT + interop message decrypt).
#* Replay protection (uji ulang id_context, sequence number).
# Resource impact (IoT)
#* Memory footprint tambahan bila OSCORE pakai NanoCipher.
#* Apakah Raspberry/ESP32 masih muat (RAM/flash).

Untuk kode dapat dilihat pada https://gitlab.com/aditbgoode/disertasi/

===Skema===
====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/ # dataset (akan digunakan untuk R1–R4 pakai)
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ algorithms/ # reusable libs & wrappers
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (ascon_aead_cli + Makefile)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk Riset-3/Riset-4
├─ libcoap/ # libcoap (diambil dari github resmi)
└─ experiments/
├─ coap_5001_6001/ # R1 artefak
│ ├─ client/
│ │ ├─ bin/ # ascon_aead_cli (copy dari shared/*_cli/build)
│ │ ├─ scripts/ # detect_poi.py, encrypt_roi_ascon.py, run_r1.sh
│ │ └─ processed_r1/
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ libcoap_client/
│ └─ coap-client
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

====Server====
<pre>
/home/noble/
├─ shared/
│ └─ algorithms/ # reusable libs di server juga
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (build server)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk R3/R4
├─ libcoap/ # libcoap (dari github resmi)
└─ experiments/
├─ coap_5001_6001/
│ └─ server/
│ ├─ bin/ # coap-echo-server, ascon_aead_cli (copy dari shared/*_cli/build)
│ ├─ inbox/
│ ├─ tmp/
│ ├─ decrypted/
│ └─ logs/
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

Riset-disertasi

2025-11-04T03:02:41Z

Aditya:

==[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]==
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
# Kinerja sistem
#* CPU usage / execution time enkripsi (per gambar, per resolusi).
#* Latency end-to-end (ClientA → ServerB).
#* Payload size (bytes dikirim).
#* Retransmisi (via pcap).
# QoE (Quality of Experience)
#* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
#* SSIM area ROI (rendah → privasi terlindungi).
# Cryptographic footprint
#* Distribusi bytes terenkripsi antar gambar/resolusi.
# Privasi visual
#* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

==[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]==
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
# Perbandingan overhead antar layer
#* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
#* Payload size (besar header tambahan OSCORE).
#* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
# Reliabilitas komunikasi
#* Packet retransmission / packet loss.
#* Goodput (gambar/MBps efektif).
# Security
#* Transport: full payload protected, tapi tidak selective.
#* App-layer: selective encryption, lebih hemat.
#* Kombinasi: double protection, overhead lebih tinggi.
# Platform diversity
#* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
#* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

==[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]==
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
# Benchmark kriptografi (MCU/CPU level)
#* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
#* Throughput (MB/s).
#* Code size (flash, KB).
#* RAM usage.
#* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
# Keamanan algoritma
#* Correctness: Known Answer Test (KAT).
#* Nonce misuse resistance (uji basic).
#* Konsistensi constant-time (cek dengan alat timing).
# Perbandingan dengan cipher lain
#* Ascon.
#* PRESENT.
#* ChaCha20.
#* AES.
# Integrasi
#* Kirim gambar (via libcoap) dengan NanoCipher.
#* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

==[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]==
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
# Integrasi OSCORE
#* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
#* Kinerja encode/decode OSCORE.
# Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
#* Latency per message.
#* Payload overhead.
#* CPU usage.
#* Energy consumption.
# Robustness
#* Correctness (uji KAT + interop message decrypt).
#* Replay protection (uji ulang id_context, sequence number).
# Resource impact (IoT)
#* Memory footprint tambahan bila OSCORE pakai NanoCipher.
#* Apakah Raspberry/ESP32 masih muat (RAM/flash).

Untuk kode dapat dilihat pada https://gitlab.com/aditbgoode/disertasi/

===Skema===
====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/ # dataset (akan digunakan untuk R1–R4 pakai)
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ algorithms/ # reusable libs & wrappers
│ ├─ ascon/ # upstream ascon-c (dari github resmi)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (ascon_aead_cli + Makefile)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk Riset-3/Riset-4
├─ libcoap/ # libcoap (diambil dari github resmi)
└─ experiments/
├─ coap_5001_6001/ # R1 artefak
│ ├─ client/
│ │ ├─ bin/ # ascon_aead_cli (copy dari shared/*_cli/build)
│ │ ├─ scripts/ # detect_poi.py, encrypt_roi_ascon.py, run_r1.sh
│ │ └─ processed_r1/
│ │ ├─ 640x360/ 1280x720/ 1920x1080/
│ └─ libcoap_client/
│ └─ coap-client
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

====Server====
<pre>
/home/noble/
├─ shared/
│ └─ algorithms/ # reusable libs di server juga
│ ├─ ascon/ # upstream ascon-c (steril)
│ ├─ ascon_r1_cli/ # wrapper CLI utk R1 (build server)
│ ├─ nanocipher/ # upstream NanoCipher
│ └─ nanocipher_r3_cli/ # wrapper NanoCipher utk R3/R4
├─ libcoap/ # libcoap (build sekali per host)
└─ experiments/
├─ coap_5001_6001/
│ └─ server/
│ ├─ bin/ # coap-echo-server, ascon_aead_cli (copy dari shared/*_cli/build)
│ ├─ inbox/
│ ├─ tmp/
│ ├─ decrypted/
│ └─ logs/
├─ coap_5002_6002/ # R2 artefak
├─ coap_5003_6003/ # R3 artefak
└─ coap_5004_6004/ # R4 artefak
</pre>

Riset-1

2025-11-03T07:35:09Z

Aditya:

==Skema di Client dan Server==

====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/
│ │ ├─ 640x360/
│ │ ├─ 1280x720/
│ │ └─ 1920x1080/
│ └─ algorithms/
│ ├─ ascon/ # ← clone upstream ascon-c (TANPA modifikasi)
│ └─ ascon_r1_cli/ # ← wrapper CLI khusus R1 (ascon_aead_cli.c, Makefile, build/)
│
├─ libcoap/ # ← clone & build libcoap di CLIENT
│
└─ experiments/
└─ coap_5001_6001/
├─ client/
│ ├─ bin/ # ← ascon_aead_cli (hasil build), tool lain
│ ├─ scripts/ # ← detect_poi.py, encrypt_roi_ascon.py, run_r1.sh, models/
│ └─ processed_r1/
│ ├─ 640x360/
│ ├─ 1280x720/
│ └─ 1920x1080/
└─ libcoap_client/
└─ coap-client # ← copy dari /home/noble/libcoap/examples/coap-client
</pre>
Catatan:
* shared/algorithms/ascon = repo asli upstream (tetap bersih).
* shared/algorithms/ascon_r1_cli = tempat ascon_aead_cli.c + Makefile + build/ (hasil make).
* Setelah make, copy build/ascon_aead_cli → experiments/coap_5001_6001/client/bin/.
* experiments/coap_5001_6001/libcoap_client/coap-client adalah binary dari libcoap (hasil build di /home/noble/libcoap).

====Server====
<pre>
/home/noble/
├─ libcoap/ # ← clone & build libcoap di SERVER
│
└─ experiments/
└─ coap_5001_6001/
└─ server/
├─ bin/
│ ├─ coap-echo-server # ← copy dari /home/noble/libcoap/examples/coap-server (atau versi kustom)
│ └─ ascon_aead_cli # ← hasil build CLI di server (mirror dari client)
├─ aead_upstream/
│ └─ ascon/ # ← clone upstream ascon-c (TANPA modifikasi)
├─ aead_cli_r1/
│ ├─ ascon_aead_cli.c # ← copy dari client agar build lokal
│ ├─ Makefile # ← sesuaikan ASCON_UPSTREAM ke path server
│ └─ build/
├─ inbox/ # ← simpan payload .txn.tar yang diterima
├─ tmp/ # ← tempat ekstrak .txn.tar untuk kerja sementara
├─ decrypted/ # ← hasil rekonstruksi (imgX.decrypted.png)
└─ logs/

</pre>

Catatan:
* Build ascon_aead_cli di server (gunakan upstream lokal aead_upstream/ascon), lalu copy ke server/bin/.
* Jalankan coap-echo-server di -A 192.168.122.246 -p 6001.
* inbox/ menyimpan arsip payload masuk (bahan evaluasi).
* tmp/ untuk ekstraksi .txn.tar; decrypted/ hasil dekripsi.

Untuk instalasi libcoap dapat dilihat pada [[libcoap]]

==Client==
Siapkan struktur dan install dependency

mkdir -p /home/noble/shared/images/{640x360,1280x720,1920x1080}
mkdir -p /home/noble/shared/algorithms/{ascon,ascon_r1_cli}
mkdir -p /home/noble/experiments/coap_5001_6001/client/{bin,scripts,processed_r1}
mkdir -p /home/noble/experiments/coap_5001_6001/client/processed_r1/{640x360,1280x720,1920x1080}
mkdir -p /home/noble/experiments/coap_5001_6001/libcoap_client
mkdir -p /home/noble/libcoap

sudo apt-get update
sudo apt-get install -y \
python3 python3-venv python3-opencv \
build-essential autoconf automake libtool pkg-config \
libssl-dev libpng-dev git

Clone ascon-c dari github

cd /home/noble/shared/algorithms
git clone https://github.com/ascon/ascon-c.git ascon

Siapkan ascon_r1_cli (wrapper) + Makefile + build script

File: /home/noble/shared/algorithms/ascon_r1_cli/ascon_aead_cli.c dapat dilihat di

==Server==
Siapkan struktur dan install dependency

mkdir -p /home/noble/shared/algorithms/{ascon,ascon_r1_cli}
mkdir -p /home/noble/experiments/coap_5001_6001/server/{bin,inbox,logs,tmp,decrypted}
mkdir -p /home/noble/libcoap

sudo apt-get update
sudo apt-get install -y \
python3 python3-venv python3-opencv \
build-essential autoconf automake libtool pkg-config \
libssl-dev libpng-dev git

Riset-1

2025-11-03T06:09:51Z

Aditya:

==Skema di Client dan Server==

====Client====
<pre>
/home/noble/
├─ shared/
│ ├─ images/
│ │ ├─ 640x360/
│ │ ├─ 1280x720/
│ │ └─ 1920x1080/
│ └─ algorithms/
│ ├─ ascon/ # ← clone upstream ascon-c (TANPA modifikasi)
│ └─ ascon_r1_cli/ # ← wrapper CLI khusus R1 (ascon_aead_cli.c, Makefile, build/)
│
├─ libcoap/ # ← clone & build libcoap di CLIENT
│
└─ experiments/
└─ coap_5001_6001/
├─ client/
│ ├─ bin/ # ← ascon_aead_cli (hasil build), tool lain
│ ├─ scripts/ # ← detect_poi.py, encrypt_roi_ascon.py, run_r1.sh, models/
│ └─ processed_r1/
│ ├─ 640x360/
│ ├─ 1280x720/
│ └─ 1920x1080/
└─ libcoap_client/
└─ coap-client # ← copy dari /home/noble/libcoap/examples/coap-client
</pre>
Catatan:
* shared/algorithms/ascon = repo asli upstream (tetap bersih).
* shared/algorithms/ascon_r1_cli = tempat ascon_aead_cli.c + Makefile + build/ (hasil make).
* Setelah make, copy build/ascon_aead_cli → experiments/coap_5001_6001/client/bin/.
* experiments/coap_5001_6001/libcoap_client/coap-client adalah binary dari libcoap (hasil build di /home/noble/libcoap).

====Server====
<pre>
/home/noble/
├─ libcoap/ # ← clone & build libcoap di SERVER
│
└─ experiments/
└─ coap_5001_6001/
└─ server/
├─ bin/
│ ├─ coap-echo-server # ← copy dari /home/noble/libcoap/examples/coap-server (atau versi kustom)
│ └─ ascon_aead_cli # ← hasil build CLI di server (mirror dari client)
├─ aead_upstream/
│ └─ ascon/ # ← clone upstream ascon-c (TANPA modifikasi)
├─ aead_cli_r1/
│ ├─ ascon_aead_cli.c # ← copy dari client agar build lokal
│ ├─ Makefile # ← sesuaikan ASCON_UPSTREAM ke path server
│ └─ build/
├─ inbox/ # ← simpan payload .txn.tar yang diterima
├─ tmp/ # ← tempat ekstrak .txn.tar untuk kerja sementara
├─ decrypted/ # ← hasil rekonstruksi (imgX.decrypted.png)
└─ logs/

</pre>

Catatan:
* Build ascon_aead_cli di server (gunakan upstream lokal aead_upstream/ascon), lalu copy ke server/bin/.
* Jalankan coap-echo-server di -A 192.168.122.246 -p 6001.
* inbox/ menyimpan arsip payload masuk (bahan evaluasi).
* tmp/ untuk ekstraksi .txn.tar; decrypted/ hasil dekripsi.

==Client==
Siapkan struktur dan install dependency

mkdir -p /home/noble/shared/images/{640x360,1280x720,1920x1080}
mkdir -p /home/noble/shared/algorithms/{ascon,ascon_r1_cli}
mkdir -p /home/noble/experiments/coap_5001_6001/client/{bin,scripts,processed_r1}
mkdir -p /home/noble/experiments/coap_5001_6001/client/processed_r1/{640x360,1280x720,1920x1080}
mkdir -p /home/noble/experiments/coap_5001_6001/libcoap_client
mkdir -p /home/noble/libcoap

sudo apt-get update
sudo apt-get install -y \
python3 python3-venv python3-opencv \
build-essential autoconf automake libtool pkg-config \
libssl-dev libpng-dev git

Clone ascon-c dari github

cd /home/noble/shared/algorithms
git clone https://github.com/ascon/ascon-c.git ascon

Siapkan ascon_r1_cli (wrapper) + Makefile + build script

File: /home/noble/shared/algorithms/ascon_r1_cli/ascon_aead_cli.c

Riset-1

2025-10-31T23:53:13Z

Aditya:

Riset-1

2025-10-31T11:56:30Z

Aditya:

<pre>
/home/noble/
├─ experiments/
│ └─ coap_5001_6001/
│ ├─ client/
│ │ ├─ bin/ # helper CLI (ascon_aead_cli, packer)
│ │ ├─ scripts/ # python & bash pipeline
│ │ └─ processed_r1/ # hasil siap kirim (akan dihapus tiap run)
│ └─ server/
│ ├─ bin/ # coap-server custom (opsional)
│ └─ inbox/ # hasil echo dari server (sementara)
├─ libcoap/ # libcoap (client/server)
└─ shared/
├─ images/ # 640x360 / 1280x720 / 1920x1080 (asli)
└─ algorithms/
└─ ascon/ # referensi C untuk Ascon (lib + CLI kecil)
</pre>

Riset-1

2025-10-29T02:19:21Z

Aditya: Created page with "/home/noble/ ├─ experiments/ │ └─ coap_5001_6001/ │ ├─ client/ │ │ ├─ bin/ # helper CLI (ascon_aead_cli, packer) │ │..."

/home/noble/
├─ experiments/
│ └─ coap_5001_6001/
│ ├─ client/
│ │ ├─ bin/ # helper CLI (ascon_aead_cli, packer)
│ │ ├─ scripts/ # python & bash pipeline
│ │ └─ processed_r1/ # hasil siap kirim (akan dihapus tiap run)
│ └─ server/
│ ├─ bin/ # coap-server custom (opsional)
│ └─ inbox/ # hasil echo dari server (sementara)
├─ libcoap/ # libcoap (client/server)
└─ shared/
├─ images/ # 640x360 / 1280x720 / 1920x1080 (asli)
└─ algorithms/
└─ ascon/ # referensi C untuk Ascon (lib + CLI kecil)

Riset-disertasi

2025-10-29T02:18:14Z

Aditya:

Riset-disertasi

2025-10-29T02:17:32Z

Aditya:

Riset-disertasi

2025-10-29T02:15:19Z

Aditya:

Riset-disertasi

2025-10-29T02:14:54Z

Aditya:

Riset-disertasi

2025-10-29T02:09:24Z

Aditya:

==[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]==
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
1. Kinerja sistem
* CPU usage / execution time enkripsi (per gambar, per resolusi).
* Latency end-to-end (ClientA → ServerB).
* Payload size (bytes dikirim).
* Retransmisi (via pcap).
2. QoE (Quality of Experience)
* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
* SSIM area ROI (rendah → privasi terlindungi).
3. Cryptographic footprint
* Distribusi bytes terenkripsi antar gambar/resolusi.
4. Privasi visual
* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

==[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]==
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
1. Perbandingan overhead antar layer
* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
* Payload size (besar header tambahan OSCORE).
* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
2. Reliabilitas komunikasi
* Packet retransmission / packet loss.
* Goodput (gambar/MBps efektif).
3. Security
* Transport: full payload protected, tapi tidak selective.
* App-layer: selective encryption, lebih hemat.
* Kombinasi: double protection, overhead lebih tinggi.
4. Platform diversity
* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

==[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]==
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
1. Benchmark kriptografi (MCU/CPU level)
* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
* Throughput (MB/s).
* Code size (flash, KB).
* RAM usage.
* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
2. Keamanan algoritma
* Correctness: Known Answer Test (KAT).
* Nonce misuse resistance (uji basic).
* Konsistensi constant-time (cek dengan alat timing).
3. Perbandingan dengan cipher lain
* Ascon.
* PRESENT.
* ChaCha20.
* AES.
4. Integrasi
* Kirim gambar (via libcoap) dengan NanoCipher.
* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

==[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]==
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
1. Integrasi OSCORE
* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
* Kinerja encode/decode OSCORE.
2. Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
* Latency per message.
* Payload overhead.
* CPU usage.
* Energy consumption.
3. Robustness
* Correctness (uji KAT + interop message decrypt).
* Replay protection (uji ulang id_context, sequence number).
4. Resource impact (IoT)
* Memory footprint tambahan bila OSCORE pakai NanoCipher.
* Apakah Raspberry/ESP32 masih muat (RAM/flash).

Riset-disertasi

2025-10-29T02:08:14Z

Aditya: Created page with "Riset-1 (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001] =========================================== Tujuan: menunjukkan keunggulan selective encryption untu..."

[[Riset-1]] (ROI + Ascon via CoAP) → Paper Conference [port 5001 - 6001]
===========================================
Tujuan: menunjukkan keunggulan selective encryption untuk multimedia di IoT.
Evaluasi:
1. Kinerja sistem
* CPU usage / execution time enkripsi (per gambar, per resolusi).
* Latency end-to-end (ClientA → ServerB).
* Payload size (bytes dikirim).
* Retransmisi (via pcap).
2. QoE (Quality of Experience)
* SSIM/PSNR area non-ROI (harus ≈1 / ∞ → fidelity utuh).
* SSIM area ROI (rendah → privasi terlindungi).
3. Cryptographic footprint
* Distribusi bytes terenkripsi antar gambar/resolusi.
4. Privasi visual
* Apakah ROI (misalnya wajah) tak terbaca setelah enkripsi.

------------------------------------------------------------------------------------------------------------

[[Riset-2]] (App-layer vs Transport-layer vs Hybrid) → Paper Q1 [port 5002 - 6002]
==================================================
Tujuan: membandingkan keamanan di layer aplikasi (ROI+Ascon) vs layer transport (OSCORE) vs kombinasi keduanya (cross layer).
1. Perbandingan overhead antar layer
* Latency (CoAP vs OSCORE vs ROI+Ascon+OSCORE).
* Payload size (besar header tambahan OSCORE).
* CPU usage: ROI+Ascon (app) vs OSCORE (transport).
2. Reliabilitas komunikasi
* Packet retransmission / packet loss.
* Goodput (gambar/MBps efektif).
3. Security
* Transport: full payload protected, tapi tidak selective.
* App-layer: selective encryption, lebih hemat.
* Kombinasi: double protection, overhead lebih tinggi.
4. Platform diversity
* Evaluasi di VM (GNS3) vs Raspberry Pi vs ESP32.
* Apakah constraint hardware mempengaruhi performa signifikan.

------------------------------------------------------------------------------------------------------------

[[Riset-3]] (NanoCipher – AEAD baru) → Paper Q1 [port 5003 - 6003]
=======================================
Tujuan: membuktikan NanoCipher sebagai AEAD ringan khusus multimedia.
Evaluasi inti (kriptografi + sistem):
1. Benchmark kriptografi (MCU/CPU level)
* Cycles/byte (ukur dengan benchmark Ascon/PRESENT/ChaCha20).
* Throughput (MB/s).
* Code size (flash, KB).
* RAM usage.
* Energy/byte (estimasi via current measurement di Raspberry Pi/ESP32).
2. Keamanan algoritma
* Correctness: Known Answer Test (KAT).
* Nonce misuse resistance (uji basic).
* Konsistensi constant-time (cek dengan alat timing).
3. Perbandingan dengan cipher lain
* Ascon.
* PRESENT.
* ChaCha20.
* AES.
4. Integrasi
* Kirim gambar (via libcoap) dengan NanoCipher.
* Latency, payload, CPU, QoE → dibandingkan Ascon/AES/ChaCha20/PRESENT.

------------------------------------------------------------------------------------------------------------

[[Riset-4]] (NanoCipher + OSCORE) → Paper Q1 [port 5004 - 6004]
====================================
Tujuan: menguji apakah NanoCipher bisa jadi alternatif AEAD di OSCORE (transport security).
Evaluasi:
1. Integrasi OSCORE
* Modifikasi libcoap → NanoCipher jadi AEAD opsional di COSE.
* Kinerja encode/decode OSCORE.
2. Perbandingan OSCORE-AES vs OSCORE-Ascon vs OSCORE-NanoCipher
* Latency per message.
* Payload overhead.
* CPU usage.
* Energy consumption.
3. Robustness
* Correctness (uji KAT + interop message decrypt).
* Replay protection (uji ulang id_context, sequence number).
4. Resource impact (IoT)
* Memory footprint tambahan bila OSCORE pakai NanoCipher.
* Apakah Raspberry/ESP32 masih muat (RAM/flash).

PostgreSQL

2025-06-08T03:41:23Z

Aditya: /* Perintah */

''' Install PostgreSQL di Ubuntu 20.04.01'''

sudo apt update
sudo apt install postgresql postgresql-contrib

''' Cara akses PostgreSQL'''

Jika kita mempunyai database dengan nama psql

Cara 1
sudo -i -u postgres
psql

Cara 2
sudo -u postgres psql

Cara 3 (jika kita tidak akan menggunakan sudo - untuk user biasa)
Buat terlebih dahulu usernya
sudo -u postgres psql

postgres=# create database mydb;
postgres=# create user myuser with encrypted password 'mypass';
postgres=# grant all privileges on database mydb to myuser;

psql -U myuser mydb

''' Perintah PostgreSQL '''

'''Membuat user'''
sudo -u postgres createuser --interactive

'''Membuat database'''
sudo -u postgres createdb <namadb>
atau
sudo -i -u postgres
psql
create database <namadb>

'''Cek database'''
\list

'''Pilih database'''
\connect <namadb>

'''Delete postgres user'''
REASSIGN OWNED BY myuser TO postgres;
DROP OWNED BY myuser;
DROP USER myuser;

===Untuk di server===
Selain setting security groups di server, setting juga di etc/postgresql/<version>/main/pg_hba.conf

host all all 127.0.0.1/32 md5
host all all 10.0.1.0/24 md5

Dan di etc/postgresql/<version>/main/postgresql.conf
Edit postgresql.conf and change listen_address:

listen_addresses='*'

===Perintah===
\c: Untuk memilih database. Contoh: \c mydb (memilih database bernama "mydb").

\l atau \list: Untuk melihat daftar database.

\d: Untuk melihat deskripsi relasi (tabel, urutan, tampilan, dll.).

\dn: Untuk melihat daftar skema.

\h: Untuk menampilkan bantuan tentang perintah psql.

\q: Untuk keluar dari psql.

\e: Untuk membuka editor teks untuk perintah terakhir yang dieksekusi.

\a: Untuk beralih antara format output (selaras atau tidak selaras).

\g: Untuk menjalankan perintah terakhir.

\i: Untuk menjalankan skrip SQL dari file.

==Referensi==
* https://serverfault.com/questions/336596/opening-port-5432-on-ubuntu
* https://medium.com/coding-blocks/creating-user-database-and-adding-access-on-postgresql-8bfcd2f4a91e
* https://phoenixnap.com/kb/delete-postgres-user

PostgreSQL

2025-06-08T03:20:39Z

Aditya:

''' Install PostgreSQL di Ubuntu 20.04.01'''

sudo apt update
sudo apt install postgresql postgresql-contrib

''' Cara akses PostgreSQL'''

Jika kita mempunyai database dengan nama psql

Cara 1
sudo -i -u postgres
psql

Cara 2
sudo -u postgres psql

Cara 3 (jika kita tidak akan menggunakan sudo - untuk user biasa)
Buat terlebih dahulu usernya
sudo -u postgres psql

postgres=# create database mydb;
postgres=# create user myuser with encrypted password 'mypass';
postgres=# grant all privileges on database mydb to myuser;

psql -U myuser mydb

''' Perintah PostgreSQL '''

'''Membuat user'''
sudo -u postgres createuser --interactive

'''Membuat database'''
sudo -u postgres createdb <namadb>
atau
sudo -i -u postgres
psql
create database <namadb>

'''Cek database'''
\list

'''Pilih database'''
\connect <namadb>

'''Delete postgres user'''
REASSIGN OWNED BY myuser TO postgres;
DROP OWNED BY myuser;
DROP USER myuser;

===Untuk di server===
Selain setting security groups di server, setting juga di etc/postgresql/<version>/main/pg_hba.conf

host all all 127.0.0.1/32 md5
host all all 10.0.1.0/24 md5

Dan di etc/postgresql/<version>/main/postgresql.conf
Edit postgresql.conf and change listen_address:

listen_addresses='*'

===Perintah===
\c: Untuk memilih database. Contoh: \c mydb (memilih database bernama "mydb").
\l atau \list: Untuk melihat daftar database.
\d: Untuk melihat deskripsi relasi (tabel, urutan, tampilan, dll.).
\dn: Untuk melihat daftar skema.
\h: Untuk menampilkan bantuan tentang perintah psql.
\q: Untuk keluar dari psql.
\e: Untuk membuka editor teks untuk perintah terakhir yang dieksekusi.
\a: Untuk beralih antara format output (selaras atau tidak selaras).
\g: Untuk menjalankan perintah terakhir.
\i: Untuk menjalankan skrip SQL dari file.

==Referensi==
* https://serverfault.com/questions/336596/opening-port-5432-on-ubuntu
* https://medium.com/coding-blocks/creating-user-database-and-adding-access-on-postgresql-8bfcd2f4a91e
* https://phoenixnap.com/kb/delete-postgres-user

Percobaan libcoap GNS3

2025-02-11T06:15:46Z

Aditya:

===Setting Default===

Buat percobaan menggunakan GNS3 yang melibatkan 2 ubuntu, 1 hub, 1 NAT.

====Langkah 1====

Ubuntu akan dijadikan client dan server. Keduanya diinstall libcoap (tutorial dapat dilihat pada [[libcoap]]).

====Langkah 2====
Pada client, disimpan gambar yang akan dikirimkan. Berikan perintah seperti berikut

'''Client'''
./coap-client -v 9 -m put coap://192.168.122.246/example_data -G 10 -w -b 1024 -d @example.jpg

'''Server'''
./coap-server -v 9 -L 9

Penjelasan:
* -m put: Metode PUT digunakan untuk mengirimkan data ke server. Dalam hal ini, kamu mengirimkan gambar example.jpg ke server.
* -d @example.jpg: Mengirimkan file gambar example.jpg ke server dalam blok.
* -L 9: Mengatur tingkat verbosity log ke level 9 (informasi yang lebih rinci).
* -G 10: Memberikan batasan untuk 10 blok.
* -w: Menunggu respons dari server setelah setiap permintaan.
* -b 1024: Mengatur ukuran blok menjadi 1024 byte.

Percobaan libcoap GNS3

2025-02-11T06:15:08Z

Aditya: Created page with "===Setting Default=== Buat percobaan menggunakan GNS3 yang melibatkan 2 ubuntu, 1 hub, 1 NAT. ====Langkah 1==== Ubuntu akan dijadikan client dan server. Keduanya diinstall..."

===Setting Default===

Buat percobaan menggunakan GNS3 yang melibatkan 2 ubuntu, 1 hub, 1 NAT.

====Langkah 1====

Ubuntu akan dijadikan client dan server. Keduanya diinstall libcoap (tutorial dapat dilihat pada [[libcoap]]).

====Langkah 2====
Pada client, disimpan gambar yang akan dikirimkan. Berikan perintah seperti berikut

'''Client'''
./coap-client -v 9 -m put coap://192.168.122.246/example_data -G 10 -w -b 1024 -d @example.jpg

'''Server'''
./coap-server -v 9 -L 9

Penjelasan:
-m put: Metode PUT digunakan untuk mengirimkan data ke server. Dalam hal ini, kamu mengirimkan gambar example.jpg ke server.
-d @example.jpg: Mengirimkan file gambar example.jpg ke server dalam blok.
-L 9: Mengatur tingkat verbosity log ke level 9 (informasi yang lebih rinci).
-G 10: Memberikan batasan untuk 10 blok.
-w: Menunggu respons dari server setelah setiap permintaan.
-b 1024: Mengatur ukuran blok menjadi 1024 byte.

Libcoap

2025-02-11T06:06:19Z

Aditya:

Git

2025-01-28T06:36:23Z

Aditya: /* Koneksi menggunakan ssh */

Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency.

Git is easy to learn and has a tiny footprint with lightning fast performance. It outclasses SCM tools like Subversion, CVS, Perforce, and ClearCase with features like cheap local branching, convenient staging areas, and multiple workflows.

==Instalasi==
Pada ubuntu

add-apt-repository ppa:git-core/ppa
apt update
apt install git

==Cara menggunakan git==
Untuk pertama kali, perlu kita setting beberapa hal:

*Login git via terminal

git config --global user.name "username"
git config --global user.email user@mail.com
git config --list

*Login dan buat repo di github.com atau gitlab.com

*Cara setting agar dapat remote git dari file lokal
git init
git remote add origin git@github.com:UserNameGit/NamaRepository.git

*Menambahkan file
git add index.php
git commit -m "first commit"
git push origin master

*Mengambil file
git pull origin master

==Login ke github==
Cara login ke Github setelah tanggal 13 Agustus 2021 berbeda. Untuk melakukan autentikasi, tidak menggunakan password, namun menggunakan PAT (Personal Access Token). Cara mendapatkan PAT adalah:
Dari GitHub account, pilih '''Settings => Developer Settings => Personal Access Token => Generate New Token (Give your password) => isi form => click Generate token => Copy the generated Token'''
Jangan lupa untuk menyimpan token pada file agar mudah diingat.

==Koneksi menggunakan ssh==
Buat kunci private dan public dahulu (bisa cek '''[[ssh]]''' untuk membuatnya).
Jangan lupa buat chmod 600.

Copy hasil pub ke '''Settings => SSH and GPG keys => new SSH keys'''

Lalu
ssh-add <kunci>

Hasilnya '''Identity added: <kunci>'''

Kemudian cek koneksi SSH
ssh -T git@github.com

Hasilnya '''Hi <username>! You've successfully authenticated, but GitHub does not provide shell access.'''

Agar dapat digunakan tanpa meng-add ssh manual, tambahkan file config di path ~/.ssh/config dan isi dengan
# Github.com server
Host github.com
IdentityFile ~/.ssh/<kunci>

==Referensi==
* https://git-scm.com/
* https://www.niagahoster.co.id/blog/git-tutorial-dasar/
* https://stackoverflow.com/questions/68775869/support-for-password-authentication-was-removed-please-use-a-personal-access-to
* https://www.petanikode.com/github-ssh/

Git

2025-01-28T06:34:36Z

Aditya:

Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency.

Git is easy to learn and has a tiny footprint with lightning fast performance. It outclasses SCM tools like Subversion, CVS, Perforce, and ClearCase with features like cheap local branching, convenient staging areas, and multiple workflows.

==Instalasi==
Pada ubuntu

add-apt-repository ppa:git-core/ppa
apt update
apt install git

==Cara menggunakan git==
Untuk pertama kali, perlu kita setting beberapa hal:

*Login git via terminal

git config --global user.name "username"
git config --global user.email user@mail.com
git config --list

*Login dan buat repo di github.com atau gitlab.com

*Cara setting agar dapat remote git dari file lokal
git init
git remote add origin git@github.com:UserNameGit/NamaRepository.git

*Menambahkan file
git add index.php
git commit -m "first commit"
git push origin master

*Mengambil file
git pull origin master

==Login ke github==
Cara login ke Github setelah tanggal 13 Agustus 2021 berbeda. Untuk melakukan autentikasi, tidak menggunakan password, namun menggunakan PAT (Personal Access Token). Cara mendapatkan PAT adalah:
Dari GitHub account, pilih '''Settings => Developer Settings => Personal Access Token => Generate New Token (Give your password) => isi form => click Generate token => Copy the generated Token'''
Jangan lupa untuk menyimpan token pada file agar mudah diingat.

==Koneksi menggunakan ssh==
Buat kunci private dan public dahulu (bisa cek [[ssh]] untuk membuatnya).
Jangan lupa buat chmod 600.

Copy hasil pub ke '''Settings => SSH and GPG keys => new SSH keys'''

Lalu
ssh-add <kunci>

Hasilnya '''Identity added: <kunci>'''

Kemudian cek koneksi SSH
ssh -T git@github.com

Hasilnya '''Hi <username>! You've successfully authenticated, but GitHub does not provide shell access.'''

Agar dapat digunakan tanpa meng-add ssh manual, tambahkan file config di path ~/.ssh/config dan isi dengan
# Github.com server
Host github.com
IdentityFile ~/.ssh/<kunci>

==Referensi==
* https://git-scm.com/
* https://www.niagahoster.co.id/blog/git-tutorial-dasar/
* https://stackoverflow.com/questions/68775869/support-for-password-authentication-was-removed-please-use-a-personal-access-to
* https://www.petanikode.com/github-ssh/

Git

2025-01-28T06:33:08Z

Aditya:

Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency.

Git is easy to learn and has a tiny footprint with lightning fast performance. It outclasses SCM tools like Subversion, CVS, Perforce, and ClearCase with features like cheap local branching, convenient staging areas, and multiple workflows.

==Instalasi==
Pada ubuntu

add-apt-repository ppa:git-core/ppa
apt update
apt install git

==Cara menggunakan git==
Untuk pertama kali, perlu kita setting beberapa hal:

*Login git via terminal

git config --global user.name "username"
git config --global user.email user@mail.com
git config --list

*Login dan buat repo di github.com atau gitlab.com

*Cara setting agar dapat remote git dari file lokal
git init
git remote add origin git@github.com:UserNameGit/NamaRepository.git

*Menambahkan file
git add index.php
git commit -m "first commit"
git push origin master

*Mengambil file
git pull origin master

==Login ke github==
Cara login ke Github setelah tanggal 13 Agustus 2021 berbeda. Untuk melakukan autentikasi, tidak menggunakan password, namun menggunakan PAT (Personal Access Token). Cara mendapatkan PAT adalah:
Dari GitHub account, pilih '''Settings => Developer Settings => Personal Access Token => Generate New Token (Give your password) => isi form => click Generate token => Copy the generated Token'''
Jangan lupa untuk menyimpan token pada file agar mudah diingat.

==Koneksi menggunakan ssh==
Buat kunci private dan public dahulu (bisa cek [[ssh]] untuk membuatnya).
Jangan lupa buat chmod 600.

Copy hasil pub ke '''Settings => SSH and GPG keys => new SSH keys'''

Lalu
ssh-add <kunci>

Hasilnya '''Identity added: <kunci>'''

Kemudian cek koneksi SSH
ssh -T git@github.com

Hasilnya '''Hi <username>! You've successfully authenticated, but GitHub does not provide shell access.'''

Agar dapat digunakan tanpa meng-add ssh manual, tambahkan file config di path ~/.ssh/config dan isi dengan
# Github.com server
Host github.com
IdentityFile ~/.ssh/<kunci>

==Referensi==
* https://git-scm.com/
* https://www.niagahoster.co.id/blog/git-tutorial-dasar/
* https://stackoverflow.com/questions/68775869/support-for-password-authentication-was-removed-please-use-a-personal-access-to

Qpdf

2024-12-18T04:07:06Z

Aditya:

===What is QPDF?===

QPDF is a command-line program that does structural, content-preserving transformations on PDF files. It could have been called something like pdf-to-pdf. It also provides many useful capabilities to developers of PDF-producing software or for people who just want to look at the innards of a PDF file to learn more about how they work.

QPDF is capable of creating linearized (also known as web-optimized) files and encrypted files. It is also capable of converting PDF files with object streams (also known as compressed objects) to files with no compressed objects or to generate object streams from files that don't have them (or even those that already do). QPDF also supports a special mode designed to allow you to edit the content of PDF files in a text editor. For more details, please see the documentation links below.

QPDF includes support for merging and splitting PDFs through the ability to copy objects from one PDF file into another and to manipulate the list of pages in a PDF file. The QPDF library also makes it possible for you to create PDF files from scratch. In this mode, you are responsible for supplying all the contents of the file, while the QPDF library takes care off all the syntactical representation of the objects, creation of cross references tables and, if you use them, object streams, encryption, linearization, and other syntactic details.

QPDF is not a PDF content creation library, a PDF viewer, or a program capable of converting PDF into other formats. In particular, QPDF knows nothing about the semantics of PDF content streams. If you are looking for something that can do that, you should look elsewhere. However, once you have a valid PDF file, QPDF can be used to transform that file in ways perhaps your original PDF creation can't handle. For example, programs generate simple PDF files but can't password-protect them, web-optimize them, or perform other transformations of that type.

QPDF releases are hosted at its SourceForge project page and also as github releases. The source code and issues are on github. On SourceForge, you can find downloads. The public key used to sign qpdf source distributions has fingerprint C2C9 6B10 011F E009 E6D1 DF82 8A75 D109 9801 2C7E and can be found at https://q.ql.org/pubkey.asc or downloaded from a public key server.

===Instalasi===

sudo apt update
sudo apt-get install -y qpdf

===Cara pakai===

====Split Page====
Misal akan membagi menjadi 1 halaman PDF

qpdf --split-pages=1 <file-asli>.pdf abc.pdf

Hasilnya akan membuat file abc-1.pdf, abd-2.pdf, dan seterusnya (sebanyak jumlah halaman yang ada)

====Menggabung Page====

qpdf --empty --pages abc-*.pdf -- <file-output>.pdf

Hasilnya file abc-1.pdf, abd-2.pdf, dan seterusnya akan digabung menjadi file-output.pdf

====Mengambil per Halaman====

qpdf input.pdf --pages . 1-10 -- output.pdf
qpdf --empty --pages input.pdf 1-5 -- outfile.pdf

Hasilnya akan terdapat file output yang terdiri dari halaman 1-10 atau halaman 1-5 dari file input

===Referensi===
* http://qpdf.sourceforge.net/
* https://askubuntu.com/questions/221962/how-can-i-extract-a-page-range-a-part-of-a-pdf

Qpdf

2024-12-18T04:06:27Z

Aditya:

===What is QPDF?===

QPDF is a command-line program that does structural, content-preserving transformations on PDF files. It could have been called something like pdf-to-pdf. It also provides many useful capabilities to developers of PDF-producing software or for people who just want to look at the innards of a PDF file to learn more about how they work.

QPDF is capable of creating linearized (also known as web-optimized) files and encrypted files. It is also capable of converting PDF files with object streams (also known as compressed objects) to files with no compressed objects or to generate object streams from files that don't have them (or even those that already do). QPDF also supports a special mode designed to allow you to edit the content of PDF files in a text editor. For more details, please see the documentation links below.

QPDF includes support for merging and splitting PDFs through the ability to copy objects from one PDF file into another and to manipulate the list of pages in a PDF file. The QPDF library also makes it possible for you to create PDF files from scratch. In this mode, you are responsible for supplying all the contents of the file, while the QPDF library takes care off all the syntactical representation of the objects, creation of cross references tables and, if you use them, object streams, encryption, linearization, and other syntactic details.

QPDF is not a PDF content creation library, a PDF viewer, or a program capable of converting PDF into other formats. In particular, QPDF knows nothing about the semantics of PDF content streams. If you are looking for something that can do that, you should look elsewhere. However, once you have a valid PDF file, QPDF can be used to transform that file in ways perhaps your original PDF creation can't handle. For example, programs generate simple PDF files but can't password-protect them, web-optimize them, or perform other transformations of that type.

QPDF releases are hosted at its SourceForge project page and also as github releases. The source code and issues are on github. On SourceForge, you can find downloads. The public key used to sign qpdf source distributions has fingerprint C2C9 6B10 011F E009 E6D1 DF82 8A75 D109 9801 2C7E and can be found at https://q.ql.org/pubkey.asc or downloaded from a public key server.

===Instalasi===

sudo apt update
sudo apt-get install -y qpdf

===Cara pakai===

====Split Page====
Misal akan membagi menjadi 1 halaman PDF

qpdf --split-pages=1 <file-asli>.pdf abc.pdf

Hasilnya akan membuat file abc-1.pdf, abd-2.pdf, dan seterusnya (sebanyak jumlah halaman yang ada)

====Menggabung Page====

qpdf --empty --pages abc-*.pdf -- <file-output>.pdf

Hasilnya file abc-1.pdf, abd-2.pdf, dan seterusnya akan digabung menjadi file-output.pdf

====Mengambil per Halaman====

qpdf input.pdf --pages . 1-10 -- output.pdf
qpdf --empty --pages infile.pdf 1-5 -- outfile.pdf

Hasilnya akan terdapat file output yang terdiri dari halaman 1-10 atau halaman 1-5

===Referensi===
* http://qpdf.sourceforge.net/
* https://askubuntu.com/questions/221962/how-can-i-extract-a-page-range-a-part-of-a-pdf

Esp-eye

2024-11-09T09:14:28Z

Aditya:

ESP-Eye adalah sebuah modul pengembangan berbasis ESP32 yang dirancang khusus untuk aplikasi pengolahan gambar dan pengenalan wajah. Modul ini memiliki beberapa fitur kunci:

#Kamera Terintegrasi: ESP-Eye dilengkapi dengan kamera yang memungkinkan pengguna untuk menangkap gambar atau video.
#Konektivitas: Modul ini mendukung koneksi Wi-Fi dan Bluetooth, yang memudahkan untuk terhubung dengan perangkat lain dan mengirim data.
#Pemrosesan Gambar: Dengan menggunakan kemampuan pemrosesan dari chip ESP32, ESP-Eye dapat melakukan beberapa tugas pengolahan gambar, termasuk deteksi wajah dan pengenalan objek.
#Antarmuka yang Mudah: ESP-Eye dirancang untuk mudah digunakan, sehingga pengembang dapat dengan cepat membuat prototipe aplikasi berbasis kamera.
#Kompatibilitas: Modul ini kompatibel dengan berbagai pustaka dan platform pemrograman, termasuk Arduino dan MicroPython, yang membuatnya lebih fleksibel untuk digunakan.

===Tambah project===
Kita akan gunakan [[esp-eye]] sebagai client. Sehingga harus instalasi [[esp-idf]] agar dapat di-build dan di-flash ke client. Kita ambil contoh yang sudah ada dari link https://components.espressif.com/components/espressif/coap/versions/4.3.5~1/examples. Buat folder baru

mkdir projects
cd projects

Tambahkan komponen libcoap

idf.py add-dependency "espressif/coap^4.3.5~1"

Ambil contoh coap_client

idf.py create-project-from-example "espressif/coap^4.3.5~1:coap_client"

Ambil contoh coap_server

idf.py create-project-from-example "espressif/coap^4.3.5~1:coap_server"

Untuk config project (setting WiFi, IP server, dll). Untuk URI nya bisa gunakan '''coap://{IP SERVER}/example_data'''

idf.py menuconfig

Untuk build

idf.py build

Untuk flash project

idf.py flash

Untuk melihat log/monitoring yang terjadi

idf.py monitor

'''Jika ada error port''', tambahkan perintah

idf.py -p PORT flash monitor
idf.py -p /dev/ttyUSB0 flash
idf.py -p COM3 flash

Cara mendapatkan port

*Linux: Ketik perintah ini sebelum dan sesudah ESP32 dipasang
ls /dev/tty*
*macOS:
ls /dev/tty.*
ls /dev/cu.*.
*Windows: Buka Device Manager, cek "Ports (COM & LPT)"

===Percobaan===
Setelah install libcoap, ambil code dari example coap-server.c. Dengan code tersebut, sesuaikan struktur dari COAP-CLIENT2-ROBUST (https://github.com/dsp-mc-itb/COAP_CLIENT2_ROBUST).

Pada file CMakeList (yang ada di COAP-CLIENT2-ROBUST) -> edit (local_client -> local_server; Sensor_local_client -> Sensor_local_server)

Setelah itu ketik

sudo apt install cmake
mkdir build
cmake -S . -B build
cd build
cmake --build .
./local_server -v 8

==Link Terkait==
* [[libcoap]]

==Referensi==
* Definisi tanya chatGPT

Esp-eye

2024-11-09T09:13:54Z

Aditya: /* Link Terkait */

Esp-eye

2024-11-09T09:13:26Z

Aditya: /* Link Terkait */

Esp-eye

2024-11-09T09:12:54Z

Aditya:

Libcoap

2024-11-09T09:12:26Z

Aditya:

Libcoap

2024-11-09T09:01:54Z

Aditya:

libcoap adalah pustaka open-source yang dirancang untuk memfasilitasi pengembangan aplikasi berbasis protokol CoAP (Constrained Application Protocol). Pustaka ini menyediakan implementasi CoAP yang lengkap dan efisien untuk perangkat dengan sumber daya terbatas, menjadikannya ideal untuk aplikasi Internet of Things (IoT). Berikut adalah penjelasan detail mengenai libcoap:

===Pengantar libcoap===
libcoap dikembangkan untuk mendukung kebutuhan komunikasi di jaringan yang memiliki keterbatasan bandwidth dan daya. Pustaka ini memberikan antarmuka yang sederhana dan fleksibel bagi pengembang untuk membangun aplikasi CoAP.

===Fitur Utama===
#Implementasi Lengkap: libcoap menyediakan semua elemen dasar dari protokol CoAP, termasuk pengiriman dan penerimaan pesan, mekanisme pengiriman ulang, dan pengelolaan observasi.
#Dukungan Multicast: libcoap mendukung pengiriman pesan multicast, yang memungkinkan efisiensi komunikasi di jaringan dengan banyak perangkat.
#Dukungan untuk DTLS: Pustaka ini mendukung DTLS (Datagram Transport Layer Security) untuk menyediakan keamanan dalam komunikasi CoAP.
#Dukungan untuk Berbagai Platform: libcoap dapat diintegrasikan ke dalam berbagai platform dan sistem operasi, termasuk Linux, Windows, dan sistem berbasis embedded.
#Modular: Arsitektur libcoap yang modular memungkinkan pengguna untuk menyesuaikan dan memperluas fungsionalitas sesuai kebutuhan aplikasi.

===Struktur dan Penggunaan===
libcoap biasanya digunakan dalam konteks aplikasi server dan klien:
#Klien CoAP: Mengirim permintaan ke server dan menerima respons.
#Server CoAP: Menerima permintaan dari klien dan memberikan respons yang sesuai.

===API dan Fungsi===
libcoap menyediakan API (Application Programming Interface) yang memungkinkan pengembang untuk berinteraksi dengan protokol CoAP. Beberapa fungsi penting dalam API libcoap meliputi:

#Pengaturan Klien dan Server: Fungsi untuk menginisialisasi dan mengkonfigurasi klien dan server CoAP.
#Pengiriman dan Penerimaan Pesan: Fungsi untuk mengirim permintaan dan menerima respons.
#Pengelolaan Observasi: Fungsi untuk mendaftar dan membatalkan pengamatan terhadap resource tertentu.
#Pengaturan Keamanan: Fungsi untuk mengkonfigurasi DTLS dan pengaturan keamanan lainnya.

===Instalasi===
Untuk instalasi libcoap di server, dapat menuliskan
git clone https://github.com/obgm/libcoap.git

Pastikan sudah instalasi beberapa package berikut (sesuaikan jika berbeda)

sudo apt install autoconf automake libtool pkg-config

Jangan lupa juga cek compiler

sudo apt install g++
sudo apt install build-essential

Kemudian masuk ke folder libcoap

sudo chmod 777 autogen.sh
./autogen.sh
./configure --disable-documentation --with-openssl
make
sudo make install

===Tambah project===
Kita akan gunakan [[esp-eye]] sebagai client. Sehingga harus instalasi [[esp-idf]] agar dapat di-build dan di-flash ke client. Kita ambil contoh yang sudah ada dari link https://components.espressif.com/components/espressif/coap/versions/4.3.5~1/examples. Buat folder baru

mkdir projects
cd projects

Tambahkan komponen libcoap

idf.py add-dependency "espressif/coap^4.3.5~1"

Ambil contoh coap_client

idf.py create-project-from-example "espressif/coap^4.3.5~1:coap_client"

Ambil contoh coap_server

idf.py create-project-from-example "espressif/coap^4.3.5~1:coap_server"

Untuk config project (setting WiFi, IP server, dll). Untuk URI nya bisa gunakan '''coap://{IP SERVER}/example_data'''

idf.py menuconfig

Untuk build

idf.py build

Untuk flash project

idf.py flash

Untuk melihat log/monitoring yang terjadi

idf.py monitor

'''Jika ada error port''', tambahkan perintah

idf.py -p PORT flash monitor
idf.py -p /dev/ttyUSB0 flash
idf.py -p COM3 flash

Cara mendapatkan port

*Linux: Ketik perintah ini sebelum dan sesudah ESP32 dipasang
ls /dev/tty*
*macOS:
ls /dev/tty.*
ls /dev/cu.*.
*Windows: Buka Device Manager, cek "Ports (COM & LPT)"

===Percobaan===
Setelah install libcoap, ambil code dari example coap-server.c. Dengan code tersebut, sesuaikan struktur dari COAP-CLIENT2-ROBUST (https://github.com/dsp-mc-itb/COAP_CLIENT2_ROBUST).

Pada file CMakeList (yang ada di COAP-CLIENT2-ROBUST) -> edit (local_client -> local_server; Sensor_local_client -> Sensor_local_server)

Setelah itu ketik

sudo apt install cmake
mkdir build
cmake -S . -B build
cd build
cmake --build .
./local_server -v 8

==Testing Minimal==
Akan kita coba komunikasi client-server yang sederhana menggunakan CoAP.
Ambil cource dari git

git clone https://github.com/obgm/libcoap-minimal.git
cd libcoap-minimal
make

Untuk running server, jalankan perintah

./server

Untuk client, coba kirimkan paket sederhana

coap-client -v GET coap://192.168.1.104/hello

Server akan memberikan respon '''world'''
./server
v:1 t:CON c:GET i:ad53 {} [ Uri-Path:hello, Request-Tag:0xbfb4674b ]
v:1 t:ACK c:2.05 i:ad53 {} [ ] :: 'world'

==Link Terkait==
* [[esp]]
* [[esp-idf]]
* [[esp-eye]]

==Referensi==
* Definisi tanya chatGPT
* https://components.espressif.com/components/espressif/coap/versions/4.3.5~1
* https://github.com/obgm/libcoap-minimal

Examaining and Analysis Windows Memory

2024-10-16T04:54:48Z

Aditya:

Volatility 3 adalah versi terbaru dari alat analisis forensik memori Volatility, yang dirancang untuk membantu penyelidik forensik dan profesional keamanan dalam menganalisis dump memori (image memory) dari sistem komputer. Berikut adalah penjelasan lebih lanjut tentang fitur, kegunaan, dan arsitektur Volatility 3:

====Fitur Utama====
#Dukungan untuk Berbagai Platform: Volatility 3 mendukung analisis untuk berbagai sistem operasi, termasuk Windows, Linux, dan macOS, menjadikannya alat yang fleksibel untuk analisis forensik memori.
#Modular dan Ekstensible: Dibangun dengan arsitektur modular, yang memungkinkan penambahan plugin baru dan peningkatan fungsionalitas dengan mudah. Ini memudahkan pengembang untuk menyesuaikan dan mengembangkan fitur baru.
#Penggunaan API: Menyediakan API yang lebih baik untuk interaksi dengan data memori, memungkinkan pengembang untuk membuat skrip dan alat tambahan yang dapat berfungsi dengan data yang dianalisis.
#Dukungan untuk Format Dump yang Beragam: Mampu bekerja dengan berbagai format dump memori, termasuk file raw, crash dumps, dan format lainnya, yang membuatnya lebih fleksibel dalam penerapannya.
#Peningkatan Kinerja: Memiliki optimasi untuk meningkatkan kecepatan dan efisiensi analisis, memungkinkan pemrosesan data memori yang lebih cepat.

====Kegunaan====
#Analisis Forensik: Digunakan oleh penyelidik untuk menganalisis memori yang dicuri atau dump memori untuk menemukan jejak aktivitas malware, melakukan analisis malware, dan mengumpulkan bukti dalam penyelidikan keamanan.
#Identifikasi Proses dan Koneksi Jaringan: Memungkinkan pengguna untuk mengidentifikasi proses yang sedang berjalan, koneksi jaringan, dan aktivitas yang mencurigakan dalam memori.
#Investigasi Insiden: Berguna dalam konteks respon insiden untuk mendapatkan wawasan tentang apa yang terjadi pada sistem saat insiden terjadi.
#Pemeriksaan Aktivitas Pengguna: Memungkinkan analisis tentang aktivitas pengguna dan aplikasi untuk memahami perilaku sistem.

====Arsitektur====
#Plugin: Volatility 3 menggunakan sistem plugin yang memungkinkan pengguna untuk menjalankan berbagai jenis analisis, seperti analisis proses, koneksi jaringan, sistem file, dan lebih banyak lagi.
#Dukungan Data: Dengan pendekatan yang lebih berbasis objek, Volatility 3 memudahkan pengelolaan dan interaksi dengan data memori yang dianalisis.
#Kompatibilitas dengan Versi Sebelumnya: Meskipun merupakan versi yang lebih baru, Volatility 3 dirancang untuk berfungsi dengan baik dengan sebagian besar fitur dari versi sebelumnya, sambil menawarkan fungsionalitas yang lebih kuat dan lebih fleksibel.

===Tools===
# FTK Imager
# Volatility

===Experiment===
=====Ambil memory menggunakan FTK Imager=====
# Klik '''capture memory'''
# Arahkan lokasi memory akan disimpan di mana (ekstensi bisa .raw atau .mem)*

=====Analisis menggunakan Volatility=====
Pastikan memiliki python (disarankan versi 3).

Clone dari github
git clone https://volatility3.readthedocs.io/en/latest/

Di dalam folder volatility3, install requirement
pip3 install -r requirements.txt

Cek plugin yang dapat digunakan
python vol.py -h

Cara menggunakan
python vol.py -f {path lokasi memory} {plugin}
python vol.py -f {contoh/memory.raw} windows.info

*Catatan:

=====Format RAW=====
#Definisi: Format RAW (atau "raw memory dump") adalah representasi mentah dari memori fisik sistem. Ini mencakup semua konten yang ada dalam RAM tanpa pengolahan lebih lanjut.
#Karakteristik:
##Ukuran File: File RAW biasanya lebih besar karena menyimpan semua data di memori, termasuk ruang kosong.
##Kecepatan: Proses pengambilan memori dalam format RAW cenderung lebih cepat karena tidak memerlukan pemrosesan tambahan.
##Detail Lengkap: Menyediakan representasi yang lebih lengkap dari memori, termasuk semua data yang tersimpan, struktur data, dan informasi sistem.
##Kompatibilitas: Format RAW umum dan dapat digunakan oleh banyak alat forensik dan analisis memori lainnya.
#Keterbatasan:
##Tidak Terstruktur: Data dalam format RAW tidak memiliki metadata atau struktur, sehingga memerlukan pemrosesan tambahan untuk analisis.
##Kesulitan Analisis: Mungkin lebih sulit untuk menganalisis tanpa alat yang tepat, karena data tidak diorganisir dalam format yang mudah dibaca.

=====Format MEM=====
#Definisi: Format MEM (Memory Image) adalah format khusus yang dirancang untuk menyimpan dump memori dengan lebih terstruktur, sering kali mencakup metadata dan informasi tambahan.
#Karakteristik:
##Struktur dan Metadata: Format MEM sering menyertakan informasi tambahan seperti waktu pengambilan, informasi sistem, dan struktur data yang membuatnya lebih mudah dianalisis.
##Ukuran File: File MEM mungkin lebih kecil dibandingkan file RAW karena dapat melakukan kompresi atau menyimpan hanya data yang relevan.
##Dukungan untuk Analisis: Banyak alat analisis memori dan forensik lebih mudah bekerja dengan format MEM karena strukturnya yang lebih terorganisir.
#Keterbatasan:
##Kompleksitas: Proses capture dan penyimpanan dalam format MEM mungkin lebih kompleks dan memakan waktu dibandingkan dengan RAW.
##Kompatibilitas: Mungkin tidak semua alat mendukung format MEM, tergantung pada implementasi spesifik.

==Link Terkait==
* [[Digital Forensics]]

==Referensi==
* Modul kuliah Digital Forensic STEI ITB
* Definisi tanya ChatGPT
* https://www.exterro.com/digital-forensics-software/ftk-imager
* https://volatility3.readthedocs.io/en/latest/
* https://github.com/volatilityfoundation/volatility3

Examaining and Analysis Windows Memory

2024-10-16T04:52:05Z

Aditya: Created page with "Volatility 3 adalah versi terbaru dari alat analisis forensik memori Volatility, yang dirancang untuk membantu penyelidik forensik dan profesional keamanan dalam menganalisis..."

Volatility 3 adalah versi terbaru dari alat analisis forensik memori Volatility, yang dirancang untuk membantu penyelidik forensik dan profesional keamanan dalam menganalisis dump memori (image memory) dari sistem komputer. Berikut adalah penjelasan lebih lanjut tentang fitur, kegunaan, dan arsitektur Volatility 3:

====Fitur Utama====
#Dukungan untuk Berbagai Platform: Volatility 3 mendukung analisis untuk berbagai sistem operasi, termasuk Windows, Linux, dan macOS, menjadikannya alat yang fleksibel untuk analisis forensik memori.
#Modular dan Ekstensible: Dibangun dengan arsitektur modular, yang memungkinkan penambahan plugin baru dan peningkatan fungsionalitas dengan mudah. Ini memudahkan pengembang untuk menyesuaikan dan mengembangkan fitur baru.
#Penggunaan API: Menyediakan API yang lebih baik untuk interaksi dengan data memori, memungkinkan pengembang untuk membuat skrip dan alat tambahan yang dapat berfungsi dengan data yang dianalisis.
#Dukungan untuk Format Dump yang Beragam: Mampu bekerja dengan berbagai format dump memori, termasuk file raw, crash dumps, dan format lainnya, yang membuatnya lebih fleksibel dalam penerapannya.
#Peningkatan Kinerja: Memiliki optimasi untuk meningkatkan kecepatan dan efisiensi analisis, memungkinkan pemrosesan data memori yang lebih cepat.

====Kegunaan====
#Analisis Forensik: Digunakan oleh penyelidik untuk menganalisis memori yang dicuri atau dump memori untuk menemukan jejak aktivitas malware, melakukan analisis malware, dan mengumpulkan bukti dalam penyelidikan keamanan.
#Identifikasi Proses dan Koneksi Jaringan: Memungkinkan pengguna untuk mengidentifikasi proses yang sedang berjalan, koneksi jaringan, dan aktivitas yang mencurigakan dalam memori.
#Investigasi Insiden: Berguna dalam konteks respon insiden untuk mendapatkan wawasan tentang apa yang terjadi pada sistem saat insiden terjadi.
#Pemeriksaan Aktivitas Pengguna: Memungkinkan analisis tentang aktivitas pengguna dan aplikasi untuk memahami perilaku sistem.

====Arsitektur====
#Plugin: Volatility 3 menggunakan sistem plugin yang memungkinkan pengguna untuk menjalankan berbagai jenis analisis, seperti analisis proses, koneksi jaringan, sistem file, dan lebih banyak lagi.
#Dukungan Data: Dengan pendekatan yang lebih berbasis objek, Volatility 3 memudahkan pengelolaan dan interaksi dengan data memori yang dianalisis.
#Kompatibilitas dengan Versi Sebelumnya: Meskipun merupakan versi yang lebih baru, Volatility 3 dirancang untuk berfungsi dengan baik dengan sebagian besar fitur dari versi sebelumnya, sambil menawarkan fungsionalitas yang lebih kuat dan lebih fleksibel.

===Tools===
# FTK Imager
# Volatility

===Experiment===
=====Ambil memory menggunakan FTK Imager=====
# Klik '''capture memory'''
# Arahkan lokasi memory akan disimpan di mana (ekstensi bisa .raw atau .mem)*

=====Analisis menggunakan Volatility=====
Pastikan memiliki python (disarankan versi 3).

Clone dari github
git clone https://volatility3.readthedocs.io/en/latest/

Di dalam folder volatility3, install requirement
pip3 install -r requirements.txt

Cek plugin yang dapat digunakan
python vol.py -h

*Catatan:

=====Format RAW=====
#Definisi: Format RAW (atau "raw memory dump") adalah representasi mentah dari memori fisik sistem. Ini mencakup semua konten yang ada dalam RAM tanpa pengolahan lebih lanjut.
#Karakteristik:
##Ukuran File: File RAW biasanya lebih besar karena menyimpan semua data di memori, termasuk ruang kosong.
##Kecepatan: Proses pengambilan memori dalam format RAW cenderung lebih cepat karena tidak memerlukan pemrosesan tambahan.
##Detail Lengkap: Menyediakan representasi yang lebih lengkap dari memori, termasuk semua data yang tersimpan, struktur data, dan informasi sistem.
##Kompatibilitas: Format RAW umum dan dapat digunakan oleh banyak alat forensik dan analisis memori lainnya.
#Keterbatasan:
##Tidak Terstruktur: Data dalam format RAW tidak memiliki metadata atau struktur, sehingga memerlukan pemrosesan tambahan untuk analisis.
##Kesulitan Analisis: Mungkin lebih sulit untuk menganalisis tanpa alat yang tepat, karena data tidak diorganisir dalam format yang mudah dibaca.

=====Format MEM=====
#Definisi: Format MEM (Memory Image) adalah format khusus yang dirancang untuk menyimpan dump memori dengan lebih terstruktur, sering kali mencakup metadata dan informasi tambahan.
#Karakteristik:
##Struktur dan Metadata: Format MEM sering menyertakan informasi tambahan seperti waktu pengambilan, informasi sistem, dan struktur data yang membuatnya lebih mudah dianalisis.
##Ukuran File: File MEM mungkin lebih kecil dibandingkan file RAW karena dapat melakukan kompresi atau menyimpan hanya data yang relevan.
##Dukungan untuk Analisis: Banyak alat analisis memori dan forensik lebih mudah bekerja dengan format MEM karena strukturnya yang lebih terorganisir.
#Keterbatasan:
##Kompleksitas: Proses capture dan penyimpanan dalam format MEM mungkin lebih kompleks dan memakan waktu dibandingkan dengan RAW.
##Kompatibilitas: Mungkin tidak semua alat mendukung format MEM, tergantung pada implementasi spesifik.

==Link Terkait==
* [[Digital Forensics]]

==Referensi==
* Modul kuliah Digital Forensic STEI ITB
* Definisi tanya ChatGPT
* https://www.exterro.com/digital-forensics-software/ftk-imager
* https://volatility3.readthedocs.io/en/latest/
* https://github.com/volatilityfoundation/volatility3